Лемма Чебышева . Если случайная величина х , для которой существует математическое ожидание М [x ], может принимать только неотрицательные значения, то для любого положительного числа a имеет место неравенство

Неравенство Чебышева. Если х – случайная величина с математическим ожиданием М [x ] и дисперсией D [x ], то для любого положительного e имеет место неравенство

. (2)

Теорема Чебышева. (закон больших чисел). Пусть х 1 , х 2 , …, x n ,… - последовательность независимых случайных величин с одним и тем же математическим ожиданием m и дисперсиями, ограниченными одной и той же константой с

. (3)

Доказательство теоремы основано на неравенстве

, (4)

вытекающей из неравенства Чебышева. Из теоремы Чебышева как следствие может быть получена

Теорема Бернулли. Пусть производится n независимых опытов, в каждом из которых с вероятностью р может наступить некоторое событие А , и пусть v n – случайная величина, равная числу наступлений события А в этих n опытах. Тогда для любого e > 0 имеет место предельное равенство

. (5)

Отметим, что неравенство (4) применительно к условиям теоремы Бернулли дает:

. (6)

Теорему Чебышева можно сформулировать в несколько более общем виде:

Обобщенная теорема Чебышева. Пусть х 1 , х 2 , …, x n ,… - последовательность независимых случайных величин с математическими ожиданиями M [x 1 ] = m 1 , M [x 2 ] = m 2 ,… и дисперсиями, ограниченными одной и той же постоянной с . Тогда для любого положительного числа e имеет место предельное равенство

. (7)

Пусть х -число появлений 6 очков при 3600 бросаниях кости. Тогда М [x ] = 3600 = 600. Воспользуемся теперь неравенством (1) при a = 900: .

Используем неравенство (6) при n = 10000, р = , q = . Тогда

Пример.

Вероятность наступления события А в каждом из 1000 независимых опытов равна 0,8. Найдите вероятность того, что число наступлений события А в этих 1000 опытах отклонится от своего математического ожидания по абсолютной величине меньше чем на 50.

Пусть х - число наступлений события А в указанных 1000 опытах. Тогда М [x ] = 1000 × 0,8 = 800 и D [x ] = 1000 × 0,8 × 0,2 = 160. Теперь неравенство (2) дает:

Пример.

Дисперсия каждой из 1000 независимых случайных величин x k (k = 1, 2,..., 1000) равна 4. Оцените вероятность того, что отклонение средней арифметической этих величин от средней арифметической их математических ожиданий по абсолютной величине не превзойдет 0,1.

Согласно неравенству (4) при с = 4 и e = 0,1 имеем.

Закон больших чисел является центральным законом теории вероятностей в силу того, что он формулирует принципиальную связь между закономерностью и случайностью. А именно, он утверждает, что большое число случайностей ведет к закономерности, что позволяет прогнозировать ход событий. В наиболее общей форме он выражается теоремой Чебышева :

Пусть (Χ 1 ; X 2 ; … X n ; … ) независимые случайные величины (их, предполагается, бесконечное число). И пусть их дисперсии равномерно ограничены (то есть дисперсии всех этих случайных величин не превосходят некоторой константы С ):

Тогда как бы ни было мало положительное число , выполняется предельное вероятностное соотношение:

если число случайных величин достаточно велико. Или, что одно и то же, вероятность

Таким образом, теорема Чебышева утверждает, что если рассматривать достаточное большое число n независимых случайных величин (Χ 1 ; X 2 ; … X n ),то почти достоверным (с вероятностью, близкой к единице) можно считать событие, состоящее в том, что отклонение среднего арифметического этих случайных величин от среднего арифметического их математических ожиданий будет по абсолютной величине сколь угодно малым.

Доказательство . Χ 1 ; X 2 ; … X n ):

(4)

; (5)

Учитывая условия (1), устанавливаем, что

(6)

Таким образом, при дисперсия . То есть при разброс значений случайной величины вокруг её математического ожидания неограниченно уменьшается. А это значит, что при величина, то есть . Или, если сказать точнее, к нулю стремится вероятность того, что случайная величина будет хоть как-то отклоняться от своего математического ожидания – константы . А именно, при любом сколь угодно малом положительном числе

Итак, согласно доказанной теореме Чебышева, среднее арифметическое большого числа независимых случайных величин (Χ 1 ; X 2 ; … X n ), являясь случайной величиной, фактически утрачивает характер случайности, становясь, по сути, неизменной константой . Эта константа равна среднему арифметическому математических ожиданий величин (Χ 1 ; X 2 ; … X n ). В этом и состоит закон больших чисел.

Можно привести другое доказательство теоремы Чебышева. Для этого воспользуемся неравенством Чебышева. Оно справедливо и для дискретных и для непрерывных случайных величин и имеет ценность само по себе. Неравенство Чебышева позволяет оценить вероятность того, что отклонение случайной величины от ее математического ожидания не превышает по абсолютной величине положительного числа . Приведем доказательство неравенства Чебышева для дискретных случайных величин.

Неравенство Чебышева: Вероятность того, что отклонение случайной величины Х от ее математического ожидания по абсолютной величине меньше положительного числа , не меньше, чем :

.

Доказательство : Так как события, состоящие в осуществлении неравенств и , противоположны, то сумма их вероятностей равна 1, т.е. . Отсюда интересующая нас вероятность . (*)

Найдем . Для этого найдем дисперсию случайной величины Х.

Все слагаемые этой суммы неотрицательны. Отбросим те слагаемые, у которых (для оставшихся слагаемых), вследствие чего сумма может только уменьшится. Условимся считать для определенности, что отброшено k первых слагаемых (будем считать, что в таблице распределения возможные значения занумерованы именно в таком порядке). Таким образом,

Поскольку обе части неравенства положительны, поэтому, возведя их в квадрат, получим равносильное неравенство. Воспользуемся этим замечанием, заменяя в оставшейся сумме каждый из множителей числом (при этом неравенство может лишь усилиться), получим. (**)

По теореме сложения, сумма вероятностей есть вероятность того, что Х примет одно, безразлично какое, из значений , а при любом из них отклонение удовлетворяет неравенству . Отсюда следует, что сумма выражает вероятность . Это позволяет переписать неравенство (**) так: . (***).

Подставим (***) в (*) и получим , что и требовалось доказать.

Доказательство теоремы Чебышева 2 :

Введем в рассмотрение новую случайную величину - среднее арифметическое случайных величин (Χ 1 ; X 2 ; … X n ):

Пользуясь свойствами математического ожидания и дисперсии, для получим:

; . (*)

Применяя к величине неравенство Чебышева, имеем.

Учитывая соотношение (*),

По условию , значит . (***) Подставляя правую часть (***) в неравенство (**) имеем

Отсюда, переходя к пределу при , получим

Поскольку вероятность не может превышать единицу, окончательно мы получаем:

Что нам и требовалось доказать.

Остановимся на одном важном частном случае теоремы Чебышева. А именно, рассмотрим случай, когда независимые случайные величины (Χ 1 ; X 2 ; … X n ) имеют одинаковые законы распределения, а, следовательно, и одинаковые числовые характеристики:

(8)

Тогда для случайной величины , согласно (5), имеем:

(9)

Предельное вероятностное соотношение (7) в этом случае примет вид:

(10)

Вывод, следующий из (10), имеет большое значение для борьбы со случайными ошибками при производстве различного рода измерений.

Пусть, например, требуется измерить некоторую величину а . Произведем не одно, а несколько (n ) независимых повторных измерений значения этой величины. Любым измерениям присуща случайная ошибка, связанная с несовершенством измерительного прибора, всевозможными случайными помехами измерению, и т.д. Поэтому результаты (Χ 1 ; X 2 ; … X n ) отдельных последовательных измерений искомого значения а , вообще говоря, давать не будут - они будут случайными величинами. Причем величинами, имеющими одинаковые распределения, ибо измерения производятся повторно, то есть при неизменных внешних условиях. Тогда для величины - среднего арифметического из результатов всех n измерений - будет выполняться предельное вероятностное соотношение (10). А значит, это среднее арифметическое при утрачивает характер случайности, превращаясь в а – истинное значение измеряемой величины. Об этом, кстати, свидетельствуют и формулы (9), согласно которым:

(11)

То есть проведя достаточно большоечисло повторных измерений искомой величины а , в каждом из которых возможна случайная ошибка измерения, и находя затем среднее арифметическое результатов этих измерений, мы по формуле

а (12)

можем получить значение а практически без случайной ошибки.

Этот вывод - следствие закона больших чисел. В данном случае этот закон проявляется в том, что при суммировании результатов измерений в (4) случайные ошибки отдельных измерений, встречающиеся в принципе одинаково часто как со знаком плюс, так и со знаком минус, в целом будут взаимно уничтожаться. А оставшаяся ошибка еще разделится на п , то есть еще уменьшится в п раз. Так что при больших значениях n величина будет практически точно равна измеряемой величине а . Этим выводом, естественно, широко пользуются на практике.

Примечание . В величине взаимно уничтожаются лишь случайные ошибки измерений, то есть ошибки, связанные с действием случайных факторов (помех). Но систематические (постоянно действующие) ошибки, то есть ошибки, присущие каждому измерению, естественно, остаются и в . Например, сбитая (не отрегулированная) в приборе стрелка вызывает постоянную (систематическую) ошибку в каждом измерении, а, значит вызывает её и в средней арифметической из результатов этих измерений. Систематические ошибки надо исключать еще до производства измерений и не допускать в процессе измерений.

Потом, если α – цена деления измерительного прибора, то все повторные измерения производятся с точностью до α. Но тогда, естественно, и среднее арифметическое из результатов всех измерений можно указывать лишь тоже с точностью до α, то есть с точностью, определяемой точностью прибора.

Поэтому не стоит думать, что, сделав достаточно большое число повторных измерений величины а и найдя затем среднее арифметическое из результатов этих измерений, мы получим точное значение а. Мы его получим лишь в пределах точности измерительного прибора. Да и то, если исключим систематическую ошибку измерения.

Приведем еще один важный частный случай закона больших чисел. Пусть Х=k – число появлений некоторого события А в п повторных испытаниях (X – случайная величина). И пусть и – вероятности появления и непоявления события А в одном испытании. Рассмотрим случайную величину - относительную частоту появления события А в п испытаниях. Введем также n случайных величин (Х 1, Х 2, …X n ), которые представляют собой число появление события А в первом, втором, … п -ом испытаниях. Тогда k = Х 1 +Х 2 +…+Х п , апоявления события А практически совпадет с вероятностью появления события А в одном испытании. На этом выводе основано нахождение вероятностей многих случайных событий, чьи вероятности каким-то другим путем (теоретически) найти не удается.

Например, пусть испытание – это подбрасывание деформированной (несимметричной) монеты, а событие А для этого испытания – это выпадение герба. Вероятность события А по классической формуле или по какой-то другой теоретической формуле найти затруднительно, ибо в такой формуле должны быть как-то отражены характеристики деформации монеты. Поэтому реальный путь, ведущий к цели, здесь один: повторно бросать монету (чем больше число бросаний n, тем лучше) и определять опытным путем относительную частоту появления герба. Если n велико, то в соответствии с законом больших чисел можно с большой вероятностью утверждать, что .

Закон больших чисел проявляет себя во многих природных и общественных явлениях.

Пример 1. Как известно, газ, помещенный в закрытый сосуд, оказывает давление на стенки сосуда. Согласно законам газового состояния, при неизменной температуре газа это давление постоянно. Давление газа имеет своей причиной хаотические удары отдельных его молекул о стенки сосуда. Скорости и направления движения у всех молекул разные, поэтому разными являются и силы ударов различных молекул о стенки сосуда. Однако давление газа на стенки сосуда определяется не силой ударов отдельных молекул, а их средней силой. Но она, как средняя из огромного числа независимо действующих сил, согласно закону больших чисел, будет сохранять практически неизменное значение. Поэтому практически неизменным оказывается и давление газа на стенки сосуда.

Пример 2 . Страховая компания, занимающаяся, например, автострахованием, выплачивает по разным страховым случаям (автомобильным авариям и ДТП) разные страховые суммы. Однако величина среднего значения этой страховой суммы, как среднего значения из многих различных n независимых страховых сумм, согласно закону больших чисел, будет практически неизменной. Ее можно определить, исследовав реальную статистику страховых случаев. Чтобы страховой компании не оказаться в убытке, средний размер страхового взноса, взимаемого с клиентов этой компании, должен быть выше средней страховой суммы, которую выплачивает компания своим клиентам. Но этот взнос не должен быть и слишком высоким, чтобы компания была конкурентноспособна (могла конкурировать по привлекательности с другими страховыми компаниями).

Проведем это доказательство в два этапа. Сначала предположим, что существует, и заметим, что в этом случае D(S„) по теореме о дисперсии суммы. Согласно неравенству Чебышева, при любом t > 0

При t > n левая часть меньше, чем, а последняя величина стремится к нулю. Это завершает первую часть доказательства.

Отбросим теперь ограничительное условие существования D(). Этот случай сводится к предшествующему методом усечения.

Определим два новых набора случайных величин, зависящих от, следующим образом:

U k =, V k =0, если (2.2)

U k =0, V k =, если

Здесь k=1,… , п и фиксировано. Тогда

при всех k.

Пусть {f(j)} -- распределение вероятностей случайных величин (одинаковое для всех j). Мы предположили, что = M() существует, так что сумма

конечна. Тогда существует и

где суммирование производится по всем тем j, при которых. Отметим, что хотя и зависит от п, но оно одинаково для

U 1 , U 2, ..., U n . Кроме того, при, и, следовательно, для произвольного > 0 и всех достаточно больших n

U k взаимно независимы, и с их суммой U 1 +U 2 +…+U n можно поступить точно так же, как и с X k в случае конечной дисперсии, применив неравенство Чебышева, мы получим аналогично (2.1)

Вследствие (2.6) отсюда вытекает, что

Поскольку ряд (2.4) сходится, последняя сумма стремится к нулю при возрастании n. Таким образом, при достаточно большом п

и следовательно

P{V 1 +…+V n 0}. (2.12)

Но, и из (2.9) и (2.12) получаем

Так как и произвольны, правая часть может быть сделана сколь угодно малой, что и завершает доказательство.

Теория «безобидных» игр

При дальнейшем анализе сущности закона больших чисел будем пользоваться традиционной терминологией игроков, хотя наши рассмотрения допускают в равной степени и более серьезные приложения, а два наших основных предположения более реальны в статистике и физике, чем в азартных играх. Во-первых, предположим, что игрок обладает неограниченным капиталом, так что никакой проигрыш не может вызвать окончания игры. (Отбрасывание этого предположения приводит к задаче о разорении игрока, которая всегда интригует изучающих теорию вероятностей.) Во-вторых, предположим, что игрок не имеет нрава прервать игру, когда ему заблагорассудится: число п испытаний должно быть фиксировано заранее и не должно зависеть от хода игры. Иначе игрок, осчастливленный неограниченным капиталом, дождался бы серии удач и в подходящий момент прекратил бы игру. Такого игрока интересует не вероятное колебание в заданный момент, а максимальные колебания в длинной серии партий, которые описываются скорее законом повторного логарифма, чем законом больших чисел.

Введем случайную величину k как (положительный или отрицательный) выигрыш при k-м повторении игры. Тогда сумма S n = 1 +…+ k является суммарным выигрышем при п повторениях игры. Если перед каждым повторением игрок уплачивает за право участия в игре (не обязательно положительный) взнос, то п представляет собой общий уплаченный им взнос, a S n -- п общий чистый выигрыш. Закон больших чисел применим, если p=M(k) существует. Грубо говоря, при больших п весьма правдоподобно, что разность S п -- покажется малой по сравнению с п. Следовательно, если меньше, чем р, то при больших п игрок будет, вероятно, иметь выигрыш порядка. По тем же соображениям взнос практически наверняка приводит к убытку. Короче, случай благоприятен для игрока, а случай неблагоприятен.

Заметим, что мы еще ничего не говорили о случае. В этом случае единственно возможным заключением является то, что при достаточно большом и общий выигрыш или проигрыш S n -- п будет с очень большой вероятностью малым по сравнению с п. Но при этом неизвестно, окажется ли S n -- п положительным или отрицательным, т. е. будет ли игра выгодной или разорительной. Это не было учтено классической теорией, которая называла безобидной ценой, а игру с «безобидной». Нужно понимать, что «безобидная» игра может на самом деле быть и явно выгодной и разорительной.

Ясно, что в «нормальном случае» существует не только M(k), но и D(k). В этом случае закон больших чисел дополняется центральной предельной теоремой, а последняя говорит о том, что весьма правдоподобно, что при «безобидной» игре чистый выигрыш в результате продолжительной игры S n -- п будет иметь величину порядка n 1/2 и что при достаточно больших п этот выигрыш будет с примерно равными шансами положительным или отрицательным. Таким образом, если применима центральная предельная теорема, то термин «безобидная» игра оказывается оправданным, хотя даже и в этом случае мы имеем дело с предельной теоремой, что подчеркивается словами «в результате продолжительной игры». Тщательный анализ показывает, что сходимость в (1.3) ухудшается при возрастании дисперсии. Если велико, то нормальное приближение окажется эффективным только при чрезвычайно больших п.

Для определенности представим машину, при опускании в которую рубля игрок может с вероятностью 10 выиграть (10--1) рублей, а в остальных случаях теряет опущенный рубль. Здесь мы имеем испытания Бернулли и игра является «безобидной». Проделав миллион испытаний, игрок уплатит за это миллион рублей. За это время он может выиграть 0, 1,2,... раз. Согласно приближению Пуассона для биномиального распределения, с точностью до нескольких десятичных знаков вероятность выиграть ровно к раз равна e -1 /k!. Таким образом, с вероятностью 0,368 . . . игрок потеряет миллион, и с той же вероятностью он только окупит свои расходы; он имеет вероятность 0,184... приобрести ровно один миллион и т. д. Здесь 10 6 испытаний эквивалентны одному-единствеиному испытанию при игре с выигрышем, имеющим распределение Пуассона.

Очевидно, бессмысленно применять закон больших чисел в такого рода ситуациях. К этой схеме относится страхование от пожара, автомобильных катастроф и т. п. Риску подвергается большая сумма, но зато соответствующая вероятность очень мала. Однако здесь происходит обычно только одно испытание в год, так что число п испытаний никогда не становится большим. Для застрахованного игра обязательно не является «безобидной», хотя, может быть, экономически вполне выгодной. Закон больших чисел здесь не при чем. Что касается страховой компании, то она имеет дело с большим числом игр, но из-за большой дисперсии все же проявляются случайные колебания. Размер страховых премий должен быть установлен таким, чтобы предотвратить большой убыток в отдельные годы, и, следовательно, компанию интересует скорее задача о разорении, чем закон больших чисел.

Когда дисперсия бесконечна, термин «безобидная» игра становится бессмысленным; нет никаких оснований считать, что общий чистый выигрыш S n -- п колеблется около нуля. Действительно. существуют примеры «безобидных» игр, в которых вероятность того, что в результате игрок потерпит чистый убыток, стремится к единице. Закон больших чисел утверждает только, что этот убыток будет величиной меньшего порядка, чем п. Однако ничего большего утверждать и нельзя. Если а п образуют произвольную последовательность, причем а п /n0 то можно устроить «безобидную» игру, в которой вероятность того, что общий чистый убыток в результате п повторений игры превышаем a n стремится к единице.

Теория вероятностей изучает закономерности, свойственные массовым случайным явлениям. Как и любая другая наука, теория вероятностей предназначена для того, чтобы возможно точнее предсказать результат того или иного явления или эксперимента. Если явление носит единичный характер, то теория вероятностей способна предсказать лишь вероятность исхода в весьма широких пределах. Закономерности проявляются только при большом числе случайных явлений, происходящих в однородных условиях.

Группа теорем, устанавливающих соответствие между теоретическими и экспериментальными характеристиками случайных величин и случайных событий при большом числе испытаний над ними, а также касающихся предельных законов распределения, объединяются под общим названием предельных теорем теории вероятностей .

Есть два типа предельных теорем: закон больших чисел и центральная предельная теорема.

Закон больших чисел , занимающий важнейшее место в теории вероятностей, является связующим звеном между теорией вероятностей как математической наукой и закономерностями случайных явлений при массовых наблюдениях над ними.

Закон играет очень важную роль в практических применениях теории вероятностей к явлениям природы и техническим процессам, связанным с массовым производством.

Предельные законы распределения составляют предмет группы теорем – количественной формы закона больших чисел. Т.е. закон больших чисел – ряд теорем, в каждой из которых устанавливается факт приближения средних характеристик большого числа испытаний к некоторым определенным постоянным, т.е. устанавливают факт сходимости по вероятности некоторых случайных величин к постоянным. Это теоремы Бернулли, Пуассона, Ляпунова, Маркова, Чебышева.

1. а ) Теорема Бернулли – закон больших чисел (была сформулирована и доказана ранее в п. 3 § 6 при рассмотрении предельной интегральной теоремы Муавра-Лапласа.)

При неограниченном увеличении числа однородных независимых опытов частота события будет сколь угодно мало отличаться от вероятности события в отдельном опыте. Иначе, вероятность того, что отклонение относительной частоты наступления события А от постоянной вероятности р события А очень мало при стремится к 1 при любом : .

b) Теорема Чебышева.

При неограниченном увеличении числа независимых испытаний среднее арифметическое наблюдаемых значений случайной величины, имеющей конечную дисперсию, сходится по вероятности к ее математическому ожиданию иначе, если независимые одинаково распределенные случайные величины с математическим ожиданием и ограниченной дисперсией , то при любом справедливо: .

Теорема Чебышева (обобщенная). Если случайные величины в последовательности попарно независимы, а их дисперсии удовлетворяют условию , то для любого положительного ε > 0 справедливо утверждение:

или, что то же .

c) Теорема Маркова. (закон больших чисел в общей формулировке)

Если дисперсии произвольных случайных величин в последовательности удовлетворяют условию: , то для любого положительного ε > 0 имеет место утверждение теоремы Чебышева: .

d) Теорема Пуассона.

При неограниченном увеличении числа независимых опытов в переменных условиях частота события А сходится по вероятности к среднему арифметическому его вероятностей при данных испытаниях.

Замечание. Ни в одной из форм закона больших чисел мы не имеем дела с законами распределения случайных величин. Вопрос, связанный с отысканием предельного закона распределения суммы , когда число слагаемых неограниченно возрастает, рассматривает центральная предельная теорема. одинаково распределены, то придем к интегральной теореме Муавра-Лапласа (п. 3 § 6), представляющей собой простейший частный случай центральной предельной теоремы.

Смысл закона больших чисел Чебышева состоит в следующем. В то время как отдельная случайная величина может принимать значения, очень далекие от своего математического ожидания, средняя арифметическая большого числа случайных величин с вероятностью, близкой к единице, принимает значение, мало отличающееся от среднего арифметического их математических ожиданий.
Частный случай закона больших чисел Чебышева. Пусть - последовательность попарно независимых случайных величин, имеющих ограниченные в совокупности дисперсии, т. е. и одинаковые математические ожидания . Тогда, каково бы нибыло , справедливо соотношение

Это непосредственно следует из формулы (), так как

Замечание. Говорят, что случайная величина сходится по вероятности к числу А , если при сколь угодно малом вероятность неравенства с увеличением n неограниченно приближается к единице. Сходимость по вероятности не означает, что . Действительно, в последнем случае неравенство выполняется для всех достаточно больших значений n . В случае же сходимости по вероятности это неравенство для отдельных сколь угодно больших значений n может не выполняться . Однако невыполнение неравенства для больших значений n есть событие очень редкое (маловероятное). Принимая это во внимание, частный случай закона больших чисел Чебышева можно сформулировать так.
Средняя арифметическая попарно независимых случайных величин , имеющих ограниченные в совокупности дисперсии и одинаковые математические ожидания , сходится по вероятности к а .
Поясним смысл частного случая закона больших чисел Чебышева. Пусть требуется найти истинное значение а некоторой физической величины (например, размер некоторой детали). Для этого будем производить ряд независимых друг от друга измерений. Всякое измерение сопровождается некоторой погрешностью (). Поэтому каждый возможный результат измерения есть случайная величина (индекс i - номер измерения). Предположим, что в каждом измерении нет систематической ошибки, т. е. отклонения от истинного значения а измеряемой величины в ту и другую стороны равновероятны. В этом случае математические ожидания всех случайных величин одинаковы и равны измеряемой величине а , т. е.
Предположим, наконец, что измерения производятся с некоторой гарантированной точностью. Это значит, что для всех измерений . Таким образом, мы находимся в условиях закона больших чисел Чебышева, а потому, если число измерений достаточно велико, то с практической достоверностью можно утверждать, что каково бы ни было , средняя арифметическая результатов измерений отличается от истинного значения а меньше, чем на