Закон больших чисел (теорема Чебышева).
В данном n° мы докажем одну из простейших, но вместе с тем наиболее важных форм закона больших чисел-теорему Чебышева. Эта теорема устанавливает связь между средним арифметическим наблюденных значений случайной величины и ее математическим ожиданием.
Предварительно решим следующую вспомогательную задачу.
Имеется случайная величина с математическим ожиданием и дисперсией . Над этой величиной производится я независимых опытов и вычисляется среднее арифметическое всех наблюденных значений величины . Требуется найти числовые характеристики этого среднего арифметического - математическое ожидание и дисперсию- и узнать, как они изменяются с увеличением .
Обозначим:
Значение величины в первом опыте;
Значение величины во втором опыте, и т. д.
Очевидно, совокупность величин 
представляет собой независимых случайных величин, каждая из которых распределена по тому же закону, что и сама величина. Рассмотрим среднее арифметическое этих величин:
Случайная величина есть линейная функция независимых случайных величин. Найдем математическое ожидание и дисперсию этой величины. Согласно свойствам математического ожидания и дисперсии для определения числовых характеристик линейных функций получим:
Итак, математическое ожидание величины не зависит от числа опытов и равно математическому ожиданию наблюдаемой величины . Что касается дисперсии величины , то она неограниченно убывает с увеличением числа опытов и при достаточно большом должна быть сделана сколь угодно малой. Мы убеждаемся, что среднее арифметическое есть случайная величина со сколь угодно малой дисперсией и при большом числе опытов ведет себя почти как не случайная.
Теорема Чебышева и устанавливает в точной количественной форме это свойство устойчивости среднего арифметического. Она формулируется следующим образом:
При достаточно большом числе независимых опытов среднее арифметическое наблюденных значений случайной величины сходятся по вероятности к ее математическому ожиданию .
Запишем теорему Чебышева в виде формулы. Для этого разъясним смысл термина ʼʼсходится по вероятностиʼʼ. Говорят, что случайная величина сходится по вероятности к величине ,если при увеличении вероятность того, что и будут сколь угодно близки, неограниченно приближается к единице, а это значит, что при достаточно большом
где-произвольно малые положительные числа.
Запишем в аналогичной форме теорему Чебышева. Она утверждает что при увеличении среднее арифметическое
Сходится по вероятности к , т. е.
(6.7)
Докажем это неравенство.
Доказательство . Выше было показано, что величина
имеет числовые характеристики
Применим к случайной величине Y неравенство Чебышева, полагая :
Как бы мало ни было число, можно взять таким большим, чтобы выполнялось неравенство
где - сколь угодно малое число.
откуда, переходя к противоположному событию, имеем:
что и требовалось доказать.
Известная теорема Я.Бернулли, устанавливающая связь между частотой события и его вероятностью, должна быть доказана как прямое следствие закона больших чисел.
Пусть производится n независимых опытов, в каждом из которых может появиться или не появиться событие А , вероятность появления которого в каждом опыте равна р . Теорема Я. Бернулли утверждает, что при неограниченном числе опытов n частота события А сходится по вероятности к его вероятности р.
Обозначим частоту события А в n опытах через Р и запишем теорему Бернулли в виде формулы
где и - сколь угодно малые положительные числа.
Требуется доказать справедливость этой формулы при достаточно большом n .
Доказательство. Рассмотрим независимые случайные величины:
Х 1 – число появлений события А в первом опыте;
Х 2 – число появлений события А во втором опыте, и т.д.
Все эти величины дискретны и имеют один и тот же закон распределения, выражаемый рядом вида
| q | p |
Здесь q = 1 – p . Математическое ожидание каждой из этих величин Х i равно р, а ее дисперсия pq (см Л3-п3.2).
Частота Р представляет собой не что иное, как среднее арифметическое величин Х 1 , Х 2 , ... , Х n:
Р = i / n ,
и, согласно закону больших чисел, сходится по вероятности к общему математическому ожиданию этих случайных величин. Отсюда и следует справедливость неравенства (6. 1) .
Теорема Бернулли. - понятие и виды. Классификация и особенности категории "Теорема Бернулли." 2017, 2018.
Пусть производится независимых испытаний, в каждом из которых вероятность появления событияА равна р . Другими словами, пусть имеет место схема Бернулли. Можно ли предвидеть какова будет примерно относительная частота появлений события? Положительный ответ на этот вопрос даёт теорема, доказанная Я.Бернулли 1 , которая получила название «закона больших чисел» и положила начало теории вероятностей как науки 2 .
ТЕОРЕМА Бернулли
:
Если в каждом из
независимых испытаний, проводимых в
одинаковых условиях, вероятностьр
появления события А
постоянна, то относительная частота
появления события А
сходится по вероятности к вероятности
р
– появления данного события в отдельном
опыте, то есть
.
Доказательство
.
Итак, имеет место схема Бернулли,
.
Обозначим через
дискретную случайную величину – число
появлений событияА
в
-ом
испытании. Ясно, что каждая из случайных
величин может принимать лишь два
значения:1
(событие А
наступило) с вероятностью р
и 0
(событие А
не наступило) с вероятностью
,
то есть
|
|
|
|
|
Р |
р |
|
(
)
Нетрудно найти
Можно ли применить
к рассматриваемым величинам теорему
Чебышева? Можно, если случайные величины
попарно независимы и дисперсии их
равномерно ограничены. Оба условия
выполняются. Действительно, попарная
независимость величин
следует из того, что испытания независимы.
Далее 3
при
и, следовательно, дисперсии всех величин
ограничены, например числом
.
Кроме того, заметим, что каждая из
случайных величин
при появлении событияА
в соответствующем испытании принимает
значение, равное единице. Следовательно,
сумма
равна числу
- появлений событияА
в
испытаниях, а значит
,
то есть дробь
равна относительной частоте
появлений события
А
в
испытаниях.
Тогда, применяя теорему Чебышева к рассматриваемым величинам, получим:
что и требовалось доказать.
Замечание 1 : Теорема Бернулли является простейшим частным случаем теоремы Чебышева.
Замечание 2 : На практике часто неизвестные вероятности приходится приближённо определять из опыта, то для проверки согласия теоремы Бернулли с опытом было проведено большое число опытов. Так, например, французский естествоиспытатель XVIII века Бюффон бросил монету 4040 раз. Герб выпал при этом 2048 раз. Частота появления герба в опыте Бюффона приближённо равна 0,507. Английский статистик К.Пирсон бросал монету 12 000 раз и при этом наблюдал 6019 выпадений герба. Частота выпадения герба в этом опыте Пирсона равна 0,5016. В другой раз он бросил монету 24 000 раз, и герб при этом выпал 12 012 раз; частота выпадения герба при этом оказалась равной 0,5005. Как видим, во всех приведённых опытах частота лишь немного уклонилась от вероятности 0,5 – появления герба в результате одного бросания монеты.
Замечание
3
: Было бы
неправильным на основании теоремы
Бернулли сделать вывод, что с ростом
числа испытаний относительная частота
неуклонно стремится к вероятности р
;
другими словами, из
теоремы Бернулли не вытекает равенство
.
В теоремеречь
идёт лишь о вероятности
того, что при достаточно большом числе
испытаний относительная частота будет
как угодно мало отличаться от постоянной
вероятности появления события в каждом
испытании. Таким образом, сходимость
относительной частоты 
к вероятности р
отличается от сходимости в смысле
обычного анализа. Для того чтобы
подчеркнуть это различие, вводят
понятие «сходимости по вероятности»
.
Точнее, различие между указанными видами
сходимости состоит в следующем: если 
стремится
при
кр
как пределу в
смысле обычного анализа
,
то, начиная с некоторого
и для всех последующих значений
,
неуклонно выполняется неравенство
;если же
стремится
по вероятности
к р
при
,
то для отдельных значений
неравенство может и не выполняться.
Теоремы Пуассона и Маркова
Замечено, если условия опыта меняются , то свойство устойчивости относительной частоты появления события А сохраняется. Это обстоятельство доказано Пуассоном.
ТЕОРЕМА Пуассона : При неограниченном увеличении числа независимых испытаний, проводимых в переменных условиях, относительная частота появления события А сходится по вероятности к среднему арифметическому вероятностей появления данного события в каждом из опытов, то есть
.
Замечание 4 : Нетрудно убедиться, что теорема Пуассона является частным случаем теоремы Чебышева.
ТЕОРЕМА Маркова
:
Если последовательность случайных
величин
(как угодно зависимых) такова, что при
,
то,
выполняется
условие:
.
Замечание
5
: Очевидно,
если случайные величин
попарно независимы, то условие Маркова
принимает вид: при
.
Отсюда видно, что теорема Чебышева является частным случаем теоремы Маркова.
Центральная предельная теорема (Теорема Ляпунова)
Рассмотренные теоремы закона больших чисел касаются вопросов приближения некоторых случайных величин к определённым предельным значениям независимо от их закона распределения. В теории вероятностей, как уже отмечалось, существует другая группа теорем, касающихся предельных законов распределения суммы случайных величин. Общее название этой группы теорем – центральная предельная терема . Различные её формы различаются условиями, накладываемыми на сумму составляющих случайных величин. Впервые одна из форм центральной предельной теоремы была доказана выдающимся русским математиком А.М.Ляпуновым в 1900 году с использованием специально разработанного им метода характеристических функций.
ТЕОРЕМА Ляпунова
:
Закон распределения суммы независимых
случайных величин
приближается к нормальному закону
распределения при неограниченном
увеличении
(то есть, при
),
если выполняются следующие условия:
,
Следует отметить,
что центральная предельная теорема
справедлива не только для непрерывных,
но и для дискретных случайных величин.
Практическое значение теоремы Ляпунова
огромно. Опыт показывает, что закон
распределения суммы независимых
случайных величин, сравнимых по своему
рассеиванию, достаточно быстро
приближается к нормальному. Уже при
числе слагаемых порядка десяти закон
распределения суммы можно заменить на
нормальный (в частности, примером такой
суммы может быть среднее арифметическое
наблюдаемых значений случайных величин,
то есть 
).
Частным случаем
центральной предельной теоремы является
теорема Лапласа. В ней, как вы помните,
рассматривается случай, когда случайные
величины
дискретны, одинаково распределены и
принимают только два возможных значения:
0 и 1.
Далее, вероятность
того, что
заключено в интервале
можно вычислить по формуле
.
Используя функцию Лапласа, последнюю формулу можно записать в удобном для расчётов виде:
где
.
ПРИМЕР . Пусть производится измерение некоторой физической величины. Любое измерение даёт лишь приближённое значение измеряемой величины, так как на результат измерения оказывают влияние очень многие независимые случайные факторы (температура, колебания прибора, влажность и др.). Каждый из этих факторов порождает ничтожную «частную ошибку». Однако, поскольку число этих факторов очень велико, совокупное их действие порождает уже заметную «суммарную ошибку».
Рассматривая суммарную ошибку как сумму очень большого числа взаимно независимых частных ошибок, мы вправе заключить, что суммарная ошибка имеет распределение, близкое к нормальному. Опыт подтверждает справедливость такого заключения.
2 Доказательство, предложенное Я.Бернулли, было сложным; более простое доказательство было дано П.Чебышевым в 1846 году.
3 Известно, что произведение двух сомножителей, сумма которых есть величина постоянная, имеет наибольшее значение при равенстве сомножителей.
Предположим, что проводится n независимых испытаний. В каждом из этих испытаний вероятность наступления события А постоянна и равна р . Задача состоит в определении относительной частоты появлений события А . Данная задача решается с помощью теоремы Бернулли.
Теорема Бернулли. Если в каждом из n независимых испытаний событие A имеет постоянную вероятность p , то, как угодно близка к единице вероятность того, что отклонение относительной частоты m/n от вероятности p по абсолютной величине будет сколь угодно малым, если число испытаний достаточно велико, т. е. при соблюдении условий теоремы справедливо равенство:
Доказательство . Предположим, что
является дискретной случайной величиной, которая характеризует число появлений события А в каждом из испытаний. Данная величина может принимать только два значения: 1 (событие А наступило) с вероятностью р и 0 (событие А не наступило) с вероятностью q=1-p .
Случайные дискретные величины Хi являются попарно независимыми и дисперсии их ограниченны, следовательно, к данным величинам применима теорема Чебышева:
Математическое ожидание а каждой из величин Хi равно вероятности р наступления события, следовательно, справедливо следующее равенство:
Таким образом, необходимо доказать, что дробь
равна относительной частоте m/n появлений события А в n испытаниях.
Каждая из величин
при наступлении события А в соответствующем испытании принимает значение, равное единице. Следовательно, сумма
равна числу m появлений события А в n испытаниях:
С учётом данного равенства можно окончательно записать:
что и требовалось доказать.
Однако при использовании теоремы Бернулли необходимо учитывать то, что из неё не следует равенство
Главным утверждением теоремы является то, что при достаточно большом количестве испытаний относительная частота m/n будет сколь угодно мало отличаться от постоянной вероятности р наступления события в каждом испытании. Другими словами, теорема Бернулли утверждает, что при n› относительная частота стремится по вероятности к р . Поэтому теорема Бернулли может быть записана следующим образом:
При проведении статистических исследований, в ходе которых осуществляется сбор данных об исследуемом объекте или процессе, часто сталкиваются с проблемой ошибочности наблюдений. В основе ошибочности наблюдений может лежать как несовершенство методов и инструментов, используемых при проведении статистического исследования, так и заранее непредусмотренные факторы. В связи с этим возникла задача исключения подобных ошибок наблюдения.
Ошибки наблюдения делятся на систематические ошибки и случайные ошибки.
Систематическими ошибками наблюдения называются такие ошибки, которые вызваны несовершенством методов и инструментов, применяемых при проведении исследования. Теоретически все систематические ошибки наблюдения могут быть исключены.
Случайными ошибками наблюдения называются такие ошибки, которые возникают под воздействием целой совокупности случайных факторов. При этом каждый из этих факторов в отдельности вызывает частичную ошибку, а результатом совместного действия всех случайных факторов является суммарная случайная ошибка, которую уже подлежит оценке.
Допустим, что была проведена серия наблюдений некоторой случайной величины Х . В ходе наблюдений данной случайной величины возникли ошибки, сформированные воздействием множества независимых факторов
Тогда ошибка а , возникающая в ходе наблюдения случайной величины Х , может быть представлена с помощью выражения:
а=f(X1,X2,…,Xn),
где f – это закономерность образования ошибки.
В связи с тем, что ошибка наблюдений а – величина случайная, то для наиболее точной характеристики данной величины необходимо знать закон распределения её вероятностей. Данная задача решается с помощью теоремы А.М. Ляпунова, также известной под названием центральной предельной теоремы. В качестве одной из математических предпосылок эконометрического моделирования выступает следствие из теоремы Ляпунова.
Следствие теоремы Ляпунова. Если случайная величина Х является суммой очень большого числа попарно независимых случайных величин, влияние каждой из которых на всю сумму ничтожно мало, то случайная величина Х подчиняется закону распределения, который близок к нормальному закону распределения вероятностей случайной величины.
Если суммарную ошибку наблюдений рассматривать как сумму очень большого числа попарно независимых частных ошибок, следовательно, то можно сделать вывод, что суммарная ошибка подчиняется закону распределения, который близок к нормальному закону распределения вероятностей.
| |
