Пусть известны средние квадратические отклонения нескольких взаимно независимых случайных величин. Как найти среднее квадратическое отклонение суммы этих величин? Ответ на этот вопрос дает следующая теорема.
Теорема. Среднее квадратическое отклонение суммы конечного числа взаимно независимых случайных величин равно квадратному корню из суммы квадратов средних квадратических отклонений этих величин".
Доказательство. Обозначим через X сумму рассматриваемых взаимно независимых величин:
Дисперсия суммы нескольких взаимно независимых случайных величин равна сумме дисперсий слагаемых (см. § 5, следствие 1), поэтому
или окончательно
Одинаково распределенные взаимно независимые случайные величины
Уже известно, что по закону распределения можно найти числовые характеристики случайной величины. Отсюда следует, что если несколько случайных величин имеют одинаковые распределения, то их числовые характеристики одинаковы.
Рассмотрим п взаимно независимых случайных величин X v X v ..., X fi , которые имеют одинаковые распределения, а следовательно, и одинаковые характеристики (математическое ожидание, дисперсию и др.). Наибольший интерес представляет изучение числовых характеристик среднего арифметического этих величин, чем мы и займемся в настоящем параграфе.
Обозначим среднее арифметическое рассматриваемых случайных величин через X :
Следующие ниже три положения устанавливают связь между числовыми характеристиками среднего арифметического X и соответствующими характеристиками каждой отдельной величины.
1. Математическое ожидание среднего арифметического одина ково распределенных взаимно независимых случайных величин равно математическому ожиданию а каждой из величин:
Доказательство. Пользуясь свойствами математического ожидания (постоянный множитель можно вынести за знак математического ожидания; математическое ожидание суммы равно сумме математических ожиданий слагаемых), имеем
Приняв во внимание, что математическое ожидание каждой из величин по условию равно а , получим
2. Дисперсия среднего арифметического п одинаково распределенных взаимно независимых случайных величин в п раз меньше дисперсии D каждой из величин :
Доказательство. Пользуясь свойствами дисперсии (постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат; дисперсия суммы независимых величин равна сумме дисперсий слагаемых), имеем
§ 9. Одинаково распределенные взаимно независимые случайные величины 97
Приняв во внимание, что дисперсия каждой из величин по условию равна Д получим
3. Среднее квадратическое отклонение среднего арифметического п одинаково распределенных взаимно независимых случайных
величин в 4п раз меньше среднего квадратического отклонения а каждой из величин:
Д о к а з а т е л ь с т в о. Так как D(X ) = D/n, то среднее квадратическое отклонение X равно
Общий вывод из формул (*) и (**): вспоминая, что дисперсия и среднее квадратическое отклонение служат мерами рассеяния случайной величины, заключаем, что среднее арифметическое достаточно большого числа взаимно независимых случайных величин имеет
значительно меньшее рассеяние, чем каждая отдельная величина.
Поясним на примере значение этого вывода для практики.
Пример. Обычно для измерения некоторой физической величины производят несколько измерений, а затем находят среднее арифметическое полученных чисел, которое принимают за приближенное значение измеряемой величины. Предполагая, что измерения производятся в одних и тех же условиях, доказать:
- а) среднее арифметическое дает результат более надежный, чем отдельные измерения;
- б) с увеличением числа измерений надежность этого результата возрастает.
Решение, а) Известно, что отдельные измерения дают неодинаковые значения измеряемой величины. Результат каждого измерения зависит от многих случайных причин (изменение температуры, колебания прибора и т.п.), которые нс могут быть заранее полностью учтены.
Поэтому мы вправе рассматривать возможные результаты п отдельных измерений в качестве случайных величин X v Х 2 , ..., Х п (индекс указывает номер измерения). Эти величины имеют одинаковое распределение вероятностей (измерения производятся но одной и той же методике и теми же приборами), а следовательно, и одинаковые числовые характеристики; кроме того, они взаимно независимы (результат каждого отдельного измерения не зависит от остальных измерений).
Мы уже знаем, что среднее арифметическое таких величин имеет меньшее рассеяние, чем каждая отдельная величина. Иначе говоря, среднее арифметическое оказывается более близким к истинному значению измеряемой величины, чем результат отдельного измерения. Это и означает, что среднее арифметическое нескольких измерений дает более падежный результат, чем отдельное измерение.
б) Нам уже известно, что при возрастании числа отдельных случайных величин рассеяние среднего арифметического убывает. Это значит, что с увеличением числа измерений среднее арифметическое нескольких измерений все менее отличается от истинного значения измеряемой величины. Таким образом, увеличивая число измерений, получают более надежный результат.
Например, если среднее квадратическое отклонение отдельного измерения а = 6 м, а всего произведено п = 36 измерений, то среднее квадратическое отклонение среднего арифметического этих измерений равно лишь 1 м. Действительно,
Мы видим, что среднее арифметическое нескольких измерений, как и следовало ожидать, оказалось более близким к истинному значению измеряемой величины, чем результат отдельного измерения.
Говорят, что они являются независимыми (и) одинаково распределёнными , если каждая из них имеет такое же распределение , что и другие, и все величины являются независимыми в совокупности. Фраза «независимые одинаково распределённые» часто сокращается аббревиатурой i.i.d. (от англ. independent and identically-distributed ), иногда - «н.о.р».
Применения
Предположение о том, что случайные величины являются независимыми и одинаково распределёнными широко используется в теории вероятностей и статистике, так как позволяет сильно упростить теоретические выкладки и доказывать интересные результаты.
Одна из ключевых теорем теории вероятностей - центральная предельная теорема - утверждает, что если - последовательность независимых одинаково распределённых случайных величин, то, при стремлении к бесконечности, распределение их среднего - случайной величины сходится к нормальному распределению .
В статистике обычно предполагается, что статистическая выборка является последовательностью i.i.d. реализаций некоторой случайной величины (такая выборка называется простой ).
Wikimedia Foundation . 2010 .
- I. e.
- Intel 8048
Смотреть что такое "Независимые одинаково распределённые случайные величины" в других словарях:
Задача о разорении игрока - Задача о разорении игрока задача из области теории вероятностей. Подробно рассматривалась российским математиком А. Н. Ширяевым в монографии «Вероятность» … Википедия
Устойчивое распределение - в теории вероятностей это такое распределение, которое может быть получено как предел по распределению сумм независимых случайных величин. Содержание 1 Определение 2 Замечания … Википедия
Формула Леви - Хинчина для устойчивого распределения - Устойчивое распределение в теории вероятностей это такое распределение, которое может быть получено как предел по распределению сумм независимых случайных величин. Содержание 1 Определение 2 Замечания 3 Свойства устойчивых распределений … Википедия
Бесконечно делимое распределение - в теории вероятностей это распределение случайной величины такой, что она может быть представлена в виде произвольного количества независимых, одинаково распределённых слагаемых. Содержание 1 Определение … Википедия
Модель Крамера-Лундберга - Модель Крамера Лундберга математическая модель, позволяющая оценивать риски разорения страховой компании. В рамках данной модели предполагается, что страховые взносы поступают равномерно, со скоростью с условных денежных единиц за единицу… … Википедия
Формула Леви - Хинчина для бесконечно делимого распределения - Бесконечно делимое распределение в теории вероятностей это распределение случайной величины такой, что она может быть представлена в виде произвольного количества независимых, одинаково распределённых слагаемых. Содержание 1 Определение 2… … Википедия
Модель Крамера - Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей. Модель Крамера Лундберга математическая модель, позволяющая оценивать риски разорения страховой компании … Википедия
Приёмочный статистический контроль - совокупность статистических методов контроля массовой продукции с целью выявления её соответствия заданным требованиям. П. с. к. действенное средство обеспечения доброкачественности массовой продукции. П. с. к. проводится на… … Большая советская энциклопедия
Мультиномиальное распределение - Мультиномиальное (полиномиальное) распределение в теории вероятностей это обобщение биномиального распределения на случай независимых испытаний случайного эксперимента с несколькими возможными исходами. Определение Пусть независимые… … Википедия
Полиномиальное распределение - Мультиномиальное (полиномиальное) распределение в теории вероятностей это обобщение биномиального распределения на случай независимых испытаний случайного эксперимента с несколькими возможными исходами. Определение Пусть независимые одинаково… … Википедия
Две случайные величины $X$ и $Y$ называются независимыми, если закон распределения одной случайной величины не изменяется от того, какие возможные значения приняла другая случайная величина. То есть, для любых $x$ и $y$ события $X=x$ и $Y=y$ являются независимыми. Поскольку события $X=x$ и $Y=y$ независимые, то по теореме произведения вероятностей независимых событий $P\left(\left(X=x\right)\left(Y=y\right)\right)=P\left(X=x\right)P\left(Y=y\right)$.
Пример 1 . Пусть случайная величина $X$ выражает денежный выигрыш по билетам одной лотереи «Русское лото», а случайная величина $Y$ выражает денежный выигрыш по билетам другой лотереи «Золотой ключ». Очевидно, что случайные величины $X,\ Y$ будут независимыми, так как выигрыш по билетам одной лотереи не зависит от закона распределения выигрышей по билетам другой лотереи. В том случае, когда случайные величины $X,\ Y$ выражали бы выигрыш по одной и той же лотереи, то, очевидно, данные случайные величины были бы зависимыми.
Пример 2 . Двое рабочих трудятся в разных цехах и изготавливают различные изделия, несвязанные между собой технологиями изготовления и используемым сырьем. Закон распределения числа бракованных изделий, изготовленных первым рабочим за смену, имеет следующий вид:
$\begin{array}{|c|c|}
\hline
Число \ бракованных \ изделий \ x & 0 & 1 \\
\hline
Вероятность & 0,8 & 0,2 \\
\hline
\end{array}$
Число бракованных изделий, изготовленных вторым рабочим за смену, подчиняется следующими закону распределения.
$\begin{array}{|c|c|}
\hline
Число \ бракованных \ изделий \ y & 0 & 1 \\
\hline
Вероятность & 0,7 & 0,3 \\
\hline
\end{array}$
Найдем закон распределения числа бракованных изделий, изготовленных двумя рабочими за смену.
Пусть случайная величина $X$ - число бракованных изделий, изготовленных первым рабочим за смену, а $Y$ - число бракованных изделий, изготовленных вторым рабочим за смену. По условию, случайные величины $X,\ Y$ независимы.
Число бракованных изделий, изготовленных двумя рабочими за смену, есть случайная величина $X+Y$. Ее возможные значения равны $0,\ 1$ и $2$. Найдем вероятности, с которыми случайная величина $X+Y$ принимает свои значения.
$P\left(X+Y=0\right)=P\left(X=0,\ Y=0\right)=P\left(X=0\right)P\left(Y=0\right)=0,8\cdot 0,7=0,56.$
$P\left(X+Y=1\right)=P\left(X=0,\ Y=1\ или\ X=1,\ Y=0\right)=P\left(X=0\right)P\left(Y=1\right)+P\left(X=1\right)P\left(Y=0\right)=0,8\cdot 0,3+0,2\cdot 0,7=0,38.$
$P\left(X+Y=2\right)=P\left(X=1,\ Y=1\right)=P\left(X=1\right)P\left(Y=1\right)=0,2\cdot 0,3=0,06.$
Тогда закон распределения числа бракованных изделий, изготовленных двумя рабочими за смену:
$\begin{array}{|c|c|}
\hline
Число \ бракованных \ изделий & 0 & 1 & 2 \\
\hline
Вероятность & 0,56 & 0,38 & 0,06 \\
\hline
\end{array}$
В предыдущем примере мы выполняли операцию над случайными величинами $X,\ Y$, а именно находили их сумму $X+Y$. Дадим теперь более строгое определение операций (сложение, разность, умножение) над случайными величинами и приведем примеры решений.
Определение 1 . Произведением $kX$ случайной величины $X$ на постоянную величину $k$ называется случайная величина, которая принимает значения $kx_i$ с теми же вероятностями $p_i$ $\left(i=1,\ 2,\ \dots ,\ n\right)$.
Определение 2 . Суммой (разностью или произведением) случайных величин $X$ и $Y$ называется случайная величина, которая принимает все возможные значения вида $x_i+y_j$ ($x_i-y_i$ или $x_i\cdot y_i$), где $i=1,\ 2,\dots ,\ n$, с вероятностями $p_{ij}$ того, что случайная величина $X$ примет значение $x_i$, а $Y$ значение $y_j$:
$$p_{ij}=P\left[\left(X=x_i\right)\left(Y=y_j\right)\right].$$
Так как случайные величины $X,\ Y$ независимые, то по теореме умножения вероятностей для независимых событий: $p_{ij}=P\left(X=x_i\right)\cdot P\left(Y=y_j\right)=p_i\cdot p_j$.
Пример 3 . Независимые случайные величины $X,\ Y$ заданы своими законами распределения вероятностей.
$\begin{array}{|c|c|}
\hline
x_i & -8 & 2 & 3 \\
\hline
p_i & 0,4 & 0,1 & 0,5 \\
\hline
\end{array}$
$\begin{array}{|c|c|}
\hline
y_i & 2 & 8 \\
\hline
p_i & 0,3 & 0,7 \\
\hline
\end{array}$
Составим закон распределения случайной величины $Z=2X+Y$. Суммой случайных величин $X$ и $Y$, то есть $X+Y$, называется случайная величина, которая принимает все возможные значения вида $x_i+y_j$, где $i=1,\ 2,\dots ,\ n$, с вероятностями $p_{ij}$ того, что случайная величина $X$ примет значение $x_i$, а $Y$ значение $y_j$: $p_{ij}=P\left[\left(X=x_i\right)\left(Y=y_j\right)\right]$. Так как случайные величины $X,\ Y$ независимые, то по теореме умножения вероятностей для независимых событий: $p_{ij}=P\left(X=x_i\right)\cdot P\left(Y=y_j\right)=p_i\cdot p_j$.
Итак, имеет законы распределения случайных величины $2X$ и $Y$ соответственно.
$\begin{array}{|c|c|}
\hline
x_i & -16 & 4 & 6 \\
\hline
p_i & 0,4 & 0,1 & 0,5 \\
\hline
\end{array}$
$\begin{array}{|c|c|}
\hline
y_i & 2 & 8 \\
\hline
p_i & 0,3 & 0,7 \\
\hline
\end{array}$
Для удобства нахождения всех значений суммы $Z=2X+Y$ и их вероятностей составим вспомогательную таблицу, в каждой клетке которой поместим в левом углу значения суммы $Z=2X+Y$, а в правом углу - вероятности этих значений, полученные в результате перемножения вероятностей соответствующих значений случайных величин $2X$ и $Y$.
В результате получим распределение $Z=2X+Y$:
$\begin{array}{|c|c|}
\hline
z_i & -14 & -8 & 6 & 12 & 10 & 16 \\
\hline
p_i & 0,12 & 0,28 & 0,03 & 0,07 & 0,15 & 0,35 \\
\hline
\end{array}$
Уже известно, что по закону распределения можно найти числовые характеристики случайной величины. Отсюда следует, что если несколько случайных величин имеют одинаковые распределения, то их числовые характеристики одинаковы.
Рассмотрим n взаимно независимых случайных величин X 1 , X 2 , …,X n , которые имеют одинаковые распределения, а следовательно, и одинаковые характеристики (математическое ожидание, дисперсию и др.). Наибольший интерес представляет изучение числовых характеристик среднего арифметического этих величин.
Обозначим среднее арифметическое рассматриваемых случайных величин через :
.
Следующие ниже три положения устанавливают связь между числовыми характеристиками среднего арифметического и соответствующими характеристиками каждой отдельной величины.
1. Математическое ожидание среднего арифметического одинаково распределенных взаимно независимых случайных величин равно математическому ожиданию а каждой из величин:
Доказательство. Пользуясь свойствами математического ожидания (постоянный множитель можно вынести за знак математического ожидания; математическое ожидание суммы равно сумме математических ожиданий слагаемых), имеем
Приняв во внимание, что математическое ожидание каждой из величин по условию равно а , получим
.
2. Дисперсия среднего арифметического n одинаково распределенных взаимно независимых случайных величин в n раз меньше дисперсии D каждой из величин:
Доказательство . Пользуясь свойствами дисперсии (постоянный множитель можно вынести за знак дисперсии, возведя его в квадрат; дисперсия суммы независимых величин равна сумме дисперсий слагаемых), имеем
Приняв во внимание, что дисперсия каждой из величин по условию равна D , получим
.
3. Среднее квадратическое отклонение среднего арифметического n одинаково распределенных взаимно независимых случайных величин в раз меньше среднего квадратического отклонения а каждой из величин:
Доказательство . Так как , то среднее квадратическое отклонение равно
.
Общий вывод из формул (7.3) и (7.4): вспоминая, что дисперсия и среднее квадратическое отклонение служат мерами рассеяния случайной величины, заключаем, что среднее арифметическое достаточно большого числа взаимно независимых случайных величин имеет значительно меньшее рассеяние, чем каждая отдельная величина.
Поясним на примере значение этого вывода для практики.
Пример. Обычно для измерения некоторой физической величины производят несколько измерений, а затем находят среднее арифметическое полученных чисел, которое принимают за приближенное значение измеряемой величины. Предполагая, что измерения производятся в одних и тех же условиях, доказать:
а) среднее арифметическое дает результат более надежный, чем отдельные измерения;
б) с увеличением числа измерений надежность этого результата возрастает.
Решение . а) Известно, что отдельные измерения дают неодинаковые значения измеряемой величины. Результат каждого измерения зависит от многих случайных причин (изменение температуры, колебания прибора и т.п.), которые не могут быть заранее полностью учтены.
Поэтому мы вправе рассматривать возможные результаты n отдельных измерений в качестве случайных величин X 1 , X 2 , …,X n (индекс указывает номер измерения). Эти величины имеют одинаковое распределение вероятностей (измерения производятся по одной и той же методике и теми же приборами), а следовательно, и одинаковые числовые характеристики; кроме того, они взаимно независимы (результат каждого отдельного измерения не зависит от остальных измерений).
Как было показано, среднее арифметическое таких величин имеет меньшее рассеяние, чем каждая отдельная величина. Иначе говоря, среднее арифметическое оказывается более близким к истинному значению измеряемой величины, чем результат отдельного измерения. Это и означает, что среднее арифметическое нескольких измерений дает более надежный результат, чем отдельное измерение.
б) Известно, что при возрастании числа отдельных случайных величин рассеяние среднего арифметического убывает. Это значит, что с увеличением числа измерений среднее арифметическое нескольких измерений все менее отличается от истинного значения измеряемой величины. Таким образом, увеличивая число измерений, получают более надежный результат.
Например, если среднее квадратическое отклонение отдельного измерения s = 6 м, а всего произведено n = 36 измерений, то среднее квадратическое отклонение среднего арифметического этих измерений равно лишь 1 м. Действительно,
.
Очевидно, что среднее арифметическое нескольких измерений, как и следовало ожидать, оказалось более близким к истинному значению измеряемой величины, чем результат отдельного измерения.
Выше мы рассмотрели вопрос о нахождении ФПВ для суммы статистически независимых случайных величин. В этом разделе мы снова рассмотрим сумму статистически независимых величин, но наш подход будет иным и не зависит от частных ФПВ случайных величин в сумме. В частности, предположим, что слагаемые суммы – статистически независимые и одинаково распределенные случайные величины, каждая из которых имеет ограниченные средние значения и ограниченную дисперсию.
Пусть определяется как нормированная сумма, называемая выборочным средним
Сначала определим верхние границы вероятности хвостов , а затем докажем очень важную теорему, определяющую ФПВ в пределе, когда стремится к бесконечности.
Случайная величина , определенная (2.1.187), часто встречается при оценивании среднего случайной величины по ряду наблюдений , . Другими словами, могут рассматриваться как независимые выборочные реализации из распределения , а является оценкой среднего .
Математическое ожидание равно
.
Дисперсия равна
Если рассматривать как оценку среднего , видим, что его математическое ожиданий равно , а его дисперсия уменьшается с ростом объема выборки . Если неограниченно возрастает, дисперсия стремится к нулю. Оценка параметра (в данном случае ), которая удовлетворяет условиям, что её математическое ожидание стремится к истинному значению параметра, а дисперсия строго к нулю, называется состоятельной оценкой.
Хвостовую вероятность случайной величины можно оценить сверху, используй границы, данные в разд. 2.1.5. Неравенство Чебышева применительно к имеет вид
,
. (2.1.188)
В пределе, когда , из (2.1.188) следует
. (2.1.189)
Следовательно, вероятность того, что оценка среднего отличается от истинного значения больше, чем на , стремится к нулю, если неограниченно растет. Это положение является формой закона больших чисел. Так как верхняя граница сходится к нулю относительно медленно, т.е. обратно пропорционально . выражение (2.1.188) называют слабым законом больших чисел .
Если к случайной величине применить границу Чернова, содержащую экспоненциальную зависимость от , тогда получим плотную верхнюю границу для вероятности одного хвоста. Следуя процедуре, изложенной в разд. 2.1.5, найдем, что вероятность хвоста для определяется выражением
где и . Но , статистически независимы и одинаковы распределены. Следовательно,
где - одна из величин . Параметр , который дает наиболее точную верхнюю границ получается дифференцированием (2.1.191) и приравниванием производной нулю. Это ведет к уравнению
(2.1.192)
Обозначим решение (2.1.192) через . Тогда граница для вероятности верхнего хвоста
,
. (2.1.193)
Аналогично мы найдем, что вероятность нижнего хвоста имеет границу
,
. (2.1.194)
Пример 2.1.7. Пусть , - ряд статистически независимых случайных величин, определенных так:
Мы хотим определить плотную верхнюю границу вероятности того, что сумма от больше, чем нуль. Так как , то сумма будет иметь отрицательное значение для математического ожидания (среднего), следовательно, будем искать вероятность верхнего хвоста. При в (2.1.193) имеем
, (2.1.195)
где - решение уравнения
Следовательно,
. (2.1.197)
Следовательно, для границы в (2.1.195) получаем
Мы видим, что верхняя граница уменьшается экспоненциально с , как ожидалось. В противоположность этому согласно границе Чебышева вероятность хвоста уменьшается обратно пропорционально .
Центральная предельная теорема. В этом разделе рассмотрим чрезвычайно полезную теорему, касающуюся ИФР суммы случайных величин в пределе, когда число слагаемых суммы неограниченно возрастает. Имеется несколько версий этой теоремы. Докажем теорему для случая, когда случайные суммируемые величины , , статистически независимы и одинаково распределены, каждая из них имеет ограниченное среднее и ограниченную дисперсию .
Для удобства определим нормированную случайную величину
Таким образом, имеет нулевое среднее и единичную дисперсию.
Теперь пусть
Так как каждое слагаемое суммы имеет нулевое среднее и единичную дисперсию нормированная (множителем ) величина имеет нулевое среднее и единичную дисперсию. Мы хотим определить ИФР для в пределе, когда .
Характеристическая функция равна
, (2.1.200).
,
или, что эквивалентно,
. (2.1.206)
Но это как раз характеристическая функция гауссовской случайной величины нулевым средним и единичной дисперсией. Таким образом, мы имеем важный результат; ФПВ суммы статистически независимых и одинаково распределенных случайных величин с ограниченным средним и дисперсией приближается к гауссовской при . Это результат известен как центральная предельная теорема .
Хотя мы предположили, что случайные величины в сумме распределены одинаково это предположение можно ослабить при условии, что определённые дополнительные ограничения все же накладываются на свойства случайных суммируемых величин. Имеется одна разновидность теоремы, например, когда отказываются от предположения об одинаковом распределении случайных величин в пользу условия, накладываемого на третий абсолютный момент случайных величин суммы. Для обсуждения этой и других версий центральной предельной теоремы читатель отсылается к книге Крамера (1946).
