Поиск

Полнотекстовый поиск:
Где искать:
везде
только в названии
только в тексте
Выводить:
описание
слова в тексте
только заголовок

Рекомендуем ознакомиться

'Реферат'
Проведенная в 2008 г. вторая волна мониторинга зафиксировала некоторую – не всегда очевидную, но уже вполне существенную – динамику в изменениях потре...полностью>>
'Документ'
О внесении изменений в решение муниципального Собрания внутригородского муниципального образования Старое Крюково в городе Москве от 20 января 2009 г....полностью>>
'Конкурс'
6.1. Конкурс является стимулирующим мероприятием. Товаром, на повышение потребительской узнаваемости и стимулирование спроса которого направлен Конкур...полностью>>
'Документ'
Саакян Л.Н. Intermediate Russian Language Course, Part 1. Учебное пособие по русскому языку для иностранных слушателей Европейского центра изучения ин...полностью>>

Главная > Документ

Сохрани ссылку в одной из сетей:
Информация о документе
Дата добавления:
Размер:
Доступные форматы для скачивания:

1

Смотреть полностью

Министерство образования Российской Федерации

Южно-Уральский государственный университет

Кафедра “Естественные науки”

519.21 (07)

Б484

В.В. Родионов

ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

И МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ

Учебное пособие

Челябинск

Издательство ЮУрГУ

2003

УДК 519.2(07)

Родионов В.В. Элементы теории вероятностей и математической статистики: Учебное пособие. — Челябинск: Изд-во ЮУрГУ, 2003. — 80 с.

В учебном пособии излагаются основные разделы теории вероятностей и математической статистики. Большое внимание уделяется функциональным преобразованиям случайных величин и векторов, а также комплексным случайным векторам. Рассмотрены байессовский и не байессовский подходы к задаче оценки параметров и проверки статистических гипотез. Пособие может быть рекомендовано студентам технических специальностей вузов.

Ил. 19, табл. 4, список лит. — 5 назв.

Одобрено учебно-методическим советом филиала ЮУрГУ в г. Кыштыме.

Рецензенты: А.А. Соловьев, В.М. Рукавишников.

 Издательство ЮУрГУ, 2003.

Оглавление

Оглавление 3

1. Основные понятия теории вероятностей 5

1. Основные понятия теории вероятностей 5

1.1. События. Операции над событиями 5

1.2. Вероятность. Аксиомы вероятности 6

1.3. Условная вероятность 7

1.4. Независимость событий 8

1.5. Формула полной вероятности 9

1.6. Формула Байеса 12

2. Случайные величины 16

2. Случайные величины 16

2.1. Функция распределения случайной величины и ее свойства. 16

2.2. Дискретные случайные величины. 17

2.3. Непрерывные случайные величины 19

2.3.1. Плотность распределения вероятностей и ее свойства. 19

2.3.2. Обобщение понятия плотности распределения вероятности 22

2.4. Числовые характеристики случайной величины 24

2.5. Характеристическая функция случайной величины 27

2.6. Функциональные преобразования случайных величин 28

3. Случайные векторы 34

3. Случайные векторы 34

3.1. Векторы и матрицы 34

3.2. Случайные векторы 36

3.3. Функция распределения случайного вектора и ее свойства 36

3.4. Плотность распределения случайного вектора и ее свойства 37

3.5. Условная плотность распределения случайного вектора. Независимость случайных величин. 37

3.6. Числовые характеристики случайного вектора 40

3.7. Корреляционная и ковариационная матрицы случайного вектора. Коэффициент корреляции 41

3.8. Характеристическая функция 44

3.9. Гауссовский случайный вектор 44

3.10. Функциональные преобразования случайного вектора 47

3.10.1. Закон распределения суммы двух случайных величин 48

3.10.2. Закон распределения разности двух случайных величин 49

3.10.3. Закон распределения произведения двух случайных величин 50

3.10.4. Закон распределения отношения двух случайных величин 51

3.10.5. Закон распределения модуля и фазы гауссовского случайного вектора 51

3.11. Комплексные случайные величины и векторы 52

4. Математическая статистика 58

4. Математическая статистика 58

4.1. Методы статистического описания результатов наблюдений 58

4.2. Оценка параметров распределения по результатам наблюдения случайной величины 60

4.2.1. Квадратичная функция потерь 62

4.2.2. Простая функция потерь 63

4.2.3. Оценки максимального правдоподобия 65

4.2.4. Доверительные интервалы и доверительная вероятность 68

4.3. Проверка статистических гипотез 69

4.3.1. Критерий Неймана-Пирсона 71

Библиографический список 75

Библиографический список 75

  1. Основные понятия теории вероятностей

    1. События. Операции над событиями

При проведении любого эксперимента можно заранее определить возможные исходы этого эксперимента, которые составляют множество возможных исходов, обозначаемое .

Например, при бросании монеты возможные исходы эксперимента — это выпадение «орла» (О) или «решки» (Р). Другие возможные исходы, как, например пропадание монеты или установка монеты на ребро, в этой модели не учитываются. При бросании шестигранной игральной кости возможные исходы эксперимента — это выпадение одной из граней 1, 2, 3, 4, 5, 6. Также установка кости на одно из ребер или ее пропадание не учитываются.

Сами возможные исходы эксперимента называются элементарными событиями (обозначаются ), а множество возможных исходов — множеством элементарных событий ().

При проведении эксперимента во многих случаях интересуются не только элементарными исходами, а некоторой совокупностью элементарных исходов, удовлетворяющих какому-либо условию. Например, при бросании игральной кости может представлять интерес событие, заключающееся в выпадении четного числа очков, или событие, заключающееся в том, что число выпавших очков меньше 5 и т.д.

Такие события состоят из некоторого множества элементарных событий и в этом смысле являются подмножествами множества элементарных событий. То есть . Причем . С этой точки зрения само множество элементарных событий также является событием и называется достоверным событием.

Определение. Любое подмножество множества элементарных событий называется событием.

Пустое множество (множество, не содержащее элементов) также является событием, которое называется невозможным событием и обозначается .

Таким образом, если А событие, то .

Так как любое событие это некоторое множество, то все теоретико-множественные операции допустимы над событиями, которые в теории вероятностей имеют следующий смысл.

Таблица 1

В теории множеств

В теории вероятностей

— объединение множеств

— сумма событий

— пересечение множеств

— произведение событий

— дополнение А до универсального множества

Событие, противоположное А.

Поясним, что означает термин «событие А произошло». Это означает, что исход эксперимента принадлежит множеству А, то есть при проведении эксперимента произошло хотя бы одно элементарное событие, принадлежащее множеству А.

Теперь дадим теоретико-вероятностную трактовку приведенным выше операциям над событиями.

. Событие С происходит тогда и только тогда, когда произойдет событие А или событие B или эти события произойдут совместно.

. Событие С произойдет тогда и только тогда, когда совместно произойдут события А и B.

происходит тогда и только тогда, когда не происходит событие А.

 — происходит всегда.

- не происходит никогда.

Определение. События А и B называются несовместными, если .

Очевидно, что .

Определение. Совокупность событий составляет полную группу событий, если они попарно несовместны и сумма этих событий есть достоверное событие.

То есть, и .

Полную группу событий графически можно изобразить так (рис. 1):

Рис. 1

Операции над событиями обладают следующими свойствами.

  1. Переместительный закон:

.

  1. Сочетательный закон:

.

  1. Распределительный закон:

.

Очевидны также следующие свойства:

.

    1. Вероятность. Аксиомы вероятности

Каждому событию А может быть сопоставлено некоторое число, которое называется вероятностью этого события. Таким образом, вероятность события А (обозначается ) есть некоторая функция, областью определения которой являются события, а областью значений числовая ось. Такая функция называется функцией множеств.

Для того чтобы некоторая функция множеств являлась вероятностью, она должна удовлетворять следующей системе аксиом, предложенной советским ученым Колмогоровым А.Н. [1].

  1. Для достоверного события: , для любого события А: .

  2. Для любых двух несовместных событий А и B (): .

  3. Если имеется счетное множество несовместных событий при , то

.

Докажем, что вероятность невозможного события равна нулю.

Из свойств событий вытекает, что . Тогда применяя вторую аксиому вероятности, получим: . Откуда следует: .

Найдем вероятность суммы двух произвольных событий.

Чтобы применить вторую аксиому вероятности нужно сумму двух произвольных событий представить в виде суммы несовместных событий. Исходя из теоретико-вероятностной трактовки суммы событий, следует, что событие С=А+B произойдет тогда и только тогда, когда произойдет только событие А и не произойдет событие B, или произойдет только событие B и не произойдет А, или совместно произойдут события А и B: .

Покажем справедливость этого равенства и что эти события несовместны.

Так как А=А+А, то, прибавив в правой части равенства событие , получим:

.

Несовместность: и т.д.

Таким образом, в соответствии со второй аксиомой вероятности: .

Заметим, что . Откуда

, . То есть:

. Откуда получаем:

.

Нетрудно установить связь между вероятностями противоположных событий: . Или .

    1. Условная вероятность

Рассмотрим следующую задачу. В урне имеется 5 белых и 7 черных шаров. Очевидно, вероятность вытянуть белый шар из урны в этом эксперименте равна 5/12.

Рассмотрим другой эксперимент с этой же урной. Известно, что некто уже вытащил белый шар из этой урны. Какова вероятность вынуть белый шар из урны в этом эксперименте? Очевидно 4/11. Эти эксперименты чем - то отличаются? Да, перед проведением второго эксперимента произошло событие: из урны удалили белый шар. Тем самым вероятности событий во втором эксперименте изменились.

Такие измененные вероятности называются условными вероятностями событий при условии, что некоторое событие произошло.

Если до наступления события B с вероятностным экспериментом связывалось множество элементарных событий , то после того, как произошло событие B, вероятностный эксперимент изменился, и достоверным событием теперь стало не все множество , а событие B. Все возможные события в этом новом эксперименте теперь являются подмножествами этого множества B.

Таким образом, вероятность любого события А в этом новом эксперименте определяется соотношением: .

Событие в числителе – это множество всех исходов события А, которые также принадлежат и В (так как событие В произошло). Деление на вероятность события В - для нормировки, так как событие В стало достоверным ().

Определение. Условной вероятностью события А при условии, что событие B произошло, называется следующее соотношение: ().

Из этого определения вытекает формула умножения вероятностей:


.

Связь условных вероятностей между собой:


— формула Байеса.

Очень важными понятиями в теории вероятностей являются понятия статистической зависимости и статистической независимости событий.

    1. Независимость событий

Определение. События А и В называются статистически независимыми, если и статистически зависимыми в противном случае.

Не надо путать статистическую зависимость с функциональной (детерминированной, не случайной) зависимостью. Если события связаны функциональной зависимостью, то они и статистически зависимы. С другой стороны существование статистической зависимости не гарантирует наличие функциональной зависимости. Например, между ростом и весом человека существует статистическая зависимость, но нет функциональной зависимости. С другой стороны, между напряжением и током через резистор существует функциональная зависимость и, следовательно, статистическая тоже.

Очевидно, что если события А и В независимы, то и .

Докажем последнее равенство.

Так как , то .

Откуда .

Для совокупности событий различают попарную независимость событий и независимость событий в совокупности.

Определение Пусть — некоторая совокупность событий. События этой совокупности называются попарно независимыми, если . События называются независимыми в совокупности, если .

События могут быть попарно независимыми, но зависимыми в совокупности и наоборот.

Пример [2]

Одним из методов проверки достоверности передачи двоичного кода по линии связи является, так называемая, проверка на четность (нечетность). Пусть передаются два информационных бита и один контрольный так, что по модулю 2 (перенос в старший разряд теряется). Биты независимы и с равной вероятностью принимают значения 0 и 1. Очевидно, что бит функционально зависит от , следовательно, зависит и статистически. То есть события должны быть зависимы в совокупности.

По условию задачи и .

Найдем вероятности событий .

Рассмотрим таблицу возможных исходов эксперимента.

Таблица 2

x1

x2

x3

0

0

1

0

1

0

1

0

0

1

1

1

По условию задачи все исходы эксперимента равновозможные, то есть имеют вероятность 1/4.

Очевидно (Бит четности равен нулю тогда и только тогда, когда только один из информационных бит равен 1).

.

, .

То есть события попарно независимы.

С другой стороны , так как это событие невозможное (в таблице исходов эксперимента нет строчки, содержащей все нули).

Таким образом, эти события зависимы в совокупности.

Покажем, что могут быть события, которые являются независимыми в совокупности, но попарно зависимыми.

Пусть имеется множество равновозможных пар чисел . Рассмотрим события:

, , .

Заметим, что эти события независимы в совокупности, так как

.

С другой стороны эти события попарно зависимы, так как

. .

Контрольный вопрос: являются ли независимыми несовместные события?

При практическом вычислении вероятностей событий обычно применяется вторая аксиома вероятности. Для этого надо разложить искомое событие на сумму несовместных событий, вероятности которых легко рассчитываются, и просуммировать соответствующие вероятности.

В этом помогает рассматриваемая ниже формула полной вероятности.

    1. Формула полной вероятности

Формула полной вероятности. Пусть полная группа событий. В — событие, вероятность которого необходимо найти. Тогда, .

Доказательство. Так как - полная группа событий, то справедливы следующие соотношения: , .

Заметим, что события попарно несовместны, поэтому к сумме событий может быть применена вторая аксиома вероятности: .

По правилу вычисления вероятности произведения событий: . Откуда получаем: .

Рассмотрим примеры задач, в которых применяется формула полной вероятности.

Формулировки задач взяты из [3].

Пример 1

В продажу поступают телевизоры трех заводов. Продукция первого завода содержит 20% телевизоров со скрытым дефектом, второго — 10% и третьего — 5%. Какова вероятность приобрести исправный телевизор, если в магазин поступило 30% телевизоров с первого завода, 20% — со второго 50% — с третьего?

Решение задачи

Пусть В — событие, вероятность которого необходимо найти, то есть приобретение исправного телевизора.

Определим события, составляющие полную группу. В магазине могут быть только: А1 — телевизоры 1-го завода; А2 — телевизоры 2-го завода и А3 — телевизоры 3-го завода.

Очевидно А1+А2+А3= — все телевизоры в магазине. А1А2=Ø, А1А3=Ø, А2А3=Ø.

Вычислим условную вероятность события В при условии, что событие А1 произошло. То есть это вероятность купить исправный телевизор, при выборе телевизора только из продукции первого завода. Очевидно: P(B/A1)=0,8. Аналогично вычислим: P(B/A2)=0,9, P(B/A3)=0,95.

Из условия задачи следует: P(A1)=0,3, P(A2)=0,2, P(A3)=0,5.

Применяя формулу полной вероятности, получим:

P(B)=P(B/A1)P(A1)+P(B/A2)P(A2)+P(B/A3)P(A3)=0,8·0,3+0,9·0,2+0,95·0,5=0,895.

Ответ: Вероятность купить исправный телевизор равна 0,895.

Пример 2

Два цеха штампуют однотипные детали. Первый цех дает % брака, второй — %. Для контроля отобрано n1 деталей из первого цеха и n2 из второго. Эти детали смешаны в одну партию и из нее наудачу извлекают одну деталь. Какова вероятность того, что она бракованная?

Решение задачи

В — событие, вероятность которого мы хотим найти: извлеченная деталь — бракованная.

Какие события из условия задачи составляют полную группу?

А1 — в партии детали первого цеха, А2 — в партии детали второго цеха.

Очевидно: P(A1)=n1/(n1+n2), P(A2)=n2/(n1+n2).

Определим условные вероятности: P(B/A1) — вероятность извлечь бракованную деталь при условии, что в партии детали только первого цеха. Ясно, что P(B/A1)=/100.

Аналогично: P(B/A2)=/100.

По формуле полной вероятности искомая вероятность равна:

P(B)=P(B/A1)P(A1)+P(B/A2)P(A2)=/100·n1/(n1+n2)+/100·n2/(n1+n2).

Пример 3

На рисунке 2 изображена схема дорог. Туристы выходят из пункта П1, выбирая каждый раз на развилке дорог дальнейший путь наудачу. Какова вероятность, что они попадут в пункт П2?

Рис. 2

Решение задачи

Событие В — попасть из пункта П1 в пункт П2.

Определим события, составляющие полную группу. Это все пути, приводящие из пункта П1 в первую развилку. В соответствии с рисунком обозначим их сверху вниз А1, А2, А3, А4. Вероятности этих событий равны 1/4.

Найдем условные вероятности событий P(B/Ai).

Вероятность попасть в пункт П2, если туристы выбрали путь А1, равна 1/3, если выбрали путь А2 — 1/2, если выбрали путь А3 — 1, если выбрали путь А4 — 2/5.

По формуле полной вероятности:

P(B)= 1/4·(1/3+1/2+1+2/5)=67/120.

Пример 4

Из десяти студентов, пришедших сдавать экзамен по теории вероятностей и взявших билеты, Иванов и Петров знают 20 билетов из 30, Сидоров плохо занимался весь семестр и знает только 15 билетов, остальные студенты знают все 30 билетов. По прошествии отведенного времени на подготовку экзаменатор наудачу вызывает отвечать одного из студентов. Какова вероятность того, что вызванный сдал экзамен, если знание билета гарантирует сдачу экзамена с вероятностью 0,85, а при незнании билета можно сдать экзамен лишь с вероятностью 0,1?

Решение задачи

Событие В — вызванный отвечать студент сдал экзамен.

События, составляющие полную группу:

А1 — вызвали Иванова или Петрова; А2 — вызвали Сидорова; А3 — вызвали кого-либо из остальных студентов.

Вероятности этих событий: P(A1)=2/10, P(A2)=1/10, P(A3)=7/10.

Условные вероятности событий: P(B/A1) — вероятность сдать экзамен Иванову или Петрову, P(B/A2) — вероятность сдать экзамен Сидорову, P(B/A3) — вероятность сдать экзамен кому-либо из остальных студентов.

Рассмотрим, какова вероятность сдать экзамен Иванову или Петрову. Эту вероятность также нужно вычислять по формуле полной вероятности. Полную группу событий в этом случае составляют события: H1 — взят билет, который знаешь и H2 — взят билет, который не знаешь.

Следовательно: P(B/A1)=P(B/A1H1)P(H1)+P(B/A1H2)P(H2).

Здесь P(B/A1H1) — условная вероятность сдать экзамен при условии, что сдает экзамен Иванов или Петров, и они вытянули билет, который знают. По условию задачи эта вероятность равна 0,85. Очевидно P(B/A1H2)=0,1.

Следовательно, P(B/A1)=0,85·20/30+0,1·10/30=0,6.

Таким же образом подсчитаем остальные условные вероятности:

Для Сидорова вероятности событий Н1 и Н2 другие, чем для Иванова и Петрова!

P(B/A2)= P(B/A2H1)P(H1)+P(B/A2H2)P(H2)=0,85·15/30+0,1·15/30=0,475.

Для остальных студентов P(H1)=1, P(H2)=0.

Р(В/А3)=0,85.

Окончательный результат:

Р(В)=Р(В/А1)Р(А1)+Р(В/А2)Р(А2)+Р(В/А3)Р(А3)=0,6·0,2+0,475·0,1+0,85·0,7=0,7625.

Пример 5

Шесть шаров, среди которых 3 белых и 3 черных, распределены по двум урнам. Наудачу выбирается урна, а из нее один шар. Как нужно распределить шары по урнам, чтобы вероятность вынуть белый шар была максимальной?

Решение задачи

Пусть в первой урне X белых и Y черных шаров, тогда во второй урне 3–X белых и 3–Y черных шаров.

Событие В — вынут белый шар.

Полная группа событий: А1 — выбрана первая урна, А2 — выбрана вторая урна. Р(А1)=Р(А2)=1/2.

В силу симметрии задачи все возможные распределения шаров по урнам можно сгруппировать в зависимости от общего количества шаров в первой урне X+Y. Эти распределения следующие:X+Y= 0, 1, 2, 3.

0 — все шары находятся во второй урне. Вероятность вынуть белый шар в этом случае равна 0.25. (Произведение вероятностей выбора второй урны и из нее вынуть белый шар).

Для вероятность вынуть белый шар вычисляется по формуле:

Р(В)=Р(В/А1)Р(А1)+Р(В/А2)Р(А2)=X/(X+Y)·1/2+(3–X)/(6–X–Y)·1/2.

1 — в первой урне один шар. Он может быть белым (X=1,Y=0)или черным (X=0,Y=1).

Соответствующие вероятности равны: 0,7 и 0,3.

2 — в первой урне два шара. Возможные комбинации: X=0,Y=2; X=1,Y=1; X=2,Y=0.

Соответствующие этим случаям вероятности равны: 0,375, 0,5, 0,625.

3 — в первой урне 3 шара. Возможные комбинации: X=0,Y=3; X=1,Y=2; X=2,Y=1; X=3,Y=0.

Соответствующие вероятности равны: 0,5, 0,5, 0,5, 0,5.

Максимальная вероятность соответствует такому распределению шаров в урнах, чтобы в одной из них был только один белый шар. При этом вероятность вынуть белый шар равна 0,7.

    1. Формула Байеса

Теорема Байеса. Пусть Н1, Н2, …, Нn полная группа событий, которые мы будем называть гипотезами. В — произвольное событие. Тогда:


.

Пояснения. На практике очень часто возникают ситуации, когда происходит какое-то событие, относительно причины возникновения которого может быть высказано n различных (альтернативных) предположений. При этом других предположений возникновения события В не существует. Эти предположения и называются гипотезами.

Пример, событие В — потерпел аварию самолет. Возможные предположения могут быть, например: Н1 — отказ двигателя, Н2 — ошибка летчика, Н3 — он сбит ракетой, Н— другая причина.

Эти события могут наступить с вероятностями Р(Нk), которые называются априорными (вычисляемыми до опыта) вероятностями гипотез. То есть эти вероятности обусловлены объективными причинами и могут быть заранее рассчитаны.

После того, как событие В произошло, важно определить наиболее вероятную причину возникновения этого события. Эта вероятность Р(Нk/В) — называется апостериорной (вычисляемой после опыта) вероятностью гипотез.

Таким образом, теорема Байеса позволяет по результатам опыта рассчитать апостериорные вероятности гипотез, зная их априорные вероятности.

Доказательство теоремы Байеса. Воспользовавшись формулой Байеса (связи условных вероятностей между собой): , можно получить:

. Вероятность Р(В) можно вычислить по формуле полной вероятности: , что завершает доказательство теоремы Байеса.

Примеры решения задач на формулу Байеса.

Формулировки задач взяты из [Error: Reference source not found].

Пример 1

В урне лежит шар неизвестного цвета — с равной вероятностью белый или черный. В урну опускается один белый шар и после тщательного перемешивания наудачу извлекается один шар. Он оказался белым. Какова вероятность того, что в урне остался белый шар?

Решение задачи

До опыта с извлечением шара из урны можно высказать следующие гипотезы:

Н1 — в урне лежит белый шар. Н2 — в урне лежит черный шар.

Априорные вероятности событий: Р(Н1)=0,5, Р(Н2)=0,5.

Событие В — в урну опустили белый шар, тщательно перемешали и наудачу вытащили белый шар.

Найдем условные вероятности: Р(В/Н1) — вероятность вытащить из урны белый шар, при условии, что там находятся два белых шара. Очевидно, что эта вероятность равна 1.

Р(В/Н2)=0,5.

По формуле Байеса:

.

Так как нужно определить вероятность того, что в урне остался белый шар, то это равносильно определению апостериорной вероятности гипотезы Н1. Она равна 2/3.

Пример 2

На вход радиолокационного устройства с вероятностью 0,8 поступает смесь полезного сигнала и помехи, а с вероятностью 0,2 — только помеха. Если поступает полезный сигнал с помехой, то устройство регистрирует наличие какого-то сигнала с вероятностью 0,7; если только помеха — то с вероятностью 0,3. Известно, что устройство зарегистрировало наличие какого-то сигнала. Найти вероятность того, что в его составе есть полезный сигнал.

Решение задачи

До регистрации какого-либо сигнала можно высказать две гипотезы: Н1 — в смеси есть полезный сигнал; Н2 — в смеси нет полезного сигнала.

Априорные вероятности гипотез по условию задачи равны: Р(Н1)=0,8, Р(Н2)=0,2.

Событие В — устройство зарегистрировало какой-то сигнал.

Найдем условные вероятности событий: Р(В/Н1) — вероятность зарегистрировать сигнал, при условии, что в смеси есть полезный сигнал. По условию задачи эта вероятность равна 0.7. По условию задачи Р(В/Н2)=0,2.

Найдем апостериорную вероятность гипотезы Н1.

.

Пример 3

По каналу связи передается цифровой текст, содержащий только три цифры 1, 2. 3, которые могут появляться в тексте с равной вероятностью. Каждая передаваемая цифра в силу наличия шумов принимается правильно с вероятностью р и с вероятностью принимается за какую-либо другую цифру. Предполагается, что цифры искажаются независимо.

Найти вероятность того, что было передано 111, если принято 123.

Решение задачи

По условию задачи необходимо найти условную вероятность Р(передано 111/принято 123).

Так как цифры искажаются независимо, то для независимых событий:

Р(передано 111/принято 123)=

= Р(передано 1/принято 1)Р(передано 1/принято 2)Р(передано 1/принято 3).

Очевидно:

Р(передано 1/ принято 1) — вероятность правильного приема цифры, равна р.

Также известно, что

Р(передано 1/принято 2)= и Р(передано 1/принято 3)= .

И окончательно: Р(передано 111/принято 123)=.

Пример 4

Астрономический объект, за которым ведется наблюдение, может находиться в одном из двух состояний: Н1 или Н2. Априорные вероятности этих состояний Р1)=0,6, Р2)=0,4. Наблюдение ведется независимо двумя обсерваториями. Первая обсерватория обычно дает правильные сведения о состоянии наблюдаемого объекта в 90% случаев, а в 10% ошибается; вторая дает правильные сведения в 80% случаев, а в 20% ошибается. Первая обсерватория сообщила, что объект находится в состоянии Н1, а вторая — что в состоянии Н2. Найти апостериорную вероятность состояния Н1.

Решение задачи

Гипотезы, апостериорные вероятности которых необходимо найти, обозначены Н1 и Н2. Их априорные вероятности известны.

Обозначим В — событие, заключающееся в получении сообщений от обсерваторий 1 и 2.

Пусть В1 — сообщение от обсерватории 1, а событие В2 — сообщение от обсерватории 2.

В силу того, что сообщения получены от первой и от второй обсерваторий: В=В1·В2.

По условию задачи необходимо найти условную вероятность: Р(Н1/В).

По формуле Байеса: .

Заметим, что в силу независимости событий В1 и В2:

,

.

При этом Р(В1/Н1) — вероятность правильного сообщения от первой обсерватории, Р(В2/Н1) — вероятность ошибочного сообщения от второй обсерватории, Р(В1/Н2) — вероятность ошибочного сообщения от первой обсерватории, Р(В2/Н2) — вероятность правильного сообщения от второй обсерватории.

Подставляя соответствующие вероятности в формулу Байеса, получим:

.

  1. Случайные величины

В том случае, если возможными исходами эксперимента являются числа, а множество элементарных событий представляет собой числовую ось (W=R), то с данным экспериментом может быть связана случайная величина.

Таким образом, случайная величина — это вероятностный эксперимент, исходами которого являются числа.

Будем обозначать случайные величины греческими буквами , , .

Все события, связанные со случайной величиной — это подмножества числовой оси R.

Множества числовой оси, которые могут считаться событиями, составляют некоторый класс множеств.

Определение. Системой множеств называется всякое множество, элементы которого сами представляют собой какие-либо множества.

Определение. Пусть Х – некоторое множество. Система подмножеств множества Х называется алгеброй, если

  1. ,

  2. ,

  3. .

Таким образом, если два события принадлежат алгебре, то их сумма и произведение, а также противоположные события также принадлежат алгебре.

Из этого определения следует, что пустое множество также принадлежит алгебре.

Для того, чтобы можно было находить вероятности предельных событий вводят другую систему множеств:

Определение. Система подмножеств множества Х называется -алгеброй, если она является алгеброй и, кроме того, выполнено следующее условие:

если то .

Определение. -алгебра называется борелевской алгеброй на числовой прямой, если она содержит отрезки, интервалы и полуинтервалы числовой оси R.

Таким образом, событиями, связанными со случайной величиной, являются произвольные подмножества числовой оси, принадлежащие борелевской алгебре, то есть они могут быть получены из отрезков, интервалов и полуинтервалов, с помощью счетного числа операций объединения, пересечения и дополнения.

Рассмотрим, как же находить вероятности событий, связанные со случайными величинами.

    1. Функция распределения случайной величины и ее свойства.

Определение. Функцией распределения случайной величины называется функция одной переменной, удовлетворяющая условию:

для любого .

Функция распределения случайной величины показывает, как меняется вероятность события ( < x) в зависимости от x.

Свойства функции распределения вытекают из ее определения.

1. .

2. - неубывающая функция.

3. - непрерывна слева и имеет пределы справа в каждой точке xÎR

Первое свойство вытекает из того, что событие: значения случайной величины меньше минус бесконечности – невозможное, а событие: значения случайной величины меньше плюс бесконечности – достоверное.

Докажем свойство 2.

Пусть x1<x2. Событие можно представить в виде суммы двух несовместных событий: =+. По второй аксиоме вероятности, получим:

. Так как вероятность любого события неотрицательна, то , следовательно .

Таким образом, вероятность попадания случайной величины в полуинтервал вычисляется по формуле: .

Доказательство свойства 3

Рассмотрим последовательность событий: . Предельное множество также является событием: . Последовательность является неубывающей и ограниченной сверху. Так что существует предел этой последовательности. Поэтому . Непрерывность слева доказана.

Рассмотрим последовательность событий: . Предельное множество также является событием: . Последовательность является не возрастающей и ограниченной снизу. Так что существует предел этой последовательности. Поэтому . Существование предела справа доказано.

Ранее мы показали, как находить вероятность попадания случайной величины в полуинтервал вида [x1,x2). Найдем вероятности попадания случайной величины в отрезок, интервал и полуинтервал вида (x1,x2]:


;

;

.

Действительно, .

Аналогично доказываются и остальные соотношения.

Заметим, что случайная величина полностью определяется своей функцией распределения.

Говорят, что случайные величины и одинаково распределены, если равны их функции распределения: .

В зависимости от вида функции распределения случайные величины подразделяются на дискретные, непрерывные и смешанные.

    1. Дискретные случайные величины.

Определение. Случайная величина называется дискретной случайной величиной, если ее функция распределения кусочно-постоянна (рис. 3).

Рис. 3

Таким образом, функция распределения дискретной случайной величины имеет разрывы первого рода в точках x1, x2,..,xn,….

Заметим, что .

Вероятность того, что случайная величина приняла значение x, и в этой точке функция распределения непрерывна – равна нулю.

Таким образом, дискретная случайная величина с не нулевой вероятностью может принимать значения только в дискретном ряду точек x1, x2,..,xn,….

Набор чисел называется рядом распределения дискретной случайной величины. При этом .

Функция распределения дискретной случайной величины легко выражается через ряд распределения:

.

Примеры дискретных случайных величин.

Пример 1

Случайная величина , принимающая два значения 1 и 0 с вероятностями p («успех») и q=1-p («неудача»), называется бернуллиевской.

Ее функция распределения имеет вид (рис. 4):

Рис.4

Вероятность принять определенное значение для этой случайной величины можно записать в виде: .

Пример 2

Биномиальной (или биномиально распределенной) называется случайная величина, принимающая значения 0, 1, 2,…,n с вероятностями:

.

Здесь - число сочетаний из n по k: .

Функция распределения имеет вид:

.

Вероятность любого события, связанного с попаданием дискретной случайной величины во множество В, можно найти по формуле:

.

    1. Непрерывные случайные величины

Определение. Случайная величина называется непрерывной случайной величиной, если ее функция распределения является непрерывной функцией (рис. 5).

Рис. 5

В результате опыта непрерывная случайная величина может принять любое числовое значение в диапазоне, где функция распределения не равна нулю и не постоянна.

Ранее мы заметили, что если функция распределения непрерывна в точке x0, то вероятность события (=x0) равна нулю (P(=x0)=0).

Таким образом, событие (=x0) возможно, но имеет нулевую вероятность. С другой стороны, противоположное этому событие имеет вероятность равную единице, но не является достоверным.

Если функция распределения не является кусочно-постоянной, то вероятность попадания в любой произвольно малый отрезок числовой оси около точки x0 ([x0,x0+)) уже не равна нулю: . Отсюда следует, что для вычисления вероятностей попадания случайной величины в малые отрезки числовой оси нужно знать производную от функции распределения.

      1. Плотность распределения вероятностей и ее свойства.

Определение. Плотностью распределения (плотностью вероятности) непрерывной случайной величины в точке x называется производная ее функции распределения в этой точке:

.

Свойства плотности распределения случайной величины вытекают из ее определения:

1. ;

2. .

Связь функции распределения и плотности распределения:

Первое свойство плотности обусловлено тем, что производная от неубывающей функции – неотрицательна, а второе свойство – свойство нормировки – вытекает из свойств функции распределения ().

Вычислим вероятность попадания непрерывной случайной величины в интервал (любой полуинтервал или отрезок ) (х12):

.

Вообще, вероятность попадания непрерывной случайной величины в произвольное борелевское множество числовой оси вычисляется по формуле:

.

Примеры непрерывных случайных величин и их плотностей распределения.

Пример 1

Пусть плотность распределения случайной величины задается соотношением:

.

График этой плотности приведен на рис. 6.

Рис. 6 Рис. 7

Случайная величина с такой плотностью называется равномерно распределенной на отрезке [0,1].

Функция распределения такой случайной величины имеет вид:

График этой функции распределения изображен на рис. 7.

Пример 2

Пусть плотность распределения случайной величины задается соотношением:

.

(а – положительный коэффициент).

График этой плотности приведен на рис. 8.

Рис. 8 Рис. 9

Функция распределения такой случайной величины имеет вид:

График этой функции распределения изображен на рис. 9.

Случайная величина с такой плотностью распределения называется экспоненциально распределенной случайной величиной.

Пример 3

Пусть плотность распределения случайной величины задается соотношением:

.

(а – произвольная величина, >0).

График этой плотности приведен на рис. 10.

Рис. 10 Рис. 11

Функция распределения такой случайной величины имеет вид:

График этой функции распределения изображен на рис. 11.

Случайная величина с такой плотностью распределения называется нормально распределенной (гауссовской) случайной величиной.

Определение Случайная величина называется смешанной случайной величиной, если ее функция распределения F(x) кусочно-непрерывна.

Таким образом, функция распределения смешанной случайной величины имеет непрерывные участки, а также в отдельных точках разрывы первого рода (скачки) (см. рис. 12).

Рис. 12

Для смешанной случайной величины, так же как и для дискретной случайной величины, понятие плотности распределения не применимо, так как функция распределения не дифференцируема.

      1. Обобщение понятия плотности распределения вероятности

Плотность распределения можно определить не только для непрерывных, а для любых случайных величин, если воспользоваться обобщенными функциями [4].

В классическом математическом анализе изучаются функции, которые условимся называть обычными функциями. То есть это функции , определенные на числовой оси и интегрируемые в конечном промежутке . Однако, даже такую важную операцию, как дифференцирование, можно применять далеко не ко всем обычным функциям.

Уже давно в физике и технике употребляются так называемые сингулярные функции, которые не могут быть корректно определены в рамках классической теории функций.

Простейшим примером такой функции является дельта-функция . Дельта-функция равна нулю всюду, кроме одной точки , в этой точке равна бесконечности и интеграл от нее в пределах, включающих точку , равен единице. Она по определению обладает свойствами, не совместимыми с точки зрения классического определения функции и интеграла.

Заметим, что при решении конкретных задач сингулярные функции встречаются только под знаком интеграла в произведении с какой-либо достаточно хорошей функцией.

Поэтому нет необходимости отвечать на вопрос, что такое сингулярная функция сама по себе, достаточно уметь вычислять интеграл от произведения сингулярной функции на «хорошую».

Например, дельта-функция строго определяется соотношением:

, для любой непрерывной в точке функции .

Как мы уже говорили, далеко не для всякой обычной функции может быть выполнена операция дифференцирования. Примером такой функции может служить, например: - так называемая функция Хевисайда.

С помощью интегрального представления можно найти производную этой функции в классе обобщенных функций.

Покажем это.

Пусть дифференцируемая функция, тождественно равная нулю вне некоторого конечного интервала [a,b]. Тогда для ограниченной функции f(x) по правилу интегрирования по частям:

.

Внеинтегральный член обращается в нуль, так как тождественно равна нулю вне некоторого конечного интервала [a,b].

Так как функция Хевисайда ограниченная, для нее приведенное соотношение верно и мы можем записать:

.

Отсюда следует, что производная функции Хевисайда есть дельта-функция:

.

Таким образом, мы можем определить плотность распределения для любой случайной величины, если под плотностью распределения понимать производную функции распределения как обобщенную функцию.

Итак, пусть F(x) – кусочно-непрерывная функция, имеющая в точках разрывы первого рода со скачками и кусочно-непрерывную производную всюду, кроме указанных точек разрыва.

Плотность распределения соответствующей случайной величины будет иметь вид:

.

Используя обобщенные функции можно определить плотность распределения и для не случайной величины, например, число пять имеет плотность распределения:

.

Используя определение дельта-функции можно представить вероятность любого события, связанного со смешанной случайной величиной, в виде интеграла по соответствующему множеству:

.

Рассмотрим пример смешанных случайных величин.

Пример

Пусть непрерывная случайная величина подвергается преобразованию вида:

.

Найти плотность распределения случайной величины .

Решение задачи

Вначале найдем функцию распределения случайной величины , а потом плотность распределения как обобщенную производную функции распределения.

Из условия задачи видно, что случайная величина принимает только неотрицательные значения, поэтому ее функция распределения не равна нулю только при неотрицательных значениях аргумента. При этом значение, равное нулю, она принимает с вероятностью . Так как в точке x=0 функция распределения имеет скачок, поэтому

.

Вероятности соответствующих событий в определении функции распределения случайной величины равны:

Обобщенная производная функции распределения F(x) равна:

.

    1. Числовые характеристики случайной величины

Ранее уже говорилось о том, что случайная величина полностью определяется своей функцией распределения. Также можно сказать, что она полностью определяется своей обобщенной плотностью распределения вероятностей или в дальнейшем будем говорить просто плотностью распределения. Во многих практических задачах представляет интерес не сама плотность распределения, а интеграл от произведения этой плотности на некоторую функцию. Эта операция в теории вероятностей имеет специальное обозначение и название.

Определение. Математическим ожиданием произвольной функции от случайной величины называется: .

Особое место в теории вероятностей занимают математические ожидания степенных функций от случайной величины.

Определение. k-тым моментом случайной величины называется .

Первый момент имеет особое название — математическое ожидание случайной величины и обозначается .

В дальнейшем математическое ожидание случайной величины будем обозначать m.

Определение. Случайная величина называется центрированной случайной величиной.

Определение. k-тым центральным моментом случайной величины называется k-й момент центрированной случайной величины:

.

Очевидно, первый центральный момент случайной величины всегда равен нулю.

Особое название имеет также второй центральный момент:

Определение. Дисперсией случайной величины называется ее второй центральный момент: .

Для дисперсии случайной величины также введем обозначение .

Дисперсия (от латинского dispersio - рассеяние) показывает меру отклонения значений случайной величины от ее математического ожидания. То есть ее можно трактовать как меру случайности. Для не случайных величин дисперсия равна нулю.

Корень квадратный из дисперсии называется среднее квадратическое отклонение случайной величины. Его мы будем обозначать символом .

Если дисперсия — это характеристика рассеяния, то математическое ожидание — это характеристика положения значений случайной величины на числовой оси. Значения случайной величины группируются около ее математического ожидания с каким-то рассеянием, определяемым дисперсией случайной величины.

Математическое ожидание не единственная характеристика положения случайной величины.

Модой случайной величины называется ее наиболее вероятное значение (то значение x, для которого плотность распределения достигает максимума).

Медианой случайной величины называется величина , для которой выполняется равенство: .

Рассмотрим как находить математические ожидания функций от случайной величины для дискретных случайных величин.

Пусть дискретная случайная величина, принимающая значения с вероятностями .

Тогда, .

Таким образом, для дискретных случайных величин математическое ожидание и дисперсия вычисляются по формулам:

.

Нетрудно найти другое выражение для дисперсии, если в ее определении раскрыть скобки:

.

Найдем математическое ожидание и дисперсию рассмотренных ранее случайных величин.

Бернуллиевская случайная величина

.

.

Равномерно распределенная случайная величина

.

.

Экспоненциальная случайная величина

.

.

Гауссовская случайная величина

.

Здесь первый интеграл равен нулю, как интеграл от нечетной функции в симметричных пределах. Второй интеграл равен единице по условию нормировки плотности распределения гауссовской случайной величины с параметрами .

Таким образом, параметр распределения - это математическое ожидание гауссовской случайной величины.

.

Последний интеграл возьмем по частям, положив

Тогда окончательно получим: .

Параметр распределения — есть дисперсия гауссовской случайной величины.

Таким образом, плотность распределения гауссовской случайной величины зависит от двух параметров: математического ожидания и дисперсии .

    1. Характеристическая функция случайной величины

Определение. Характеристической функцией случайной величины называется комплексно-значная функция .

Здесь j — мнимая единица.

Из этого определения следует, что характеристическая функция по существу представляет собой преобразование Фурье плотности распределения случайной величины .

Если известна характеристическая функция случайной величины , то плотность распределения можно найти с помощью обратного преобразования Фурье:

.

Таким образом, характеристическая функция, как и плотность распределения, полностью определяет случайную величину и позволяет найти вероятности любых событий, связанных со случайной величиной.

В теории вероятностей очень часто пользуются термином «закон распределения случайной величины».

Задать закон распределения случайной величины — это или задать ее функцию распределения, или плотность распределения, или ряд распределения (для дискретных случайных величин), или характеристическую функцию.

Свойства характеристической функции вытекают из ее определения:

  1. Если , то .

  2. .

Свойство 2 позволяет достаточно просто по характеристической функции вычислять математическое ожидание и дисперсию случайной величины, заменяя интегрирование, более простой операцией — дифференцированием:

, .

Найдем характеристическую функцию бернуллиевской случайной величины, ее математическое ожидание и дисперсию.

.

;

.

Вычислить математическое ожидание и дисперсию биномиальной случайной величины с помощью ряда распределения довольно затруднительно. А вот с помощью характеристической функции это очень просто.

.

В соответствии с формулой , которая называется бином Ньютона, получим: .

.

.

Найдем характеристическую функцию равномерно распределенной случайной величины.

.

Характеристическая функция экспоненциальной случайной величины имеет вид:

.

Вычислим характеристическую функцию гауссовской случайной величины. Методика ее вычисления пригодится нам и в дальнейшем.

Итак, характеристическая функция гауссовской случайной величины вычисляется по формуле:

. (1)

Для вычисления характеристической функции используется соотношение:

, (2)

справедливое при любом а.

Приведем выражение в интеграле (1) к полному квадрату:

=

.

Тогда, используя условие нормировки (2), получим:

.

Таким образом, характеристическая функция гауссовской случайной величины равна:

.

    1. Функциональные преобразования случайных величин

В инженерных приложениях теории вероятностей часто возникает необходимость определения законов распределения функций от случайных величин. Этому вопросу и посвящен данный параграф.

Пусть - строго монотонная функция. - область определения функции, D – область ее значений. В этом случае существует функция, обратная , которую будем обозначать . Областью определения обратной функции является D, а областью значений множество Q. Для прямой и обратной функции справедливы соотношения:

.

Обратная функция также является строго монотонной. Причем, если – монотонно возрастающая, то и - также монотонно возрастающая. Если - монотонно убывающая, то и - монотонно убывающая.

Итак, пусть - монотонно возрастающая функция, - случайная величина с функцией распределения и плотностью распределения . Найдем плотность распределения случайной величины .

По определению функция распределения случайной величины равна: .

Решим неравенство относительно случайной величины , получим:

.

Таким образом, функция распределения случайной величины получена. Дифференцируя ее по x, получим плотность распределения:

.

Теперь пусть - монотонно убывающая. Тогда функция распределения случайной величины равна:

.

Решая неравенство относительно случайной величины , необходимо учесть, что, применяя к обеим частям неравенства монотонно убывающее преобразование, знак неравенства необходимо сменить на противоположный:

.

Заметим, что .

Таким образом, для функции распределения случайной величины получим:

.

Дифференцируя это равенство по x (в обобщенном смысле), получим:

.

Если учесть, что производная монотонно убывающей функции отрицательна, для любого монотонного преобразования получим:

.

Пусть не является монотонной функцией, но может быть разбита на строго монотонные участки точками x1, x2, …,xn (рис. 13)

Рис. 13

Тогда на каждом из участков функция строго монотонна и, следовательно, имеет обратную. Обратные функции обозначим . Не ограничивая общности, предположим, что — возрастающая функция. Тогда — убывающая, — возрастающая и т.д. (см. рис. 13).

Для функции распределения случайной величины получим:

Суммируемые события вида - несовместны, следовательно, на основании аксиомы вероятности, получим:

Указанные вероятности можно вычислить через плотность вероятности случайной величины :

.

Дифференцируя функцию распределения случайной величины , получим плотность распределения:

.

Учитывая, что производная монотонно убывающей функции отрицательна, окончательно получим:


(3)

Рассмотрим особые случаи преобразования случайных величин.

1. Пусть на каком-либо участке области определения функции эта функция постоянна (). Ясно, что обратной функции на этом участке не существует. Тогда:

.

Введя функцию Хевисайда это выражение можно записать в виде:

.

Выполнив обобщенное дифференцирование, для соответствующего слагаемого плотности распределения в сумме (3), получим:

.

2. Пусть на каком-либо участке монотонности функция имеет разрыв первого рода в точке () (рис. 14). Для определенности будем полагать эту функцию монотонно возрастающей. Тогда обратная функция будет иметь три ветви (рис. 15)

Рис. 14 Рис. 15

Здесь функция

Тогда:

Здесь .

Выполнив обобщенное дифференцирование, для соответствующего слагаемого плотности распределения в сумме (1), получим:

.

Рассмотрим примеры функциональных преобразований случайной величины.

Пример 1

Линейное преобразование случайной величины.

Пусть , где и b не случайные величины.

В данном случае . Это преобразование монотонно и обратное преобразование имеет вид:

Таким образом, , и плотность распределения случайной величины равна:

Математическое ожидание, дисперсия и характеристическая функция линейного преобразования случайной величины равны:

.

Пример 2

Пусть . Найти плотность распределения случайной величины

Если воспользоваться описанной выше методикой, то получим:

.

Пример 3

Случайная величина подвергается нелинейному преобразованию вида:. Найти плотность распределения случайной величины

Преобразование вида не монотонно, но можно определить монотонные ветви на отрезках и . Соответствующие этим ветвям обратные функции равны:

и .

В соответствии с выражением (3) для плотности распределения случайной величины получим:

.

То же самое можно получить, если воспользоваться методикой вычисления функции распределения:

.

Вычисляя обобщенную производную, получим:

.

Пример 4

Случайная величина . Найти плотность распределения случайной величины .

Воспользуемся методикой вычисления функции распределения. Для :

.

Вычисляя производную, получим:

.

Пример 5

Пусть - случайная величина с функцией распределения . Случайная величина получается из с помощью преобразования: . Найти плотность распределения случайной величины .

Пусть - непрерывная возрастающая функция. Тогда существует монотонно возрастающая обратная функция . Областью определения этой функции является отрезок [0,1], а областью значений - числовая ось.

.

Таким образом, плотность распределения случайной величины является равномерной: .

Пример 6

Пусть - случайная величина, равномерно распределенная в отрезке [0,1] . Найти такое преобразование случайной величины , чтобы получить случайную величину с заданной функцией распределения .

Пусть - произвольная монотонно возрастающая функция.

Тогда, используя свойства функции распределения равномерно распределенной случайной величины, получим:

.

Нетрудно видеть, что желаемый результат получится, если положить

Таким образом, для получения случайной величины с заданным законом распределения из равномерно распределенной в отрезке [0,1] случайной величины, необходимо выполнить следующее преобразование:

Эта формула широко используется при моделировании на ЭВМ случайных величин с заданным законом распределения. Например, для получения экспоненциально распределенной случайной величины с плотностью распределения необходимо выполнить следующее преобразование равномерно распределенной случайной величины: .

  1. Случайные векторы

    1. Векторы и матрицы

Напомним некоторые понятия из линейной алгебры.

Определение. Пусть А и В два множества. Под прямым произведением множеств А и В понимают совокупность пар .

Аналогичным образом можно определить прямое произведение конечного числа множеств.

Для элементов произведения принята запись в виде n-членных последовательностей (n-нок) , где на k-том месте стоит элемент k-го множества: . Если все множества прямого произведения одинаковы , вместо пишут .

В частности, если множество А есть множество вещественных чисел R, то есть множество (n-нок) вещественных чисел. Его элементы принято называть точками, а числа координатами точки .

Определение. Множество называется линейным (векторным) пространством, если выполняются следующие аксиомы:

  1. Если (для каждых двух его элементов x и y определена их сумма x+y, принадлежащая этому же множеству).

  2. Для любого вещественного числа определено произведение .

  3. - ассоциативность сложения;

  4. - коммутативность сложения;

  5. В существует нулевой элемент, такой, что для любого .

  6. .

  7. .

  8. .

  9. .

Элементы пространства называются векторами, а элементы пространства называются скалярами.

В дальнейшем будем предполагать, что каждый вектор x записывается в виде столбца: .

Введем операцию транспонирования векторов: - координаты вектора записываются в строку.

Определение. Скалярным произведением векторов в пространстве называют функцию, которая каждой паре векторов из ставит в соответствие вещественное число. Скалярное произведение векторов вычисляется по формуле: .

Свойства скалярного произведения

1. Из определения скалярного произведения следует, что . Если .

2. Для любых двух скаляров и справедливо: , .

3..

4. — неравенство Коши-Буняковского.

Докажем неравенство Коши-Буняковского.

Из свойства 1) следует, что . Из свойства 2) получим: . Так как это неравенство справедливо для любого , положим . Подставляя это выражение, получим неравенство Коши-Буняковского.

Определение. Пусть и два векторных пространства. Линейным оператором из в называется отображение вида , где . В этом случае говорят, что линейный оператор задается матрицей А размера вида: .

Если А исходная матрица, то транспонированной называется матрица вида:

.

Очевидно, что если А действует из в , то действует из в : .

Квадратная матрица, на главной диагонали которой стоят единицы, а остальные элементы равны нулю, называется единичной матрицей: . Здесь — символ Кронекера.

Пусть А линейный оператор из в , .

Найдем скалярное произведение векторов y и z:

.

Таким образом, справедливо соотношение:

.

Квадратная матрица называется симметрической, если .

Симметрическая матрица называется неотрицательно определенной, если.

Вектор можно рассматривать как матрицу размером , а вектор - как матрицу размером .

Пусть А матрица размером , В — матрица размером , тогда можно определить произведение матриц: . Элементы матрицы С определяются по формуле: .

Для произведения матриц справедливы соотношения: .

Если квадратная матрица А имеет определитель , не равный нулю, то она имеет обратную матрицу . Справедливы следующие соотношения:

.

    1. Случайные векторы

Ранее мы ввели понятие случайной величины, как вероятностного эксперимента, исходами которого являются числа. По аналогии случайный вектор — это вероятностный эксперимент, исходами которого являются совокупность чисел — числовой вектор.

Случайные вектора будем обозначать жирными греческими буквами , а составляющие этот вектор случайные величины греческими буквами с индексом: .

Все события, связанные со случайным вектором — это подмножества n-мерного пространства .

Борелевская -алгебра в пространстве строится из параллелепипедов с помощью счетного числа операций объединения, пересечения и дополнения.

    1. Функция распределения случайного вектора и ее свойства

Также как и случайная величина, случайный вектор полностью определяется свой функцией распределения.

Определение. Функцией распределения случайного вектора называется функция n переменных, удовлетворяющая условию:

Свойства функции распределения.

1. ;

2.

3.

4. Функция распределения непрерывна слева по каждому аргументу и имеет пределы справа по каждому аргументу.

5. Функция распределения является неубывающей функцией по каждому аргументу.

Первое, второе и третье свойства вытекают непосредственно из определения. Четвертое и пятое свойства доказываются точно так же, как для функции распределения случайной величины.

Также как и случайные величины, случайные вектора подразделяются на дискретные, непрерывные и смешанные.

Свойство 3. показывает связь функции распределения последовательности из n случайных величин с функцией распределения последовательности из меньшего числа случайных величин.

Функция распределения n случайных величин (n-мерного случайного вектора) называется также n-мерной функцией распределения. Функция распределения какой-либо компоненты случайного вектора называется одномерной функцией распределения.

    1. Плотность распределения случайного вектора и ее свойства

Если функция распределения непрерывна и существует вторая смешанная производная, то говорят, что случайный вектор непрерывен и может быть задан своей плотностью распределения:

.

Свойства плотности распределения.

1. .

2.

3. .

4. .

Вероятность попадания случайного вектора в любое борелевское множество в пространстве вычисляется через плотность распределения:

.

Введя операцию обобщенного дифференцирования по каждой переменной можно распространить понятие плотности распределения на любые (в том числе дискретные и смешанные) случайные величины.

    1. Условная плотность распределения случайного вектора. Независимость случайных величин.

Ранее мы ввели понятие условной вероятности одного события при условии, что другое событие произошло:

, (4)

при условии, что .

Пусть — случайный вектор с плотностью распределения ; и — некоторые события.

В соответствии с (4), получим:

.

Заметим, что вероятности, стоящие справа от знака равенства можно записать через интеграл от плотности вероятности случайного вектора :

.

Величина слева от знака равенства — это условная вероятность попадания случайной величины в полуинтервал, включающий точку x1, при условии, что случайная величина попала в полуинтервал, включающий точку y1. Разделим обе части равенства на и устремим и к нулю. Слева получим условную плотность вероятности случайной величины , при условии, что случайная величина приняла значение y1:


. (5)

Из соотношения (5) вытекает формула для вычисления совместной плотности вероятности двух случайных величин через условную плотность вероятности:


(6)

Формула Байеса для плотностей:


.

Здесь — называется априорной плотностью вероятности случайной величины , а апостериорной плотностью вероятности случайной величины .

Распространяя выражение (6) на случайные векторы большей размерности, получим:

.

Здесь: — условная плотность распределения случайной величины , при условии, что случайная величина приняла значение x2, а случайная величина приняла значение x3.

Заметим, что условная плотность распределения — как функция x1 удовлетворяет всем свойствам плотности распределения:

;.

Ранее мы ввели понятие независимости событий. Введем аналогичное понятие для случайных величин.

Определение. Случайные величины называются независимыми в совокупности, если .

Отсюда следует, что плотность распределения независимых случайных величин равна произведению плотностей соответствующих случайных величин:

.

А из (6) следует, что для независимых случайных величин условная плотность распределения равна безусловной:

.

Примеры случайных векторов

Пример 1

Пусть - две случайных величины, совместная плотность распределения которых имеет вид: .

Найти значение постоянной с, плотности распределения случайных величин . Независимы ли они?

Решение

Из условия нормировки, зная область определения плотности, получим: . Отсюда, вычисляя интеграл, получим: .

.

.

Случайные величины и зависимы, так как .

Найдите самостоятельно условную плотность распределения случайной величины : ?

Пример 2

Пусть случайные величины и принимают только значения 1 или 2.

Известно, что .

Найти константу с. Записать совместную плотность распределения случайных величин и и их одномерные плотности распределения. Зависимы ли случайные величины?

Решение

Плотность распределения случайных величин и сосредоточена в точках (1,1), (1,2), (2,1), (2,2). Таким образом, совместная плотность распределения случайных величин и записывается через дельта функцию:

.

Нетрудно видеть, что константа с=1/9.

Одномерные плотности имеют вид: .

Таким образом, и случайные величины и — независимы.

    1. Числовые характеристики случайного вектора

Определение. Математическим ожиданием произвольной функции от случайного вектора называется:

.

Как уже отмечалось, особое место в теории вероятностей занимают такие понятия, как математическое ожидание и дисперсия случайного вектора.

Определение. k-тым моментом случайного вектора называется вектор .

Первый момент, как и для случайной величины, называется математическим ожиданием случайного вектора.

В дальнейшем математическое ожидание случайного вектора будем обозначать .

Помимо обычных моментов для случайного вектора вводится понятие смешанного момента:

Определение. k-тым смешанным моментом случайного вектора называется k-мерный массив чисел вида:

.

В практике теории вероятностей наибольшее употребление нашел второй смешанный момент случайного вектора, который может быть представлен в виде квадратной матрицы с элементами: . Эта матрица называется корреляционной матрицей случайного вектора , а ее элементы корреляцией случайных величин и .

Случайный вектор — называется центрированным случайным вектором.

Определение. k-тым центральным моментом случайного вектора называется k-й момент центрированного случайного вектора.

Определение. Дисперсией случайного вектора называется его второй центральный момент: .

Определение. k-тым смешанным центральным моментом случайного вектора называется k-мерный массив чисел вида: .

В практике теории вероятностей наибольшее употребление нашел второй смешанный центральный момент случайного вектора, который может быть представлен в виде квадратной матрицы с элементами:

.

Эта матрица называется ковариационной матрицей случайного вектора, а ее элементы ковариацией случайных величин и

    1. Корреляционная и ковариационная матрицы случайного вектора. Коэффициент корреляции

Выше были даны определения корреляционной и ковариационной матриц случайного вектора.

Пусть . Нетрудно видеть, что

.

С другой стороны

.

Воспользовавшись приведенными выше понятиями вектора и матрицы можно дать следующее определение корреляционной и ковариационной матриц:

, .

Из этих соотношений нетрудно найти связь ковариационной и корреляционной матриц:

.

Свойства корреляционной и ковариационной матриц

  1. Симметричность: .

  2. Неотрицательная определенность: для любого вектора x:.

Докажем это.

Очевидно, что . Следовательно . Раскрывая квадрат под знаком математического ожидания, получим:

.

Определение. Пусть А — матрица, x — вектор. Рассмотрим уравнение

, — число. Если и x удовлетворяют этому уравнению, то называется собственным значением матрицы А, а x — собственным вектором, отвечающим .

Все собственные значения неотрицательно определенной матрицы неотрицательны. Собственные вектора ортонормированы: .

Так как ковариационная матрица неотрицательно определенная, ее собственные значения неотрицательны, а собственные вектора ортонормированы. Собственные вектора ковариационной матрицы будем обозначать символом .

Обозначим , .

Тогда для ковариационной матрицы справедливо соотношение:

. (7)

Заметим, что в силу ортонормированности, матрица собственных векторов любой симметрической неотрицательно определенной матрицы удовлетворяет соотношению [1]:

. (8)

Умножим соотношение (7) справа на , учитывая (8), получим представление корреляционной матрицы через свои собственные векторы и собственные значения:

.

Или в покомпонентной записи:

.

Аналогичные соотношения справедливы и для корреляционной матрицы.

Определитель ковариационной матрицы легко находится через собственные значения: . Это следует из того, что , и .Кроме того, заметим, что определитель матриц равен единице.

Найдем представление матрицы, обратной ковариационной (если она существует) через собственные векторы и собственные значения исходной матрицы.

Из определения обратной матрицы от произведения матриц, получим:

Таким образом, элементы матрицы, обратной ковариационной (если она существует) имеют представление:

.

Дисперсию случайной величины в дальнейшем будем обозначать символом ;

Для ковариации и корреляции двух случайных величин справедливо неравенство:

.

Покажем это.

По определению . Так как плотность распределения неотрицательна, положим: .

Тогда .

В соответствии с неравенством Коши-Буняковского:

.

Это неравенство легко доказывается приемом, аналогичным при доказательстве неравенства для скалярного произведения двух векторов.

Определение. Коэффициентом корреляции двух случайных величин и называется: . Отсюда .

Из неравенства Коши-Буняковского вытекает, что .

Коэффициент корреляции показывает меру линейной зависимости между случайными величинами и . Так, если случайные величины и связаны между собой линейной зависимостью, то коэффициент корреляции по модулю равен единице. Покажем это.

. .

. Поэтому .

Если ковариация двух случайных величин равна нулю, то говорят, что случайные величины некоррелированы. В этом случае равен нулю и коэффициент корреляции этих случайных величин.

Заметим, что из некоррелированности случайных величин не следует их статистическая независимость. С другой стороны, если случайные величины статистически независимы, то они некоррелированы.

Действительно, пусть случайная величина имеет нулевое математическое ожидание и дисперсию . Случайная величина связана с функциональной зависимостью: . Ковариация случайных величин и равна: . Если плотность распределения случайной величины четная функция, то ее третий момент равен нулю. То есть мы получили, что для функционально (а значит и статистически) связанных случайных величин корреляция равна нулю!

    1. Характеристическая функция

Также как и для случайных величин, для случайного вектора можно ввести понятие характеристической функции.

Определение. Характеристической функцией случайного вектора называется:

Зная характеристическую функцию случайного вектора можно найти ее плотность распределения:

.

Если случайные величины — независимы, то характеристическая функция случайного вектора равна произведению характеристических функций его компонент:

.

Характеристическая функция суммы независимых случайных величин легко вычисляется:

.

    1. Гауссовский случайный вектор

Ранее мы ввели понятие гауссовской случайной величины. Определили ее плотность распределения, функцию распределения и характеристическую функцию.

Введем понятие гауссовского случайного вектора следующим образом. Пусть — произвольный не случайный вектор.

Определение. Случайный вектор называется гауссовским случайным вектором, если для любого не случайного вектора x случайная величина является гауссовской случайной величиной.

Отсюда следует, что компоненты гауссовского случайного вектора — гауссовские случайные величины. Для этого достаточно положить вектор x =(0,0,..1,..0). Очевидно, и из определения следует, что гауссовская случайная величина.

Теперь легко записать плотность распределения гауссовского случайного вектора с независимыми компонентами:

Из определения гауссовского случайного вектора следует:

Теорема. Любое линейное преобразование гауссовского случайного вектора есть гауссовский случайный вектор.

Доказательство

Пусть А — матрица размером , — гауссовский случайный вектор. — случайный вектор размерности n. Покажем, что этот случайный вектор тоже гауссовский.

Из определения следует, что для того, чтобы вектор был гауссовским необходимо и достаточно, чтобы для любого вектора случайная величина — была гауссовской.

Заметим, что . Но вектор гауссовский, поэтому скалярное произведение тоже гауссовская случайная величина для любого не случайного вектора . Следовательно, вектор также гауссовский случайный вектор.

Зная плотность распределения гауссовского случайного вектора с независимыми компонентами, найдем характеристическую функцию произвольного гауссовского случайного вектора.

Определим произвольный гауссовский случайный вектор как произвольное линейное преобразование гауссовского вектора с независимыми компонентами: .

По определению характеристической функции случайного вектора с независимыми компонентами, получим:

.

Характеристическая функция вектора имеет вид:

.

Следовательно, в выражение для характеристической функции вектора вместо компонент вектора v необходимо подставить компоненты вектора .

Тогда получим:

.

Так как , то, подставив его в выражение для характеристической функции, получим:

.

Здесь — элементы ковариационной матрицы вектора ;  — математическое ожидание вектора .

Действительно, при произвольном линейном преобразовании случайного вектора математическое ожидание случайного вектора равно: . Ковариационная матрица вектора равна:

.

Для вектора с независимыми компонентами ковариационная матрица диагональная:

.

Поэтому компоненты матрицы имеют вид: .

Найдем плотность распределения произвольного гауссовского случайного вектора по его характеристической функции.

.

Учитывая представление ковариационной матрицы через собственные вектора, получим:

.

Сделаем в этом многомерном интеграле замену переменных вида . Тогда . Пределы интегрирования также не изменятся. Якобиан преобразования здесь равен определителю матрицы , следовательно единице.

Таким образом:

.

Введем обозначения:. С учетом этих обозначений подынтегральное выражение можно записать в виде:

.

Плотность распределения случайного вектора примет вид:

.

Нетрудно видеть, что сомножители под знаком произведения представляют собой обратное преобразование Фурье от характеристической функции гауссовской случайной величины с математическим ожиданием и дисперсией . То есть это гауссовская плотность распределения случайной величины, зависящая от переменной .

Учитывая это, получим:

.

Преобразуем это выражение:

.

Здесь учтено, что .

Заметим, что .

Тогда для плотности распределения получим:

И последнее, учитывая, что , окончательно получим:

Используя определение скалярного произведения и определение произведения матрицы на вектор, эту плотность можно записать в следующем виде:

.

Таким образом, плотность распределения гауссовского случайного вектора полностью определяется вектором математических ожиданий и ковариационной матрицей

Подытожим свойства гауссовского случайного вектора.

1. Плотность распределения:
.

2. Характеристическая функция:
.

  1. Из некоррелированности координат гауссовского случайного вектора следует их статистическая независимость.

  2. Линейное преобразование гауссовского случайного вектора есть гауссовский случайный вектор с математическим ожиданием и ковариационной матрицей .

    1. Функциональные преобразования случайного вектора

При решении практических задач часто возникает необходимость находить закон распределения случайного вектора, который представляет собой некоторое функциональное преобразование известного случайного вектора.

Математически эта задача записывается следующим образом:

Дан случайный вектор с известной плотностью распределения . Этот вектор подвергается преобразованию вида:

.

Найти плотность распределения случайного вектора .

Предполагается, что преобразование вектора в вектор взаимно однозначно.

Для нахождения плотности распределения вектора будем рассуждать следующим образом:

Для любого борелевского множества В в вероятность попадания вектора в это множество равна: . При преобразовании множество В преобразуется в некоторое множество и вероятность попадания вектора во множество В такая же как вероятность попадания вектора во множество . Следовательно:

.

Сделаем в интеграле замену переменных вида:

.

При таком преобразовании множество В отобразится во множество . Так как преобразование взаимно однозначно, то существует обратное преобразование, которое можно записать так:

Якобиан этого преобразования имеет вид: (модуль определителя соответствующей матрицы).

Поэтому в соответствии с правилами замены переменных в многомерном интеграле, получим:

Следовательно, плотность распределения вектора равна:

.

      1. Закон распределения суммы двух случайных величин

Пусть задан вектор с плотностью распределения . Найти закон распределения случайной величины .

Для того, чтобы применить выведенную выше формулу для плотности распределения при функциональном преобразовании необходимо построить соответствующее взаимно однозначное отображение вектора в вектор . Найти плотность распределения вектора , а затем интегрированием найти плотность распределения первой компоненты этого вектора.

В качестве взаимно однозначного преобразования можно взять такое:

.

Обратное преобразование имеет вид:

.

Якобиан этого преобразования: (модуль определителя).

Плотность распределения вектора :

.

Таким образом, плотность распределения суммы двух случайных величин равна:

Если в качестве взаимно однозначного преобразования взять:

,

то нетрудно проверить, что получим следующее выражение для плотности распределения:

.

Если случайные величины и независимы, то плотность распределения суммы равна:

.

Заметим, что интеграл такого вида называется интегралом свертки.

Символически свертку двух плотностей распределения записывают в виде:

.

Свертка двух функций обладает следующим свойством:

1.

Таким образом, плотность распределения суммы n независимых случайных величин имеет вид:

.

      1. Закон распределения разности двух случайных величин

В данном случае .

В качестве взаимно однозначного преобразования можно взять такое:

.

Обратное преобразование имеет вид:

.

Якобиан этого преобразования: .

Плотность распределения вектора :

.

Таким образом, плотность распределения суммы двух случайных величин равна:

Если в качестве взаимно однозначного преобразования взять:

,

то нетрудно проверить, что получим следующее выражение для плотности распределения:

.

Если случайные величины и независимы, то плотность распределения разности равна:

.

      1. Закон распределения произведения двух случайных величин

При нахождении закона распределения произведения двух случайных величин в качестве взаимно однозначного преобразования можно взять такое:

.

Обратное преобразование имеет вид:

.

Якобиан этого преобразования: .

Плотность распределения вектора :

.

Таким образом, плотность распределения произведения двух случайных величин равна:

.

Если взять другой вид взаимно однозначного преобразования: , то получим другой вид плотности распределения произведения двух случайных величин:

Плотность распределения произведения двух независимых случайных величин примет вид:

.

      1. Закон распределения отношения двух случайных величин

При нахождении закона распределения отношения двух случайных величин в качестве взаимно однозначного преобразования можно взять такое:

, или такое: .

Обратное преобразование имеет вид:

или .

Якобиан этих преобразований: или .

Плотность распределения вектора :

.

Таким образом, плотность распределения отношения двух случайных величин равна:

.

Плотность распределения отношения двух независимых случайных величин примет вид:

.

      1. Закон распределения модуля и фазы гауссовского случайного вектора

Рассмотрим координатную плоскость и точку на этой координатной плоскости (рис. 16):

Рис. 16

Декартовы координаты этой точки являются случайными величинами .

Положение этой же точки можно представить также в полярных координатах: .

При этом

Если известен закон распределения декартовых координат случайного вектора, то можно найти закон распределения его полярных координат.

Полярные координаты вектора обычто называют: длина вектора это модуль вектора , а угол между вектором и осью абсцисс называют фазой вектора .

Таким образом, из условия задачи необходимо найти закон распределения модуля и фазы случайного вектора, если известен закон распределения его декартовых координат.

Применим формулы функционального преобразования. Вначале найдем обратное преобразование. То есть выразим декартовы координаты вектора через полярные координаты:

.

Таким образом, обратное преобразование имеет вид:

.

При этом .

Якобиан преобразования:

.

Плотность распределения полярных координат равна:

Если декартовы координаты вектора независимы и распределены по гауссовскому закону с нулевым математическим ожиданием и одинаковой дисперсией , то плотность распределения полярных координат можно записать в виде:

.

Выполнив вычисления, приведем эту плотность распределения к виду:

,

где

,

.

Таким образом, мы получили, что случайные величины: модуль и фаза гауссовского вектора с независимыми и одинаково распределенными компонентами также независимы.

Закон распределения модуля называется законом распределения Релея, а закон распределения фазы – равномерным законом.

С другой стороны, если известно, что случайные величины и независимы, распределена по закону Релея, а по равномерному в закону, то случайные величины: и также независимы, имеют нулевое математическое ожидание и распределены по гауссовскому закону с одинаковой дисперсией .

    1. Комплексные случайные величины и векторы

В физике и технике наряду с действительными числами широко используются комплексные числа. Точно также, наряду с действительными случайными величинами можно ввести понятия комплексных случайных величин и векторов.

Определение. Комплексной случайной величиной назвается совокупность двух действительных случайных величин и составляющих по правилу образования комплексных величин: . Здесь j — мнимая единица ().

Определение. Математическим ожиданием комплексной случайной величины называется:

.

Определение. Центрированной комплексной случайной величиной называется .

Определение. Математическим ожиданием произвольной функции от комплексной случайной величины называется:

.

Определение. Дисперсией комплексной случайной величины называется: .

Заметим, что комплексную случайную величину можно представить в алгебраическом виде: или в экспоненциальном виде: или в тригонометрическом виде: .

Например, рассматривая комплексное число как вектор в комплексной плоскости с координатами , которые являются гауссовскими независимыми одинаково распределенными случайными величинами с нулевым математическим ожиданием, можно записать плотность распределения этой комплексной величины:

через совместную плотность распределения ее компонент:;

как плотность распределения самой комплексной случайной величины:

.

Заметим, что модуль и фаза этой комплексной случайной величины независимы. Модуль (случайная величина ) распределен по закону Релея, а фаза () по равномерному в отрезке закону.

Определение. Пусть - комплексный вектор; . Скалярным произведением комплексных векторов называется

.

Обозначим: - операция транспонирования и комплексного сопряжения.

Заметим, что для комплексных векторов . Для них справедливо соотношение: .

Пусть - комплексный случайный вектор.

Определение. Корреляционной матрицей комплексного случайного вектора назвается: .

Определение. Ковариационной матрицей комплексного случайного вектора назвается: .

Ковариационная и корреляционные матрицы комплексного случайного вектора являются неотрицательно определенными: , для любого комплексного вектора z.

Свойство симметричности корреляционных и ковариационных матриц действительных векторов переходят для комплексных векторов в свойство: . Комплексные матрицы с таким свойством называются эрмитовыми.

Комплексный случайный вектор представляет собой совокупность действительных случайных величин, объединенных в соответствии с определением комплексных величин. Например, для двумерного комплексного вектора необходима совокупность из четырех действительных случайных величин.

Закон распределения комплексного случайного вектора полностью определяется законом распределения совокупности действительных случайных величин, составляющих этот комплексный вектор.

Установим связь между ковариационной матрицей комплексного случайного вектора и ковариационной матрицей совокупности составляющих его действительных случайных величин.

Ковариационную матрицу комплексного случайного вектора представим в виде суммы двух действительных матриц (все матрицы квадратные размером ):

.

Свойства этих матриц выведем из свойств неотрицательной определенности и эрмитовости.

Для любого комплексного вектора справедливо соотношение:

Мнимая часть этого соотношения должна быть равна нулю, поэтому должно выполняться соотношение:

.

Заметим, что матрица — эрмитова, поэтому . Отсюда следует, что .

Поэтому . Следовательно матрица должна еще обладать свойством: .

Таким образом, для любого комплексного вектора z квадратичная форма имеет вид:

.

Рассмотрим ковариационную матрицу соответствующего действительного случайного вектора размерности , которую представим в блочном виде:

, где подматрицы, составляющие матрицу , квадратные размером .

Так как ковариационная матрица действительного вектора симметрическая и неотрицательно определенная, то из условия , получим: .

Рассмотрим квадратичную форму для вектора .

.

Для того, чтобы эта квадратичная форма совпадала с квадратичной формой комплексного случайного вектора необходимо, чтобы выполнялись следующие условия для ковариационной матрицы действительного случайного вектора:

.

Таким образом, между ковариационной матрицей комплексного случайного вектора и ковариационной матрицей соответсвующего ему действительного вектора можно установить следующее взаимно однозначное соответствие:

. (8)

При этом сумме и произведению ковариационных матриц комплексных векторов соответствует сумма и произведение ковариационных матриц действительных векторов.

Определение. Комплексный случайный вектор называется комплексным гауссовским случайным вектором, если его действительная и мнимая часть являются совместно гауссовскими векторами и их совместная ковариационная матрица имеет вид (8).

Плотность распределения вероятностей комплексного гауссовского случайного вектора с математическим ожиданием и ковариционной матрицей имеет вид:

.

Соответствующая совместная плотность распределения действительного вектора имеет вид:

.

Здесь вектор 2n — мерный, , .

Рассмотрим в качестве примера двумерный комплексный гауссовский вектор с нулевым математическим ожиданием и ковариационной матрицей:

. По определению и — действительные величины, - комплексная величина, причем матрица — положительно определенная.

Нетрудно найти матрицу, обратную к : , где определеитель .

Квадратичная форма в определении плотности примет вид:

Здесь учтено, что для комплексных чисел .

Таким образом, плотность распределения двумерного комплексного гауссовского случайного вектора равна:

.

  1. Математическая статистика

    1. Методы статистического описания результатов наблюдений

Математическая статистика позволяет получать обоснованные выводы о параметрах, видах распределений и других свойствах случайных величин и случайных векторов по конечной совокупности наблюдений над ними — выборке.

Выборка понимается следующим образом. Пусть случайная величина наблюдается в каком-то эксперименте. Ее реализация в этом эксперименте равна . Повторим эксперимент n раз, предполагая, что условия эксперимента не меняются, следовательно не меняется и закон распределения случайной величины . Реализации случайной величины в этих n экспериментах обозначим . Заметим, что n - кратное повторение одного и того же эксперимента в одинаковых условиях можно интерпретировать как векторную случайную величину , компоненты которой одинаково распределены и независимы.

Определение. Пусть - случайный вектор и имеют место события . Вектор называется реализацией случайного вектора .

Пусть компоненты вектора независимые одинаково распределенные случайные величины. Вектор — реализация вектора .

Определение. Случайные величины называются выборочными случайными величинами, наблюдаемые реализации — значениями выборки, множество, содержащее все возможные значения выборки — выборочным пространством, n — объемом выборки, закон распределения случайных величин называется распределением генеральной совокупности.

Обычно закон распределения выборочных случайных величин неизвестен, поэтому вводится понятие эмпирического (выборочного) закона распределения, полагая, что наблюдаемые реализации являются реализациями случайной величины, с равной вероятностью принимающей значения . Это дискретная случайная величина, которая может быть описана плотностью распределения вида:

.

Функция распределения такой случайной величины называется эмпирической функцией распределения.

По эмпирической функции распределения можно определить эмпирические моменты, например, выборочное математическое ожидание и выборочную дисперсию:

.

Пусть выборка содержит k различных чисел, причем встречается ровно раз.. Число называется частотой элемента выборки . Очевидно, что .

Последовательность пар называется статистическим рядом.

Обычно статистический ряд записывается в виде таблицы, первая строка которой содержит элементы , а вторая — их частоты .

Рассмотрим пример, приведенный в [5]. Это данные роста рекрутов, призванных в 1913 году. Данные сведены в таблицу 3, представляющую собой статистический ряд.

Таблица 3

Рост (см)

Частота

Рост (см)

Частота

Рост (см)

Частота

147

1

160

30

172

36

148

0

161

35

173

31

149

0

162

43

174

33

150

2

163

48

175

21

151

4

164

47

176

24

152

3

165

60

177

13

153

4

166

63

178

9

154

7

167

74

179

9

155

6

168

60

180

3

156

12

169

64

181

3

157

14

170

47

182

4

159

22

При большом объеме выборки ее элементы объединяются в группы, представляя результат в виде группированного статистического ряда. Для этого интервал, содержащий все элементы выборки, разбивается на m непересекающихся интервалов одинаковой длины. Затем подсчитывается количество элементов выборки, попавших в i‑й интервал. Эта величина также называется частотой элементов выборки. Группированный статистический ряд — это пара , где середина соответствующего интервала группировки.

Построим группированный статистический ряд для данных таблицы 3. Для этого объединим в группы данные, лежащие в интервале длиной 3 см (таблица 4)

Таблица 4

Рост (см)

Частота

Рост (см)

Частота

Рост (см)

Частота

148

1

164

155

179

9

151

9

167

197

180

3

154

17

170

147

181

3

157

48

174

85

182

4

161

108

177

46

Определение. Кусочно-постоянная функция, постоянная на интервале группировки и принимающая на этом интервале значения частоты элементов выборки называется гистограммой частот.

График соответствующей функции приведен на рис. 17.

Рис. 17

Если все частоты поделить на объем выборки, то полученная гистограмма называется гистограммой относительных частот. Относительная частота играет роль эмпирической вероятности попадания случайной величины в соответствующий интервал.

    1. Оценка параметров распределения по результатам наблюдения случайной величины

Во многих случаях закон распределения наблюдаемой случайной величины известен с точностью до некоторого параметра (или вектора параметров) . То есть плотность распределения наблюдаемой случайной величины зависит от неизвестного параметра , который и надо определить (оценить) по выборке . Такая задача в математической статистике называется задачей оценки параметров распределения.

Очевидно, что оценка параметра зависит от результатов наблюдений: .

Произвольная функция от результатов наблюдений называется статистикой.

Качество оценок характеризуется следующими основными свойствами.

  1. Состоятельность. Оценка называется состоятельной оценкой параметра , если сходится по вероятности к при увеличении объема выборки (). Это означает, что для любого .

  2. Несмещенность. Оценка называется несмещенной оценкой параметра , если ее математическое ожидание равно оцениваемому параметру, т.е. . Для оценки параметра можно предложить несколько несмещенных оценок. Мерой точности несмещенной оценки считают ее дисперсию.

  3. Эффективность. Несмещенная оценка параметра , дисперсия которой достигает своего наименьшего значения называется эффективной оценкой.

Несмещенная оценка называется асимптотически эффективной, если наименьшая дисперсия достигается в пределе при увеличении объема выборки.

Рассмотрим задачу оценки параметров с позиций теории статистических решений.

Обозначим — оценка неизвестного параметра . Очевидно также принадлежит множеству . Оценка отличается от истинного значения параметра. Введем меру различия между оценкой и истинным значением параметра: — функция со значениями на числовой оси. Минимум этой функции будет при , то есть когда оценка совпадает с истинным значением параметра. Таким образом, . В теории статистических решений эта функция называется функцией потерь, или функцией стоимости, или функцией риска. Чем больше истинное значение параметра отличается от его оценки, тем больше должно быть различие между ними и, следовательно, больше должны быть потери.

Ясно, что при нахождении оценки по результатам наблюдений желательно выбрать такую оценку, для которой различие от истинного значения параметра было бы минимальным. То есть оценка должна минимизировать функцию стоимости.

Но результаты наблюдений есть реализации некоторой векторной случайной величины, следовательно оценка также случайная величина. Кроме того сам оцениваемый параметр также может трактоваться как некоторая случайная величина.

Таким образом, функция потерь зависит от случайных величин и сама является случайной величиной.

С математической точки зрения некорректно находить экстремум случайной величины, поэтому поставить задачу нахождения оценки, которая минимизирует функцию стоимости, невозможно.

Можно поставить задачу получения оценки, которая при большой серии испытаний давала бы в среднем наименьшие потери, то есть в среднем наименее отличалась от истинного значения параметра.

Такой подход приводит к задаче минимизации математического ожидания функции потерь (или функции риска).

Оценка, полученная по этому критерию называется оценкой по минимуму среднего риска.

Чтобы получить такую оценку надо знать закон распределения выборочных случайных величин с точностью до оцениваемого параметра, а также закон распределения самого оцениваемого параметра.

Средний риск, как математическое ожидание функции, риска имеет вид:

.

Здесь — совместная плотность распределения выборочных случайных величин и оцениваемого параметра .

Так как — обычная функция со значениями на числовой оси, то можно поставить задачу нахождения оценки, минимизирующей эту функцию:

. (9)

Здесь учтено, что совместная плотность распределения может быть записана через условную и безусловную плотности двумя разными способами.

Заметим, что задача минимизации среднего риска может быть сведена к задаче минимизации условного риска:

Запишем подынтегральное выражение в (9) в следующем виде:

.

Так как — неотрицательная функция, то минимум среднего риска будет достигаться в том случае, если для каждого значения внутренний интеграл будет минимальным. Таким образом, оценка находится из решения следующей экстремальной задачи:

.

Оценка полученная таким образом называется байесовской оценкой.

Рассмотрим задачу оценки для конкретного вида функции потерь (риска).

      1. Квадратичная функция потерь

В случае оценки одного параметра .

Оптимальная оценка находится из решения следующей экстремальной задачи:

.

Здесь первое слагаемое от не зависит и на решение не влияет, а последний интеграл равен единице.

Нетрудно видеть, что минимизируемая функция есть полином второй степени, минимум которого единственный и достигается в точке:

.

Данный интеграл есть условное математическое ожидание оцениваемого параметра .

Таким образом, оптимальной оценкой параметра по критерию минимума среднего риска при квадратичной функции потерь является условное математическое ожидание оцениваемого параметра.

Пример 1

Пусть — выборочный случайный вектор, компоненты которого независимы и одинаково распределены по гауссовскому закону: .

Оцениваемым параметром является математическое ожидание , которое в свою очередь является случайной величиной, распределенной по гауссовскому закону:

.

Найти оптимальную оценку параметра по критерию минимума среднего риска при квадратичной функции потерь.

Решение задачи

Так как оптимальной оценкой в этом случае является условное математическое ожидание случайной величины , при условии, что выборочный вектор , то найдем условную плотность распределения случайной величины .

По определению .

Подставляя плотности распределения по условию задачи, получим:

.

При вычислении интеграла заметим, что .

Поэтому, если привести показатель экспоненты к полному квадрату и воспользоваться приведенным свойством, то в результате интегрирования получим:

.

Условная плотность распределения примет вид:

.

Как видим, это плотность распределения гауссовской случайной величины с математическим ожиданием и дисперсией .

Таким образом, оптимальная оценка параметра имеет вид:

.

Заметим, что оценка есть весовая сумма выборочного среднего и априорного математического ожидания оцениваемого параметра. Сумма весов выборочного среднего и априорного математического ожидания равна единице ().

Если априорная дисперсия оценки мала , то оценка в основном сосредоточена около априорного математического ожидания. Наблюдения в этом случае неинформативны. И, наоборот, при большой априорной дисперсии оценка в основном определяется данными наблюдений (сосредоточена около выборочного среднего).

      1. Простая функция потерь

Пусть при оценке одного параметра функция потерь имеет вид (рис. 18). Эта функция потерь называется простой.

Рис. 18

Тогда оптимальная оценка должна находиться из решения следующей экстремальной задачи:

.

Заметим, что при малых значениях величины интеграл можно записать в виде (рис. 19):

Рис. 19

.

Поэтому оптимальная оценка параметра определяется как решение следующей экстремальной задачи:

. (10)

Заметим, что функция называется апостериорной плотностью распределения параметра , поэтому оценка, определяемая выражением (10) называется оценкой по критерию максимума апостериорной плотности вероятности.

Учтем, что , поэтому оценку по максимуму апостериорной плотности вероятности можно записать также в виде:

(11)

Здесь - называется функцией правдоподобия, а - априорной плотностью распределения оцениваемого параметра.

Заметим, что оценка по максимуму апостериорной плотности вероятности может быть найдена путем поиска максимума любой монотонно возрастающей функции от апостериорной плотности вероятности. Очень часто в качестве такой функции берут натуральный логарифм:

.

Рассмотрим предыдущий пример поиска оценки параметра распределения. В качестве критерия оптимизации возьмем критерий максимума апостериорной плотности вероятности.

Апостериорную плотность для этого случая мы уже находили. Она является гауссовской с математическим ожиданием . Максимум такой плотности будет в точке ее математического ожидания. Следовательно, оптимальная оценка по критерию максимума апостериорной плотности вероятности и по критерию минимума среднего риска при квадратичной функции потерь для этого случая совпадают.

Таким образом, в тех случаях, когда математическое ожидание есть точка максимума апостериорной плотности вероятности, оценки по критерию среднего риска при квадратичной функции потерь и максимума апостериорной плотности вероятности равны. В противном случае получаются разные алгоритмы оценок.

Заметим, что выбор функции потерь является не математической задачей, а задачей статистика, формирующего математическую модель явления, связанную с обработкой наблюдаемых данных.

      1. Оценки максимального правдоподобия

Рассматривая критерий максимума апостериорной плотности вероятности (11) заметим, что если в окрестности максимума этой плотности априорная плотность оцениваемого параметра практически постоянна (от не зависит), то оптимальная оценка может быть получена по критерию:

.

Этот критерий поиска оптимальной оценки имеет самостоятельное значение в математической статистике и называется критерием максимума правдоподобия.

Этот критерий может использоваться, когда нельзя считать оцениваемый параметр случайной величиной, что требуется по критерию среднего риска и максимума апостериорной плотности вероятности.

В общем случае функцию правдоподобия будем записывать не в виде условной плотности, что справедливо, когда оцениваемый параметр является случайной величиной, а в параметрическом виде: .

Для упрощения вычислений, связанных с получением максимально правдоподобной оценки можно использовать любую монотонно возрастающую функцию от функции правдоподобия. Очень часто используют натуральный логарифм.

При выполнении некоторых, достаточно общих, условий оценки максимального правдоподобия состоятельны, асимптотически эффективны и асимптотически нормально распределены. Последнее означает, что

.

Если для параметра существует эффективная оценка, то метод максимального правдоподобия дает именно эту оценку.

В качестве примера найдем максимально правдоподобную оценку математического ожидания по выборочному гауссовскому вектору, который мы рассматривали в предыдущих разделах.

Функция правдоподобия в этом случае имеет вид:

.

Оценку максимального правдоподобия найдем максимизируя логарифм функции правдоподобия, который сводится к задаче:

.

Найдем производную по и приравняем ее нулю, получим уравнение:

.

Очевидно, что решением данного уравнения является:

.

Таким образом, оценка максимального правдоподобия математического ожидания нормально распределенного выборочного случайного вектора совпадает с выборочным математическим ожиданием.

Нетрудно показать, что эта оценка несмещенная , и дисперсия ее равна:

.

Таким образом, эта оценка является состоятельной.

Пример 2

Пусть — выборочный случайный вектор, компоненты которого независимы, одинаково распределены по закону Пуассона с неизвестным параметром :

.

Здесь — принимают неотрицательные целые значения 0, 1,…,k,…

Найти максимально правдоподобную оценку параметра .

Решение задачи

Функция правдоподобия в данном случае имеет вид:

.

Оценку максимального правдоподобия найдем максимизируя логарифм функции правдоподобия по параметру :

.

Последнее слагаемое от не зависит и его можно не учитывать при поиске максимума.

Из математического анализа известно, что необходимым условием экстремума дифференцируемой функции является равенство нулю ее производной:

.

Из этого уравнения находим оценку параметра:

.

Найдем математическое ожидание оценки и ее дисперсию.

.

Математическое ожидание случайной величины, распределенной по закону Пуассона, равно:

.

Таким образом, оценка параметра является несмещенной.

Дисперсия оценки равна:

.

Так как случайные величины независимые, то

.

Таким образом, оценка максимального правдоподобия является состоятельной оценкой параметра .

Пример 3 [Error: Reference source not found]

При помощи n различных приборов получены n измерений случайной величины . В предположении, что имеет нормальное распределение, а дисперсия i-того измерения известна и равна , найти максимально правдоподобную оценку математического ожидания (m) случайной величины и вычислить дисперсию этой оценки.

Решение задачи

Выборочный вектор , где компоненты вектора независимые гауссовские, имеющие одинаковое математическое ожидание m и различные дисперсии .

Функция правдоподобия в этом случае равна:

.

Максимум по m этой функции будет достигаться в той точке, где достигается

.

Дифференцируя по m и приравнивая результат дифференцирования нулю получим уравнение для оценки:

.

Откуда получаем максимально правдоподобную оценку математического ожидания:

.

Покажем, что эта оценка несмещенная.

.

Найдем дисперсию этой оценки.

.

      1. Доверительные интервалы и доверительная вероятность

При статистической обработке результатов наблюдений часто необходимо не только найти оценку неизвестного параметра, но и охарактеризовать точность этой оценки. С этой целью вводится понятие доверительного интервала.

Определение. Доверительным интервалом для параметра называется интервал со случайными границами, содержащий истинное значение параметра с заданной вероятностью , то есть .

Число называется доверительной вероятностью, а значение уровнем значимости. Статистики и , определяемые по выборке называются соответственно нижней и верхней границами доверительного интервала.

Длина доверительного интервала, характеризующая точность оценивания, зависит от объема выборки и доверительной вероятности. При уменьшении объема выборки длина доверительного интервала увеличивается и наоборот. Также, чем больше доверительная вероятность, тем больше должен быть объем выборки для сохранения той же длины доверительного интервала.

Выбор доверительной вероятности определяется конкретными условиями задачи оценивания. Обычно используются значения 0,9, 0,95, 0,99.

Чтобы найти доверительный интервал для оцениваемого параметра необходимо знать закон распределения оценки . Этот закон распределения зависит от значения оцениваемого параметра .

Рассмотрим построение доверительного интервала в задаче поиска максимально правдоподобной оценки математического ожидания по выборочному вектору с гауссовскими одинаково распределенными компонентами. Предполагается, что дисперсия компонент известна.

Максимально правдоподобной оценкой в этом случае является выборочное среднее:

.

Подставляя вместо реализаций выборочного случайного вектора его компоненты, получим, что оценка является случайной величиной, функционально связанной с компонентами выборочного случайного вектора:

.

Нетрудно видеть, что закон распределения случайной величины гауссовский, как результат линейного преобразования гауссовского случайного вектора.

Математическое ожидание и дисперсия равны:

, .

Найдем такое значение , при котором выполняется равенство: . Доверительный интервал в этом случае равен . Длина доверительного интервала равна .

Заметим, что .

Заменой переменных этот интеграл можно привести к виду:

.

Здесь - интеграл вероятностей. Также учтено, что .

Параметр находим из уравнения:

.

Решая это уравнение, получим

.

Здесь — функция, обратная .

Заметим, что значение , для которого выполняется равенство: (обозначается ), называется квантилью нормального распределения уровня .

Таким образом, доверительный интервал для оценки математического ожидания равен:

.

Пусть уровень значимости . Тогда по таблице квантилей нормального распределения найдем и длина доверительного интервала составляет: .

    1. Проверка статистических гипотез

Ранее мы рассматривали задачу оценки параметра распределения генеральной совокупности по наблюдениям. Во многих случаях возникает задача не оценки, а проверки предположений относительно тех или иных свойств распределения генеральной совокупности. Эти предположения называются гипотезами. Например, гипотеза о том, что математическое ожидание равно нулю или оно не равно нулю или это математическое ожидание равно заранее заданному значению и т.д.

При статистической обработке результатов наблюдений количество рассматриваемых гипотез может быть любым. На практике наибольший интерес представляет задача проверки двух гипотез относительно свойств распределения генеральной совокупности.

Задачу проверки гипотез в соответствии с теорией статистических решений можно свести к задаче оценки параметров, если предположить, что множество возможных значений параметра дискретно и равно двум для задачи проверки двух гипотез.

Итак, пусть в статистической задаче оценки параметров оцениваемый параметр принимает всего два значения: . Очевидно, что и возможных значений оценки также всего два: .

Функция потерь в этом случае может быть представлена в табличном виде и называется матрицей потерь:

.

Здесь П00 и П11 — потери за счет правильных решений; П01 и П10 — потери за счет ошибочных решений. Ясно, что П0001 и П1110.

Как и для задачи оценки параметров, средний риск имеет вид:

.

Заметим, что оцениваемый параметр представляет собой дискретную случайную величину и ее плотность распределения имеет вид:

.

Здесь: . — представляет собой априорную вероятность гипотезы Н1: , а — априорную вероятность гипотезы Н0: .

Подставляя априорную плотность в средний риск, и проведя интегрирование, получим:

.

Рассмотрим, что собой представляет оценка . Это функция, отображающая элемент выборочного пространства Х в элемент множества . По существу любая такая функция разбивает выборочное пространство Х на два не пересекающихся множества и . Причем .

Таким образом, средний риск можно записать в виде:

.

Учитывая, что , а также значения матрицы потерь, получим:

.

Минимизировать средний риск выбором функции означает выбрать такое множество Х1, чтобы соответствующий интеграл был минимальным. Заметим, что подынтегральная функция знакопеременная, поэтому область интегрирования выберем так, чтобы в этой области подынтегральная функция была отрицательна:

.

Заметим, что П1110, следовательно, это неравенство можно записать в виде:

.

Таким образом, правило принятия решений можно записать так:

Суть алгоритма заключается в следующем: по наблюдениям вычисляется величина и полученное число сравнивается с заранее вычисленным порогом . Если вычисленное значение больше порога, принимается решение, что верна гипотеза Н1, в противном случае принимается решение, что верна гипотеза Н0.

Определение. Функция называется отношением правдоподобия.

Для использования приведенного выше алгоритма проверки гипотез нужно знать априорные вероятности гипотез p и q, а также задать матрицу потерь.

Во многих случаях разумное определение этих параметров вызывает большие затруднения и встает задача определения порога из каких-либо других соображений.

      1. Критерий Неймана-Пирсона

При проверке гипотез возможны как правильные, так и ошибочные решения. В теории статистических решений всем этим решениям приписываются соответствующие потери, которые в конечном итоге определяют порог сравнения в алгоритме проверки гипотез. Принято ошибочные решения классифицировать следующим образом.

Ошибкой первого рода называется ошибка, состоящая в том, что гипотеза Н0 отклоняется в то время как она верна.

Ошибкой второго рода называется ошибка, состоящая в том, что принимается гипотеза Н0, хотя в действительности верна гипотеза Н1.

Вероятность ошибки первого рода называется уровнем значимости и обозначается символом , а вероятность ошибки второго рода обозначается символом .

Заметим, что, зная вероятности ошибочных решений, легко вычислить вероятности правильных решений. Так вероятность правильного решения о принятии гипотезы Н0 равна 1–, а вероятность принять правильное решение о том, что верна гипотеза Н1 равна 1–.

В статистических задачах желательно применить такой алгоритм принятия решений, чтобы вероятность правильного решения о принятии гипотезы Н1 была максимальной при условии, что вероятность ошибки первого рода не более заданной величины — уровня значимости. Такой критерий поиска решающего правила называется критерием Неймана-Пирсона.

Вероятность ошибки первого рода можно определить как вероятность следующего события:

.

Вероятность правильного решения о том, что верна гипотеза Н1:

.

Нужно выбрать множество Х1 таким образом, чтобы величина была максимальной при условии, что величина не превышает заданное значение .

Пусть — произвольная решающая функция, которую и надо найти.

Тогда задачу поиска оптимальной по критерию Неймана-Пирсона решающей функции можно записать в виде следующей задачи на условный экстремум:

.

Данная задача с использованием множителей Лагранжа может быть записана в виде задачи на безусловный экстремум:

.

После того как оптимальная функция будет найдена, параметр находится из уравнения: .

Из определения функции g(x) экстремальная задача может быть записана в виде:

Решение этой задачи мы уже обсуждали и сводится оно к выбору такого множества Х1, чтобы интеграл достигал максимума. Это будет в том случае, если в область интегрирования (множество Х1) включить только те х, для которых подынтегральное выражение положительно.

Таким образом,

.

Нетрудно видеть, что и в этом случае алгоритм проверки гипотез сводится к вычислению отношения правдоподобия и сравнению его с некоторым порогом :

.

Порог выбирается таким образом, чтобы вероятность ошибки первого рода не превышала заданной величины .

Заметим, что с порогом можно сравнивать любую монотонно возрастающую функцию от отношения правдоподобия. Неравенство необходимо преобразовывать до тех пор, пока не получится наиболее простого в вычислительном отношении алгоритма.

Пример 1

Проверяется партия деталей, изготовленная на станке- автомате в количестве n штук. Отклонения от номинального размера составляют величины . Считается, что отклонение от номинального размера есть гауссовская случайная величина с известной дисперсией . При исправном станке математическое ожидание отклонений от номинала равно нулю, а если станок неисправен, то равно m>0. Найти алгоритм проверки гипотезы Н0 – станок исправен, против альтернативы Н1 - станок неисправен. Уровень значимости равен . Чему равна вероятность ошибки второго рода?

Решить задачу при следующих численных данных: число наблюдений n=100, дисперсия , уровень значимости , m=0,3 сумма наблюдаемых значений равна .

Решение задачи

Вначале найдем плотности распределения выборочного случайного вектора по гипотезам Н1 и Н0.

.

.

Тогда отношение правдоподобия равно:

.

Алгоритм проверки гипотез заключается в сравнении отношения правдоподобия (или любой монотонной функции от него) с некоторым порогом.

В качестве такой функции удобно взять натуральный логарифм:

.

Преобразуем это неравенство, учитывая, что порог произвольный и будет выбран позднее исходя из заданной ошибки первого рода, а m>0.

После приведения подобных и отнесения всех констант, не зависящих от наблюдений, в порог, получим следующий алгоритм:



Исходя из требуемого уровня значимости, найдем порог .

Для того чтобы найти порог, вычислим вероятность ошибки первого рода. Эта ошибка получается в том случае, если случайная величина , равная сумме компонент выборочного случайного вектора , превысит порог, хотя верна гипотеза Н0. Вероятность такого события равна:

.

Заметим, что сумма гауссовских случайных величин есть гауссовская случайная величина. Поэтому случайная величина - гауссовская. Необходимо только найти ее математическое ожидание и дисперсию.

, .

Таким образом, .

Порог находится из уравнения:

Решая это уравнения, получим

Найдем вероятность ошибки второго рода . По определению

.

Найдем математическое ожидание и дисперсию по гипотезе .

. , так как дисперсия случайной величины не зависит от математического ожидания.

Таким образом,

. (12)

Так как , то подставляя это значение в выражение (12), получим:

.

Из этого выражения следует, что вероятность ошибки второго рода тем меньше, чем больше число испытаний n и отношение .

Подставляя числовые значения, получим:

.

.

Таким образом, при данных наблюдениях принимается решение, что верна гипотеза — станок исправен, так как . При этом вероятность принять неисправный станок за исправный (вероятность ошибки второго рода) равна 0,08.

И только в том случае, если сумма наблюдений превысит порог 16,5 принимается решение, что верна гипотеза Н1 — станок неисправен. При этом вероятность принять исправный станок за неисправный (вероятность ошибки первого рода) равна .

Библиографический список

1. Колмогоров А.Н. Основные понятия теории вероятностей. — М.: Наука, 1974. — 356 с.

2. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. — М.: Наука, 1988. — 480 с.

3. Сборник задач по математике для втузов. Ч. 3. Теория вероятностей и математическая статистика: Учебное пособие для втузов/ Под ред. А.В. Ефимова. — М.: Наука, 1990. — 428 с.

4. Гельфанд И.М., Шилов Г.Е. Обобщенные функции и действия над ними. — М.: Физматгиз, 1959. — 470 с.

5. Шметтерер Л. Введение в мвтематическую статистику. — М.: Наука, 1976. — 520 с.

1

Смотреть полностью


Похожие документы:

  1. Программа курса состоит из следующих разделов

    Программа курса
    ... маркетинге. Cool-Brand-стратегия Издательство: Питер, 2008 -200с. ... Учебное пособие. – Челябинск: Изд-во ЮУрГУ, 2002. – 66 с Власов П.К. (Ред.). Психология в рекламе. URSS, 2003 ... менталитета и нооменталитета. Учебное пособие для ВУЗов.- Екатеринбург: ...
  2. Основная образовательная программа бакалавриата по направлению подготовки 040100 «Социология» (17)

    Основная образовательная программа
    ... Болонского процесса в 2003 на Берлинской ... Бороноев. — СПб.: Издательство СПбГУ, 2000. Мазунина, М. В. Рынок труда: учебное пособие / М. В. Мазунина. ... учебное пособие / И.А. Кулыгина, Н.А. Каширин, Д.Ю.Пименов.– 2-е изд., испр. – Челябинск: Изд-во ЮУрГУ ...
  3. Программа дисциплины Административное право для направления 030900. 62 «Юриспруденция» подготовки бакалавра Автор программы

    Программа дисциплины
    ... // Законность. 2003. № 4. Петров А.А. Субъекты административного права. Учебное пособие. Тюмень: Изд ... публичного права. Монография. Челябинск: Изд-во ЮУрГУ, 2004. 352 c. ... -правового воздействия. СПб.: Издательство Р. Асланова Юридический центр Пресс ...
  4. Программа дисциплины «Административное право»

    Программа дисциплины
    ... // Законность. 2003. № 4. Петров А.А. Субъекты административного права. Учебное пособие. Тюмень: Изд ... публичного права. Монография. Челябинск: Изд-во ЮУрГУ, 2004. 352 c. ... -правового воздействия. СПб.: Издательство Р. Асланова Юридический центр Пресс ...
  5. Формирование антикоррупционной позиции курсантов вузов мвд россии средствами социально-культурной деятельности

    Реферат
    ... О. Р. Ажирбаева // Вестник ЮУрГУ.- № 13. - 2006 ... 2-е изд. - М.: Издательство «Институт практической психологии», Воронеж ... ред. О.Д. Нациевского. –Челябинск, 2006. - С. 16 ... Чижиков, В. В. Чижиков. // Учебное пособие. - М.: МГУКИ, 2003. – 382 с. Шадриков, ...

Другие похожие документы..