Формула полной вероятности формула байеса кратко

Обновлено: 09.05.2024

Подробно теорема Байеса излагается в отдельной статье. Это замечательная работа, но в ней 15 000 слов. В этом же переводе статьи от Kalid Azad кратко объясняется самая суть теоремы.

Разберемся в методе

В статье, на которую дана ссылка в начале этого эссе, разбирается метод диагностики (маммограмма), выявляющий рак груди. Рассмотрим этот метод подробно.

1% всех женщин болеют раком груди (и, соответственно, 99% не болеют)
80% маммограмм выявляют заболевание, когда оно действительно есть (и, соответственно, 20% не выявляют)
9,6% исследований выявляют рак, когда его нет (и, соответственно, 90,4% верно определяют отрицательный результат)

1% женщин болеют раком груди
если у пациентки выявили заболевание, смотрим в первую колонку: есть 80% вероятность того, что метод дал верный результат, и 20% вероятность того, что результат исследования неправильный (ложноотрицательный)
если у пациентки заболевание не выявили, смотрим на вторую колонку. С вероятностью 9,6% можно сказать, что положительный результат исследования неверен, и с 90,4% вероятностью можно сказать, что пациентка действительно здорова.

Насколько метод точен?

Теперь разберем положительный результат теста. Какова вероятность того, что человек действительно болен: 80%, 90%, 1%?

Есть положительный результат. Разберем все возможные исходы: полученный результат может быть как истинным положительным, так и ложноположительным.
Вероятность истинного положительного результата равна: вероятность заболеть, умноженная на вероятность того, что тест действительно выявил заболевание. 1% * 80% = .008
Вероятность ложноположительного результата равна: вероятность того, что заболевания нет, умноженная на вероятность того, что метод выявил заболевание неверно. 99% * 9.6% = .09504

вероятность события = исходы события / все возможные исходы

Вероятность истинного положительного результата – .008. Вероятность положительного результата — это вероятность истинного положительного исхода + вероятность ложноположительного.

(.008 + 0.09504 = .10304)

Итак, вероятность заболевания при положительном результате исследования рассчитывается так: .008/.10304 = 0.0776. Эта величина составляет около 7.8%.

То есть положительный результат маммограммы значит только то, что вероятность наличия заболевания – 7,8%, а не 80% (последняя величина — это лишь предполагаемая точность метода). Такой результат кажется поначалу непонятным и странным, но нужно учесть: метод дает ложноположительный результат в 9,6% случаев (а это довольно много), поэтому в выборке будет много ложноположительных результатов. Для редкого заболевания большинство положительных результатов будут ложноположительными.

Давайте пробежимся глазами по таблице и попробуем интуитивно ухватить смысл теоремы. Если у нас есть 100 человек, только у одного из них есть заболевание (1%). У этого человека с 80% вероятностью метод даст положительный результат. Из оставшихся 99% у 10% будут положительные результаты, что дает нам, грубо говоря, 10 ложноположительных исходов из 100. Если мы рассмотрим все положительные результаты, то только 1 из 11 будет верным. Таким образом, если получен положительный результат, вероятность заболевания составляет 1/11.

Выше мы посчитали, что эта вероятность равна 7,8%, т.е. число на самом деле ближе к 1/13, однако здесь с помощью простого рассуждения нам удалось найти приблизительную оценку без калькулятора.

Теорема Байеса

Pr(A|X) = вероятность заболевания (А) при положительном результате (X). Это как раз то, что мы хотим знать: какова вероятность события в случае положительного исхода. В нашем примере она равна 7,8%.
Pr(X|A) = вероятность положительного результата (X) в случае, когда больной действительно болен (А). В нашем случае это величина истинных положительных – 80%
Pr(A) = вероятность заболеть (1%)
Pr(not A) = вероятность не заболеть (99%)
Pr(X|not A) = вероятность положительного исхода исследования в случае, если заболевания нет. Это величина ложноположительных – 9,6 %.

Pr(X) – это константа нормализации. Она сослужила нам хорошую службу: без нее положительный исход испытаний дал бы нам 80% вероятность события.
Pr(X) – это вероятность любого положительного результата, будет ли это настоящий положительный результат при исследовании больных (1%) или ложноположительный при исследовании здоровых людей (99%).

В нашем примере Pr(X) – довольно большое число, потому что велика вероятность ложноположительных результатов.

Pr(X) создает результат 7,8%, который на первый взгляд кажется противоречащим здравому смыслу.

Смысл теоремы

Мы проводим испытания, чтоб выяснить истинное положение вещей. Если наши испытания совершенны и точны, тогда вероятности испытаний и вероятности событий совпадут. Все положительные результаты будут действительно положительными, а отрицательные — отрицательными. Но мы живем в реальном мире. И в нашем мире испытания дают неверные результаты. Теорема Байеса учитывает искаженные результаты, исправляет ошибки, воссоздает генеральную совокупность и находит вероятность истинного положительного результата.

Спам-фильтр

Теорема Байеса удачно применяется в спам-фильтрах.

событие А — в письме спам
результат испытания — содержание в письме определенных слов:

Фильтр спама на основе черного списка обладает недостатками — он часто выдает ложноположительные результаты.

Со временем фильтр тренируется на все большей выборке и обновляет вероятности. Так, продвинутые фильтры, созданные на основе теоремы Байеса, проверяют множество слов подряд и используют их в качестве данных.

Следствием правила умножения и формулы полной вероятности является формула Байеса, называемая также формулой гипотез.

Представим себе следующую ситуацию. До опыта о его услових можно было сделать ряд гипотез (в литературе можно также встретить их обозначение не буквой B, а буквой H), несовместных и образующих полную группу.

Вероятности гипотез до опыта (называемые также априорными вероятностями) заданы и равны

Теперь предположим, что опыт произведён и в его результате появилось событие A .

Как нужно пересмотреть вероятности гипотез с учётом этого факта?

Формула Байеса позволяет найти вероятность каждой из гипотез о том, в результате какого из событий, образующих полную систему, наступило событие A (или как часто говорят, найти апостериорные вероятности).

Поэтому формула Байеса представляет собой отношение произведения вероятности одного из событий системы на условную вероятность этого события относительно соответствующего события системы к полной вероятности наступления события A с учётом всех событий системы.

То есть, по формуле Байеса вероятность, как и в самых простых случаях, вычисляется как отношение "одного ко всем":

Видим, что знаменатель в этой формуле - ничто иное, как полная вероятность события A , а числители для каждого отдельного случая равны первому, второму, и так далее до n-го слагаемому суммы, находящейся в знаменателе.

Формула Байеса может быть также записана в виде

Формула Байеса: примеры решения задач

Пример 1. Имеются три урны; в первой 3 белых шара и 1 чёрный, во второй - 2 белых шара и 3 чёрных, в третьей - три белых шара. Некто подходит наугад к одной из урн и вынимает из неё один шар. Этот шар оказался белым. Найти послеопытные (апостериорные) вероятности того, что этот шар вынут из первой, второй, третьей урны.

- выбрана первая урна;

- выбрана вторая урна;

- выбрана третья урна.

Так как урна выбирается наугад, то априорные вероятности гипотез раны:

В результате опыта появилось событие A - из выбранной урны вынут белый шар.

Условные вероятности события A относительно каждой из гипотез:

Применяя формулу Байеса, находим апостериорные вероятности гипотез:

Пример 2. Пример с теми же лампочками, что и в примере 2. Пусть количество и качество электролампочек, поставляемых в магазины некоторого района, определены условиями примера 2. Купленная лампочка оказалась стандартной. Пользуясь формулой Байеса, найти вероятности гипотез о том, что лампочка была изготовлена на первом заводе, на втором, на третьем.

Решение. Итак, для каждой из гипотез в числителе должно быть произведение вероятности одного из событий системы на условную вероятность этого события относительно соответствующего события системы, а в знаменателе - полная вероятность собыия A .

Вероятность того, что купленная лампочка изготовлена на первом заводе и стандартна:
.

Вероятность того, что купленная лампочка изготовлена на втором заводе и стандартна:
.

Вероятность того, что купленная лампочка изготовлена на третьем заводе и стандартна:
.

Вычисляя по формуле Байеса, получаем:

- вероятность того, что купленная стандартная лампочка изготовлена на первом заводе
;

- вероятность того, что купленная стандартная лампочка изготовлена на втором заводе
;

- вероятность того, что купленная стандартная лампочка изготовлена на третьем заводе
.

Пример 3. До опыта об его условиях можно было сделать четыре гипотезы: , , , с вероятностями, равными, соответственно

В результате опыта появилось событие A , которое невозможно при гипотезах , и достоверно при гипотезах , . Найти апостериорные вероятности гипотез.

Решение. Условные вероятности гипотез:

По формуле Байеса получаем:

Пример 4. Расследуются причины авиационной катастрофы, о которых можно сделать четыре гипотезы: , , , . Согласно статистике вероятности гипотез составляют

Осмотр места катастрофы выявляет, что в её ходе произошло событие A - воспламенение горючего. Условные вероятности события A при гипотезах , , , , согласно той же статистике равны

Найти апостериорные вероятности гипотез.

Решение. По формуле Байеса получаем:

Пример 5. В учреждении три чиновника готовят копии документов. Первый чиновник () обрабатывает 40% всех форм, второй () – 35%, третий () – 25%. У первого чиновника удельный вес ошибок составляет 0,04, у второго – 0,06, у третьего – 0,03. В конце дня, выбрав случайно один из подготовленных документов, руководитель констатировал, что в нём есть ошибка (событие A ). Пользуясь формулой Байеса, выяснить, какова вероятность, что ошибку допустил первый чиновник, второй, третий.
Решение. Обозначим события и их вероятности:
:
:
:
A:

Разберемся в методе

1% всех женщин болеют раком груди (и, соответственно, 99% не болеют)
80% маммограмм выявляют заболевание, когда оно действительно есть (и, соответственно, 20% не выявляют)
9,6% исследований выявляют рак, когда его нет (и, соответственно, 90,4% верно определяют отрицательный результат)

1% женщин болеют раком груди
если у пациентки выявили заболевание, смотрим в первую колонку: есть 80% вероятность того, что метод дал верный результат, и 20% вероятность того, что результат исследования неправильный (ложноотрицательный)
если у пациентки заболевание не выявили, смотрим на вторую колонку. С вероятностью 9,6% можно сказать, что положительный результат исследования неверен, и с 90,4% вероятностью можно сказать, что пациентка действительно здорова.

Насколько метод точен?

Есть положительный результат. Разберем все возможные исходы: полученный результат может быть как истинным положительным, так и ложноположительным.
Вероятность истинного положительного результата равна: вероятность заболеть, умноженная на вероятность того, что тест действительно выявил заболевание. 1% * 80% = .008
Вероятность ложноположительного результата равна: вероятность того, что заболевания нет, умноженная на вероятность того, что метод выявил заболевание неверно. 99% * 9.6% = .09504

вероятность события = исходы события / все возможные исходы

(.008 + 0.09504 = .10304)

Теорема Байеса

Pr(A|X) = вероятность заболевания (А) при положительном результате (X). Это как раз то, что мы хотим знать: какова вероятность события в случае положительного исхода. В нашем примере она равна 7,8%.
Pr(X|A) = вероятность положительного результата (X) в случае, когда больной действительно болен (А). В нашем случае это величина истинных положительных – 80%
Pr(A) = вероятность заболеть (1%)
Pr(not A) = вероятность не заболеть (99%)
Pr(X|not A) = вероятность положительного исхода исследования в случае, если заболевания нет. Это величина ложноположительных – 9,6 %.

В нашем примере Pr(X) – довольно большое число, потому что велика вероятность ложноположительных результатов.

Pr(X) создает результат 7,8%, который на первый взгляд кажется противоречащим здравому смыслу.

Смысл теоремы

Спам-фильтр

Теорема Байеса удачно применяется в спам-фильтрах.

событие А — в письме спам
результат испытания — содержание в письме определенных слов:

Чтобы вспомнить о сложении и умножении вероятностей и независимых событиях – см. §39 справочника для 9 класса.

Напомним, что два случайных события A и B называют независимыми, если наступление одного из них не изменяет вероятность наступления другого.
Например: при бросании монеты несколько раз каждый следующий бросок совершенно не зависит от предыдущих.

Два случайных события A и B называют зависимыми , если вероятность одного из них зависит от того, произошло или нет другое событие.
Вероятность события B, определенная при условии, что событие A произошло, называется условной вероятностью и обозначается $P(B|A)$ или $P_A(B)$.
Для условных вероятностей справедливы формулы: $$ P(A|B)=\frac,\ \ P(B|A)=\frac $$ где $P(A\wedge B)$ - вероятность совместного появления событий A и B.

Например:
Рассмотрим урну, в которой находится 3 белых и 3 черных шара.
Мы достаем шары, смотрим на их цвет и не возвращаем их на место. События в последовательности становятся зависимыми.
Пусть событие A="в 1й раз достаем черный шар",
Событие B="во 2й раз достаем белый шар"
Событие C="во 2й раз достаем черный шар"
После того, как произошло событие A, в урне остается 3 белых и 2 черных шара.
Тогда условная вероятность для события B при условии, что событие A произошло:
$P(B|A)=\frac35$
Аналогично, условная вероятность для события C:
$P(B|A)=\frac25$

п.2. Вероятность совместного появления событий

Вероятность совместного появления двух зависимых событий равна произведению вероятности одного из них на условную вероятность второго, вычисленную при условии, что первое событие произошло: $$ P(A\wedge B)=P(B)\cdot P(A|B)=P(A)\cdot P(B|A) $$ Это утверждение также называют теоремой умножения вероятностей .

Например:
Продолжая предыдущий пример, вероятность события $(A\wedge B)$ – 1й раз достали черный шар и 2й раз белый – равна: $$ P(A\wedge B)=P(A)\cdot P(B|A)=\frac12\cdot \frac35=0,3 $$ Также, напомним:

Вероятность совместного появления двух независимых событий равна произведению вероятностей этих событий: $$ P(A\wedge B)=P(A)\cdot P(B) $$

Например:
Пусть в урне 3 белых и 3 черных шара. Мы достаем шары, смотрим на их цвет и возвращаем их на место. В последовательности наших действий все события будут независимыми. Каждый раз, вероятность достать белый или черный шар будет равна 1/2. Поэтому, в этом случае вероятность события $(A\wedge B)$ – 1й раз достали черный шар, а 2й раз белый – равна: $$ P(A\wedge B)=P(A)\cdot P(B)=\frac12\cdot\frac12=0,25 $$

п.3. Формула полной вероятности

Если событие A может произойти только при выполнении одного из событий $B_1,B_2,…,B_k$, которые образуют полную группу событий, то вероятность события A определяется по формуле полной вероятности : $$ P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+. +P(B_k)P(A|B_k)=\sum_^k P(B_i)P(A|B_i) $$

i	Класс	К-во учеников	$P(B_i)$	К-во знатоков	$P(A\|B_i)$	$P(B_i)\cdot P(A\|B_i)$
1	11A	35	35/100=0,35	10	10/35=2/7	0,1
2	11Б	35	35/100=0,35	7	7/35=1/5	0,07
3	11В	30	30/100=0,3	10	3/30=1/10	0,03
Всего		100	1	20	×	0,2

Получаем полную вероятность $P(A)=\sum_^3 P(B_i)\cdot P(A|B_i)=0,2$
В данном случае ответ можно получить и проще: 20 знатоков на 100 человек дает $P(A)=0,2$.

п.4. Формула Байеса

По данному выше определению полной вероятности событие A случается, если происходит одно из событий полной группы $\left\$.
Допустим, что событие A случилось. А какова вероятность, что при этом произошло конкретное событие $B_1\in\left\$? Т.е., нас интересует условная вероятность $P(B_1|A)$.
По теореме об умножении вероятностей: $$ P(A\wedge B_1)=P(B_1)\cdot P(A|B_1)=P(A)\cdot P(B_1|A) $$ Откуда: $$ P(B_1|A)=\frac $$ То же самое справедливо для любого события $B_p\in\left\$. Предположение о том, что случилось событие $B_p$, называют гипотезой.

Если событие A может произойти только при выполнении одного из событий полной группы $\left\$ и событие A случилось, то вероятность гипотезы, что при этом случилось событие $B_p\in\left\$, определяется формулой Байеса : $$ P(B_p|A)=\frac=\frac^k P(B_i)P(A|B_i)> $$ Вероятность $P(B_p)$ называют априорной вероятностью .
Вероятность $P(B_p|A)$ называют апостериорной вероятностью . Случившееся событие A может поменять априорную (предварительную) оценку вероятности события $B_p$.

п.5. Примеры

Пример 1. Двигатель работает в трех режимах: нормальном (65% времени), форсированном (25% времени) и холостом. Вероятность поломки в каждом из режимов соответственно равна $p_1=0,1;\ p_2=0,8;\ p_3=0,05$.
а) найдите вероятность поломки двигателя во время работы;
б) двигатель сломался. Какова вероятность, что он в этот момент работал в форсированном режиме?

i	Режим	Часть времени $P(B_i)$	Вероятность поломки $P(A\|B_i)$	$P(B_i)\cdot P(A\|B_i)$
1	Нормальный	0,65	0,1	0,065
2	Форсированный	0,25	0,8	0,2
3	Холостой	0,1	0,05	0,005
Всего		1	×	0,27

Ответ: a) 0,27; б) $\frac\approx 0,741$

Пример 2. В состязании лучников участвуют три стрелка. Вероятность попадания в мишень для каждого из них равна 0,3; 0,5 и 0,7. Один из стрелков стреляет и не попадает. Какова вероятность, что это был:
а) первый стрелок;
б) второй стрелок;
в) третий стрелок;

i	$P(B_i)$	Вероятность промаха $P(A\|B_i)$	$P(B_i)\cdot P(A\|B_i)$
1	$\frac13$	1-0,3=0,7	$\frac13\cdot 0,7=\frac$
2	$\frac13$	1-0,5=0,5	$\frac13\cdot 0,5=\frac$
3	$\frac13$	1-0,7=0,3	$\frac13\cdot 0,3=\frac$
∑	1	×	0,5

Пример 3. Три фрилансера на площадке выполняют заказы в отношении по количеству 3:4:3. Доля успешно выполненных заказов для каждого из них составляет 98%, 95% и 90%.
а) найдите вероятность успешного выполнения заказа на площадке;
б) найдите вероятность неуспеха на площадке;
в) кто из фрилансеров, вероятнее всего, виноват в неуспешной работе?

i	$P(B_i)$	Вероятность успеха $P(A\|B_i)$	$P(B_i)\cdot P(A\|B_i)$
1	0,3	0,98	0,294
2	0,4	0,95	0,38
3	0,3	0,9	0,27
∑	1	×	0,944

Вероятность успешного выполнения (полная вероятность): $$ P(A)=\sum_^3 P(B_i)\cdot P(A|B_i)=0,944 $$ б) Вероятность неуспеха (противоположное событие): $$ P(\overline)=1-P(A)=1-0,944=0,056 $$ в) Составим таблицу неуспешной деятельности:

Ответ: а) 0,944; б) 0,056; в) третий фрилансер.

Пример 4. Докажите, что если полная вероятность события A равна $$ P(A)=\sum_^k P(B_i)\cdot P(A|B_i) $$ то вероятность противоположного события равна $P(\overline)=1-P(A)$.

Читайте также:

i	\(P(B_i)\)	Вероятность промаха \(P(A\|B_i)\)	\(P(B_i)\cdot P(A\|B_i)\)
1	\(\frac13\)	1-0,3=0,7	\(\frac13\cdot 0,7=\frac\)
2	\(\frac13\)	1-0,5=0,5	\(\frac13\cdot 0,5=\frac\)
3	\(\frac13\)	1-0,7=0,3	\(\frac13\cdot 0,3=\frac\)
∑	1	×	0,5

i	Режим	Часть времени \(P(B_i)\)	Вероятность поломки \(P(A\|B_i)\)	\(P(B_i)\cdot P(A\|B_i)\)
1	Нормальный	0,65	0,1	0,065
2	Форсированный	0,25	0,8	0,2
3	Холостой	0,1	0,05	0,005
Всего		1	×	0,27

i	\(P(B_i)\)	Вероятность успеха \(P(A\|B_i)\)	\(P(B_i)\cdot P(A\|B_i)\)
1	0,3	0,98	0,294
2	0,4	0,95	0,38
3	0,3	0,9	0,27
∑	1	×	0,944