TR | RU | KK | BE | EN |

Баєсове виведення

баєсове виведення маток, баєсове виведення папілом
Ба́єсове ви́ведення (англ. Bayesian inference) — це метод статистичного виведення, у якому для уточнення ймовірності гіпотези при отриманні свідчень використовується правило Баєса. Баєсове виведення є важливим прийомом у статистиці, і особливо у математичній статистиці. Баєсове уточнення є особливо важливим у динамічному аналізі послідовностей даних. Баєсове виведення знайшло застосування у широкому діапазоні галузей, включно із наукою, інженерією, філософією, медициною та правом. У філософії теорії рішень баєсове виведення тісно пов'язано із суб'єктивною ймовірністю, що часто називають «баєсовою ймовірністю». Баєсова ймовірність забезпечує раціональний метод уточнення переконань (англ. beliefs).

Зміст

  • 1 Введення до правила Баєса
    • 1.1 Формальне
    • 1.2 Неформальне
    • 1.3 Баєсове уточнення
  • 2 Формальний опис баєсового виведення
    • 2.1 Визначення
    • 2.2 Баєсове виведення
    • 2.3 Баєсове передбачення
  • 3 Виведення над взаємовиключними вичерпними можливими значеннями
    • 3.1 Загальне формулювання
    • 3.2 Кілька спостережень
    • 3.3 Параметричне формулювання
  • 4 Математичні властивості
    • 4.1 Інтерпретація множника
    • 4.2 Правило Кромвеля
    • 4.3 Асимптотична поведінка апостеріорного розподілу
    • 4.4 Спряжені апріорні розподіли
    • 4.5 Оцінки параметрів та передбачень
  • 5 Приклади
    • 5.1 Ймовірність гіпотези
    • 5.2 Здійснення передбачення
  • 6 У частотній статистиці та теорії рішень
    • 6.1 Вибір моделі
  • 7 Застосування
    • 7.1 Комп'ютерні застосування
    • 7.2 У залі суду
    • 7.3 Баєсова епістемологія
    • 7.4 Інші
  • 8 Баєс та баєсове виведення
  • 9 Історія
  • 10 Див. також
  • 11 Примітки
  • 12 Джерела
  • 13 Література
    • 13.1 Початкова
    • 13.2 Середнього рівня або просунута
  • 14 Посилання

Введення до правила Баєса

Докладніше: Правило Баєса Див. також: Баєсова ймовірність

Формальне

Баєсове виведення виводить апостеріорну ймовірність як логічний наслідок двох передумов, апріорної ймовірності та «функції правдоподібності», що виведено зі статистичної моделі спостережуваних даних. Баєсове виведення обчислює апостеріорну ймовірність відповідно до теореми Баєса:

P ( H ∣ E ) = P ( E ∣ H ) ⋅ P ( H ) P ( E ) {\displaystyle P(H\mid E)={\frac {P(E\mid H)\cdot P(H)}{P(E)}}}

де

  • ∣ {\displaystyle \textstyle \mid } позначає умовну ймовірність; конкретніше, воно означає за умови.
  • H {\displaystyle \textstyle H} означає будь-яку гіпотезу (англ. hypothesis), на чию ймовірність можуть вплинути дані (що називаються нижче свідченням). Часто існують конкуруючі гіпотези, з яких обирають найімовірнішу.
  • свідчення (англ. evidence) E {\displaystyle \textstyle E} відповідає новим даним, що не використовувалися при обчисленні апріорної ймовірності.
  • P ( H ) {\displaystyle \textstyle P(H)} , апріорна ймовірність, є ймовірністю H {\displaystyle \textstyle H} до спостереження E {\displaystyle \textstyle E} . Вона позначає попередню оцінку ймовірності того, що гіпотеза є вірною, до отримання поточного свідчення.
  • P ( H ∣ E ) {\displaystyle \textstyle P(H\mid E)} , апостеріорна ймовірність, є ймовірністю H {\displaystyle \textstyle H} за умови E {\displaystyle \textstyle E} , тобто, після спостереження E {\displaystyle \textstyle E} . Вона говорить нам те, що ми хочемо знати: ймовірність гіпотези за умови отриманого свідчення.
  • P ( E ∣ H ) {\displaystyle \textstyle P(E\mid H)} є ймовірністю спостереження E {\displaystyle \textstyle E} за умови H {\displaystyle \textstyle H} . Як функція від E {\displaystyle \textstyle E} при незмінній H {\displaystyle \textstyle H} , це є правдоподібністю. Функцію правдоподібності не можна плутати з P ( H ∣ E ) {\displaystyle \textstyle P(H\mid E)} , як функцією від H {\displaystyle \textstyle H} , а не від E {\displaystyle \textstyle E} . Вона вказує на сумісність свідчення із даною гіпотезою.
  • P ( E ) {\displaystyle \textstyle P(E)} іноді називають відособленою правдоподібністю, або «свідченням моделі». Цей множник є однаковим для всіх можливих гіпотез, що розглядаються. (Це можна бачити з того факту, що гіпотеза H {\displaystyle \textstyle H} ніде не з'являється у цьому позначенні, на відміну від усіх інших множників.) Це означає, що цей множник не входить до визначення відносних ймовірностей різних гіпотез.

Зауважте, що для різних значень H {\displaystyle \textstyle H} на значення P ( H ∣ E ) {\displaystyle \textstyle P(H\mid E)} впливають лише множники P ( H ) {\displaystyle \textstyle P(H)} та P ( E ∣ H ) {\displaystyle \textstyle P(E\mid H)} . Оскільки обидва ці множники знаходяться у чисельнику, то апостеріорна ймовірність є пропорційною до них обох. Іншими словами:

  • (точніше) Апостеріорна ймовірність гіпотези визначається комбінацією властивої гіпотезі ймовірності (апріорної) та сумісності спостережуваного свідчення із гіпотезою (правдоподібності).
  • (стисліше) Апостеріорне пропорційне апріорному, помноженому на правдоподібність.

Зауважте, що правило Баєса може бути записано наступним чином:

P ( H ∣ E ) = P ( E ∣ H ) P ( E ) ⋅ P ( H ) {\displaystyle P(H\mid E)={\frac {P(E\mid H)}{P(E)}}\cdot P(H)}

де множник P ( E ∣ H ) P ( E ) {\displaystyle \textstyle {\frac {P(E\mid H)}{P(E)}}} представляє вплив E {\displaystyle E} на ймовірність H {\displaystyle H} .

Неформальне

Якщо свідчення не збігається з гіпотезою, то гіпотезу має бути відкинуто. Але якщо гіпотеза є вкрай малоймовірною а пріорі, необхідно все одно відкинути її, навіть якщо здається, що свідчення їй відповідає.

Наприклад, уявімо, що я маю різноманітні гіпотези про природу новонародженої дитини мого друга, включно з:

  • H 1 {\displaystyle \textstyle H_{1}} : ця дита є темноволосим хлопчиком.
  • H 2 {\displaystyle \textstyle H_{2}} : ця дитина є білявою дівчинкою.
  • H 3 {\displaystyle \textstyle H_{3}} : ця дитина є собакою.

Тепер розгляньмо два сценарії:

  1. Я отримав свідчення у вигляді зображення білявої дівчинки. Я вважаю, що це свідчення підтримує гіпотезу H 2 {\displaystyle \textstyle H_{2}} , і виступає проти гіпотез H 1 {\displaystyle \textstyle H_{1}} та H 3 {\displaystyle \textstyle H_{3}} .
  2. Я отримав свідчення у вигляді зображення цуценяти. Хоча це свідчення, розглянуте у відриві, і підтримує H 3 {\displaystyle \textstyle H_{3}} , та моє попереднє переконання у цій гіпотезі (що людина може народити собаку) є надзвичайно малим, тому її апостеріорна ймовірність є все одно малою.

Відтак, критична суть баєсового виведення полягає у тому, що воно забезпечує принциповий шлях об'єднання нового свідчення з попередніми переконаннями шляхом застосування правила Баєса. (Порівняйте це із частотним виведенням, що покладається лише на свідчення в цілому, без посилання на апріорні переконання.) До того ж, баєсове виведення може застосовуватися ітеративно: після спостереження певного свідчення отримана апостеріорна ймовірність може потім трактуватися як апріорна ймовірність, і нова апостеріорна ймовірність обчислюватися з нового спостереження. Це дозволяє застосовувати баєсові принципи до різних видів свідчень, розглядаючи їх як всі одночасно, так і протягом часу. Ця процедура називається «баєсовим уточненням».

Баєсове уточнення

Баєсове уточнення широко застосовується та є обчислювально зручним. Однак, це не єдине правило уточнення, що може вважатися «раціональним».

Ян Хакінг зауважив, що традиційні аргументи голландської системи ставок не визначали використання саме баєсового уточнення: вони залишили відкритою можливість, що не-баєсові правила уточнення можуть обходити голландську систему ставок. Хакінг написав:

« Й ані аргумент голландської системи ставок, ані жоден інший в арсеналі доказів ймовірнісних аксіом персоналістів не тягне за собою динамічного припущення. Жоден не тягне за собою баєсовизму. Тому персоналістові потрібно, щоби динамічне припущення було баєсовим. Це є правда, що в послідовності персоналіст може відмовитися від байєсової моделі навчання на досвіді. Сіль може втратити свій смак. Оригінальний текст (англ.)

And neither the Dutch book argument, nor any other in the personalist arsenal of proofs of the probability axioms, entails the dynamic assumption. Not one entails Bayesianism. So the personalist requires the dynamic assumption to be Bayesian. It is true that in consistency a personalist could abandon the Bayesian model of learning from experience. Salt could lose its savour.

 »

Дійсно, існують не-баєсові правила уточнення, що також обходять голландську систему ставок (як обговорюється в літературі про «кінематику ймовірностей» після публікації правила Річарда Джефрі, що застосовує правило Баєса до випадку, коли свідченню самому встановлюється ймовірність. Додаткові гіпотези, необхідні для однозначної вимоги баєсового уточнення, було визнано значними, складними та незадовільними.

Формальний опис баєсового виведення

Визначення

  • x {\displaystyle x} , точка даних у загальному сенсі. Фактично це може бути вектор значень.
  • θ {\displaystyle \theta } , параметр розподілу точки даних, тобто, x ∼ p ( x ∣ θ ) {\displaystyle x\sim p(x\mid \theta )} . Фактично це може бути вектор параметрів.
  • α {\displaystyle \alpha } , гіперпараметр параметра, тобто, θ ∼ p ( θ ∣ α ) {\displaystyle \theta \sim p(\theta \mid \alpha )} . Фактично це може бути вектор гіперпараметрів.
  • X {\displaystyle \mathbf {X} } , набір n {\displaystyle n} спостережуваних точок даних, тобто, x 1 , … , x n {\displaystyle x_{1},\ldots ,x_{n}} .
  • x ~ {\displaystyle {\tilde {x}}} , нова точка даних, чий розподіл потрібно передбачити.

Баєсове виведення

  • Апріорний розподіл — це розподіл параметру (параметрів) до будь-якого спостереження даних, тобто p ( θ ∣ α ) {\displaystyle p(\theta \mid \alpha )} .
  • Визначити апріорний розподіл може бути не так легко. У даному випадку ми можемо скористатися апріорним розподілом Джеффріса, щоби отримати апостеріорний розподіл перед уточненням його подальшими спостереженнями.
  • Вибірковий розподіл — це розподіл спостережуваних даних в залежності від його параметрів, тобто, p ( X ∣ θ ) {\displaystyle p(\mathbf {X} \mid \theta )} . Його також називають функцією правдоподібності, особливо коли розглядають його як функцію від параметру (параметрів), що іноді записується як L ⁡ ( θ ∣ X ) = p ( X ∣ θ ) {\displaystyle \operatorname {L} (\theta \mid \mathbf {X} )=p(\mathbf {X} \mid \theta )} .
  • Відособлена правдоподібність (що іноді також називається свідченням) — це розподіл спостережуваних даних, відособлений за параметром (параметрами), тобто, p ( X ∣ α ) = ∫ θ p ( X ∣ θ ) p ( θ ∣ α ) d θ {\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta } .
  • Апостеріорний розподіл — це розподіл параметру (параметрів) після взяття до уваги спостережуваних даних. Він визначається за правилом Баєса, що формує серцевину баєсового виведення:
p ( θ ∣ X , α ) = p ( X ∣ θ ) p ( θ ∣ α ) p ( X ∣ α ) ∝ p ( X ∣ θ ) p ( θ ∣ α ) {\displaystyle p(\theta \mid \mathbf {X} ,\alpha )={\frac {p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )}{p(\mathbf {X} \mid \alpha )}}\propto p(\mathbf {X} \mid \theta )p(\theta \mid \alpha )}

Зауважте, що словами це виражається як «апостеріорне є пропорційним апріорному, помноженому на правдоподібність», або іноді як «апостеріорне = правдоподібність на апріорне, відносно свідчення».

Баєсове передбачення

  • Апостеріорний передбачуваний розподіл — це розподіл нової точки даних, відособлений за апостеріорним:
p ( x ~ ∣ X , α ) = ∫ θ p ( x ~ ∣ θ ) p ( θ ∣ X , α ) d θ {\displaystyle p({\tilde {x}}\mid \mathbf {X} ,\alpha )=\int _{\theta }p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\operatorname {d} \!\theta }
  • Апріорний передбачуваний розподіл — це розподіл нової точки даних, відособлений за апріорним:
p ( x ~ ∣ α ) = ∫ θ p ( x ~ ∣ θ ) p ( θ ∣ α ) d θ {\displaystyle p({\tilde {x}}\mid \alpha )=\int _{\theta }p({\tilde {x}}\mid \theta )p(\theta \mid \alpha )\operatorname {d} \!\theta }

Баєсова теорія передбачає використання апостеріорного передбачуваного розподілу для передбачувального виведення, тобто, для передбачення розподілу ймовірностей нової, ще не спостережуваної точки даних. Тобто, замість фіксованої точки, у якості передбачення повертається розподіл ймовірностей над можливими точками. Лише в цьому випадку є повний апостеріорний розподіл параметру (параметрів), що використовуються. Для порівняння, передбачення у частотній статистиці часто полягає у знаходженні оптимальної точкової оцінки параметру (параметрів) — наприклад, методом максимальної правдоподібності або оцінки апостеріорного максимуму — і наступному підставленні цієї оцінки до формули розподілу точки даних. Це має той недолік, що воно не враховує жодної невизначеності у значенні параметру, і відтак недооцінюватиме дисперсію передбачуваного розподілу.

(У деяких випадках частотна статистика може обходити цю проблему. Наприклад, коли довірчі інтервали та передбачувані інтервали у частотній статистиці будуються з нормального розподілу з невідомим середнім значенням та дисперсією, вони будуються з використанням t-розподілу Стьюдента. Це дає правильну оцінку дисперсії завдяки тому факту, що (1) середнє значення випадкових величин із нормальним розподілом також має нормальний розподіл; (2) передбачуваний розподіл точки даних з нормальним розподілом та невідомими середнім значенням та дисперсією при використанні спряжених або неінформативних апріорних розподілів має t-розподіл Стьюдента. Однак, у баєсовій статистиці апостеріорний передбачуваний розподіл може завжди визначатися точно — чи, принаймні, з довільним рівнем точності, при застосуванні числових методів.)

Зауважте, що обидва типи передбачуваних розподілів мають вигляд складного розподілу ймовірності (так само, як і відособлена правдоподібність). Справді, якщо апріорний розподіл є спряженим апріорним розподілом, і, отже, апріорний та апостеріорний розподіли походять із одного сімейства, то можна легко переконатися, що як апріорний, так і апостеріорний передбачувані розподіли також походять з одного й того ж сімейства складних розподілів. Різниця лише в тому, що апостеріорний передбачуваний розподіл використовує уточнені значення гіперпараметрів (застосовуючи баєсові правила уточнення, наведені у статті про спряжений апріорний розподіл), тоді як апріорний передбачуваний розподіл використовує значення гіперпараметрів, що фігурують в апріорному розподілі.

Виведення над взаємовиключними вичерпними можливими значеннями

Якщо свідчення використовується для одночасного уточнення переконань над набором взаємовиключних вичерпних можливих значень, то баєсове виведення можна розглядати як таке, що діє над розподілом цих переконань у цілому.

Загальне формулювання

Схема, що ілюструє простір подій Ω {\displaystyle \Omega } у загальному формулюванні баєсового виведення. І хоча ця схема показує дискретні моделі та події, безперервний випадок може бути візуалізовано так само, з використанням щільностей ймовірностей.

Припустімо, що процес породжує незалежні однаково розподілені події E n {\displaystyle E_{n}} , але розподіл ймовірностей є невідомим. Нехай простір подій Ω {\displaystyle \Omega } представляє поточний стан переконань для цього процесу. Кожна модель представляється подією M m {\displaystyle M_{m}} . Для визначення моделей вказуються умовні ймовірності P ( E n ∣ M m ) {\displaystyle P(E_{n}\mid M_{m})} . P ( M m ) {\displaystyle P(M_{m})} є мірою переконання в M m {\displaystyle M_{m}} . Перед першим кроком виведення { P ( M m ) } {\displaystyle \{P(M_{m})\}} є набором початкових апріорних ймовірностей. Вони повинні в сумі давати 1, а в іншому можуть бути довільними.

Припустімо, що ми проспостерігали, що процес породив E ∈ { E n } {\displaystyle \textstyle E\in \{E_{n}\}} . Для кожної M ∈ { M m } {\displaystyle M\in \{M_{m}\}} апріорна P ( M ) {\displaystyle P(M)} уточнюється до апостеріорної P ( M ∣ E ) {\displaystyle P(M\mid E)} . З теореми Баєса:

P ( M ∣ E ) = P ( E ∣ M ) ∑ m P ( E ∣ M m ) P ( M m ) ⋅ P ( M ) {\displaystyle P(M\mid E)={\frac {P(E\mid M)}{\sum _{m}{P(E\mid M_{m})P(M_{m})}}}\cdot P(M)}

Після спостереження подальших свідчень цю процедуру може бути повторено.

Кілька спостережень

Для набору незалежних однаково розподілених спостережень E = { e 1 , … , e n } {\displaystyle \mathbf {E} =\{e_{1},\dots ,e_{n}\}} може бути показано, що повторне застосування наведеного вище еквівалентне

P ( M ∣ E ) = P ( E ∣ M ) ∑ m P ( E ∣ M m ) P ( M m ) ⋅ P ( M ) {\displaystyle P(M\mid \mathbf {E} )={\frac {P(\mathbf {E} \mid M)}{\sum _{m}{P(\mathbf {E} \mid M_{m})P(M_{m})}}}\cdot P(M)}

де

P ( E ∣ M ) = ∏ k P ( e k ∣ M ) . {\displaystyle P(\mathbf {E} \mid M)=\prod _{k}{P(e_{k}\mid M)}.}

Це може бути застосовано для оптимізації практичних розрахунків.

Параметричне формулювання

При параметризації простору моделей, переконання в усіх моделях можуть уточнюватися за один крок. Розподіл переконань над простором моделей може розглядатися як розподіл переконань над простором параметрів. Розподіли у цьому розділі виражаються як безперервні, представлені густинами імовірності, як це й є у звичайній ситуації. Тим не менш, ця методика є так само застосовною й до дискретних розподілів.

Нехай вектор θ {\displaystyle \mathbf {\theta } } охоплює простір параметрів. Нехай початковим апріорним розподілом над θ {\displaystyle \mathbf {\theta } } буде p ( θ ∣ α ) {\displaystyle p(\mathbf {\theta } \mid \mathbf {\alpha } )} , де α {\displaystyle \mathbf {\alpha } } є набором параметрів самого апріорного розподілу, або гіперпараметрів. Нехай E = { e 1 , … , e n } {\displaystyle \mathbf {E} =\{e_{1},\dots ,e_{n}\}} буде набором незалежних однаково розподілених спостережень подій, де всі e i {\displaystyle e_{i}} розподілено як p ( e ∣ θ ) {\displaystyle p(e\mid \mathbf {\theta } )} для деякого θ {\displaystyle \mathbf {\theta } } . Для отримання апостеріорного розподілу над θ {\displaystyle \mathbf {\theta } } застосовується теорема Баєса:

p ( θ ∣ E , α ) = p ( E ∣ θ , α ) p ( E ∣ α ) ⋅ p ( θ ∣ α ) = p ( E ∣ θ , α ) ∫ θ p ( E | θ , α ) p ( θ ∣ α ) d θ ⋅ p ( θ ∣ α ) {\displaystyle {\begin{aligned}p(\mathbf {\theta } \mid \mathbf {E} ,\mathbf {\alpha } )&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{p(\mathbf {E} \mid \mathbf {\alpha } )}}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\\&={\frac {p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )}{\int _{\mathbf {\theta } }p(\mathbf {E} |\mathbf {\theta } ,\mathbf {\alpha } )p(\mathbf {\theta } \mid \mathbf {\alpha } )\,d\mathbf {\theta } }}\cdot p(\mathbf {\theta } \mid \mathbf {\alpha } )\end{aligned}}}

де

p ( E ∣ θ , α ) = ∏ k p ( e k ∣ θ ) {\displaystyle p(\mathbf {E} \mid \mathbf {\theta } ,\mathbf {\alpha } )=\prod _{k}p(e_{k}\mid \mathbf {\theta } )}

Математичні властивості

Інтерпретація множника

P ( E ∣ M ) P ( E ) > 1 ⇒ P ( E ∣ M ) > P ( E ) {\displaystyle \textstyle {\frac {P(E\mid M)}{P(E)}}>1\Rightarrow \textstyle P(E\mid M)>P(E)} . Тобто, якщо модель була вірною, то свідчення буде правдоподібнішим, ніж передбачено поточним станом переконання. Зворотня ситуація веде до зменшення переконання. Якщо переконання не змінюється, то P ( E ∣ M ) P ( E ) = 1 ⇒ P ( E ∣ M ) = P ( E ) {\displaystyle \textstyle {\frac {P(E\mid M)}{P(E)}}=1\Rightarrow \textstyle P(E\mid M)=P(E)} . Тобто, свідчення не залежить від моделі. Якщо модель була вірною, то свідчення буде правдоподібним рівно настільки, наскільки передбачено поточним станом переконання.

Правило Кромвеля

Детальніші відомості з цієї теми Ви можете знайти в статті Правило Кромвеля.

Якщо P ( M ) = 0 {\displaystyle P(M)=0} , то P ( M ∣ E ) = 0 {\displaystyle P(M\mid E)=0} . Якщо P ( M ) = 1 {\displaystyle P(M)=1} , то P ( M | E ) = 1 {\displaystyle P(M|E)=1} . Це може інтерпретуватися так, що категоричні переконання є нечутливими до контр-доказів.

Перше випливає безпосередньо з теореми Баєса. Друге може бути виведено застосуванням першого правила до події «не M {\displaystyle M} » замість « M {\displaystyle M} », що дасть «якщо 1 − P ( M ) = 0 {\displaystyle 1-P(M)=0} , то 1 − P ( M ∣ E ) = 0 {\displaystyle 1-P(M\mid E)=0} », з чого результат випливатиме безпосередньо.

Асимптотична поведінка апостеріорного розподілу

Розгляньмо поведінку розподілу переконання у процесі його уточнення велику кількість разів незалежними однаково розподіленими пробами. Для достатньо гарних апріорних ймовірностей, що дає теорема Бернштайна — фон Мізеса на границі нескінченних проб, апостеріорний розподіл збігається до нормального, незалежно від початкового апріорного розподілу, за певних умов, вперше окреслених та суворо доведених Джозефом Дубом у 1948 році, а саме, якщо випадкова змінна у міркуваннях має скінченний ймовірнісний простір. Загальніші результати було отримано пізніше статистиком Девідом Фрідменом, який опублікував у двох плодотворних дослідницьких працях у 1963 та 1965 роках, коли і за яких обставин гарантується асимптотична поведінка апостеріорного розподілу. Його праця 1963 року, як і Дуб (1949), розглядає скінченний випадок, і приходить до задовільного результату. Однак, якщо випадкова змінна має нескінченний, але зліченний імовірнісний простір (тобто, відповідає гральній кістці з нескінченною кількістю граней), то праця 1965 року демонструє, що для щільної підмножини апріорних ймовірностей теорема Бернштайна — фон Мізеса не є застосовною. У цьому випадку асимптотичного збігання майже напевно немає. Пізніше у 1980-х та 1990-х роках Девід Фрідмен та Персі Діаконіс продовжили працювати над випадком нескінченних зліченних ймовірнісних просторів. Підсумовуючи, для подолання впливу початкового вибору може бути замало проб, і, особливо у випадку великих (але скінченних) систем, збігання може бути дуже повільним.

Спряжені апріорні розподіли

Детальніші відомості з цієї теми Ви можете знайти в статті Спряжений апріорний розподіл.

У параметризованій формі часто вважається, що апріорний розподіл належить до сімейства розподілів, що називається спряженими апріорними розподілами. Корисність спряженого апріорного розподілу полягає в тому, що відповідний апостеріорний розподіл належатиме до того ж сімейства, і його обчислення може бути виражено у замкненій формі.

Оцінки параметрів та передбачень

Часто потрібно використовувати апостеріорний розподіл для оцінювання параметру або змінної. Кілька методів баєсового оцінювання вибирають вимірювання центральної тенденції з апостеріорного розподілу.

Для одновимірних задач існує унікальна медіана для практичних безперервних задач. Апостеріорна медіана є привабливою як робастний оцінювач.

Якщо для апостеріорного розподілу існує скінченне середнє значення, тоді апостеріорне середнє є методом оцінювання.

θ ~ = E ⁡ [ θ ] = ∫ θ θ p ( θ ∣ X , α ) d θ {\displaystyle {\tilde {\theta }}=\operatorname {E} =\int _{\theta }\theta \,p(\theta \mid \mathbf {X} ,\alpha )\,d\theta }

Взяття значення із найбільшою ймовірністю визначає оцінки апостеріорного максимуму (англ. maximum a posteriori, MAP):

{ θ MAP } ⊂ arg ⁡ max θ p ( θ ∣ X , α ) . {\displaystyle \{\theta _{\text{MAP}}\}\subset \arg \max _{\theta }p(\theta \mid \mathbf {X} ,\alpha ).}

Існують приклади, у яких не досягається жодного максимуму, і в такому випадку множина оцінок апостеріорного максимуму є порожньою.

Існують інші методи оцінювання, що мінімізують апостеріорний ризик (очікувані апостеріорні втрати) відносно функції втрат, і вони представляють інтерес для статистичної теорії рішень з використанням вибіркового розподілу («частотна статистика»).

Апостеріорний передбачуваний розподіл нового спостереження x ~ {\displaystyle {\tilde {x}}} (що є незалежним від попередніх спостережень) визначається як

p ( x ~ | X , α ) = ∫ θ p ( x ~ , θ ∣ X , α ) d θ = ∫ θ p ( x ~ ∣ θ ) p ( θ ∣ X , α ) d θ . {\displaystyle p({\tilde {x}}|\mathbf {X} ,\alpha )=\int _{\theta }p({\tilde {x}},\theta \mid \mathbf {X} ,\alpha )\,d\theta =\int _{\theta }p({\tilde {x}}\mid \theta )p(\theta \mid \mathbf {X} ,\alpha )\,d\theta .}

Приклади

Ймовірність гіпотези

Припустімо, є дві повні чаші коржиків. Чаша № 1 містить 10 шоколадних коржиків, і 30 звичайних, тоді як чаша № 2 містить по 20 кожних. Наш друг Петро обирає випадкову чашу, й витягає з неї випадковий коржик. Ми можемо припустити, що немає жодних підстав вважати, що Петро віддає перевагу якійсь із чаш, і аналогічно з коржиками. Коржик виявляється звичайним. Якою є ймовірність того, що Петро взяв його з чаші № 1?

Інтуїтивно здається ясним, що відповідь повинна бути більшою за половину, оскільки простих коржиків у чаші № 1 більше. А точну відповідь дає теорема Баєса. Нехай H 1 {\displaystyle H_{1}} відповідає чаші № 1, а H 2 {\displaystyle H_{2}}  — чаші № 2. Дано, що з точки зору Петра вони є ідентичними, отже, P ( H 1 ) = P ( H 2 ) {\displaystyle P(H_{1})=P(H_{2})} , і в сумі вони повинні давати 1, тому обидва дорівнюють 0.5. Подія E {\displaystyle E} є спостереженням звичайного коржика. Із вмісту чаш нам відомо, що P ( E ∣ H 1 ) = 30 / 40 = 0.75 {\displaystyle P(E\mid H_{1})=30/40=0.75} і P ( E ∣ H 2 ) = 20 / 40 = 0.5 {\displaystyle P(E\mid H_{2})=20/40=0.5} . Формула Баєса відтак дає

P ( H 1 ∣ E ) = P ( E ∣ H 1 ) P ( H 1 ) P ( E ∣ H 1 ) P ( H 1 ) + P ( E ∣ H 2 ) P ( H 2 )   = 0.75 × 0.5 0.75 × 0.5 + 0.5 × 0.5   = 0.6 {\displaystyle {\begin{aligned}P(H_{1}\mid E)&={\frac {P(E\mid H_{1})\,P(H_{1})}{P(E\mid H_{1})\,P(H_{1})\;+\;P(E\mid H_{2})\,P(H_{2})}}\\\\\ &={\frac {0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}}\\\\\ &=0.6\end{aligned}}}

До того, як ми побачили коржик, ймовірність, яку ми призначили виборові Петром чаші № 1, була апріорною ймовірністю, P ( H 1 ) {\displaystyle P(H_{1})} , що дорівнювала 0.5. Після спостереження того коржика ми мусимо переглянути ймовірність до P ( H 1 ∣ E ) {\displaystyle P(H_{1}\mid E)} , що дорівнює 0.6.

Здійснення передбачення

Приклад результатів для археологічного прикладу. Цю симуляцію було згенеровано з використанням c=15.2.

Археолог працює на розкопках поселення припусти́мо середньовічного періоду, між XI та XVI століттями. Тим не менш, залишається не ясним, коли саме протягом цього періоду поселення було заселеним. Знайдено уламки кераміки, деякі з них глазуровані, і деякі розписні. Очікується, що якщо поселення було заселеним протягом раннього середньовіччя, то 1% кераміки буде глазурованим, і 50% його поверхні буде розписано, тоді як якщо воно було заселеним пізнього середньовіччя, то 81% буде глазурованим, і 5% його площі буде розписано. Наскільки впевненим може бути археолог у даті заселення у процесі викопування уламків?

Необхідно обчислювати міру переконання у безперервній змінній C {\displaystyle C} (століття), маючи дискретний набір подій { G D , G D ¯ , G ¯ D , G ¯ D ¯ } {\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}} (де G {\displaystyle G}  — глазурованість, а D {\displaystyle D}  — наявність розпису) у якості свідчень. Припускаючи лінійну зміну глазурованості та розпису протягом часу та те, що ці змінні є незалежними,

P ( E = G D ∣ C = c ) = ( 0.01 + 0.16 ( c − 11 ) ) ( 0.5 − 0.09 ( c − 11 ) ) {\displaystyle P(E=GD\mid C=c)=(0.01+0.16(c-11))(0.5-0.09(c-11))} P ( E = G D ¯ ∣ C = c ) = ( 0.01 + 0.16 ( c − 11 ) ) ( 0.5 + 0.09 ( c − 11 ) ) {\displaystyle P(E=G{\bar {D}}\mid C=c)=(0.01+0.16(c-11))(0.5+0.09(c-11))} P ( E = G ¯ D ∣ C = c ) = ( 0.99 − 0.16 ( c − 11 ) ) ( 0.5 − 0.09 ( c − 11 ) ) {\displaystyle P(E={\bar {G}}D\mid C=c)=(0.99-0.16(c-11))(0.5-0.09(c-11))} P ( E = G ¯ D ¯ ∣ C = c ) = ( 0.99 − 0.16 ( c − 11 ) ) ( 0.5 + 0.09 ( c − 11 ) ) {\displaystyle P(E={\bar {G}}{\bar {D}}\mid C=c)=(0.99-0.16(c-11))(0.5+0.09(c-11))}

Припустімо, що апріорним є неперервний рівномірний розподіл f C ( c ) = 0.2 {\displaystyle \textstyle f_{C}(c)=0.2} , і що проби є незалежними однаково розподіленими. Коли виявляється новий уламок типу e {\displaystyle e} , застосовується теорема Баєса для уточнення міри переконання у кожному c {\displaystyle c} :

f C ( c ∣ E = e ) = P ( E = e ∣ C = c ) P ( E = e ) f C ( c ) = P ( E = e ∣ C = c ) ∫ 11 16 P ( E = e ∣ C = c ) f C ( c ) d c f C ( c ) {\displaystyle f_{C}(c\mid E=e)={\frac {P(E=e\mid C=c)}{P(E=e)}}f_{C}(c)={\frac {P(E=e\mid C=c)}{\int _{11}^{16}{P(E=e\mid C=c)f_{C}(c)dc}}}f_{C}(c)}

На графіку зображено комп'ютерну симуляцію зміни переконання в процесі викопування 50 уламків. У цій симуляції поселення було заселено близько 1420 року, або c = 15.2 {\displaystyle c=15.2} . За допомогою обчислення площі під відповідною частиною цього графіка для 50 проб археолог може стверджувати, що практично немає шансів, що це поселення було заселеним в XI та XII століттях, близько 1% складає шанс того, що воно було заселеним протягом XIII століття, 63% шансів протягом XIV століття та 36% протягом XV століття. Зауважте, що теорема Бернштайна — фон Мізеса стверджує, що тут має місце асимптотичне збігання до «справжнього» розподілу, оскільки ймовірнісний простір, що відповідає дискретному наборові подій { G D , G D ¯ , G ¯ D , G ¯ D ¯ } {\displaystyle \{GD,G{\bar {D}},{\bar {G}}D,{\bar {G}}{\bar {D}}\}} , є скінченним (див. вище розділ про асимптотичну поведінку апостеріорного розподілу).

У частотній статистиці та теорії рішень

Обґрунтування використання баєсового виведення у теорії рішень було зроблено Абрахамом Валдом, який довів, що будь-яка унікальна баєсова процедура є прийнятною. І навпаки, кожна прийнятна статистична процедура є або баєсовою процедурою, або границею баєсових процедур.

Валд охарактеризував прийнятні процедури як баєсові процедури (та границі баєсових процедур), зробивши баєсів формалізм центральною методикою в таких галузях частотного виведення як оцінювання параметрів, перевірка гіпотез та обчислення довірчих інтервалів. Наприклад:

« За певних умов усі прийнятні процедури є або баєсовими процедурами, або границями баєсових процедур (у різних сенсах). Ці видатні результати, принаймні у їх оригінальному вигляді, належать по суті Валдові. Вони корисні, бо властивість баєсовості аналізувати простіше, ніж властивість прийнятності. Оригінальний текст (англ.)

Under some conditions, all admissible procedures are either Bayes procedures or limits of Bayes procedures (in various senses). These remarkable results, at least in their original form, are due essentially to Wald. They are useful because the property of being Bayes is easier to analyze than admissibility.

 »
« У теорії рішень досить загальний метод доведення прийнятності полягає у демонстрації того, що процедура є унікальним баєсовим розв'язком. Оригінальний текст (англ.)

In decision theory, a quite general method for proving admissibility consists in exhibiting a procedure as a unique Bayes solution.

 »
« У перших розділах цієї праці апріорні розподіли зі скінченною підтримкою та відповідні баєсові процедури застосовувалися для запроваджування деяких з головних теорем, пов'язаних із порівнянням експериментів. Баєсові процедури по відношенню до загальніших апріорних розподілів відіграли дуже важливу роль у розвитку статистики, включно з її асимптотичною теорією. Оригінальний текст (англ.)

In the first chapters of this work, prior distributions with finite support and the corresponding Bayes procedures were used to establish some of the main theorems relating to the comparison of experiments. Bayes procedures with respect to more general prior distributions have played a very important role in the development of statistics, including its asymptotic theory.

 »
« Існує багато задач, де побіжний погляд на апостеріорні розподіли, за підхожих апріорних, негайно дає цікаву інформацію. Цього методу також важко уникнути у послідовному аналізі. Оригінальний текст (англ.)

There are many problems where a glance at posterior distributions, for suitable priors, yields immediately interesting information. Also, this technique can hardly be avoided in sequential analysis.

 »
« Корисним фактом є те, що баєсове правило рішення, отримане взяттям належного апріорного розподілу над усім простором параметрів, мусить бути прийнятним Оригінальний текст (англ.)

A useful fact is that any Bayes decision rule obtained by taking a proper prior over the whole parameter space must be admissible

 »
« Важливим напрямком дослідження у розвитку ідей прийнятності був напрямок звичайних процедур теорії вибірок, і було отримано багато цікавих результатів. Оригінальний текст (англ.)

An important area of investigation in the development of admissibility ideas has been that of conventional sampling-theory procedures, and many interesting results have been obtained.

 »

Вибір моделі

Див. баєсів вибір моделі

Застосування

Комп'ютерні застосування

Баєсове виведення має застосування у штучному інтелекті та експертних системах. Методики баєсового виведення були фундаментальною частиною методик комп'ютеризованого розпізнавання образів з кінця 1950-х років. Також існує й постійно зростає зв'язок між баєсовими методами та методиками Монте Карло на базі симуляцій, оскільки складні моделі не можуть оброблюватися у замкненій формі баєсовим аналізом, тоді як структури графічних моделей можуть уможливлювати ефективні симуляційні алгоритми, такі як вибірка за Ґіббсом та інші схеми алгоритму Метрополіса–Гастінгса. З цих причин баєсове виведення нещодавно завоювало популярність серед спільноти філогенетиків; деякі із застосувань дозволяють одночасно оцінювати багато демографічних та еволюційних параметрів.

Що стосується статистичної класифікації, то баєсове виведення застосовувалося у нещодавні роки для розробки алгоритмів ідентифікації спаму електронної пошти. Застосунки, що використовують баєсове виведення для фільтрування спаму, включають CRM114, DSPAM, Bogofilter, SpamAssassin та Mozilla. Класифікація спаму розглядається докладніше у статті про наївний баєсів класифікатор.

Індуктивне судження Соломонова є теорією передбачення, що базується на спостереженнях; наприклад, передбачення наступного символу базується на заданій серії символів. Єдиним припущенням є те, що середовище слідує якомусь невідомому, проте обчислюваному розподілу ймовірності. Це є формальна індуктивна структура, що поєднує в собі два гарно вивчені принципи індуктивного виведення: баєсову статистику та бритву Оккама. Універсальна апріорна ймовірність Соломонова будь-якого префіксу p обчислюваної послідовності x — це сума ймовірностей усіх програм (для універсального комп'ютера), що обчислюють щось, що починається з p. При заданому деякому p та будь-якому обчислюваному але невідомому розподілі ймовірності, з якого вибирається x, для передбачення ще небачених частин x оптимальним чином можуть використовуватися універсальний апріорний розподіл та теорема Баєса.

У залі суду

Баєсове виведення може застосовуватися присяжними, щоби послідовно накопичувати свідчення за та проти підсудного, і бачити, чи вони в сукупності відповідають їхньому особистому порогові «поза розумним сумнівом». Теорема Баєса застосовується послідовно до усіх представлених свідчень так, що апостеріорне переконання з однієї стадії стає апріорним для наступної. Баєсів підхід корисний тим, що він надає присяжному неупереджений раціональний механізм для поєднання свідчень. Пояснювати теорему Баєса присяжним може бути доречно у формі шансів, оскільки шанси парі є зрозумілими ширшому загалові, аніж ймовірності. Крім того, для присяжного може бути зрозумілішим логарифмічний підхід, що замінює множення додаванням.

Додавання свідчень.

Якщо в існуванні злочину сумніву немає, а є лише в особі обвинуваченого, то радять у якості апріорного використовувати рівномірний розподіл над визначеною сукупністю. Наприклад, якщо 1 000 людей могли скоїти цей злочин, то апріорною ймовірністю провинності буде 1/1000.

Використання теореми Баєса присяжними є дискусійним. У Сполученому Королівстві кваліфікований свідок захисту пояснив теорему Баєса суду присяжних у справі Р проти Адамса. Суд присяжних визнав відповідача винним, але на це рішення було подано апеляцію на тій підставі, що не було надано засобів акумулювання свідчень для тих присяжних, що не хотіли використовувати теорему Баєса. Апеляційний суд залишив вирок у силі, але також зробив висновок, що

« Залучення до кримінального процесу теореми Баєса, або іншого подібного методу, занурює присяжних у невідповідні та непотрібні сфери теорії та складності, відхиляючи їх від притаманної їм задачі" Оригінальний текст (англ.)

To introduce Bayes' Theorem, or any similar method, into a criminal trial plunges the jury into inappropriate and unnecessary realms of theory and complexity, deflecting them from their proper task.

 »

Гарднер-Медвін переконує, що критерієм, на якому повинен базуватися вирок у кримінальній справі, є не ймовірність провини, а швидше ймовірність свідчення за умови невинності відповідача (близька до частотного p-значення). Він стверджує, що якщо апостеріорна ймовірність провини має обчислюватися за теоремою Баєса, то мусить бути відомою апріорна ймовірність провини. А вона залежатиме від сфери злочину, яка є незвичним свідченням для розгляду в кримінальній справі. Розгляньмо наступні три твердження:

А Відомі факти та показання свідків могли би виникнути, якби відповідач був винним Б Відомі факти та показання свідків могли би виникнути, якби відповідач був невинним В Відповідач є винним.

Гарднер-Медвін стверджує, що для винесення обвинувального вироку суд присяжних повинен переконатися як в А, так і в не-Б. З А та не-Б випливає істинність В, але зворотнє не є вірним. Існує можливість, що вірними є Б та В, але в цьому випадку він стверджує, що суд присяжних повинен винести виправдувальний вирок, незважаючи на те, що вони знають, що дозволяють звільнитися деяким винним людям. Див. також парадокс Ліндлі.

Баєсова епістемологія

Баєсова епістемологія є рухом, що виступає за баєсове виведення як засіб обґрунтування правил індуктивної логіки.

Карл Поппер та Девід Міллер відкинули нібито раціональність баєсовизму, тобто використання правила Баєса для здійснення епістемологічного виведення: він схильний до того ж порочного кола, що й будь-яка інша виправдовувальна епістемологія, оскільки спирається на те, що намагається виправдати. Відповідно до цієї точки зору, раціональна інтерпретація баєсового виведення бачитиме його лише як ймовірнісну версію фальсифікаціонізму, заперечуючи переконання, поширене серед баєсовистів, що висока правдоподібність, досягнута послідовністю баєсових уточнень, доводитиме гіпотезу поза розумним сумнівом, чи навіть із правдоподібністю, більшою за 0.

Інші

  • Науковий метод іноді інтерпретується як застосування баєсового виведення. З цієї точки зору правило Баєса скеровує (або повинне скеровувати) уточнення ймовірностей гіпотези в залежності від нових спостережень або експериментів.
  • Теорія баєсового пошуку застосовується для пошуку загублених об'єктів.
  • Баєсове виведення у філогенетиці
  • Баєсів інструмент для аналізу метилювання

Баєс та баєсове виведення

Задачею, розглянутою Баєсом у Пропозиції 9 його «Есе щодо розв'язання задачі у Доктрині шансів», є апостеріорний розподіл параметру a (доля успішних спроб) біноміального розподілу.

Історія

Детальніші відомості з цієї теми Ви можете знайти в статті Історія статистики § Баєсова статистика.

Термін баєсів стосується Томаса Баєса (1702–1761), який довів окремий випадок того, що зараз називають теоремою Баєса. Однак, впровадив загальну версію цієї теореми та застосовував її для підходу до задач небесної механіки, медичної статистики, надійності та юриспруденції П'єр-Симон Лаплас (1749–1827). Раннє баєсове виведення, що використовувало рівномірний апріорний розподіл згідно лапласового принципу недостатнього обґрунтування, називалося «зворотною ймовірністю» (оскільки воно здійснює зворотне виведення від спостережень до параметрів, або від наслідків до причин). Після 1920-х років «зворотну ймовірність» було значною мірою витіснено набором методів, що стали називати частотною статистикою.

У XX столітті ідеї Лапласа отримали подальший розвиток у двох різних напрямках, давши початок об'єктивній та суб'єктивній течіям у баєсовій практиці. В об'єктивній, або «неінформативній» течії статистичний аналіз покладається лише на передбачувану модель, аналізовані дані та метод призначення апріорного розподілу, що відрізняється від одного об'єктивного баєсового виведення до іншого. У суб'єктивній, або «інформативній» течії визначення апріорного розподілу залежить від переконання (тобто тверджень, для дії на яких готується аналіз), що може підсумовувати інформацію від експертів, попередніх досліджень тощо.

У 1980-х роках відбувся різкий ріст досліджень та застосувань баєсових методів, обумовлений головним чином відкриттям методів Монте-Карло марковських ланцюгів, що усунули багато обчислювальних проблем, і ростом зацікавлення у нестандартних, складних застосуваннях. Незважаючи на зростання баєсових досліджень, більшість викладання студентам і досі базується на частотній статистиці. Тим не менш, баєсові методи є широко визнаними та застосовуваними, як наприклад у галузі машинного навчання.

Див. також

  • Теорема Баєса
  • Баєсове ієрархічне моделювання
  • Bayesian Analysis, журнал ISBA
  • Індуктивна ймовірність
  • Міжнародне співтовариство баєсового аналізу (англ. International Society for Bayesian Analysis, ISBA)
  • Апріорний розподіл Джеффріса

Примітки

  1. ↑ Hacking (1967, Section 3, p. 316), Hacking (1988, p. 124) (англ.)
  2. ↑ Bayes' Theorem (Stanford Encyclopedia of Philosophy). Plato.stanford.edu. Процитовано 2014-01-05.  (англ.)
  3. ↑ van Fraassen, B. (1989) Laws and Symmetry, Oxford University Press. ISBN 0-19-824860-1 (англ.)
  4. ↑ Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis (вид. III). CRC Press. ISBN 978-1439840955.  (англ.)
  5. ↑ Larry Wasserman et alia, JASA 2000. (англ.)
  6. ↑ Sen, Pranab K.; Keating, J. P.; Mason, R. L. (1993). Pitman's measure of closeness: A comparison of statistical estimators. Philadelphia: SIAM.  (англ.)
  7. а б Bickel & Doksum (2001, p. 32) (англ.)
  8. ↑ Kiefer, J. та Schwartz, R. (1965). Admissible Bayes Character of T2-, R2-, and Other Fully Invariant Tests for Multivariate Normal Problems. Annals of Mathematical Statistics 36. с. 747–770. doi:10.1214/aoms/1177700051.  (англ.)
  9. ↑ Schwartz, R. (1969). Invariant Proper Bayes Tests for Exponential Families. Annals of Mathematical Statistics 40. с. 270–283. doi:10.1214/aoms/1177697822.  (англ.)
  10. ↑ Hwang, J. T. та Casella, George (1982). Minimax Confidence Sets for the Mean of a Multivariate Normal Distribution. Annals of Statistics 10. с. 868–881. doi:10.1214/aos/1176345877.  (англ.)
  11. ↑ Lehmann, Erich (1986). Testing Statistical Hypotheses (вид. Second).  (див. с. 309 розділу 6.7 «Admissibilty» та с. 17–18 розділу 1.8 «Complete Classes» (англ.)
  12. а б Le Cam, Lucien (1986). Asymptotic Methods in Statistical Decision Theory. Springer-Verlag. ISBN 0-387-96307-3.  (з розділу «12 Posterior Distributions and Bayes Solutions», с. 324) (англ.)
  13. ↑ Cox, D. R. та Hinkley, D.V (1974). Theoretical Statistics. Chapman and Hall. ISBN 0-04-121537-0.  с. 432 (англ.)
  14. ↑ Cox, D. R. та Hinkley, D. V. (1974). Theoretical Statistics. Chapman and Hall. ISBN 0-04-121537-0.  с. 433 (англ.)
  15. ↑ Jim Albert (2009). Bayesian Computation with R, Second edition. New York, Dordrecht, etc.: Springer. ISBN 978-0-387-92297-3.  (англ.)
  16. ↑ Samuel Rathmanner та Marcus Hutter. «A Philosophical Treatise of Universal Induction». Entropy, 13(6):1076-1136, 2011. (англ.)
  17. ↑ «The Problem of Old Evidence», in § 5 of «On Universal Prediction and Bayesian Confirmation», M. Hutter — Theoretical Computer Science, 2007 — Elsevier (англ.)
  18. ↑ «Raymond J. Solomonoff», Peter Gacs, Paul M. B. Vitanyi, 2011 cs.bu.edu (англ.)
  19. ↑ Dawid, A. P. та Mortera, J. (1996) «Coherent Analysis of Forensic Identification Evidence». Journal of the Royal Statistical Society, Series B, 58, 425–443. (англ.)
  20. ↑ Foreman, L. A.; Smith, A. F. M., та Evett, I. W. (1997). «Bayesian analysis of deoxyribonucleic acid profiling data in forensic identification applications (with discussion)». Journal of the Royal Statistical Society, Series A, 160, 429–469. (англ.)
  21. ↑ Robertson, B. та Vignaux, G. A. (1995) Interpreting Evidence: Evaluating Forensic Science in the Courtroom. John Wiley and Sons. Chichester. ISBN 978-0-471-96026-3 (англ.)
  22. ↑ Dawid, A. P. (2001) «Bayes' Theorem and Weighing Evidence by Juries» (англ.)
  23. ↑ Gardner-Medwin, A. (2005) «What Probability Should the Jury Address?». Significance, 2 (1), March 2005 (англ.)
  24. ↑ David Miller: Critical Rationalism (англ.)
  25. ↑ Stigler, Stephen M. (1986). Chapter 3. The History of Statistics. Harvard University Press.  (англ.)
  26. а б Fienberg, Stephen E. (2006). When did Bayesian Inference Become ‘Bayesian’?. Bayesian Analysis 1 (1). с. 1–40 . doi:10.1214/06-ba101.  (англ.)
  27. ↑ Bernardo, José-Miguel (2005). Reference analysis. Handbook of statistics 25. с. 17–90.  (англ.)
  28. ↑ Wolpert, R. L. (2004). A Conversation with James O. Berger. Statistical Science 19 (1). с. 205–218. doi:10.1214/088342304000000053. MR 2082155.  (англ.)
  29. ↑ Bernardo José M.. A Bayesian mathematical statistics primer. — 2006. (англ.)
  30. ↑ Bishop, C. M. (2007). Pattern Recognition and Machine Learning. New York: Springer. ISBN 0387310738.  (англ.)

Джерела

  • Aster, Richard; Borchers, Brian, та Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. ISBN 0123850487, ISBN 978-0123850485 (англ.)
  • Bickel, Peter J. та Doksum, Kjell A. (2001). Mathematical Statistics, Volume 1: Basic and Selected Topics (вид. Second (передрук 2007)). Pearson Prentice–Hall. ISBN 0-13-850363-X.  (англ.)
  • Box, G. E. P. та Tiao, G. C. (1973) Bayesian Inference in Statistical Analysis, Wiley, ISBN 0-471-57428-7 (англ.)
  • Edwards, Ward (1968). Conservatism in Human Information Processing. У Kleinmuntz, B. Formal Representation of Human Judgment. Wiley.  (англ.)
  • Edwards, Ward (1982). Conservatism in Human Information Processing (excerpted). У Daniel Kahneman, Paul Slovic та Amos Tversky. Judgment under uncertainty: Heuristics and biases. Cambridge University Press.  (англ.)
  • Jaynes E. T. (2003) Probability Theory: The Logic of Science, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996). (англ.)
  • Howson, C. та Urbach, P. (2005). Scientific Reasoning: the Bayesian Approach (вид. 3rd). Open Court Publishing Company. ISBN 978-0-8126-9578-6.  (англ.)
  • Phillips, L. D.; Edwards, Ward (October 2008). Chapter 6: Conservatism in a Simple Probability Inference Task (Journal of Experimental Psychology (1966) 72: 346-354). У Jie W. Weiss та David J. Weiss. A Science of Decision Making:The Legacy of Ward Edwards. Oxford University Press. с. 536. ISBN 978-0-19-532298-9.  (англ.)

Література

Початкова

Наступні книги перелічено у порядку зростання статистичної складності:

  • Stone, JV (2013), «Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis», Download first chapter here, Sebtel Press, England. (англ.)
  • Colin Howson та Peter Urbach (2005). Scientific Reasoning: The Bayesian Approach (вид. 3rd). Open Court Publishing Company. ISBN 978-0-8126-9578-6.  (англ.)
  • Berry, Donald A. (1996). Statistics: A Bayesian Perspective. Duxbury. ISBN 0-534-23476-3.  (англ.)
  • Morris H. DeGroot та Mark J. Schervish (2002). Probability and Statistics (вид. third). Addison-Wesley. ISBN 978-0-201-52488-8.  (англ.)
  • Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley ISBN 0-471-27020-2 (англ.)
  • Winkler, Robert L (2003). Introduction to Bayesian Inference and Decision (вид. 2nd). Probabilistic. ISBN 0-9647938-4-9.  (англ.) Оновлений класичний підручник. Чітко представлено баєсову теорію.
  • Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley ISBN 978-1-1183-3257-3 (англ.)
  • Carlin, Bradley P. та Louis, Thomas A. (2008). Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. ISBN 1-58488-697-8.  (англ.)
  • Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.  (англ.)

Середнього рівня або просунута

  • Berger, James O (1985). Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (вид. Second). Springer-Verlag. ISBN 0-387-96098-8.  (англ.)
  • Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley.  (англ.)
  • DeGroot, Morris H., Optimal Statistical Decisions. Wiley Classics Library. 2004. (початково опублікована (1970) McGraw-Hill.) ISBN 0-471-68029-X. (англ.)
  • Schervish, Mark J. (1995). Theory of statistics. Springer-Verlag. ISBN 0-387-94546-6.  (англ.)
  • Jaynes, E. T. (1998) Probability Theory: The Logic of Science. (англ.)
  • O'Hagan, A. та Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. ISBN 0-340-52922-9. (англ.)
  • Robert, Christian P (2001). The Bayesian Choice – A Decision-Theoretic Motivation (вид. second). Springer. ISBN 0-387-94296-3.  (англ.)
  • Glenn Shafer та Pearl, Judea, eds. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann. (англ.)
  • Pierre Bessière et al. (2013), «Bayesian Programming», CRC Press. ISBN 9781439880326 (англ.)

Посилання

  • Hazewinkel, Michiel, ред. (2001). Bayesian approach to statistical problems. Encyclopedia of Mathematics. Springer. ISBN 978-1-55608-010-4.  (англ.)
  • Bayesian Statistics зі Scholarpedia. (англ.)
  • Введення до баєсової ймовірності від Лондонського університету королеви Марії (англ.)
  • Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo (англ.)
  • Баєсова рекомендована бібліографія, категоризована та анотована Томом Ґриффітсом (англ.)
  • A. Hajek та S. Hartmann: Bayesian Epistemology, у: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93-106. (англ.)
  • S. Hartmann та J. Sprenger: Bayesian Epistemology, у: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609–620. (англ.)
  • Stanford Encyclopedia of Philosophy: «Inductive Logic» (англ.)
  • Bayesian Confirmation Theory (англ.)
  • What Is Bayesian Learning? (англ.)

баєсове виведення жирних, баєсове виведення маток, баєсове виведення папілом, баєсове виведення солей


Баєсове виведення Інформацію Про

Баєсове виведення


  • user icon

    Баєсове виведення beatiful post thanks!

    29.10.2014


Баєсове виведення
Баєсове виведення
Баєсове виведення Ви переглядаєте суб єкт.
Баєсове виведення що, Баєсове виведення хто, Баєсове виведення опис

There are excerpts from wikipedia on this article and video

Випадкові Статті

Дамар (місто)

Дамар (місто)

Координати 14°33′00″ пн. ш. 44°24′06″ сх. д. / 14.55000° пн. ш. 44.4...
Порту-Тромбетас

Порту-Тромбетас

Порту-Тромбетас — гігінтське латеритне родовище гібситових бокситів в Бразилії. Характеристика ...
Зимова Універсіада 2017

Зимова Універсіада 2017

Зимова Універсіада 2017 — XXVIІI зимова Універсіада, що проходила з 29 січня по 8 лютого 2017 р...
Сістеля

Сістеля

Сістеля (кат. Cistella) - муніципалітет, розташований в Автономній області Каталонія, в Іспанії. Зна...