TR | RU | KK | BE | EN |

Перевірка відношенням правдоподібностей


У статистиці переві́рка відно́шенням правдоподі́бностей — це статистична перевірка, що застосовується для порівняння ступеню узгодженості двох моделей, одна з яких (нульова модель) є окремим випадком іншої (альтернативної моделі). Ця перевірка ґрунтується на відношенні правдоподібностей, яке виражає, в скільки разів правдоподібніше, що дані відповідають одній моделі, а не іншій. Це відношення правдоподібностей, або, рівнозначно, його логарифм, може потім застосовуватися для обчислення p-значення, або порівнюватися із критичним значенням для ухвалення рішення, чи відкинути нульову модель на користь альтернативної моделі. Коли застосовується логарифм відношення правдоподібностей, така статистика відома як статистика відношення логарифмічних правдоподібностей, а розподіл імовірності цієї перевірної статистики, за припущення, що нульова модель є істинною, може бути наближено із застосуванням теореми Уїлкса.

У випадку порівняння двох моделей, кожна з яких не має відомих параметрів, застосування перевірки відношенням правдоподібностей може бути обґрунтовано лемою Неймана-Пірсона, яка показує, що така перевірка має найвищу потужність серед усіх конкурентів.

Зміст

  • 1 Застосування
  • 2 Гіпотези проста-з-простою
  • 3 Визначення (перевірка відношенням правдоподібностей для складених гіпотез)
    • 3.1 Інтерпретація
    • 3.2 Розподіл: теорема Уїлкса
  • 4 Приклади
    • 4.1 Підкидання монети
  • 5 Примітки
  • 6 Джерела
  • 7 Посилання

Застосування

Кожна з двох порівнюваних моделей, нульова модель та альтернативна модель, окремо співставляється з даними, і записується логарифмічна правдоподібність. Пробна статистика (що часто позначують через D) є подвоєною різницею цих логарифмічних правдоподібностей:

D = − 2 ln ⁡ ( likelihood for null model likelihood for alternative model ) = − 2 ln ⁡ ( likelihood for null model ) + 2 ln ⁡ ( likelihood for alternative model ) {\displaystyle {\begin{aligned}D&=-2\ln \left({\frac {\text{likelihood for null model}}{\text{likelihood for alternative model}}}\right)\\&=-2\ln({\text{likelihood for null model}})+2\ln({\text{likelihood for alternative model}})\\\end{aligned}}}

Модель із більшою кількістю параметрів завжди узгоджуватиметься щонайменше так же добре (матиме рівну або більшу логарифмічну правдоподібність). Чи є вона суттєво кращою, і чи повинна їй тому віддаватися перевага, визначається виведенням імовірності або p-значення різниці D. Там, де нульова гіпотеза являє собою окремий випадок альтернативної гіпотези, розподіл імовірності статистичного критерію є приблизно хі-квадратним розподілом зі ступенями свободи, що дорівнюють df2 − df1. Символи df1 та df2 представляють кількість вільних параметрів моделей 1 та 2, відповідно, нульової та альтернативної.

Ось приклад застосування. Якщо нульова модель має 1 параметр та логарифмічну правдоподібність −8024, а альтернативна модель має 3 параметри та логарифмічну правдоподібність −8012, то ймовірністю цієї різниці є те, що й хі-квадрат значення +2·(8024 − 8012) = 24 з 3 − 1 = 2 ступенями свободи. Щоби статистика слідувала розподілові хі-квадрат, мусять виконуватися деякі припущення, і часто обчислюють емпіричні p-значення.

Перевірка відношенням правдоподібностей вимагає вкладених моделей, тобто таких моделей, що складнішу може бути перетворено на простішу накладенням набору обмежень на її параметри. Якщо моделі не є вкладеними, то натомість зазвичай може бути застосовано узагальнення перевірки відношенням правдоподібності: відносну правдоподібність.

Гіпотези проста-з-простою

Детальніші відомості з цієї теми Ви можете знайти в статті Лема Неймана-Пірсона.

Статистична модель часто є параметризованим сімейством функцій густини ймовірності або функцій маси ймовірності f ( x | θ ) {\displaystyle f(x|\theta )} . Перевірка гіпотез проста-з-простою має повністю визначені моделі як за нульової гіпотези, так і за альтернативної, що для спрощення записуються в термінах фіксованих значень уявного параметра θ {\displaystyle \theta } :

H 0 : θ = θ 0 , H 1 : θ = θ 1 . {\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}

Зауважте, що за кожної з гіпотез розподіл даних є повністю визначеним; невідомих параметрів для оцінки немає. Перевірка відношенням правдоподібностей ґрунтується на відношенні правдоподібностей, що часто позначають через Λ {\displaystyle \Lambda } (велика грецька літера лямбда). Відношення правдоподібностей визначається таким чином:

Λ ( x ) = L ( θ 0 | x ) L ( θ 1 | x ) = f ( ∪ i x i | θ 0 ) f ( ∪ i x i | θ 1 ) {\displaystyle \Lambda (x)={\frac {L(\theta _{0}|x)}{L(\theta _{1}|x)}}={\frac {f(\cup _{i}\,x_{i}|\theta _{0})}{f(\cup _{i}\,x_{i}|\theta _{1})}}}

або

Λ ( x ) = L ( θ 0 ∣ x ) sup { L ( θ ∣ x ) : θ ∈ { θ 0 , θ 1 } } , {\displaystyle \Lambda (x)={\frac {L(\theta _{0}\mid x)}{\sup\{\,L(\theta \mid x):\theta \in \{\theta _{0},\theta _{1}\}\}}},}

де L ( θ | x ) {\displaystyle L(\theta |x)} є функцією правдоподібності, а sup {\displaystyle \sup }  — функцією супремума. Зауважте, що деякі джерела можуть використовувати в якості визначення обернене. У встановленому тут вигляді відношення правдоподібностей є малим, якщо альтернативна модель є кращою за нульову, і перевірка відношенням правдоподібностей дає таке правило рішення:

Якщо Λ > c {\displaystyle \Lambda >c} , не відхиляти H 0 {\displaystyle H_{0}} ; Якщо Λ < c {\displaystyle \Lambda <c} , відхилити H 0 {\displaystyle H_{0}} ; Відхилити з імовірністю q {\displaystyle q} , якщо Λ = c . {\displaystyle \Lambda =c.}

Значення c , q {\displaystyle c,\;q} зазвичай обираються для отримання вказаного рівня значущості α {\displaystyle \alpha } за допомогою відношення q ⋅ P ( Λ = c | H 0 ) + P ( Λ < c | H 0 ) = α {\displaystyle q\cdot P(\Lambda =c\;|\;H_{0})+P(\Lambda <c\;|\;H_{0})=\alpha } . Лема Неймана-Пірсона стверджує, що ця перевірка відношенням правдоподібностей є найпотужнішою серед усіх перевірок рівня α {\displaystyle \alpha } для цієї задачі.

Визначення (перевірка відношенням правдоподібностей для складених гіпотез)

Нульову гіпотезу часто задають, кажучи, що параметр θ {\displaystyle \theta } належить до вказаної підмножини Θ 0 {\displaystyle \Theta _{0}} простору параметрів Θ {\displaystyle \Theta } .

H 0 : θ ∈ Θ 0 H 1 : θ ∈ Θ 0 ∁ {\displaystyle {\begin{aligned}H_{0}&:&\theta \in \Theta _{0}\\H_{1}&:&\theta \in \Theta _{0}^{\complement }\end{aligned}}}

Функцією правдоподібності є L ( θ | x ) = f ( x | θ ) {\displaystyle L(\theta |x)=f(x|\theta )} (де f ( x | θ ) {\displaystyle f(x|\theta )} є ФГІ або ФМІ), що є функцією від параметра θ {\displaystyle \theta } при x {\displaystyle x} , фіксованому на значенні, що фактично спостерігалося, тобто на даних. Статистикою перевірки відношенням правдоподібності є

Λ ( x ) = sup { L ( θ ∣ x ) : θ ∈ Θ 0 } sup { L ( θ ∣ x ) : θ ∈ Θ } . {\displaystyle \Lambda (x)={\frac {\sup\{\,L(\theta \mid x):\theta \in \Theta _{0}\,\}}{\sup\{\,L(\theta \mid x):\theta \in \Theta \,\}}}.}

Тут запис sup {\displaystyle \sup } стосується функції супремума.

Перевірка відношенням правдоподібностей — це будь-яка перевірка з критичною областю (або областю відхилення) вигляду { x | Λ ≤ c } {\displaystyle \{x|\Lambda \leq c\}} , де c {\displaystyle c} є числом, що задовольняє 0 ≤ c ≤ 1 {\displaystyle 0\leq c\leq 1} . Багато поширених перевірних статистик, таких як Z-критерій, F-критерій, перевірка хі-квадрат Пірсона та G-критерій є перевірками вкладених моделей, і їх може бути сформульовано як відношення логарифмічних правдоподібностей або їхніх наближень.

Інтерпретація

Будучи функцією даних x {\displaystyle x} , відношення правдоподібностей є відтак статистикою. Перевірка відношенням правдоподібностей відхиляє нульову гіпотезу, якщо значення цієї статистики є замалим. Наскільки мале є замалим, залежить від рівня значущості перевірки, тобто від того, яка ймовірність помилок першого роду вважається терпимою (помилки першого роду складаються з відхилень нульової гіпотези, що насправді є істинними).

Чисельник відповідає максимальній правдоподібності спостережуваного виходу за нульової гіпотези. Знаменник відповідає максимальній правдоподібності спостережуваного виходу при варіюванні параметрів над усім параметричним простором. Чисельник цього відношення є меншим за знаменник. Отже, відношення правдоподібностей лежить між 0 та 1. Низькі значення відношення правдоподібностей означають, що трапляння спостережуваного результату було менш правдоподібним за нульової гіпотези в порівнянні з альтернативною. Високі значення цієї статистики означають, що трапляння спостережуваного виходу було майже настільки ж правдоподібним за нульової гіпотези, як і за альтернативної, й нульову гіпотезу не можна відкидати.

Розподіл: теорема Уїлкса

Якщо розподіл відношення правдоподібностей, що відповідає певним нульовій та альтернативній гіпотезам, може бути визначено явно, то його можливо безпосередньо застосовувати для формування областей рішень (для прийняття/відхилення нульової гіпотези). Проте в більшості випадків точний розподіл відношення правдоподібностей, що відповідає певним гіпотезам, визначити дуже складно. Зручний результат, що приписують Семюелові Уїлксу, каже, що з наближенням розміру вибірки n {\displaystyle n} до ∞ {\displaystyle \infty } перевірна статистика − 2 log ⁡ ( Λ ) {\displaystyle -2\log(\Lambda )} для вкладених моделей ставатиме асимптотично χ 2 {\displaystyle \chi ^{2}} -розподіленою зі ступенями свободи, що дорівнюють різниці в розмірності Θ {\displaystyle \Theta } та Θ 0 {\displaystyle \Theta _{0}} . Це означає, що для великого розмаїття гіпотез виконавець може обчислювати відношення правдоподібностей Λ {\displaystyle \Lambda } для даних, і порівнювати − 2 log ⁡ ( Λ ) {\displaystyle -2\log(\Lambda )} зі значенням χ 2 {\displaystyle \chi ^{2}} , що відповідає бажаній статистичній значущості, в якості наближеної статистичної перевірки.

Приклади

Підкидання монети

Як приклад, у випадку перевірки Пірсона ми могли би спробувати порівняти дві монети, щоби визначити, чи вони мають однакову ймовірність випадіння аверсу. Наші спостереження може бути внесено до таблиці спряженості з рядками, що відповідають монетам, та стовпчиками, що відповідають аверсам (англ. heads) та реверсам (англ. tails). Елементами таблиці спряження будуть кількості разів, яку на монеті цього рядка випав аверс та реверс. Вміст цієї таблиці є нашим спостереженням X {\displaystyle X} .

Аверси Реверси
Монета 1 k 1 H {\displaystyle k_{1H}} k 1 T {\displaystyle k_{1T}}
Монета 2 k 2 H {\displaystyle k_{2H}} k 2 T {\displaystyle k_{2T}}

Тут Θ {\displaystyle \Theta } складається з можливих комбінацій значень параметрів p 1 H {\displaystyle p_{1H}} , p 1 T {\displaystyle p_{1T}} , p 2 H {\displaystyle p_{2H}} та p 2 T {\displaystyle p_{2T}} , що є ймовірністю того, що монети 1 та 2 впадуть аверсом або реверсом догори. Надалі i = 1 , 2 {\displaystyle i=1,2} та j = H , T {\displaystyle j=H,T} . Простір гіпотез H {\displaystyle H} обмежується звичайними обмеженнями на розподіл імовірності, 0 ≤ p i j ≤ 1 {\displaystyle 0\leq p_{ij}\leq 1} та p i H + p i T = 1 {\displaystyle p_{iH}+p_{iT}=1} . Простір нульової гіпотези H 0 {\displaystyle H_{0}} є підпростором, у якому p 1 j = p 2 j {\displaystyle p_{1j}=p_{2j}} . При позначенні через n i j {\displaystyle n_{ij}} найкращих значень p i j {\displaystyle p_{ij}} за гіпотези H {\displaystyle H} оцінка максимальної правдоподібності задається як

n i j = k i j k i H + k i T . {\displaystyle n_{ij}={\frac {k_{ij}}{k_{iH}+k_{iT}}}.}

Аналогічно, оцінки максимальної правдоподібності p i j {\displaystyle p_{ij}} за нульової гіпотези H 0 {\displaystyle H_{0}} задаються як

m i j = k 1 j + k 2 j k 1 H + k 2 H + k 1 T + k 2 T , {\displaystyle m_{ij}={\frac {k_{1j}+k_{2j}}{k_{1H}+k_{2H}+k_{1T}+k_{2T}}},}

що не залежить від монети i {\displaystyle i} .

Гіпотезу та нульову гіпотезу може бути злегка переписано так, щоби вони задовольняли такі обмеження, щоби логарифм відношення правдоподібностей мав бажаний гарний розподіл. Оскільки це обмеження спричиняє зведення двовимірної H {\displaystyle H} до одновимірної H 0 {\displaystyle H_{0}} , то асимптотичним розподілом цієї перевірки буде χ 2 ( 1 ) {\displaystyle \chi ^{2}(1)} , розподіл χ 2 {\displaystyle \chi ^{2}} з одним ступенем свободи.

Для загального випадку таблиці спряженості статистику відношення логарифмічних правдоподібностей може бути переписано як

− 2 log ⁡ Λ = 2 ∑ i , j k i j log ⁡ n i j m i j . {\displaystyle -2\log \Lambda =2\sum _{i,j}k_{ij}\log {\frac {n_{ij}}{m_{ij}}}.}

Примітки

  1. а б Neyman та Pearson, 1933
  2. ↑ Huelsenbeck та Crandall, 1997
  3. а б Wilks, 1938
  4. ↑ Mood та Graybill, 1963, с. 286
  5. ↑ Stuart, Ord та Arnold, 1999, Chapter 22
  6. ↑ Cox та Hinkley, 1974, с. 92
  7. ↑ Casella та Berger, 2001, с. 375

Джерела

  • Neyman, Jerzy; Pearson, Egon S. (1933). On the Problem of the Most Efficient Tests of Statistical Hypotheses. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences 231 (694–706). с. 289–337. Bibcode:1933RSPTA.231..289N. doi:10.1098/rsta.1933.0009. JSTOR 91247.  (англ.)
  • Huelsenbeck, J. P.; Crandall, K. A. (1997). Phylogeny Estimation and Hypothesis Testing Using Maximum Likelihood. Annual Review of Ecology and Systematics 28. с. 437–466. doi:10.1146/annurev.ecolsys.28.1.437.  (англ.)
  • Wilks, S. S. (1938). The Large-Sample Distribution of the Likelihood Ratio for Testing Composite Hypotheses. The Annals of Mathematical Statistics 9. с. 60–62. doi:10.1214/aoms/1177732360.  (англ.)
  • Mood, A.M.; Graybill, F.A. (1963). Introduction to the Theory of Statistics (вид. 2nd). McGraw-Hill. ISBN 978-0070428638.  (англ.)
  • Stuart, A.; Ord, K.; Arnold, S (1999). Kendall's Advanced Theory of Statistics 2A. Arnold.  (англ.)
  • Cox, D. R.; Hinkley, D. V. (1974). Theoretical Statistics. Chapman and Hall. ISBN 0-412-12420-3.  (англ.)
  • Casella, George; Berger, Roger L. (2001). Statistical Inference (вид. Second). ISBN 0-534-24312-6.  (англ.)

Посилання

  • Практичне застосування описаної перевірки відношенням правдоподібностей (англ.)
  • Пакет R: Послідовна перевірка відношення ймовірностей Вальда (англ.)
  • Передбачувальні значення Річарда Лоурі та відношення правдоподібностей інтерактивний клінічний калькулятор (англ.)


Перевірка відношенням правдоподібностей Інформацію Про

Перевірка відношенням правдоподібностей


  • user icon

    Перевірка відношенням правдоподібностей beatiful post thanks!

    29.10.2014


Перевірка відношенням правдоподібностей
Перевірка відношенням правдоподібностей
Перевірка відношенням правдоподібностей Ви переглядаєте суб єкт.
Перевірка відношенням правдоподібностей що, Перевірка відношенням правдоподібностей хто, Перевірка відношенням правдоподібностей опис

There are excerpts from wikipedia on this article and video

Випадкові Статті

Ophidion scrippsae

Ophidion scrippsae

Ophidion scrippsae — вид риб родини Ошибневих Ophidiidae Поширений у східній Пацифіці від Пойнт...
Комар Володимир Степанович

Комар Володимир Степанович

Медіафайли у Вікісховищі У Вікіпедії є статті про інших людей з прізвищем Комар Володимир Ст...
1 липня

1 липня

1 липня — 182-ий день року (183-ий в високосні роки) в григоріанському календарі. До кінця року...
Хачеріді Євген Григорович

Хачеріді Євген Григорович

* Ігри та голи за професіональні клуби враховуються лише в національному чемпіонаті. Інформацію поно...