TR | RU | KK | BE | EN |

Логістична регресія


Логістична регресія або логіт регресія англ. logit model — статистичний регресійний метод, що використовується у випадку коли пояснювана змінна може набувати тільки двох значень (чи, більш загально, скінченну множину значень).

Зміст

  • 1 Визначення логістичної моделі
  • 2 Оцінка параметрів
  • 3 Див. також
  • 4 Література

Визначення логістичної моделі

Логістична функція: Λ ( x ) = 1 1 + e − x {\displaystyle \Lambda (x)={\frac {1}{1+e^{-x}}}} .

Нехай є деяка випадкова величина Y , {\displaystyle Y,\,} що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних x = ( 1 , x 1 , … , x n ) T . {\displaystyle x=(1,x_{1},\ldots ,x_{n})^{T}.} Залежність Y , {\displaystyle Y,\,} від x 1 , … , x n . {\displaystyle x_{1},\ldots ,x_{n}.} можна визначити ввівши додаткову змінну y*, де y ∗ = θ T x = θ 0 + θ 1 x 1 + … + θ n x n + ε . {\displaystyle y^{*}=\theta ^{T}x=\theta _{0}+\theta _{1}x_{1}+\ldots +\theta _{n}x_{n}+\varepsilon .} Тоді:

Y = { 0 y ∗ ≤ 0 1 y ∗ > 0 {\displaystyle Y={\begin{cases}0&y^{*}\leq 0\\1&y^{*}>0\end{cases}}}

При визначенні логістичної моделі стохастичний доданок ε {\displaystyle \varepsilon } вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних x ∗ = x 1 ∗ , … , x n ∗ . {\displaystyle x^{*}=x_{1}^{*},\ldots ,x_{n}^{*}.} одержується відповідне значення y ∗ {\displaystyle y^{*}} і ймовірність того, що Y = 1 {\displaystyle Y=1} рівна:

p ( Y = 1 ) = p ( y ∗ > 0 ) = p ( θ T x ∗ + ε > 0 ) = p ( ε > − θ T x ∗ ) = p ( ε ≤ θ T x ∗ ) = Λ ( θ T x ∗ ) . {\displaystyle p(Y=1)=p(y^{*}>0)=p(\theta ^{T}x^{*}+\varepsilon >0)=p(\varepsilon >-\theta ^{T}x^{*})=p(\varepsilon \leq \theta ^{T}x^{*})=\Lambda (\theta ^{T}x^{*}).}

Передостання рівність випливає з симетричності логістичного розподілу, Λ {\displaystyle \Lambda } позначає логістичну функцію — функцію розподілу логістичного розподілу:

Λ ( x ) = e x 1 + e x = 1 1 + e − x {\displaystyle \Lambda (x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}}}

Таким чином для конкретного значення x i {\displaystyle x^{i}} випадкова величина Y i , {\displaystyle Y^{i},\,} має розподіл Бернуллі: Y i   ∼ B ( 1 , Λ ( θ T x i ) ) . {\displaystyle Y^{i}\ \sim B(1,\Lambda (\theta ^{T}x^{i})).}

Логіт-модель задовольняє наступну умову:

ln ⁡ p ( 1 | X ) 1 − p ( 1 | X ) = ln ⁡ p ( 1 | X ) p ( 0 | X ) = b 0 + b 1 x 1 + . . . + b J x J {\displaystyle \ln {\frac {p(1|X)}{1-p(1|X)}}=\ln {\frac {p(1|X)}{p(0|X)}}=b_{0}+b_{1}x_{1}+...+b_{J}x_{J}}

Оцінка параметрів

Оцінка параметрів θ 0 , θ 1 , . . . θ n {\displaystyle \theta _{0},\theta _{1},...\theta _{n}} на основі деякої вибірки ( x ( 1 ) , Y ( 1 ) ) , . . . ( x ( m ) , Y ( m ) ) {\displaystyle \!(x^{(1)},Y^{(1)}),...(x^{(m)},Y^{(m)})} , де x ( i ) ∈ R n {\displaystyle x^{(i)}\in \mathbb {R} ^{n}}  — вектор значень незалежних змінних, а Y ( i ) ∈ { 0 , 1 } {\displaystyle Y^{(i)}\in \{0,1\}}  — відповідне їм значення Y {\displaystyle Y} як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри θ {\displaystyle \theta } , що максимізують значення функції правдоподібності на вибірці:

θ ^ = argmax θ L ( θ ) = argmax θ ∏ i = 1 m Pr { Y = Y ( i ) | x = x ( i ) } . {\displaystyle {\hat {\theta }}={\mbox{argmax}}_{\theta }L(\theta )={\mbox{argmax}}_{\theta }\prod _{i=1}^{m}\Pr\{Y=Y^{(i)}|x=x^{(i)}\}.}

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

log ⁡ L ( θ ) = ∑ i = 1 m log ⁡ Pr { Y = Y ( i ) | x = x ( i ) } = ∑ i = 1 m Y ( i ) log ⁡ Λ ( θ T x ( i ) ) + ( 1 − Y ( i ) ) log ⁡ ( 1 − Λ ( θ T x ( i ) ) ) . {\displaystyle \log L(\theta )=\sum _{i=1}^{m}\log \Pr\{Y=Y^{(i)}|x=x^{(i)}\}=\sum _{i=1}^{m}Y^{(i)}\log \Lambda (\theta ^{T}x^{(i)})+(1-Y^{(i)})\log(1-\Lambda (\theta ^{T}x^{(i)})).}

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.

Див. також

  • Логістичний розподіл

Література

  • Alan. Agresti: Categorical Data Analysis. Wiley-Interscience, Nowy Jork, 2002. ISBN 0-471-36093-7.
  • T. Amemiya: Advanced Econometrics. Harvard University Press, 1985. ISBN 0-674-00560-0.
  • N. Balakrishnan: Handbook of the Logistic Distribution. Marcel Dekker, Inc., 1991. ISBN 978-0-8247-8587-1.
  • William H. Green: Econometric Analysis, fifth edition. Prentice Hall, 2003. ISBN 0-13-066189-9.
  • Hosmer, David W., Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed.. New York; Chichester, Wiley. ISBN 0-471-35632-8.
  • Kleinbaum D.G., Logistic regression. A self-learning text, Springer-Verlag, 1994.



Логістична регресія Інформацію Про

Логістична регресія


  • user icon

    Логістична регресія beatiful post thanks!

    29.10.2014


Логістична регресія
Логістична регресія
Логістична регресія Ви переглядаєте суб єкт.
Логістична регресія що, Логістична регресія хто, Логістична регресія опис

There are excerpts from wikipedia on this article and video

Випадкові Статті

Apollonias zeylanica

Apollonias zeylanica

Apollonias zeylanica — це вид квіткових рослин роду Аполонії родини Лаврових Зміст 1 Морфо...
Підрозділ (значення)

Підрозділ (значення)

Підрозділ: Підрозділ військова справа Команда Департамент підрозділ Підрозділ — поняття, яке ма...
Звіробій (фільм, 1990)

Звіробій (фільм, 1990)

«Звіробі́й» — художній фільм у двох серіях 1990 за мотивами однойменного роману Дж Ф Купера ...
Ольденборстель

Ольденборстель

Ольденборстель нім Oldenborstel — громада в Німеччині, розташована в землі Шлезвіг-Гольштейн Вх...