Distribució gamma

Distribució gamma.

En la teoria de la probabilitat i l'estadística, la distribució gamma és una família de distribucions contínues amb dos paràmetres. Té un paràmetre d'escala θ i un paràmetre de forma k. Si k és un nombre sencer aleshores la distribució representa la suma de k variables aleatòries exponencials, cadascuna de les quals té mitjana θ.

Caracterització

Una variable aleatòria gamma X amb escala θ i forma k es denota

<math>X \sim \Gamma(k, \theta) \,\,\mathrm{ or }\,\, X \sim \textrm{Gamma}(k, \theta) </math>

Funció de densitat de probabilitat

La funció de probabilitat de densitat de la distribució gamma pot expressar-se en termes de la funció gamma:

<math> f(x;k,\theta) = x^{k-1} \frac{e^{-x/\theta}}{\theta^k \, \Gamma(k)}

\ \mathrm{ for }\ x > 0\,\, \mathrm{ and }\,\, k, \theta > 0.</math>

En aquesta parametrització l'esperança és <math>k/ \theta</math> Alternativament, la distribució gamma pot parameteritzar-se en termes d'un paràmetre de forma <math>\alpha = k</math> i un paràmetre d'escala inversa <math>\beta = 1/\theta</math>, anomenat un paràmetre de tasa:

<math> g(x;\alpha,\beta) = x^{\alpha-1} \frac{\beta^{\alpha} \, e^{-\beta\,x} }{\Gamma(\alpha)} \ \mathrm{for}\ x > 0 \,\!.</math>

En la segona parametrització l'esperança és <math>k \theta</math>. Ambdues parametritzacions són comunes perque qualsevol de les dues pot ésser més convenient depenent de la tasca a la que un s'enfronta. És possible una tercera parametrització, on es manté el paràmetre de forma <math>\alpha = k</math> i s'introdueix l'esperança <math>\mu = \alpha/\theta</math>. L'avantatge d'aquesta darrera parametrització és que és més fàcilment interpretable.

Funció de distribució

La funció de distribució pot expressar-se en termes de la funció gamma incomplerta,

<math> F(x;k,\theta) = \int_0^x f(u;k,\theta)\,du

=\frac{\gamma(k, x/\theta)}{\Gamma(k)} \,\!</math>

Propietats

Moments

Mitjana = <math>k \theta\,\!</math>
Mediana = no hi ha una expressió simple
Moda = <math>(k-1) \theta\,\!</math> per <math>k \geq 1\,\!</math>, 0 altrament
Variància = <math>k \theta^2\,\!</math>
Asimetria = <math>\frac{2}{\sqrt{k}}\,\!</math>
Curtosis = <math>\frac{6}{k}\,\!</math>
Entropia = <math>k + \ln\theta + \ln\Gamma(k) + (1-k)\psi(k) \!</math>
Funció generadora de moments = <math>(1 - \theta\,t)^{-k}\,\!</math> for <math>t < 1/\theta\,\!</math>
Funció característica = <math>(1 - \theta\,i\,t)^{-k}\,\!</math>

Suma

Si X_i segueix una distribució Γ(α_i, β) per a i = 1, 2, ..., N, aleshores

<math>

\sum_{i=1}^N X_i \sim \Gamma \left( \sum_{i=1}^N \alpha_i, \beta \right) \,\! </math>

assumint que totes les X_i són independents.

La distribució gamma és infinitament divisible.

Transformació d'escala

Per a qualssevol t > 0 es compleix que tX segueix una distribució Γ(k, tθ), demonstrant que θ és un paràmetre d'escala.

Família exponencial

La distribució gamma pertany a la família exponencial de dos paràmetres i té paràmetres naturals <math>k-1</math> i <math>1/\theta</math>, i estadístics naturals <math>X</math> i <math>\ln(X)</math>.

Entropía

L'entropia ve donada per

<math>\frac{-1}{\theta^k \Gamma(k)} \int_0^{\infty} \frac{x^{k-1}}{e^{x/\theta}} \left[ (k-1)\ln x - x/\theta - k \ln\theta - \ln\Gamma(k) \right] \,dx \!</math>

<math>= -\left[ (k-1) (\ln\theta + \psi(k)) - k - k \ln\theta - \ln\Gamma(k) \right] \!</math>

<math>= k + \ln\theta + \ln\Gamma(k) + (1-k)\psi(k) \!</math>

on ψ(k) és la funció digamma.

Divergència Kullback-Leibler

La divergència Kullback-Leibler entre una Γ(α₀, β₀) (la distribució veritable) i una Γ(α, β) (la distribució que l'aproxima) ve donada per

<math>

D_{\mathrm{KL}}(\alpha,\beta || \alpha_0, \beta_0) = \log\left(\frac{\Gamma({\alpha_0})\beta_0^{\alpha_0}}{\Gamma(\alpha)\beta^{\alpha_0}}\right)+(\alpha-{\alpha_0})\psi(\alpha)+\alpha\frac{\beta-\beta_0}{\beta_0} </math>

Transformada de Laplace

La transformada de Laplace de la distribució gamma és:

<math>

F(s)=\frac{\beta^\alpha}{(s+\beta)^\alpha} </math>

Estimació dels paràmetres

Màxima versemblança

La funció de versemblança per a N observacions iid <math>(x_1,\ldots,x_N)</math> és

<math>L(\theta)=\prod_{i=1}^N f(x_i;k,\theta)\,\!</math>

de la qual podem calcular la log-versemblança

<math>\ell(\theta) = (k-1) \sum_{i=1}^N \ln{(x_i)} - \sum x_i/\theta - Nk\ln{(\theta)} - N\ln{\Gamma(k)}.</math>

L'estimador màxim-versemblant s'obté maximitzant la log-versemblança, és a dir, calculant-ne la derivada i igualant a zero (es pot demostrar que la funció és convexa i que per tant té un sol extrem). Procedint d'aquesta manera trobem que:

<math>\hat{\theta} = \frac{1}{kN}\sum_{i=1}^N x_i. \,\!</math>

Substituint aquest resultat a l'expressió de la log-versemblança dóna

<math>\ell=(k-1)\sum_{i=1}^N\ln{(x_i)}-Nk-Nk\ln{\left(\frac{\sum x_i}{kN}\right)}-N\ln{(\Gamma(k))}. \,\!</math>

Per trobar el màxim respecte de k cal calcular la derivada i igualar-la a zero, amb què s'obté:

<math>\ln{(k)}-\psi(k)=\ln{\left(\frac{1}{N}\sum_{i=1}^N x_i\right)}-\frac{1}{N}\sum_{i=1}^N\ln{(x_i)} \,\!</math>

on

<math>\psi(k) = \frac{\Gamma'(k)}{\Gamma(k)} \!</math>

és la funció digamma. No existeix cap fórmula tancada per a k, però la funció es comporta bé numèricament (és convex), i per tant és senzill trobar-ne una solució numèrica, per exemple amb el mètode de Newton. És possible trobar un valor inicial per a k emprant el mètode dels moments, o emprant l'aproximació

<math>\ln(k)-\psi(k) \approx \frac{1}{k}\left(\frac{1}{2} + \frac{1}{12k+2}\right). \,\!</math>

Si definim

<math>s = \ln{\left(\frac{1}{N}\sum_{i=1}^N x_i\right)} - \frac{1}{N}\sum_{i=1}^N\ln{(x_i)},\,\!</math>

aleshores k és aproximadament

<math>k \approx \frac{3-s+\sqrt{(s-3)^2 + 24s}}{12s}</math>

que és dins d'un 1,5% del valor correcte.

Estimador Bayesià

Si considerem que k es conegut i <math>\theta</math> és desconegut, la funció de densitat a posteriori per a <math>\theta</math> és (assumint que la distribució a priori és proporcional a <math>1/\theta</math>)

<math>

P(\theta | k, x_1, ..., x_N) \propto 1/\theta \prod_{i=1}^N f(x_i;k,\theta).\,\! </math>

Definint

<math> y \equiv \sum_{i=1}^N x_i , \qquad P(\theta | k, x_1, \dots , x_N) = C(x_i) \theta^{-N k-1} e^{-y / \theta}. \! </math>

Per tal de calcular l'esperança cal calcular la integral respecte &theta, el qual pot dur-se a terme emprant un canvi de variables que revela que 1/&theta segueix una distribució gamma amb paràmetres <math>\scriptstyle \alpha = N k,\ \ \beta = y</math>.

<math>

\int_0^{\infty} \theta^{-N k-1+m} e^{-y / \theta}\, d\theta = \int_0^{\infty} x^{N k -1 -m} e^{-x y} \, dx = y^{-(N k -m)} \Gamma(N k -m). \! </math>

Els moments podem calcular-se especificant diferents valors per a m a la següent expressió

<math>

E(x^m) = \frac {\Gamma (N k -m)} {\Gamma(N k)} y^m, \! </math>

Per exemple, l'esperança +/- la desviació estàndard de la distribució a posteriori de <math>\theta</math> és:

També és possible obtenir estimadors Bayesians sense assumir que k és conegut, però en general no és possible obtenir-ne una expressió senzilla.

Generant valors d'una distribució gamma

Tenint en compte la propietat d'escala esmentada anteriorment, és suficient generar una variable gamma amb β = 1 i després transformar-la a qualsevol altre valor de β amb una simple divisió.

Emprant el fet que una distribució Γ(1, 1) és el mateix que una distribució exponencial Exp(1), i tenint en compte el mètode per generar variables aleatòries exponencials, arribem a la conclusió de què si U prové d'una distribució uniforme en (0, 1], aleshores -ln(U) segueix una Γ(1, 1). Emprant la propietat de què la suma de variables aleatòries gamma independents segueix novament una distribució gamma, extenem el resultat:

<math>\sum_{k=1}^n {-\ln U_k} \sim \Gamma(n, 1),</math>

on U_k són uniformement distribuïdesen (0, 1] i independents.

Tanmateix aquesta estratègia només funciona si n és un nombre sencer. Ara veurem com generar observacions d'una Γ(δ, 1) per a 0 < δ < 1 ja que després podem aplicar la propietat de la suma per al cas 1 < &delta.

A continuació presenten un algoritme, sense demostració. Es tracta d'un cas particular del mètode d'acceptació-rebuig:

Sigui m= 1.
Generar <math>V_{2m - 1}</math> i <math>V_{2m}</math> — independents i uniformement distribuïdes a (0, 1].
Si <math>V_{2m - 1} \le v_0</math>, on <math>v_0 = \frac e {e + \delta}</math>, aleshores anar a 4, altrament anar a 5.
Sigui <math>\xi_m = V_{2m - 1}^{1 / \delta}, \ \eta_m = V_{2m} \xi _m^ {\delta - 1}</math>. Anar a 6.
Sigui <math>\xi_m = 1 - \ln {V_{2m - 1}}, \ \eta_m = V_{2m} e^{-\xi_m}</math>.
Si <math>\eta_m > \xi_m^{\delta - 1} e^{-\xi_m}</math>, aleshores incrementar m i tornar a 2.
Assumim que <math>\xi = \xi_m</math> és l'observació d'una <math>\Gamma (\delta, 1)</math>

Per resumir,

<math> \theta \left( \xi - \sum _{i=1} ^{[k]} {\ln U_i} \right) \sim \Gamma (k, \theta),</math>

on [k] és la part sencera de k, i ξ ha estat generat emprant l'algoritme que hem presentat δ = {k} (la part fraccional de k), U_k i V_l segueixen la distribució explicada anteriorment i són independents.

La Llibreria científica GNU disposa de rutines robustes per a generar observacions de moltes distribucions, incloent la distribució Gamma.

Distribucions rel·lacionades

Casos particulars

Si <math>X \sim {\Gamma}(k=1, \theta=1/\lambda)\,</math>, aleshores X segueix una distribució exponencial amb paràmetre λ.
Si <math>X \sim {\Gamma}(k=v/2, \theta=2)\,</math>, aleshores X és identicament distribuïda a una χ²(ν), la distribució khi-quadrat amb ν graus de llibertat.
Si <math>k</math> és un nombre sencer, la distribució gamma es denomina

distribució d'Erlang que serveix per a modelar el temps d'arribada fins a la <math>k</math>-ena "arribada" en un procès de Poisson d'una dimensió amb intensitat 1/θ.

Si <math>X^2 \sim {\Gamma}(3/2, 2a^2)\,</math>, aleshores X segueix una distribució de Maxwell-Boltzmann amb paràmetre a.
<math>X \sim \mathrm{SkewLogistic}(\theta)\,</math>, aleshores <math>\mathrm{log}(1 + e^{-X}) \sim \Gamma (1,\theta)\,</math>

Altres

Si X segueix una Γ(k, θ) aleshores 1/X segueix una distribució gamma inversa amb paràmetres k i θ^-1.
Si X i Y són Γ(α, θ) i Γ(β, θ) independents, respectivament, aleshores X / (X + Y) segueix una distribució beta amb paràmetres α i β.
Si X_i són Γ(α_i,θ) independents, aleshores el vector (X₁ / S, ..., X_n / S), on S = X₁ + ... + X_n, segueix una distribució de Dirichlet amb paràmetres α₁, ..., α_n.

Bibliografia

Plantilla:Sister

R. V. Hogg and A. T. Craig. Introduction to Mathematical Statistics, 4th edition. New York: Macmillan, 1978. (See Section 3.3.)

REDIRECT Plantilla:Mathworld

Engineering Statistics Handbook
S. C. Choi and R. Wette. (1969) Maximum Likelihood Estimation of the Parameters of the Gamma Distribution and Their Bias, Technometrics, 11(4) 683-69