Metoda de distribuție exponențială maximă crezată. Metoda de probabilitate maximă de evaluare a punctului a parametrilor necunoscuți ai distribuțiilor probabiliste. Evaluarea parametrului de distribuție exponențială

Taxonomistul Joe Felsenstein (Felsenstein, 1978) a fost primul care sugerează evaluarea teoriilor filogenetice pe baza parsimo

institutul de Cercetare, ci prin statistici matematice. Ca rezultat, a fost dezvoltată metoda maximă veridică (probabilitate maximă) .

Această metodă se bazează pe cunoașterea preliminară a posibilelor modalități de evoluție, adică necesită crearea unui model de schimbări de semn înainte de analiză. Este de a construi aceste modele că legile statisticilor sunt atrase.

Sub crezând este înțeleasă ca probabilitatea de a observa date în cazul unui anumit model de evenimente. Diferitele modele pot face datele observate mai mult sau mai puțin probabil. De exemplu, dacă arunci o monedă și obțineți "Orlov" numai într-un caz de la o sută, atunci puteți presupune că acest lucru este defect. Dacă luați acest model, plauzibilitatea rezultatului obținut va fi destul de mare. Dacă vă bazați pe model, conform căreia moneda este precară, atunci vă puteți aștepta să vedeți "Orlov" în cincizeci de cazuri și nu într-unul. Obțineți doar un "vultur" cu o sută de picături de o monedă increditată este puțin probabilă. Cu alte cuvinte, plauzibilitatea obținerii rezultatului este una "vultur" pe o sută de "hărți" este în modelul unei monede incredibile foarte scăzută.

Adevărat - aceasta este o valoare matematică. Se calculează de obicei cu formula:

În cazul în care PR (D | H) este probabilitatea de a obține date D în cazul unei ipoteze de h . Caracteristica verticală din formula este citită ca "pentru acest". Deoarece l se dovedesc adesea a fi o valoare mică, atunci studiile sunt de obicei utilizate în studii.

Este foarte important să se facă distincția cu privire la obținerea datelor observate și probabilitatea ca modelul adoptat de evenimente să fie corect. Probabilitatea de date nu înseamnă nimic despre probabilitatea unui model în sine. Biologul filozofului E. sobru (sobru) a folosit următorul exemplu pentru a face clar această diferență. Imaginați-vă că auziți zgomot puternic în camera de deasupra dvs. S-ar putea să presupunem că acest lucru este cauzat de jocul de gnomi în bowling la mansardă. Pentru acest model, observarea dvs. (zgomot puternic deasupra dvs.) are o probabilitate ridicată (dacă gnomii au jucat cu adevărat bowling pe tine, ați fi auzit-o aproape cu siguranță). Cu toate acestea, probabilitatea ca ipoteza ta să fie adevărată, adică, exact gnomii au cauzat acest zgomot, este ceva complet diferit. Aproape probabil că nu era GNOME. Deci, în acest caz, ipoteza dvs. oferă probabilități de mare probabilitate, dar în sine este extrem de puțin probabilă.

Folosind acest sistem de raționament, metoda maximă vedeful vă permite să evaluați statistic copacii filogenetici obținuți prin mijloacele de nori tradiționali. De fapt, această metodă de încheiere

privind în căutarea unui suport care asigură cea mai mare probabilitate a unui set de date.

Luați în considerare un exemplu care ilustrează aplicarea metodei veridice maxime. Să presupunem că avem patru taxoni, pentru care sunt setate secvențele de nucleotide ale unui anumit sit ADN (Fig.16).

Dacă modelul presupune posibilitatea de inversare, atunci putem rădăcina acest copac în orice nod. Unul dintre copacii rădăcini posibil este prezentat în fig. 17.2.

Nu știm care nucleotide au fost prezente în locus în considerare la strămoșii generali ai taxei 1-4 (acești strămoși corespund nodurilor Klayogram X și Y). Pentru fiecare dintre aceste noduri există patru variante de nucleotide, care ar putea fi situate acolo în formele ancestrale, ceea ce duce la 16 scenarii filogenetice care conduc la un arbore 2. Un astfel de scenariu este descris în fig. 17.3.

Probabilitatea acestui scenariu poate fi determinată prin formula:

unde P A este probabilitatea prezenței nucleotidelor A în rădăcina copacului, care este egală cu frecvența medie a nucleotidei A (în general, \u003d 0,25); P AG este probabilitatea de înlocuire a pe g; P AC este probabilitatea de înlocuire a unui C; P AT este probabilitatea de înlocuire a pe t; Ultimii doi multiplicatori sunt probabilitatea de tone nucleotide în noduri x și, respectiv, y.

Un alt script posibil care vă permite să obțineți aceleași date este afișat în fig. 17.4. Deoarece există 16 scenarii similare, probabilitatea fiecăruia dintre aceștia poate fi determinată, iar suma acestor probabilități va fi probabilitatea unui copac prezentat în fig. 17.2:

În cazul în care P Tree 2 este probabilitatea de a monitoriza datele din locus desemnate de un asterisc pentru lemn 2.

Probabilitatea de a observa toate datele din toate loci a acestei secvențe este un produs de probabilități pentru fiecare locus I de la 1 la N:

Deoarece aceste valori sunt foarte mici, celălalt indicator este logaritmul natural al LNL I pentru fiecare locus I. În acest caz, logaritmul probabilității copacului este suma logaritmilor lobilor pentru fiecare locus:

Valoarea arborelui LNL este logaritmul probabilității de observare a datelor la selectarea unui anumit model și lemn evolutiv cu o caracteristică

secvența de ramificare și lungimea ramurilor. Programe de calculator utilizate în metoda maximă asemănătoare adevărului (de exemplu, pachetul de PAUP deja menționat), o căutare copac cu indicatorul maxim LNL. Diferența dublă a logaritmilor probabilității a două modele 2δ (în cazul în care δ \u003d arborele LNL A-LNL) este supusă unei distribuții statistice cunoscute x 2. Datorită acestui lucru, este posibil să se estimeze dacă un model este cu adevărat semnificativ mai bun decât celălalt. Acest lucru face ca metoda de adevăr maxim, ca un mijloc puternic de testare a ipotezelor.

În cazul a patru taxoni, calculele LNL sunt necesare pentru 15 copaci. Cu un număr mare de taxoni, este imposibil să se evalueze toți copacii, astfel încât metodele euristice sunt utilizate (vezi mai sus).

În exemplul considerat, am folosit valorile probabilităților de înlocuire (substituția) nucleotidelor în procesul de evoluție. Calculul acestor probabilități este o sarcină statistică independentă. Pentru a reconstrui un copac evolutiv, trebuie să facem anumite ipoteze despre procesul de substituție și să exprim aceste ipoteze sub forma unui model.

În cel mai simplu model al probabilității de înlocuire a oricărei nucleotide, orice altă nucleotidă este recunoscută ca fiind egală. Acest model simplu are doar un parametru - viteza de substituție și este cunoscută sub numele de modelul OneParameter-Rica de Juks - Cantor sau JC. (Jukes, Cantor, 1969). Când utilizați acest model, trebuie să cunoaștem viteza cu care apare subsolizarea nucleotidelor. Dacă știm asta la momentul timpului t \u003d.0 în unele site există o nucleotidă G, atunci putem calcula probabilitatea ca, în acest site, după o anumită perioadă de nucleotidă g va rămâne și probabilitatea ca acest site să fie înlocuit cu o altă nucleotidă, de exemplu, aceste probabilități sunt denumite P (GG) și P (GA), respectiv. Dacă viteza de substituție este egală cu o anumită valoare a α pe unitate de timp, atunci

Deoarece, în conformitate cu modelul unic-parametru, orice substituție este la fel de echilibrată, o aprobare mai generală va arăta astfel:

Modele evolutive dezvoltate și mai complexe. Observațiile empirice arată că pot apărea unele substituții

mai mult decât altele. Înlocuirea, ca urmare a căreia se înlocuiește o purină cu o altă purină, sunt numite tranzițiiȘi se numește înlocuirea purinului purin pirimidină sau pirimidină transversale.Ar fi posibil să se aștepte ca transversii să apară mai des decât tranzițiile, deoarece numai una dintre cele trei substituții posibile pentru orice nucleotidă este tranziția. Cu toate acestea, se întâmplă de obicei inversă: tranzițiile, de regulă, apar mai des decât transversii. Aceasta este deosebit de caracteristică a ADN-ului mitocondrial.

Un alt motiv pentru faptul că o înlocuire a nucleotidelor apar mai des decât altele este un raport inegal de motive. De exemplu, ADN-ul mitocondrial al insectelor este adeninul mai bogat și al lui în comparație cu vertebralele. Dacă anumite motive sunt mai frecvente, ne putem aștepta ca unele substituții să apară mai des decât altele. De exemplu, dacă secvența conține o guanină foarte mică, este puțin probabil ca înlocuirea acestei nucleotide să apară.

Modelele diferă în acest parametru sau parametrii (de exemplu, raportul de baze, viteza înlocuirii) rămân fixe și variază în altele. Există zeci de modele evolutive. Mai jos, îi dăm cele mai renumite.

Deja menționată Modelul Juksa - Cantor (JC) se caracterizează prin faptul că frecvențele de bază sunt aceleași: π a = π C. = π g = π T. , traducerile și tranzițiile au aceeași viteză α \u003d β, iar toate substituțiile sunt la fel de probabil.

Model cu două parametri de Kimura (K2P) se presupune că frecvențele egale ale bazei π a \u003d π c \u003d π g \u003d π T, și transversale și tranziții au viteze diferite α β.

Modelul Felsenshtein (F81) se presupune că frecvențele bazelor sunt diferite π a ≠ π C ≠ π g ≠ π T , iar vitezele substituției sunt aceleași α \u003d β.

Modelul general reversibil (REV) implică frecvențe diferite ale bazei π a ≠ π c ≠ π g ≠ π t , Și toate cele șase perechi de substituții au viteze diferite.

Modelele menționate mai sus implică faptul că vitezele de substituție sunt aceleași în toate locațiile. Cu toate acestea, modelul poate lua în considerare, de asemenea, diferențele dintre vitezele de substituție în diferite locații. Valorile frecvențelor și vitezei de bază ale substituției pot fi atribuite a priori și pot obține aceste valori din date utilizând programe speciale, cum ar fi PAUP.

Analiza Bayesovsky.

Metoda maximă veridică evaluează probabilitatea modelelor filogenetice după ce se bazează pe datele disponibile. Cu toate acestea, cunoașterea modelelor generale ale evoluției acestui grup vă permite să creați o serie de modele cele mai probabile de filogeneză fără a atrage date de bază (de exemplu, secvențe nucleotidice). După obținerea acestor date, este posibilă estimarea corespondenței dintre ele și în modelele de avans construite și revizuirea probabilității acestor modele sursă. Metoda care permite efectuarea acestui lucru este numită analiza Bayesian și este cea mai nouă dintre metodele de studiere a filogenezei (a se vedea o revizuire detaliată: Huelsenbeck și colab., 2001).

Conform terminologiei standard, probabilitățile inițiale sunt numite numite a priori probabilități (așa cum sunt acceptate înainte de obținerea datelor) și probabilitățile revizuite - Împotriva unui posteriori (Deoarece acestea sunt calculate după primirea datelor).

Baza matematică a analizei Bayesian este teorema Bayes, în care o probabilitate a priori a copacului PR [ Copac] și plauzibilitate PR [ Date | Tree.] Folosit pentru a calcula probabilitatea posterioară a copacului PR [ Copac | date.]:

Probabilitatea posteriori a unui copac poate fi considerată ca fiind probabilitatea ca acest copac să reflecte adevăratul curs de evoluție. Un copac cu cea mai mare probabilitate posteriori este selectat ca cel mai probabil model de filogeneză. Distribuția probabilităților de posterioritate a copacilor este calculată utilizând metode de simulare a computerului.

Metoda maximă de Adevăr și Analiza Bayesiană necesită modele evolutive care descriu modificări ale semnelor. Crearea modelelor matematice de evoluție morfologică nu este în prezent posibilă. Din acest motiv, metodele statistice de analiză filogenetică sunt aplicate numai pentru datele moleculare.

Metoda de credință maximă (MMP) este una dintre metodele cele mai utilizate în statistici și econometrie. Pentru aplicarea sa, este necesar să se cunoască legea distribuției variabilei aleatorie studiate.

Să presupunem că există o valoare aleatorie a legii privind distribuția DT date). Parametrii acestei legi sunt necunoscuți și trebuie găsiți. În general, magnitudinea Y. Ia în considerare ca multidimensional, adică constând din mai multe valori unic dimensionale U1, U2, Y3, u.

Să presupunem că Y este o valoare aleatorie unidimensională, iar valorile sale individuale sunt numere. Fiecare dintre ei (Y],2, U3, ..., y "este considerată ca o realizare a unei variabile aleatoare Y, și η variabile aleatoare U1; U2, U3 ..., u ". I.E:

yj - realizarea unei variabile aleatorie de la];

u2 este implementarea unei variabile aleatoare U2;

uZ - implementarea variabilei aleatorii U3;

u "- realizarea unei variabile aleatorie".

Parametrii permisiunilor distribuției vectorului Y, constând din variabile aleatorii Y.b. Y.2, y3, y, reprezintă ca vector θ constând din la Parametri: θχ, θ2, înk. Valori Υ ν Υ 2, U3, ..., Υ η poate fi distribuită atât cu parametri identici, cât și cu diferite; Unii parametri pot coincide, în timp ce alții diferă. Răspunsul specific la această întrebare depinde de sarcina că cercetătorul rezolvă.

De exemplu, dacă există o problemă de determinare a parametrilor legii distribuției unei variabile aleatorii Y, a cărei implementare este valorile U1; U2, U3, Y, "Apoi presupunem că fiecare dintre aceste valori este distribuită în același mod ca și valoarea lui W. Cu alte cuvinte, orice valoare a Y este descrisă de aceeași distribuție / (Y,) și cu Aceiași parametri θ: θχ, θ2, ..., d.la.

Un alt exemplu este de a găsi parametrii ecuației de regresie. În acest caz, fiecare valoare a Y este considerată o valoare aleatorie având parametrii de distribuție proprie "care pot coincide parțial cu parametrii distribuției altor variabile aleatorii și pot diferi complet. Utilizarea MMP pentru a găsi parametrii ecuației de regresie va fi discutată mai jos.

Ca parte a metodei de crezare maximă, combinația de valori disponibile de la], U2, U3, ... ", este considerată ca unele fixe, neschimbate. Aceasta este, legea / (y;) există o funcție dintr-o anumită valoare și parametrii necunoscuți θ. În consecință p. Observații ale variabilei aleatorii Y p. legi / (y;).

Parametrii necunoscuți ai acestor legi de distribuție sunt tratate ca variabile aleatorii. Acestea pot varia, dar setul atașat de valori ale UI, U2, U3, ... ", cele mai probabile valori ale parametrilor specifice sunt cel mai probabil. Cu alte cuvinte, întrebarea este stabilită în acest fel: ce ar trebui să fie parametrii θ, astfel încât valorile lui Y, U2, U3, ..., au fost cel mai probabil?

Pentru a răspunde, este necesar să se găsească legea distribuției comune a variabilelor aleatorii U1; U2, U3, ..., pachet -Ki, U.2, UZ, U "). Dacă presupunem că amploarea lui ^ U2, U3, ..., este independentă, atunci este egală cu munca p. Legile /

(Y;) (produsul probabilităților apariției acestor valori pentru variabilele aleatorii discrete sau produsul de densități de distribuție pentru variabilele aleatorii continue):

Pentru a sublinia faptul că parametrii doritori θ sunt considerați ca variabile, introducem un alt argument pentru desemnarea legii de distribuție - vector de parametri θ:

Luând în considerare denumirile introduse, Legea distribuției comune independent Valorile cu parametrii vor fi înregistrați ca

(2.51)

Funcția rezultată (2.51) se numește funcția de credință maximă Și denotă:

Încă o dată, subliniem faptul că, în funcție de valoarea maximă a adevărului, valorile valorilor vectorului sunt fixe, iar parametrii vectoriali sunt variabili (într-un anumit caz - un parametru). Adesea, pentru a simplifica procesul de găsire a parametrilor necunoscuți, funcția de probabilitate este logarithing, primind funcția logaritmică a lobby-ului

O altă decizie privind MMP implică constatarea unor astfel de valori θ, în care funcția de probabilitate (sau logaritmul său) atinge un maxim. Valorile găsite θ; Apel evaluarea credinței maxime.

Metodele de găsire a unei evaluări a adevărului maxim sunt destul de diverse. În cel mai simplu caz, funcția de probabilitate este continuu diferită și are un maxim la un punct pentru care

În cazuri mai complexe, funcțiile maxime ale probabilității maxime nu pot fi găsite prin diferențiere și rezolvare a ecuației probabilității, care necesită căutarea altor algoritmi pentru locația sa, inclusiv iterative.

Estimările parametrilor obținuți utilizând MMP sunt:

• – weissious, acestea. cu o creștere a diferenței de volum de observare între estimare și valoarea reală a parametrilor abordări zero;
• – invariant.: Dacă se obține un parametru estimat θ, egal cu 0L și există o funcție continuă Q (0), atunci valoarea valorii acestei funcții va fi valoarea Q (0L). În special, dacă utilizați MMP, estimăm variația dispersiei oricărui indicator (AF.), rădăcina evaluării rezultate va fi o estimare a abaterii pavare medii (σ,) obținută de MMP.
• – asimptotic eficient ;
• – asimptotic distribuit în mod normal.

Ultimele două declarații înseamnă că estimările parametrilor obținute de MMP arată proprietățile eficienței și normalității cu o creștere infinit de mare a dimensiunii eșantionului.

Pentru a găsi parametrii regresiei liniare multiple ale speciei

este necesar să se cunoască legile de distribuție a variabilelor dependente 7; sau reziduuri aleatorii ε ,. Lăsați variabila Y.t este distribuit în conformitate cu o lege normală cu parametrii μ, σ ,. Fiecare valoare observabilă a y, are, în conformitate cu definiția regresiei, așteptarea matematică μ, \u003d mu "egală cu valoarea sa teoretică, cu condiția să fie cunoscută valorile parametrilor de regresie în agregatul general.

unde xfl, ..., x.iP - valorile variabilelor independente din і -Mo observație. Când efectuați condițiile preliminare pentru utilizarea MNA (premise pentru construirea unui model clasic normal liniar), variabilele aleatorie Y, au aceeași dispersie

Varianța de variație este determinată de formula

Transformăm această formulă:

Când efectuați condițiile de Gauss - Markova privind egalitatea zero a așteptării matematice a reziduurilor aleatorii și a constanței dispersiei lor, puteți trece de la formula (2.52) la formula

Cu alte cuvinte, dispersia varietății aleatorie de y, și reziduurile aleatorie corespunzătoare coincid.

Evaluarea selectivă a așteptării matematice a variabilei aleatorii Yj. Vom denota

Și estimarea dispersiei sale (constante pentru diferite observații) ca Sy.

Dacă ne asumăm independența observațiilor individuale y.apoi obțineți funcția adevărului maxim

(2.53)

În funcția specificată, divizorul este constant și nu afectează constatarea maximă. Prin urmare, pentru a simplifica calculele, acesta poate fi omis. Având în vedere acest comentariu și după logarithing, funcția (2.53) va dura

În conformitate cu MMP, vom găsi derivatele funcției logaritmice a probabilității pentru parametrii necunoscuți

Pentru a găsi extremumul, echivalează expresiile obținute la zero. După transformări primim sistemul

(2.54)

Acest sistem corespunde sistemului obținut utilizând metoda celor mai mici pătrate. Aceasta este, MMP și MNA dau aceleași rezultate, dacă sunt observate premisele MNA. Ultima expresie din sistem (2,54) oferă o estimare a dispersiei unei variabile aleatorie 7 sau a aceluiași dispersie a reziduurilor aleatorii. După cum sa menționat mai sus (a se vedea formula (2.23)), evaluarea neformată a dispersiei reziduurilor aleatorii este egală

O evaluare similară obținută utilizând MMP (după cum urmează din sistem (2.54)) se calculează prin formula

acestea. este an deplasat.

Am revizuit cazul utilizării MMP pentru a găsi parametrii regresiei multiple liniare, cu condiția ca valoarea lui Y să fie distribuită în mod normal. O altă abordare a găsirii parametrilor aceleiași regresii este de a construi funcția adevărului maxim pentru reziduurile aleatorii ε,. Pentru ei, se presupune, de asemenea, o distribuție normală cu parametri (0, σε). Este ușor să se asigure că rezultatele deciziei în acest caz coincid cu rezultatele obținute mai sus.

În lucrările destinate cunoștinței inițiale cu statisticile matematice, consideră de obicei estimările probabilității maxime (abreviat OMP):

Astfel, densitatea de distribuție a probabilității este construită pentru prima dată, corespunzătoare eșantionului. Deoarece elementele eșantionului sunt independente, această densitate este prezentată ca o bucată de densități pentru elementele individuale ale eșantionului. Densitatea comună este considerată într-un punct corespunzător valorilor observate. Această expresie ca funcție din parametrul (pentru elementele de eșantionare specificate) se numește funcția de probabilitate. Apoi, într-un fel sau altul, valoarea parametrului la care valoarea densității mixte este maximă. Aceasta este evaluarea veridicității maxime.

Este bine cunoscut faptul că estimările maxime de credibilitate sunt incluse în clasa estimărilor cele mai bune asimptotic normale. Cu toate acestea, cu volume finite de eșantionare într-o serie de sarcini, OMP nu este permisă, deoarece Ele sunt mai rele (dispersie și o eroare medie pătrată mai mult) decât alte estimări, în special, incredibil. Acesta este motivul pentru care în GOST 11.010-81, estimările necontrolate sunt utilizate pentru a estima parametrii distribuției binomiale negative și nu OMP. Din cele de mai sus, este necesar ca a priori să preferați OMP către alte tipuri de estimări, dacă este posibil - numai în stadiul studiului comportamentului asimptotic al evaluărilor.

În unele cazuri, OMP este clar sub formă de formule de beton adecvate pentru calcularea.

În majoritatea cazurilor, soluțiile analitice nu există, pentru găsirea unui GMP, trebuie aplicate metode numerice. Acesta este cazul, de exemplu, cu eșantioane de la distribuția gamma sau distribuția lui Weibull-Glycedenko. În multe lucrări, în orice metodă iterativă, sistemul de ecuații de probabilitate maximă rezolvă sau maximizează funcționarea probabilității.

Cu toate acestea, utilizarea metodelor numerice generează numeroase probleme. Convergența metodelor iterative necesită justificare. Într-o serie de exemple, funcția de probabilitate are multe maximă locală și, prin urmare, procedurile iterative naturale nu sunt convergente. Pentru aceste zone de transport feroviar pentru testele de oboseală, ecuația adevărului maxim de adevăr are 11 rădăcini. Care dintre cei unsprezece să folosească ca o estimare a parametrului?

Ca o consecință a conștientizării acestor dificultăți, munca a început să apară pe dovada convergenței algoritmilor pentru găsirea unor estimări maxime crezute pentru modelele probabilice specifice și algoritmi specifici.

Cu toate acestea, dovada teoretică a convergenței algoritmului iterativ nu este tot. Întrebarea apare la alegerea rezonabilă a momentului de reziliere a calculelor în legătură cu realizarea acurateței necesare. În majoritatea cazurilor, nu este rezolvată.

Dar nu este totul. Precizia calculelor trebuie să fie legată de dimensiunea eșantionului - decât mai mult, cu atât este mai precisă estimările parametrilor, altfel este imposibil să vorbim despre consistența metodei de estimare. Mai mult, cu o creștere a volumului eșantionului, este necesar să se mărească numărul de devaps utilizate în computer, să se deplaseze de la acuratețea unică a calculelor la dublu și mai mult - din nou, de dragul obținerii coerenței estimărilor.

Astfel, în absența unor formule evidente pentru estimări ale probabilității maxime, fundamentul OMP este dat peste o serie de probleme computaționale. Specialiștii din statisticile matematice se lasă să ignore toate aceste probleme, argumentând despre OMP în planul teoretic. Cu toate acestea, statisticile aplicate nu le pot ignora. Problemele marcate se întreabă fezabilitatea utilizării practice a OMP.

Exemplul 1. În sarcinile statistice ale standardizării și managementului calității, se utilizează familia distribuțiilor gamma. Densitatea distribuției gamma este

Densitatea probabilității din formula (7) este determinată de trei parametri a, B, CUnde a.>2, b.\u003e 0. În care a. este un parametru formular, b. - parametrul scării și de la -parametrul de schimbare. Factor 1 / g (a) este normalizată, este introdusă

Aici G (a) - una dintre funcțiile speciale utilizate în matematică, așa-numita "funcție gamma", conform căreia distribuția specificată prin formula (7) este denumită și distribuția.

Soluțiile detaliate la sarcinile de estimare a parametrilor pentru distribuția gamma sunt conținute în standardul de stat GOST 11.011-83 dezvoltat de noi. "Statisticile aplicate. Reguli pentru determinarea estimărilor și a frontierelor de încredere pentru parametrii de distribuție Gamma. " În prezent, această publicație este utilizată ca material metodologic pentru ingineria și lucrătorii tehnici ai întreprinderilor industriale și institutele aplicate de cercetare.

Deoarece distribuția gamma depinde de trei parametri, atunci există 2 3 - 1 \u003d 7 opțiuni pentru obiectivele de aprobare. Ele sunt descrise în tabel. 1. În fila. 2 prezintă date reale privind dezvoltarea tăietorilor până la starea limită, în ceas. Volumul eșantionului comandat (seria variațională) n. \u003d 50 luate din standardul de stat. Aceste date vor servi ca material sursă pentru demonstrarea anumitor metode de estimare a parametrilor.

Alegerea estimărilor "cele mai bune" într-un model parametric specific al statisticilor aplicate este o activitate de cercetare, întinsă în timp. Subliniem două etape. Etapa asimptotică: Estimările sunt construite și comparate prin proprietățile lor în cazul unei creșteri nelimitate a dimensiunii eșantionului. În această etapă, astfel de caracteristici ale estimărilor sunt luate în considerare, ca o coerență, o eficiență asimptotică etc. Etapa de prelevare a probelor finite: estimările sunt comparate, spun, când n. \u003d 10. Este clar că studiul începe din stadiul asimptotics: pentru a compara estimările, trebuie să le construim mai întâi și să fiți sigur că nu sunt absurde (o astfel de încredere dă dovada coerenței).

Exemplul 2. Evaluare prin metoda de momente ale parametrilor distribuției gamma în cazul a trei parametri necunoscuți (șir 7 din tabelul 1).

În conformitate cu raționamentul de mai sus pentru estimarea a trei parametri, este suficient să se utilizeze trei eșantioane - media aritmetică selectivă:

dispersie selectivă

și al treilea moment central selectiv

Evaluarea momentelor teoretice exprimate prin parametrii de distribuție și momentele selective, obținem un sistem de ecuații de metodă ale metodelor:

Rezolvarea acestui sistem, găsim evaluarea metodei de momente. Înlocuirea celei de-a doua ecuații în a treia, obținem o evaluare a metodei metodei pentru parametrul Shift:

Înlocuirea acestei estimări în a doua ecuație, găsim o estimare a metodei metodei pentru parametrul formularului:

În cele din urmă, din prima ecuație găsim o estimare a parametrului de schimbare:

Pentru datele reale date mai sus în tabel. 2, aritmetică aritmetică selectivă \u003d 57,88, dispersie selectivă s. 2 \u003d 663.00, al treilea moment central selectiv m. 3 \u003d 14927,91. Conform formulelor obținute de evaluare a metodei momentelor: a.* = 5,23; b.* = 11,26, c.* = - 1,01.

Estimările parametrilor distribuției gamma obținute prin metoda metodei sunt funcții din momente selective. În conformitate cu cele de mai sus, acestea sunt valori aleatorii normale asimptotic. În fila. 3 prezintă estimări ale metodei metodei și ale dispersiilor asimptotice la diferite variante ale combinației de parametri cunoscuți și necunoscuți ai distribuției gamma.

Toate estimările metodei momentelor prezentate în tabel. 3, incluse în standardul de stat. Acestea acoperă toate setările pentru estimarea parametrilor parametrilor de distribuție gamma (a se vedea tabelul 1), cu excepția celor atunci când un singur parametru este necunoscut - A. sau b.. Pentru aceste cazuri excepționale, au fost dezvoltate metode speciale de estimare.

Întrucât distribuția asimptotică a estimărilor metodei metodelor este cunoscută, nu este dificil să se formuleze regulile de verificare a ipotezelor statistice în raport cu valorile parametrilor de distribuție, precum și granițele de încredere a clădirilor pentru parametrii. De exemplu, într-un model probabilist, atunci când toți trei parametri nu sunt cunoscuți, în conformitate cu cea de-a treia linie a tabelului 3, frontiera de încredere pentru parametru darCorespunzător probabilității de încredere r \u003d 0,95, în asimptotice

Și granița de încredere superioară pentru aceeași probabilitate de încredere este

unde dar* - Estimarea metodei parametrului formularului (Tabelul 3).

Exemplul 3.Găsim OMP pentru eșantionarea de la distribuția normală, fiecare element al cărui element are o densitate

Astfel, este necesar să se evalueze parametrul bidimensional ( m., U 2).

Producția de densități de probabilitate pentru elemente de eșantionare, adică Funcția adevărului este ca și cum

Este necesar să rezolvați problema de optimizare

Ca și în multe alte cazuri, problema de optimizare este mai ușor de rezolvat dacă funcția de probabilitate este proologată, adică. Du-te la funcții.

numită funcția logaritmică a credinței. Pentru eșantionarea de la distribuția normală

O condiție prealabilă a maximului este egalitatea a 0 derivați parțiali din funcția logaritmică a lumii prin parametri, adică.

Sistemul (10) se numește sistemul de ecuații de crezare maximă. În cazul general, numărul de ecuații este egal cu numărul de parametri necunoscuți, iar fiecare dintre ecuațiile este evacuată prin echivalarea 0 a derivatului privat al funcției logaritmice de probabilitate de un anumit parametru.

În timpul diferențierii prin m. Primii doi termeni din partea dreaptă a formulei (9) sunt tratați în 0, iar ultimul termen conferă ecuația

În consecință, evaluarea m.* parametru maxim de adevăr m. este o medie aritmetică selectivă

Pentru a găsi evaluarea dispersiei, este necesar să se rezolve ecuația

Este ușor să vezi asta

În consecință, estimarea (în 2) * probabilitatea maximă pentru dispersie în 2, ținând cont de estimarea constatată anterior pentru parametru m. este o dispersie selectivă,

Astfel, sistemul de ecuații de probabilitate maximă este rezolvat analitic, OMP pentru așteptarea matematică și dispersia distribuției normale este o dispersie aritmetică și selectivă selectivă. Rețineți că ultima estimare este schimbată.

Trebuie remarcat faptul că, în condițiile din exemplul 3, estimările metodei maxime veridice coincid cu estimările metodei de momente. În plus, tipul de estimări ale metodei momentelor este evident și nu necesită niciun motiv.

Exemplul 4. Vom încerca să pătrundem semnificația secretă a următoarei fraze fondator al statisticilor moderne Ronald Fisher: "Nu este nimic mai ușor decât să vină cu o estimare a parametrului". Clasicul a fost ironic: el a însemnat că a fost ușor să vină cu un rating rău. Nu este necesar să inventați o bună evaluare (!) - Trebuie să fie obținută într-o manieră standard folosind principiul adevărului maxim.

O sarcină. Potrivit lui H 0, așteptările matematice ale celor trei variabile aleatorii Poisson independente sunt legate de o dependență liniară :.

Iese pentru implementarea acestor cantități. Este necesar să se estimeze doi parametri de dependență liniară și să verifice H 0.

Pentru claritate, vă puteți imagina o regresie liniară, care la puncte durează medii. Să fie obținută valoarea. Ce se poate spune despre magnitudinea și justiția lui H 0?

Abordare naivă

Se pare că parametrii pot fi estimați din bunul simț al elementar. Estimarea înclinării regresiei directe se obține prin utilizarea creșterii în tranziția de la x 1 \u003d -1 până la x 3 \u003d + 1 la, iar evaluarea valorii se găsește ca medie aritmetică:

Este ușor să se verifice că așteptările matematice ale estimărilor sunt egale (estimări instabile).

După obținerea estimărilor, H 0 este verificată ca de obicei cu ajutorul unui criteriu Chi-pătrat de Pearson:

Estimările frecvențelor preconizate pot fi obținute pe baza estimărilor:

În același timp, dacă estimările noastre sunt "corecte", distanța de Pearson va fi distribuită ca o cantitate aleatorie de chi-pătrat cu un grad de libertate: 3-2 \u003d 1. Amintiți-vă că estimăm doi parametri, personalizarea datelor sub modelul nostru. În același timp, cantitatea nu este fixată, astfel încât nu este necesară o unitate suplimentară.

Cu toate acestea, substituirea, obținem un rezultat ciudat:

Pe de o parte, este clar că, pentru datele de frecvență, nu există niciun motiv pentru a respinge H 0, dar nu suntem capabili să o verificăm cu un criteriu chi-pătrat, deoarece estimarea frecvenței așteptate în primul punct se dovedește a fi negativ. Deci, estimările găsite din "bunul simț" nu permit rezolvarea problemei în cazul general.

Metoda de credință maximă

Variabilele aleatoare sunt independente și au distribuția Poisson. Probabilitatea obținerii valorilor este:

Conform principiului adevărului maxim, valorile parametrilor necunoscuți, necesitând probabilitatea de a obține valoarea maximă:

Dacă este constant, atunci avem de-a face cu probabilitatea obișnuită. Fisher a propus un nou termen "credincios" pentru cazul în care constant și variabilele sunt luate în considerare. Dacă probabilitatea se dovedește a fi produsul probabilităților evenimentelor independente, este normal să se transforme lucrarea în sumă și să se ocupe de logaritmul credinței:

Iată toți termenii care nu depind, marcate și în expresia finală aruncată. Pentru a găsi logaritmul maxim al credinței, echivalând instrumentele derivate la zero:

Rezolvarea acestor ecuații, obținem:

Acestea sunt expresii "corecte" pentru estimări. Evaluarea valorii medii coincide cu faptul că a oferit un bun simț, dar estimările pentru înclinație diferă :. Ce se poate spune despre formula pentru?

• 1) Se pare ciudat că răspunsul depinde de frecvența din punct de vedere mijlociu, deoarece valoarea determină unghiul de înclinare directă.
• 2) Cu toate acestea, dacă H 0 (linia de regresie este directă), atunci cu valori mari ale frecvențelor observate, ele se apropie de așteptările lor matematice. Prin urmare, :, și evaluarea adevărului maxime devine aproape de rezultatul obținut din bunul simț.

3) Avantajele evaluării încep să fie resimțite atunci când observăm că toate frecvențele așteptate sunt acum întotdeauna pozitive:

Nu a fost așa pentru estimările "naive", prin urmare, criteriul semi-pătrat nu a putut fi întotdeauna (o încercare de a înlocui o frecvență de așteptare negativă sau egală cu zero pe unitate nu salvează poziții).

4) Calculele numerice arată că estimările naive pot fi utilizate numai dacă frecvențele așteptate sunt suficient de mari. Dacă le folosiți la valori mici, distanța calculată a Pearsonului va fi adesea excesiv de mare.

Ieșire : Selecția corectă a evaluării este importantă, deoarece verificarea ipotezei utilizând criteriul Chi-pătrat nu va fi posibilă. Evaluarea aparent evidentă poate fi necorespunzătoare!

Sarcina de estimare a parametrilor de distribuție este obținerea celor mai credibile estimări ale parametrilor necunoscuți ai distribuției populației generale pe baza datelor eșantionului. În plus față de metoda metodei de determinare a estimării punctului parametrii de distribuție, este de asemenea utilizat metoda celor mai mari credințe. Metoda cea mai probabilă a fost propusă de statistica engleză R. Fisher în 1912

Să presupunem că pentru estimarea parametrului necunoscut  varianța aleatorie de la populația generală cu densitatea de distribuție a probabilității p.(x.)= p.(x., ) Eșantionul este extras x. 1 ,x. 2 ,…,x. n. . Vom lua în considerare rezultatele eșantionului ca o realizare n.- Variabila aleatorie ( X. 1 ,X. 2 ,…,X. n.). Precedat de metoda de momente pentru a obține estimările punctului parametrii necunoscuți ai distribuției teoretice nu oferă întotdeauna cele mai bune estimări. Metoda de căutare a estimărilor cu proprietățile necesare (cele mai bune) este metoda credința maximă.

Metoda de metoda maximă a adevărului este condiția de determinare a extremumului unei anumite funcții, numită funcție de probabilitate.

Funcția de Adevăr DSV X

L. (x. 1 ,x. 2 ,…,x. n. ; )=p.(x. 1 ; ) P.(x. 2 ; )… P.(x. n. ; ),

unde x. 1, …, x. n. - Opțiuni de eșantionare fixe,  – parametru estimat necunoscut, p.(x. i. ; ) - Probabilitatea unui eveniment X.= x. i. .

Funcția probabilității NSV X Apelați funcția argumentului :

L. (x. 1 ,x. 2 ,…,x. n. ; )=f.(x. 1 ; ) F.(x. 2 ; )… F.(x. n. ; ),

unde f.(x. i. ; ) - O funcție dată de densitate a probabilității la puncte x. i. .

Ca o estimare a parametrilor de distribuție  luați această valoare în care funcția de probabilitate atinge maximul său. Evaluare
apel evaluarea adevărului maxim. pentru că Funcții L. și
L. ajungeți la maximum cu aceleași valori , apoi de obicei pentru găsirea utilizării extremum (maximă)
L. ca o funcție mai convenabilă.

Pentru a determina punctul maxim
L. Este necesar să profitați de algoritmul bine cunoscut pentru a calcula funcția extremum:

În cazul în care densitatea de probabilitate depinde de cei doi parametri necunoscuți -  1 și  2, apoi găsiți puncte critice, rezolvarea sistemului de ecuații:

Astfel, conform metodei celei mai mari probabilități, ca o estimare a parametrului necunoscut  o valoare de  * este acceptată, în care
distribuția de eșantionare x. 1 ,x. 2 ,…,x. n. Maxim.

Sarcina 8. Găsiți metoda de evaluare a probabilității pentru probabilitate p. În schema Bernoulli,

Să petrecem n. Teste repetate independente și măsurați numărul de succes pe care îl denotăm m.. Conform formulei Bernoulli, probabilitatea că va m. Succese de la n. - Există o funcție a DSV asemănătoare adevărului.

Decizie : Să facem o funcție de a crede
.

Conform metodei celei mai mari credințe, vom găsi o astfel de valoare. p.care maximizează L.și cu ea și cu el L..

Apoi logaritmia. L.Avem:

Funcția derivată ln. L. de p. Are apariția
Și la punctul extremum este zero. Prin urmare, rezolvarea ecuației
, avea
.

Verificați semnul celui de-al doilea derivat
În punctul rezultat:

. pentru că
pentru orice valoare a argumentului, valoarea găsită p. Există un punct maxim.

Inseamna - cea mai bună estimare pentru
.

Astfel, conform metodei celei mai mari plauzibilitate, evaluarea probabilității p. evenimente DAR Schema Bernoulli servește frecvența relativă a acestui eveniment. .

Dacă eșantionul x. 1 , x. 2 ,…, x. n. Extras dintr-un agregat în mod normal distribuit, atunci estimările pentru așteptările matematice și dispersia prin metoda celei mai mari probabilități sunt:

Valorile găsite coincid cu estimările acestor parametri obținuți de momente. pentru că Dispersia este schimbată, trebuie să fie înmulțită cu amendamentul din Bessel. Apoi va lua o viziune
Coincid cu o dispersie selectivă.

O sarcină 9 . Lăsați distribuția lui Poisson
unde la m.= x. i. avea
. Găsiți metoda celei mai mari estimări credincioase a parametrului necunoscut  .

Decizie :

Asamblarea funcției de crezare L. și logaritmul său ln L.. Avem:

Găsiți un derivat OT. ln L.:
și rezolvă ecuația
. Estimarea rezultată a parametrului de distribuție  Tip:
Atunci
pentru că pentru
al doilea derivat privat
apoi, acesta este un punct maxim. Deci, ca o estimare a celui mai mare parametru asemănător adevărului pentru distribuția Poisson, poate fi luată o medie de probă.

Puteți să vă asigurați că distribuția de fază
funcția adevărului pentru valorile eșantionului x. 1 , x. 2 , …, x. n. Are forma:

.

Evaluarea parametrului de distribuție  pentru distribuția indicativă este:
.

Avantajul metodei de o probabilitate cea mai mare este capacitatea de a obține estimări "bune" care au astfel de proprietăți ca consistență, normalitate asimptotică și eficiență pentru eșantioane de volume mari în cele mai generale condiții.

Principalul dezavantaj al metodei este complexitatea de a rezolva ecuațiile de probabilitate, precum și faptul că legea distribuției analizate nu este întotdeauna cunoscută.

În plus față de metoda de momente, care este prezentată în paragraful anterior, există și alte metode de evaluare a punctelor parametrilor de distribuție necunoscută. Acestea includ metoda celor mai mari credințe propuse de R. Fisher.

A. Variabilele aleatoare discrete.Lasa X. - valoarea aleatorie discretă ca rezultat n. testele au făcut valori h. 1 , H. 2 , ..., H. p. . Să presupunem că tipul de distribuție a valorii X. set, dar parametru necunoscut θ care este determinată de această lege. Este necesar să se găsească evaluarea punctului.

Denotă probabilitatea ca ca urmare a testului, valoarea X. ia o valoare h. i. (i.= 1 , 2, . . . , n.), prin p.(h. i. ; θ ).

Funcția de probabilitate a accidentului discretranguriX. apelați funcția argumentului θ :

L. (h. 1 , H. 2 ..., X p. ; θ ) = p. (h. 1 ; θ ) r.(h. 2 ; θ ) . . . p. (h. n. ; θ ),

unde h. 1 , H. 2 , ..., H. p. - Numere fixe.

Ca o estimare a parametrului θ Luați această valoare θ * = θ * (h. 1 , H. 2 ..., X p.), În care funcția de probabilitate atinge un maxim. Evaluare θ * Apel evaluarea celui mai mare credință.

Funcții L. și ln. L. ajungeți la un maxim la același înțeles θ , astfel încât să găsiți funcția maximă L. căutați (mai convenabil) funcția LN maximă L..

Funcția logaritmică a credințeiapelați funcția LN. L.. După cum știți, punctul maxim al funcției LN L. Argument θ Puteți căuta exemplu, deci:

3) pentru a găsi al doilea derivat; Dacă este al doilea derivat θ = θ * negativ, atunci θ * - Punct maxim.

A găsit punctul maxim θ * Luați ca o evaluare a celei mai mari plauzibilitate a parametrului θ .

Metoda din cea mai mare probabilitate are o serie de avantaje: estimările celei mai mari probabilități, în general, sunt consecvente (dar ele pot fi deplasate), sunt distribuite asimptotic normal (la valori mari n. aproximativ normal) și au o cea mai mică dispersie comparativ cu alte estimări normale asimptotic; Dacă pentru parametrul estimat θ Există o evaluare eficientă θ *, ecuația este probabil să aibă o singură decizie θ *; Această metodă utilizează cel mai mult datele eșantionului despre parametrul estimat, deci este util în special în cazul probelor mici.

Lipsa unei metode este că adesea necesită computere complexe.

Nota 1. Funcțiile credinței - funcția argumentului θ ; Evaluarea celor mai mari credințe - o funcție a argumentelor independente h. 1 , H. 2 , ..., H. p. .

Nota 2. Evaluarea celei mai mari probabilități nu coincide întotdeauna cu evaluarea găsită de momente.

Exemplul 1.λ poisson Distributions.

unde m. - numărul de teste produse; x. i. - numărul de evenimente din i.-M ( i.=1, 2, ..., n.) experiență (experiența constă în t.teste).

Decizie. Vom face o funcție a adevărului, având în vedere acest lucru. θ= λ :

L. = p. (h. 1 ; λ :) p. (h. 2 ; λ :) . . .p. (h. n. ; λ :),=

.

Scrieți ecuația plauzibilității, pentru care echivalează primul zero derivat:

Vom găsi un punct critic pentru care rezolvăm ecuația rezultată λ:

Găsim cel de-al doilea derivat al λ:

Este ușor de văzut că la λ \u003d al doilea derivat este negativ; Prin urmare, λ \u003d - punctul maxim și, înseamnă, ca o estimare a celui mai mare probabilitate a parametrului λ al distribuției Poisson, este necesar să se ia o medie selectivă λ * \u003d.

Exemplul 2. Găsiți metoda cea mai mare probabilitate de evaluare a parametrului p. distribuție binomială

dacă In. n. 1 eveniment independent de testare DARa apărut h. 1 = m. 1 timp și în p. 2 eveniment independent de testare DARa apărut h. 2 \u003d T. 2 timp.

Decizie. Faceți o funcție de a crede, având în vedere acest lucru θ = p.:

Găsiți funcția logaritmică a lumii:

Găsiți primul derivat al r:

.

.

Vom găsi un punct critic pentru care rezolvăm ecuația rezultată p.:

Găsim cel de-al doilea derivat al p.:

.

Este ușor să vă asigurați că al doilea derivat este negativ; Prin urmare, - Punctul maxim și înseamnă că trebuie să fie luate ca o estimare a celei mai mari plauzibilitate a unei probabilități necunoscute. p. distribuție binomială:

B. Variabilele aleatorii continue.Lasa X. - valoare aleatorie continuă ca rezultat n. testele au făcut valori h. 1 , H. 2 , ..., x. p. . Să presupunem că tipul de densitate de distribuție f.(x.) setați, dar nu parametri cunoscuți θ care este definită de această caracteristică.

Funcția de probabilitate a unui condus de aleatoriu continuuranguriX. apelați funcția argumentului θ :

L. (h. 1 , H. 2 , ..., H. p. ; θ ) = f. (h. 1 ; θ ) f. (h. 2 ; θ ) . . . f. (x. n. ; θ ),

unde h. 1 , H. 2 , ..., x. p. - numere fixe.

O evaluare a celei mai mari plauzibilitate a parametrului necunoscut al distribuției unei variabile aleatorii continue este, de asemenea, căutată ca în cazul unei valori discrete.

Exemplul 3. Găsiți metoda cea mai mare estimare a parametrului λ, distribuție orientativă

(0< h.< ∞),

dacă este rezultat n. testează variabilitatea aleatorie X., distribuit în conformitate cu legea indicativă, a luat valori h. 1 , H. 2 , ..., H. p. .

Decizie. Faceți o funcție de a crede, având în vedere acest lucru θ= λ:

L.= f. (h. 1 ; λ ) f. (h. 2 ; λ ) . . . f. (h. n. ; λ ) =.

Găsiți funcția logaritmică a lumii:

Găsiți primul derivat al λ:

Scrieți ecuația plauzibilității, pentru care echivalează primul zero derivat:

Vom găsi un punct critic pentru care rezolvăm ecuația obținută față de λ:

Vom găsi al doilea derivat de λ :

Este ușor de văzut că la λ \u003d 1 / al doilea derivat este negativ; În consecință, λ \u003d 1 / este punctul maxim și, înseamnă, ca o estimare a celui mai mare probabilitate a parametrului λ al distribuției orientative, este necesar să se accepte valorii medii selective invers: λ * \u003d 1 /.

Cometariu. Dacă densitatea de distribuție f.(h.) variabila aleatorie continuă X. Determinată de doi parametri necunoscuți θ 1 I. θ 2, funcția de adevăr asemănătoare adevărului este funcția a două argumente independente. θ 1 I. θ 2:

L.= f. (h. 1 ; θ 1 , θ 2) f. (h. 2 ; θ 1 , θ 2) . . . f. (h. n. ; θ 1 , θ 2),

unde h. 1 , H. 2 , ..., H. p. - Valori observate X.. Găsiți în continuare funcția logaritmică a credinței și pentru găsirea maximului său de machiaj și pentru rezolvarea sistemului

Exemplul 4. Găsiți metoda cea mai mare probabilitate de estimare a parametrilor dar și σ Distributie normala

dacă este rezultat n. Valoarea testelor X. valori luate h. 1 , H. 2 , ..., H. p. .

Decizie. Faceți o funcție de a crede, având în vedere acest lucru θ 1 =a. și θ 2 \u003d Σ.

.

Găsiți funcția logaritmică a lumii:

.

Găsiți derivați privați dar Și în conformitate cu σ:

Evaluarea derivatelor private Zero și rezolvarea sistemului rezultat al a două ecuații relative dar și Σ 2, primim:

Deci, estimările dorite ale celei mai mari plauzibilități: dar* = ;σ*= . Rețineți că prima evaluare este instabilă, iar al doilea este deplasat.