การแจกแจงแบบเอ็กซ์โพเนนเชียลของวิธีความน่าจะเป็นสูงสุด วิธีความน่าจะเป็นสูงสุดสำหรับการประมาณค่าพารามิเตอร์ที่ไม่รู้จักของการแจกแจงความน่าจะเป็น การประมาณค่าพารามิเตอร์การแจกแจงเอ็กซ์โพเนนเชียล

นักอนุกรมวิธานชื่อดัง Joe Felsenstein (1978) เป็นคนแรกที่เสนอว่าทฤษฎีสายวิวัฒนาการควรได้รับการประเมินบนพื้นฐานที่ไม่ใช่ parsimological

การวิจัย แต่ใช้สถิติทางคณิตศาสตร์ เป็นผลให้มีการพัฒนาวิธีความน่าจะเป็นสูงสุด .

วิธีนี้มีพื้นฐานมาจากความรู้เดิมเกี่ยวกับเส้นทางวิวัฒนาการที่เป็นไปได้ กล่าวคือ ต้องมีการสร้างแบบจำลองการเปลี่ยนแปลงลักษณะก่อนการวิเคราะห์ เป็นการสร้างแบบจำลองเหล่านี้ที่ใช้กฎแห่งสถิติ

ภายใต้ น่าเชื่อถือ ความน่าจะเป็นของการสังเกตข้อมูลหากยอมรับแบบจำลองเหตุการณ์บางอย่างเป็นที่ยอมรับ โมเดลต่างๆ สามารถทำให้ข้อมูลที่สังเกตได้มีโอกาสมากหรือน้อยลง ตัวอย่างเช่น หากคุณโยนเหรียญแล้วได้หัวเพียง 1 ใน 100 ครั้ง คุณสามารถสรุปได้ว่าเหรียญนั้นมีข้อบกพร่อง หากยอมรับโมเดลนี้ ความน่าจะเป็นของผลลัพธ์ที่ได้จะค่อนข้างสูง หากคุณใช้แบบจำลองที่ว่าเหรียญชำรุด คุณอาจคาดหวังว่าจะได้เห็นหัวในห้าสิบกรณี แทนที่จะเป็นหนึ่งเหรียญ การโยนเหรียญเสียเพียงครั้งเดียวใน 100 ครั้งนั้นไม่น่าเป็นไปได้ทางสถิติ กล่าวอีกนัยหนึ่ง ความน่าจะเป็นที่จะได้ผลลัพธ์ของ "หัว" หนึ่งตัวใน "ก้อย" หนึ่งร้อยนั้นต่ำมากในรูปแบบของเหรียญที่ไม่มีข้อบกพร่อง

ความน่าจะเป็นเป็นปริมาณทางคณิตศาสตร์ โดยปกติจะคำนวณโดยใช้สูตร:

โดยที่ Pr(D|H) คือความน่าจะเป็นที่จะได้ข้อมูล D หากยอมรับสมมติฐาน H . แถบแนวตั้งในสูตรอ่านว่า "สำหรับสิ่งที่กำหนด" เนื่องจาก L มักมีขนาดเล็ก การศึกษาจึงมักใช้ความน่าจะเป็นของลอกธรรมชาติ

เป็นสิ่งสำคัญมากที่จะต้องแยกแยะระหว่างความน่าจะเป็นในการได้รับข้อมูลที่สังเกตได้และความน่าจะเป็นที่แบบจำลองเหตุการณ์ที่ยอมรับนั้นถูกต้อง ความน่าจะเป็นของข้อมูลไม่ได้บอกอะไรเกี่ยวกับความน่าจะเป็นของตัวแบบเอง นักปรัชญาทางชีววิทยา อี. โซเบอร์ ใช้ตัวอย่างต่อไปนี้เพื่อทำให้ความแตกต่างนี้ชัดเจน ลองนึกภาพว่าคุณได้ยินเสียงดังในห้องด้านบนคุณ คุณอาจสันนิษฐานได้ว่าสิ่งนี้มีสาเหตุมาจากพวกโนมส์เล่นโบว์ลิ่งในห้องใต้หลังคา สำหรับแบบจำลองนี้ การสังเกตของคุณ (เสียงดังเหนือคุณ) มีความเป็นไปได้สูง (หากคนแคระกำลังขว้างอยู่เหนือคุณ คุณคงจะได้ยินมันอย่างแน่นอน) อย่างไรก็ตาม ความเป็นไปได้ที่สมมติฐานของคุณจะเป็นจริง ซึ่งก็คือคนแคระที่ทำให้เกิดเสียงดัง นั้นเป็นสิ่งที่แตกต่างไปจากเดิมอย่างสิ้นเชิง พวกเขาเกือบจะไม่ใช่คนแคระอย่างแน่นอน ดังนั้น ในกรณีนี้ สมมติฐานของคุณจะให้ข้อมูลที่มีความน่าเชื่อถือสูง แต่ก็ไม่น่าจะเป็นไปได้สูง

การใช้ระบบการให้เหตุผลนี้ วิธีความเป็นไปได้สูงสุดทำให้สามารถประมาณค่าต้นไม้สายวิวัฒนาการทางสถิติที่ได้รับโดยใช้แคลดิสติกแบบดั้งเดิม โดยพื้นฐานแล้ววิธีนี้จะสิ้นสุดลง

ค้นหา cladogram ที่ให้ความน่าจะเป็นสูงสุดของชุดข้อมูลที่มีอยู่

ลองพิจารณาตัวอย่างที่แสดงให้เห็นการใช้วิธีความน่าจะเป็นสูงสุด สมมติว่าเรามีสี่แท็กซ่าซึ่งมีการสร้างลำดับนิวคลีโอไทด์ของตำแหน่ง DNA บางแห่ง (รูปที่ 16)

หากแบบจำลองถือว่ามีความเป็นไปได้ที่จะเกิดการพลิกกลับ เราสามารถรูททรีนี้ที่โหนดใดก็ได้ ต้นรากที่เป็นไปได้ต้นหนึ่งแสดงไว้ในรูปที่ 1 17.2.

เราไม่ทราบว่านิวคลีโอไทด์ใดอยู่ที่ตำแหน่งที่เป็นปัญหาในบรรพบุรุษร่วมกันของแท็กซ่า 1-4 (บรรพบุรุษเหล่านี้ตรงกับโหนด X และ Y บนคลาโดแกรม) สำหรับแต่ละโหนดเหล่านี้ มีนิวคลีโอไทด์สี่สายพันธุ์ที่อาจมีอยู่ในรูปแบบของบรรพบุรุษ ส่งผลให้เกิดสถานการณ์สายวิวัฒนาการ 16 แบบที่นำไปสู่แผนภูมิที่ 2 หนึ่งในสถานการณ์เหล่านี้แสดงไว้ในรูปที่ 1 17.3.

ความน่าจะเป็นของสถานการณ์นี้สามารถกำหนดได้โดยสูตร:

โดยที่ P A คือความน่าจะเป็นของการมีอยู่ของนิวคลีโอไทด์ A ในรากของต้นไม้ซึ่งเท่ากับความถี่เฉลี่ยของนิวคลีโอไทด์ A (ในกรณีทั่วไป = 0.25) P AG – ความน่าจะเป็นที่จะแทนที่ A ด้วย G; P AC – ความน่าจะเป็นที่จะแทนที่ A ด้วย C; P AT – ความน่าจะเป็นที่จะแทนที่ A ด้วย T; ตัวคูณสองตัวสุดท้ายคือความน่าจะเป็นที่นิวคลีโอไทด์ T จะถูกเก็บไว้ในโหนด X และ Y ตามลำดับ

อีกสถานการณ์ที่เป็นไปได้ที่ให้ข้อมูลเดียวกันจะแสดงในรูป 17.4. เนื่องจากมี 16 สถานการณ์ดังกล่าว ความน่าจะเป็นของแต่ละสถานการณ์จึงสามารถกำหนดได้ และผลรวมของความน่าจะเป็นเหล่านี้จะเป็นความน่าจะเป็นของแผนภูมิต้นไม้ที่แสดงในรูปที่ 1 17.2:

โดยที่ P tree 2 คือความน่าจะเป็นที่จะสังเกตข้อมูลที่ตำแหน่งที่ระบุด้วยเครื่องหมายดอกจันสำหรับ tree 2

ความน่าจะเป็นที่จะสังเกตข้อมูลทั้งหมดในตำแหน่งทั้งหมดของลำดับที่กำหนดคือผลคูณของความน่าจะเป็นสำหรับแต่ละตำแหน่ง i ตั้งแต่ 1 ถึง N:

เนื่องจากค่าเหล่านี้มีขนาดเล็กมาก จึงมีการใช้ตัวบ่งชี้อื่น - ลอการิทึมธรรมชาติของความน่าจะเป็น lnL i สำหรับแต่ละสถานที i ในกรณีนี้ ความน่าจะเป็นของบันทึกของแผนผังคือผลรวมของความน่าจะเป็นของบันทึกสำหรับแต่ละตำแหน่ง:

ค่าต้นไม้ lnL คือลอการิทึมของความน่าจะเป็นในการสังเกตข้อมูลเมื่อเลือกแบบจำลองวิวัฒนาการบางอย่างและต้นไม้ที่มีลักษณะเฉพาะ

ลำดับการแตกกิ่งและความยาวของกิ่ง โปรแกรมคอมพิวเตอร์ที่ใช้ในวิธีความน่าจะเป็นสูงสุด (เช่น PAUP แพ็คเกจแคลดิสติกที่กล่าวไปแล้ว) ค้นหาแผนผังที่มีคะแนน lnL สูงสุด ความแตกต่างสองเท่าระหว่างบันทึกความน่าจะเป็นของทั้งสองโมเดล 2Δ (โดยที่ Δ = lnL tree A- lnL treeB) เป็นไปตามการแจกแจงทางสถิติที่ทราบ x 2 สิ่งนี้ช่วยให้คุณประเมินได้ว่าโมเดลหนึ่งดีกว่าอีกโมเดลที่เชื่อถือได้หรือไม่ สิ่งนี้ทำให้ความเป็นไปได้สูงสุดเป็นเครื่องมือที่ทรงพลังสำหรับการทดสอบสมมติฐาน

ในกรณีของสี่แท็กซ่า จำเป็นต้องมีการคำนวณ lnL สำหรับต้นไม้ 15 ต้น เนื่องจากมีแท็กซ่าจำนวนมาก จึงเป็นไปไม่ได้ที่จะประเมินต้นไม้ทุกต้น ดังนั้นจึงใช้วิธีการศึกษาแบบฮิวริสติกในการค้นหา (ดูด้านบน)

ในตัวอย่างที่พิจารณา เราใช้ค่าความน่าจะเป็นของการทดแทน (การทดแทน) นิวคลีโอไทด์ในกระบวนการวิวัฒนาการ การคำนวณความน่าจะเป็นเหล่านี้เป็นงานทางสถิติ ในการสร้างต้นไม้วิวัฒนาการขึ้นมาใหม่ เราต้องตั้งสมมติฐานบางประการเกี่ยวกับกระบวนการทดแทนและแสดงสมมติฐานเหล่านี้ในรูปแบบของแบบจำลอง

ในแบบจำลองที่ง่ายที่สุด ความน่าจะเป็นที่จะแทนที่นิวคลีโอไทด์ด้วยนิวคลีโอไทด์อื่นจะถือว่าเท่ากัน โมเดลอย่างง่ายนี้มีพารามิเตอร์เพียงตัวเดียว - อัตราการทดแทน และเรียกว่า โมเดล Jukes-Cantor แบบพารามิเตอร์เดียว หรือ เจซี (จู๊คและคันทอร์, 1969) เมื่อใช้แบบจำลองนี้ เราจำเป็นต้องทราบอัตราที่เกิดการทดแทนนิวคลีโอไทด์ หากเรารู้ในขณะนั้น เสื้อ= 0 ในบางตำแหน่งจะมีนิวคลีโอไทด์ G จากนั้นเราสามารถคำนวณความน่าจะเป็นที่นิวคลีโอไทด์ G จะอยู่ในตำแหน่งนี้หลังจากช่วงระยะเวลาหนึ่ง และความน่าจะเป็นที่ตำแหน่งนี้จะถูกแทนที่ด้วยนิวคลีโอไทด์อื่น เช่น A ความน่าจะเป็นเหล่านี้แสดงเป็น P(gg) และ P(ga) ตามลำดับ หากอัตราการทดแทนเท่ากับค่า α ต่อหน่วยเวลา ดังนั้น

เนื่องจากตามแบบจำลองพารามิเตอร์เดียว การแทนที่ใดๆ มีโอกาสเท่ากัน ข้อความทั่วไปที่มากกว่าจะมีลักษณะดังนี้:

แบบจำลองวิวัฒนาการที่ซับซ้อนยิ่งขึ้นก็ได้รับการพัฒนาเช่นกัน การสังเกตเชิงประจักษ์บ่งชี้ว่าอาจมีการแทนที่บางอย่างเกิดขึ้น

บ่อยกว่าคนอื่นๆ การทดแทนซึ่งเป็นผลมาจากการที่พิวรีนตัวหนึ่งถูกแทนที่ด้วยพิวรีนตัวอื่นถูกเรียกว่า การเปลี่ยนผ่าน,และการทดแทนพิวรีนด้วยไพริมิดีนหรือไพริมิดีนด้วยพิวรีนเรียกว่า การแปลงเราอาจคาดหวังว่าการเปลี่ยนผ่านจะเกิดขึ้นบ่อยกว่าการเปลี่ยนผ่าน เนื่องจากมีเพียงหนึ่งในสามของการแทนที่นิวคลีโอไทด์ที่เป็นไปได้เท่านั้นที่เป็นการเปลี่ยนผ่าน อย่างไรก็ตาม สิ่งที่ตรงกันข้ามมักเกิดขึ้น: การเปลี่ยนผ่านมักจะเกิดขึ้นบ่อยกว่าการเปลี่ยนผ่าน นี่เป็นเรื่องจริงโดยเฉพาะอย่างยิ่งสำหรับ DNA ของไมโตคอนเดรีย

อีกสาเหตุหนึ่งที่การแทนที่นิวคลีโอไทด์บางอย่างเกิดขึ้นบ่อยกว่าสิ่งอื่นๆ เนื่องมาจากอัตราส่วนฐานไม่เท่ากัน ตัวอย่างเช่น DNA ไมโตคอนเดรียของแมลงนั้นมีอะดีนีนและไทมีนมากกว่าเมื่อเทียบกับสัตว์มีกระดูกสันหลัง หากมีเหตุบางอย่างเกิดขึ้นบ่อยกว่านั้น เราก็สามารถคาดหวังได้ว่าการเปลี่ยนตัวบางอย่างจะเกิดขึ้นบ่อยกว่าสิ่งอื่นๆ ตัวอย่างเช่น หากลำดับมีกัวนีนน้อยมาก การทดแทนนิวคลีโอไทด์นี้ไม่น่าจะเกิดขึ้น

แบบจำลองมีความแตกต่างกันตรงที่พารามิเตอร์บางตัว (เช่น อัตราส่วนของฐาน อัตราการทดแทน) ยังคงคงที่และแตกต่างกันไปในพารามิเตอร์อื่นๆ มีโมเดลวิวัฒนาการมากมายหลายสิบแบบ ด้านล่างนี้เรานำเสนอสิ่งที่มีชื่อเสียงที่สุด

กล่าวถึงแล้ว รุ่น จู๊ค-แคนเตอร์ (JC) โดดเด่นด้วยความจริงที่ว่าความถี่ฐานเท่ากัน: π A = πซี = พาย ก = พาย ต , การเปลี่ยนผ่านและการเปลี่ยนผ่านมีอัตราเท่ากัน α=β และการทดแทนทั้งหมดมีความน่าจะเป็นเท่ากัน

Kimura รุ่นสองพารามิเตอร์ (K2P) ถือว่าความถี่ที่เท่ากันของฐาน π A =π C =π G =π T และการแปลงและการเปลี่ยนมีอัตราต่างกัน α≠β

โมเดลเฟลเซนสไตน์ (F81) ถือว่าความถี่ฐานต่างกัน π A ≠π C ≠π G ≠π T , และอัตราการทดแทนจะเท่ากัน α=β

รุ่นพลิกกลับทั่วไป (REV) ถือว่าความถี่ฐานต่างกัน π A ≠π C ≠π G ≠π T , และการเปลี่ยนตัวทั้ง 6 คู่มีความเร็วต่างกัน

แบบจำลองที่กล่าวถึงข้างต้นถือว่าอัตราการทดแทนจะเท่ากันในทุกไซต์ อย่างไรก็ตาม โมเดลยังสามารถคำนึงถึงความแตกต่างของอัตราการทดแทนที่ไซต์ต่างๆ ได้ด้วย ค่าของความถี่ฐานและอัตราการทดแทนสามารถกำหนดนิรนัยได้หรือสามารถรับค่าเหล่านี้ได้จากข้อมูลโดยใช้โปรแกรมพิเศษเช่น PAUP

การวิเคราะห์แบบเบย์

วิธีความน่าจะเป็นสูงสุดจะประมาณความน่าจะเป็นของแบบจำลองสายวิวัฒนาการหลังจากที่ถูกสร้างขึ้นจากข้อมูลที่มีอยู่ อย่างไรก็ตาม ความรู้เกี่ยวกับรูปแบบทั่วไปของการวิวัฒนาการของกลุ่มที่กำหนดทำให้สามารถสร้างชุดของแบบจำลองสายวิวัฒนาการที่เป็นไปได้มากที่สุดโดยไม่ต้องใช้ข้อมูลพื้นฐาน (เช่น ลำดับนิวคลีโอไทด์) เมื่อได้รับข้อมูลเหล่านี้แล้ว ก็เป็นไปได้ที่จะประเมินความพอดีระหว่างโมเดลเหล่านั้นกับโมเดลที่สร้างไว้ล่วงหน้า และพิจารณาความเป็นไปได้ของโมเดลเริ่มต้นเหล่านี้อีกครั้ง วิธีการที่ช่วยให้สามารถทำได้เรียกว่า การวิเคราะห์แบบเบย์ และเป็นวิธีการใหม่ล่าสุดในการศึกษาสายวิวัฒนาการ (ดู Huelsenbeck สำหรับการทบทวนโดยละเอียด และคณะ, 2001).

ตามคำศัพท์มาตรฐาน มักจะเรียกว่าความน่าจะเป็นเริ่มต้น ความน่าจะเป็นก่อนหน้า (เนื่องจากได้รับการยอมรับก่อนได้รับข้อมูล) และความน่าจะเป็นที่แก้ไขคือ หลัง (เนื่องจากจะคำนวณหลังจากได้รับข้อมูลแล้ว)

พื้นฐานทางคณิตศาสตร์ของการวิเคราะห์แบบเบย์คือทฤษฎีบทของเบย์ ซึ่งความน่าจะเป็นก่อนหน้าของต้นไม้ Pr ต้นไม้] และความน่าจะเป็น Pr[ ข้อมูล|ต้นไม้] ใช้ในการคำนวณความน่าจะเป็นหลังของแผนภูมิ Pr[ ต้นไม้|ข้อมูล]:

ความน่าจะเป็นภายหลังของต้นไม้ถือได้ว่าเป็นความน่าจะเป็นที่ต้นไม้สะท้อนถึงแนวทางวิวัฒนาการที่แท้จริง ต้นไม้ที่มีความน่าจะเป็นด้านหลังสูงสุดจะถูกเลือกให้เป็นแบบจำลองที่มีแนวโน้มมากที่สุดของสายวิวัฒนาการ การกระจายความน่าจะเป็นภายหลังของต้นไม้คำนวณโดยใช้วิธีการสร้างแบบจำลองด้วยคอมพิวเตอร์

ความน่าจะเป็นสูงสุดและการวิเคราะห์แบบเบย์ต้องใช้แบบจำลองวิวัฒนาการที่อธิบายการเปลี่ยนแปลงในลักษณะ การสร้างแบบจำลองทางคณิตศาสตร์ของวิวัฒนาการทางสัณฐานวิทยาไม่สามารถทำได้ในปัจจุบัน ด้วยเหตุนี้ วิธีทางสถิติของการวิเคราะห์สายวิวัฒนาการจึงนำไปใช้กับข้อมูลระดับโมเลกุลเท่านั้น

วิธีความน่าจะเป็นสูงสุด (MMP) เป็นหนึ่งในวิธีการที่ใช้กันอย่างแพร่หลายในด้านสถิติและเศรษฐมิติ หากต้องการนำไปใช้ คุณจำเป็นต้องรู้กฎการกระจายของตัวแปรสุ่มที่กำลังศึกษาอยู่

ปล่อยให้มีตัวแปรสุ่ม Y ที่มีกฎการกระจายที่กำหนด DE) ไม่ทราบพารามิเตอร์ของกฎหมายฉบับนี้และจำเป็นต้องค้นหา โดยทั่วไปแล้วค่า ยถือเป็นหลายมิติ กล่าวคือ ประกอบด้วยปริมาณหนึ่งมิติหลาย U1, U2, U3 ..., U.

สมมติว่า Y เป็นตัวแปรสุ่มหนึ่งมิติและค่าแต่ละตัวเป็นตัวเลข แต่ละคน (ยู],ย 2, y3, ..., y„) ถือเป็นการตระหนักถึงตัวแปรสุ่ม Y ไม่ใช่ตัวแปรสุ่มเพียงตัวเดียว แต่เป็น η ตัวแปรสุ่ม U1; U2, U3..., อู" นั่นคือ:

уj – การรับรู้ตัวแปรสุ่ม Y];

y2 – การรับรู้ตัวแปรสุ่ม U2

uz – การรับรู้ตัวแปรสุ่ม U3;

у„ – การรับรู้ตัวแปรสุ่ม У„

พารามิเตอร์ของกฎการกระจายของเวกเตอร์ Y ประกอบด้วยตัวแปรสุ่ม ยข ย 2, У3, У„, แสดงเป็นเวกเตอร์ Θ, ประกอบด้วย ถึงพารามิเตอร์: θχ, θ2, วีเจ ปริมาณ Υ ν Υ 2, U3,..., Υ η สามารถกระจายได้ทั้งด้วยพารามิเตอร์เดียวกันและต่างกัน พารามิเตอร์บางตัวอาจเหมือนกัน ในขณะที่พารามิเตอร์บางตัวอาจแตกต่างกัน คำตอบเฉพาะสำหรับคำถามนี้ขึ้นอยู่กับปัญหาที่ผู้วิจัยกำลังแก้ไข

ตัวอย่างเช่นหากงานคือการกำหนดพารามิเตอร์ของกฎการกระจายของตัวแปรสุ่ม Y การนำไปปฏิบัติคือค่า Y1 Y2, Y3, Y, “จากนั้นให้สันนิษฐานว่าแต่ละปริมาณเหล่านี้มีการกระจายในลักษณะเดียวกับค่าของ Y กล่าวอีกนัยหนึ่ง ค่าใดๆ ของ Y จะอธิบายได้ตามกฎการกระจายเดียวกัน /(Y, ) และ ด้วยพารามิเตอร์เดียวกัน Θ: θχ, θ2,..., งถึง.

อีกตัวอย่างหนึ่งคือการหาพารามิเตอร์ของสมการถดถอย ในกรณีนี้ ค่า Y แต่ละค่าถือเป็นตัวแปรสุ่มที่มีพารามิเตอร์การกระจาย "ของตัวเอง" ซึ่งอาจตรงกันบางส่วนกับพารามิเตอร์การกระจายของตัวแปรสุ่มอื่นๆ หรืออาจแตกต่างกันโดยสิ้นเชิง การใช้ MMP เพื่อค้นหาพารามิเตอร์ของสมการการถดถอยจะมีรายละเอียดเพิ่มเติมด้านล่าง

ภายในกรอบของวิธีความน่าจะเป็นสูงสุด ชุดของค่าที่มีอยู่ Y], y2, y3, ..., y" ถือเป็นค่าคงที่และไม่เปลี่ยนแปลง นั่นคือกฎหมาย /(Y;) เป็นฟังก์ชันของค่าที่กำหนด y และพารามิเตอร์ที่ไม่รู้จัก Θ ดังนั้นเพื่อ ปการสังเกตตัวแปรสุ่ม Y ที่มีอยู่ ปกฎหมาย /(U;)

พารามิเตอร์ที่ไม่รู้จักของกฎการกระจายเหล่านี้ถือเป็นตัวแปรสุ่ม พวกเขาสามารถเปลี่ยนแปลงได้ แต่ด้วยชุดของค่า Уі, у2, у3, ..., у„ ค่าเฉพาะของพารามิเตอร์นั้นมีแนวโน้มมากที่สุด กล่าวอีกนัยหนึ่งคำถามถูกวางในลักษณะนี้: พารามิเตอร์Θควรเป็นอย่างไรเพื่อให้ค่า yj, y2, y3, ..., y„ เป็นไปได้มากที่สุด?

ในการตอบคำถามนี้ คุณต้องค้นหากฎของการแจกแจงร่วมของตัวแปรสุ่ม Y1 U2, U3,..., ขึ้น –กุ้ย ยู 2, อูซ,ยู"). ถ้าเราถือว่าปริมาณที่เราสังเกต y^ y2, y3, ..., y" มีความเป็นอิสระ มันจะเท่ากับผลคูณ ปกฎหมาย/

(Y;) (ผลคูณของความน่าจะเป็นที่จะเกิดขึ้นของค่าที่กำหนดสำหรับตัวแปรสุ่มแบบไม่ต่อเนื่องหรือผลคูณของความหนาแน่นของการแจกแจงสำหรับตัวแปรสุ่มแบบต่อเนื่อง):

เพื่อเน้นความจริงที่ว่าพารามิเตอร์ที่ต้องการ Θ ถือเป็นตัวแปร เราแนะนำอาร์กิวเมนต์อื่นในการกำหนดกฎการกระจาย - เวกเตอร์ของพารามิเตอร์ Θ:

โดยคำนึงถึงสัญลักษณ์ที่แนะนำ กฎการกระจายร่วม เป็นอิสระปริมาณที่มีพารามิเตอร์จะถูกเขียนในรูปแบบ

(2.51)

ฟังก์ชันผลลัพธ์ (2.51) ถูกเรียก ฟังก์ชันความน่าจะเป็นสูงสุด และแสดงว่า:

ให้เราเน้นย้ำอีกครั้งว่าในฟังก์ชันความน่าจะเป็นสูงสุดค่าของ Y จะถือว่าคงที่และตัวแปรคือพารามิเตอร์เวกเตอร์ (ในบางกรณีคือหนึ่งพารามิเตอร์) บ่อยครั้ง เพื่อให้กระบวนการค้นหาพารามิเตอร์ที่ไม่รู้จักง่ายขึ้น ฟังก์ชันความน่าจะเป็นคือการได้รับลอการิทึม ฟังก์ชันบันทึกความน่าจะเป็น

การแก้ปัญหา MMP เพิ่มเติมเกี่ยวข้องกับการค้นหาค่าดังกล่าวของΘซึ่งฟังก์ชันความน่าจะเป็น (หรือลอการิทึม) ถึงค่าสูงสุด ค่าที่พบของΘ; เรียกว่า การประมาณความน่าจะเป็นสูงสุด

วิธีการหาค่าประมาณความน่าจะเป็นสูงสุดนั้นค่อนข้างหลากหลาย ในกรณีที่ง่ายที่สุด ฟังก์ชันความน่าจะเป็นสามารถหาอนุพันธ์ได้อย่างต่อเนื่องและมีค่าสูงสุดที่จุดนั้น

ในกรณีที่ซับซ้อนมากขึ้น ไม่สามารถหาค่าสูงสุดของฟังก์ชันความน่าจะเป็นสูงสุดได้โดยการแยกความแตกต่างและแก้สมการความน่าจะเป็น ซึ่งจำเป็นต้องมีการค้นหาอัลกอริธึมอื่น ๆ เพื่อค้นหามัน รวมถึงอัลกอริธึมที่วนซ้ำด้วย

การประมาณค่าพารามิเตอร์ที่ได้รับโดยใช้ MMP คือ:

• – ร่ำรวย, เหล่านั้น. เมื่อปริมาณการสังเกตเพิ่มขึ้นความแตกต่างระหว่างค่าประมาณและค่าจริงของพารามิเตอร์จะเข้าใกล้ศูนย์
• – ไม่เปลี่ยนแปลง: หากได้รับค่าประมาณของพารามิเตอร์ Θ เท่ากับ 0L และมีฟังก์ชันต่อเนื่อง q(0) ดังนั้นค่าประมาณของฟังก์ชันนี้จะเป็นค่า q(0L) โดยเฉพาะอย่างยิ่ง หากใช้ MMP เราจะประมาณการกระจายตัวของตัวบ่งชี้ใดๆ (แอฟ) จากนั้นรากของการประมาณผลลัพธ์จะเป็นค่าประมาณของค่าเบี่ยงเบนมาตรฐาน (σ,) ที่ได้รับจาก MMP
• – มีประสิทธิภาพแบบไม่แสดงอาการ ;
• – กระจายแบบปกติแบบไม่แสดงอาการ

ข้อความสองข้อความสุดท้ายหมายความว่าการประมาณค่าพารามิเตอร์ที่ได้รับจาก MMP แสดงคุณสมบัติของประสิทธิภาพและความปกติ โดยมีขนาดตัวอย่างเพิ่มขึ้นอย่างมากอย่างไม่สิ้นสุด

เพื่อค้นหาพารามิเตอร์การถดถอยเชิงเส้นหลายตัวของแบบฟอร์ม

จำเป็นต้องรู้กฎการกระจายของตัวแปรตาม 7 หรือสารตกค้างแบบสุ่ม ε, ปล่อยให้ตัวแปร ยเสื้อ ถูกกระจายตามกฎปกติด้วยพารามิเตอร์ μ, , σ, แต่ละค่าที่สังเกตได้ y เป็นไปตามคำจำกัดความของการถดถอยความคาดหวังทางคณิตศาสตร์μ, = MU "เท่ากับค่าทางทฤษฎีโดยมีเงื่อนไขว่าค่าของพารามิเตอร์การถดถอยในประชากรเป็นที่รู้จัก

โดยที่ xfl, ..., x ip – ค่าของตัวแปรอิสระใน і การสังเกต -m เมื่อเป็นไปตามข้อกำหนดเบื้องต้นสำหรับการใช้วิธีการกำลังสองน้อยที่สุด (ข้อกำหนดเบื้องต้นสำหรับการสร้างแบบจำลองเชิงเส้นปกติแบบคลาสสิก) ตัวแปรสุ่ม Y จะมีความแปรปรวนเท่ากัน

ความแปรปรวนของปริมาณถูกกำหนดโดยสูตร

มาแปลงสูตรนี้กัน:

หากเงื่อนไขของเกาส์-มาร์กอฟบนความเท่าเทียมกันเป็นศูนย์ของความคาดหวังทางคณิตศาสตร์ของปริมาณคงเหลือแบบสุ่มและความคงตัวของความแปรปรวนเป็นไปตามนั้น เราสามารถย้ายจากสูตร (2.52) ไปเป็นสูตรได้

กล่าวอีกนัยหนึ่ง ความแปรปรวนของตัวแปรสุ่ม V และความสุ่มตกค้างที่สอดคล้องกัน

การประมาณค่าเฉพาะของความคาดหวังทางคณิตศาสตร์ของตัวแปรสุ่ม ยจเราจะแสดงถึง

และการประมาณค่าความแปรปรวน (ค่าคงที่สำหรับการสังเกตที่แตกต่างกัน) เช่น ซี.

ถือว่าเป็นอิสระจากการสังเกตส่วนบุคคล ยจากนั้นเราจะได้ฟังก์ชันความน่าจะเป็นสูงสุด

(2.53)

ในฟังก์ชันข้างต้น ตัวหารจะเป็นค่าคงที่และไม่มีผลต่อการหาค่าสูงสุด ดังนั้นเพื่อให้สามารถคำนวณได้ง่ายขึ้นจึงละเว้นได้ เมื่อคำนึงถึงข้อสังเกตนี้และหลังลอการิทึม ฟังก์ชัน (2.53) จะอยู่ในรูปแบบ

ตาม MMP เราจะค้นหาอนุพันธ์ของฟังก์ชันบันทึกความน่าจะเป็นโดยคำนึงถึงพารามิเตอร์ที่ไม่รู้จัก

ในการค้นหาค่าสุดโต่ง เราจะถือว่านิพจน์ผลลัพธ์เป็นศูนย์ หลังจากการเปลี่ยนแปลงเราได้รับระบบ

(2.54)

ระบบนี้สอดคล้องกับระบบที่ได้รับจากวิธีกำลังสองน้อยที่สุด นั่นคือ MSM และ OLS จะให้ผลลัพธ์เดียวกันหากเป็นไปตามสมมติฐานของ OLS นิพจน์สุดท้ายในระบบ (2.54) ให้ค่าประมาณการกระจายตัวของตัวแปรสุ่ม 7 หรือที่เหมือนกันคือการกระจายตัวของส่วนที่เหลือแบบสุ่ม ตามที่ระบุไว้ข้างต้น (ดูสูตร (2.23)) การประมาณค่าความแปรปรวนของค่าคงเหลือแบบสุ่มที่เป็นกลางจะเท่ากับ

ค่าประมาณที่คล้ายกันที่ได้รับโดยใช้ MMP (ดังต่อไปนี้จากระบบ (2.54)) คำนวณโดยใช้สูตร

เหล่านั้น. เป็น พลัดถิ่น.

เราพิจารณากรณีของการใช้ MMP เพื่อค้นหาพารามิเตอร์ของการถดถอยพหุคูณเชิงเส้น โดยมีเงื่อนไขว่าค่า Y จะมีการแจกแจงตามปกติ อีกวิธีหนึ่งในการค้นหาพารามิเตอร์ของการถดถอยเดียวกันคือการสร้างฟังก์ชันความน่าจะเป็นสูงสุดสำหรับค่าตกค้างแบบสุ่ม ε นอกจากนี้ยังถือว่ามีการแจกแจงแบบปกติด้วยพารามิเตอร์ (0, σε) ง่ายต่อการตรวจสอบว่าผลลัพธ์ของการแก้ปัญหาในกรณีนี้จะตรงกับผลลัพธ์ที่ได้ข้างต้น

ในงานที่มีจุดประสงค์เพื่อทำความคุ้นเคยเบื้องต้นกับสถิติทางคณิตศาสตร์ มักจะพิจารณาการประมาณความน่าจะเป็นสูงสุด (ตัวย่อ MLE):

ดังนั้น ขั้นแรกให้สร้างฟังก์ชันความหนาแน่นของความน่าจะเป็นที่สอดคล้องกับตัวอย่าง เนื่องจากองค์ประกอบตัวอย่างมีความเป็นอิสระ ความหนาแน่นนี้จึงถูกนำเสนอเป็นผลคูณของความหนาแน่นสำหรับองค์ประกอบตัวอย่างแต่ละรายการ พิจารณาความหนาแน่นของข้อต่อ ณ จุดที่สอดคล้องกับค่าที่สังเกตได้ นิพจน์นี้เป็นฟังก์ชันของพารามิเตอร์ (สำหรับองค์ประกอบตัวอย่างที่กำหนด) เรียกว่าฟังก์ชันความน่าจะเป็น จากนั้นไม่ทางใดก็ทางหนึ่งจะหาค่าของพารามิเตอร์โดยที่ค่าของความหนาแน่นของข้อต่อสูงสุด นี่คือการประมาณความเป็นไปได้สูงสุด

เป็นที่ทราบกันดีว่าตัวประมาณค่าความน่าจะเป็นสูงสุดอยู่ในกลุ่มของตัวประมาณค่าปกติแบบไม่แสดงกำกับที่ดีที่สุด อย่างไรก็ตาม ด้วยขนาดตัวอย่างที่จำกัดในปัญหาหลายประการ OMP จึงเป็นสิ่งที่ยอมรับไม่ได้ เนื่องจาก พวกมันแย่กว่า (ความแปรปรวนและค่าคลาดเคลื่อนกำลังสองเฉลี่ยมากกว่า) มากกว่าค่าประมาณอื่น ๆ โดยเฉพาะอย่างยิ่งค่าที่ไม่เอนเอียง นั่นคือเหตุผลที่ GOST 11.010-81 ใช้การประมาณค่าที่เป็นกลางมากกว่า OMP เพื่อประมาณค่าพารามิเตอร์ของการแจกแจงแบบทวินามลบ จากที่กล่าวมาข้างต้น นิรนัยควรเลือกใช้ OMP มากกว่าการประมาณค่าประเภทอื่น - หากเป็นไปได้ เฉพาะในขั้นตอนของการศึกษาพฤติกรรมเชิงเส้นกำกับของการประมาณค่าเท่านั้น

ในบางกรณี WMD จะพบได้อย่างชัดเจนในรูปแบบของสูตรเฉพาะที่เหมาะสำหรับการคำนวณ

ในกรณีส่วนใหญ่ ไม่มีวิธีแก้ปัญหาเชิงวิเคราะห์ ในการค้นหา WMD จำเป็นต้องใช้วิธีเชิงตัวเลข ในกรณีนี้ ตัวอย่างเช่น กับตัวอย่างจากการแจกแจงแกมมาหรือการแจกแจงแบบไวบุลล์-กเนเด็นโก ในงานหลายชิ้น ระบบสมการความน่าจะเป็นสูงสุดได้รับการแก้ไขโดยใช้วิธีการวนซ้ำหรือฟังก์ชันความน่าจะเป็นถูกขยายให้ใหญ่สุดโดยตรง

อย่างไรก็ตาม การใช้วิธีเชิงตัวเลขทำให้เกิดปัญหามากมาย การบรรจบกันของวิธีการวนซ้ำต้องอาศัยเหตุผล ในตัวอย่างจำนวนหนึ่ง ฟังก์ชันความน่าจะเป็นมีค่าสูงสุดเฉพาะที่จำนวนมาก ดังนั้นขั้นตอนการวนซ้ำตามธรรมชาติจึงไม่มาบรรจบกัน สำหรับข้อมูลจากสถาบันวิจัยการขนส่งทางรถไฟ All-Russia เกี่ยวกับการทดสอบความล้าของเหล็ก สมการความน่าจะเป็นสูงสุดมี 11 ราก ควรใช้ตัวใดในสิบเอ็ดตัวเป็นค่าประมาณของพารามิเตอร์

จากการตระหนักถึงปัญหาเหล่านี้ งานเริ่มปรากฏให้เห็นในการพิสูจน์การบรรจบกันของอัลกอริธึมเพื่อค้นหาการประมาณความน่าจะเป็นสูงสุดสำหรับแบบจำลองความน่าจะเป็นเฉพาะและอัลกอริธึมเฉพาะ

อย่างไรก็ตาม การพิสูจน์ทางทฤษฎีของการลู่เข้าของอัลกอริธึมซ้ำไม่ใช่ทุกอย่าง คำถามเกิดขึ้นเกี่ยวกับทางเลือกที่สมเหตุสมผลว่าเมื่อใดควรหยุดการคำนวณที่เกี่ยวข้องกับการบรรลุความแม่นยำที่ต้องการ ในกรณีส่วนใหญ่จะไม่ได้รับการแก้ไข

แต่นั่นไม่ใช่ทั้งหมด ความแม่นยำของการคำนวณจะต้องเชื่อมโยงกับขนาดตัวอย่าง - ยิ่งมีขนาดใหญ่เท่าใดก็ยิ่งจำเป็นต้องค้นหาการประมาณค่าพารามิเตอร์ได้แม่นยำยิ่งขึ้น ไม่เช่นนั้นเราจะไม่สามารถพูดถึงความสอดคล้องของวิธีการประมาณค่าได้ ยิ่งไปกว่านั้น เมื่อขนาดตัวอย่างเพิ่มขึ้น ก็จำเป็นต้องเพิ่มจำนวนหลักที่ใช้ในคอมพิวเตอร์ ย้ายจากความแม่นยำในการคำนวณแบบเดี่ยวไปเป็นสองเท่า และเพิ่มเติมอีกครั้ง เพื่อให้บรรลุการประมาณค่าที่สอดคล้องกัน

ดังนั้น ในกรณีที่ไม่มีสูตรที่ชัดเจนสำหรับการประมาณค่าความน่าจะเป็นสูงสุด การค้นหา WMD จะเกิดปัญหาทางการคำนวณหลายประการ ผู้เชี่ยวชาญด้านสถิติทางคณิตศาสตร์ปล่อยให้ตัวเองเพิกเฉยต่อปัญหาเหล่านี้ทั้งหมด โดยหารือเกี่ยวกับอาวุธทำลายล้างสูงในแง่ทฤษฎี อย่างไรก็ตาม สถิติที่ใช้ไม่สามารถละเลยได้ ปัญหาที่กล่าวมาทำให้เกิดคำถามถึงความเป็นไปได้ในการใช้อาวุธทำลายล้างสูงในทางปฏิบัติ

ตัวอย่างที่ 1ในปัญหาทางสถิติของการกำหนดมาตรฐานและการจัดการคุณภาพ จะใช้กลุ่มการแจกแจงแกมมา ความหนาแน่นของการแจกแจงแกมมามีรูปแบบ

ความหนาแน่นของความน่าจะเป็นในสูตร (7) ถูกกำหนดโดยพารามิเตอร์สามตัว ก ข ค, ที่ไหน ก>2, ข>0. โดยที่ กเป็นพารามิเตอร์แบบฟอร์ม ข- พารามิเตอร์มาตราส่วนและ กับ -พารามิเตอร์กะ ปัจจัย 1/ก(ก)กำลังทำให้เป็นมาตรฐาน มันถูกแนะนำให้รู้จักกับ

ที่นี่ ก(ก)- หนึ่งในฟังก์ชันพิเศษที่ใช้ในคณิตศาสตร์ที่เรียกว่า "ฟังก์ชันแกมมา" หลังจากนั้นจึงตั้งชื่อการแจกแจงตามสูตร (7)

วิธีแก้ปัญหาโดยละเอียดสำหรับปัญหาการประมาณค่าพารามิเตอร์สำหรับการแจกแจงแกมมานั้นมีอยู่ในมาตรฐานของรัฐ GOST 11.011-83 “สถิติประยุกต์” ที่พัฒนาโดยเรา กฎสำหรับการประมาณค่าและขีดจำกัดความเชื่อมั่นสำหรับพารามิเตอร์การแจกแจงแกมมา” ปัจจุบันเอกสารฉบับนี้ใช้เป็นสื่อการสอนสำหรับคนทำงานด้านวิศวกรรมและด้านเทคนิคขององค์กรอุตสาหกรรมและสถาบันวิจัยประยุกต์

เนื่องจากการแจกแจงแกมมาขึ้นอยู่กับพารามิเตอร์ 3 ตัว จึงมีตัวเลือก 2 3 - 1 = 7 ตัวเลือกในการตั้งค่าปัญหาการประมาณค่า อธิบายไว้ในตาราง 1. ในตาราง 2 แสดงข้อมูลจริงเกี่ยวกับเวลาการทำงานของเครื่องตัดจนถึงสถานะจำกัด หน่วยเป็นชั่วโมง ตัวอย่างที่สั่ง (ชุดรูปแบบ) ของปริมาตร n= 50 นำมาจากมาตรฐานของรัฐ ข้อมูลเหล่านี้จะทำหน้าที่เป็นแหล่งข้อมูลในการสาธิตวิธีการบางอย่างในการประมาณค่าพารามิเตอร์

การเลือกค่าประมาณที่ "ดีที่สุด" ในแบบจำลองเชิงพารามิเตอร์เฉพาะของสถิติประยุกต์นั้นเป็นโครงการวิจัยที่ยืดเยื้ออยู่ตลอดเวลา ให้เราแยกแยะสองขั้นตอน ระยะซีมโทติค: การประมาณค่าถูกสร้างขึ้นและเปรียบเทียบตามคุณสมบัติเมื่อขนาดตัวอย่างเพิ่มขึ้นอย่างไม่มีขีดจำกัด ในขั้นตอนนี้จะพิจารณาคุณลักษณะของการประมาณค่า เช่น ความสม่ำเสมอ ประสิทธิภาพเชิงเส้นกำกับ ฯลฯ ระยะขนาดตัวอย่างสุดท้าย:เปรียบเทียบประมาณการพูดที่ n= 10 เป็นที่ชัดเจนแล้วว่าการศึกษาเริ่มต้นด้วยระยะซีมโทติก: ในการเปรียบเทียบการประมาณการ เราต้องสร้างค่าประมาณขึ้นมาก่อน และต้องแน่ใจว่ามันไม่ไร้สาระ (ความมั่นใจดังกล่าวได้มาจากหลักฐานพิสูจน์ความสอดคล้อง)

ตัวอย่างที่ 2การประมาณค่าพารามิเตอร์การกระจายแกมมาด้วยวิธีโมเมนต์ในกรณีที่ไม่ทราบพารามิเตอร์ 3 ตัว (บรรทัดที่ 7 ของตารางที่ 1)

ตามเหตุผลข้างต้น ในการประมาณค่าพารามิเตอร์สามตัว ก็เพียงพอที่จะใช้ช่วงเวลาตัวอย่างสามช่วงเวลา - ค่าเฉลี่ยเลขคณิตตัวอย่าง:

ความแปรปรวนตัวอย่าง

และเลือกช่วงเวลาสำคัญที่สาม

เมื่อเทียบโมเมนต์ทางทฤษฎีซึ่งแสดงผ่านพารามิเตอร์การแจกแจงและโมเมนต์ตัวอย่าง เราจะได้ระบบสมการสำหรับวิธีโมเมนต์:

ในการแก้ระบบนี้ เราจะหาค่าประมาณสำหรับวิธีการของโมเมนต์ แทนที่สมการที่สองเป็นสมการที่สาม เราจะได้วิธีการประมาณช่วงเวลาสำหรับพารามิเตอร์ shift:

เมื่อแทนค่าประมาณนี้ลงในสมการที่สอง เราจะพบวิธีการประมาณโมเมนต์สำหรับพารามิเตอร์รูปร่าง:

สุดท้าย จากสมการแรก เราพบค่าประมาณสำหรับพารามิเตอร์ shift:

สำหรับข้อมูลจริงที่ระบุข้างต้นในตาราง 2, ค่าเฉลี่ยตัวอย่าง = 57.88, ความแปรปรวนตัวอย่าง ส 2 = 663.00 ตัวอย่างโมเมนต์ศูนย์กลางที่สาม ม 3 = 14927.91. ตามสูตรที่เพิ่งได้รับสำหรับการประเมินวิธีช่วงเวลาคือ: ก* = 5,23; ข* = 11,26, ค* = - 1,01.

การประมาณค่าพารามิเตอร์การกระจายแกมมาที่ได้จากวิธีโมเมนต์เป็นฟังก์ชันของโมเมนต์ตัวอย่าง ตามที่ระบุไว้ข้างต้น พวกมันคือตัวแปรสุ่มปกติเชิงกำกับเชิงกำกับ ในตาราง รูปที่ 3 แสดงการประมาณค่าของวิธีการของโมเมนต์และการกระจายตัวของซีมโทติกสำหรับค่าผสมต่างๆ ของพารามิเตอร์ที่ทราบและไม่ทราบของการแจกแจงแกมมา

การประมาณค่าวิธีโมเมนต์ทั้งหมดตามตาราง 3 รวมอยู่ในมาตรฐานของรัฐ ครอบคลุมการกำหนดปัญหาทั้งหมดในการประมาณค่าพารามิเตอร์ของการแจกแจงแกมมา (ดูตารางที่ 1) ยกเว้นกรณีที่ไม่ทราบพารามิเตอร์เพียงตัวเดียว - กหรือ ข. สำหรับกรณีพิเศษเหล่านี้ ได้มีการพัฒนาวิธีการประเมินพิเศษขึ้นมา

เนื่องจากทราบการกระจายเชิงเส้นกำกับของการประมาณค่าของวิธีการของช่วงเวลา จึงไม่ใช่เรื่องยากที่จะกำหนดกฎสำหรับการทดสอบสมมติฐานทางสถิติเกี่ยวกับค่าของพารามิเตอร์การกระจายตลอดจนการสร้างขีดจำกัดความเชื่อมั่นสำหรับพารามิเตอร์ ตัวอย่างเช่น ในแบบจำลองความน่าจะเป็น เมื่อไม่ทราบพารามิเตอร์ทั้งสามตัว ตามแถวที่สามของตารางที่ 3 ขีดจำกัดความเชื่อมั่นล่างสำหรับพารามิเตอร์ กซึ่งสอดคล้องกับความน่าจะเป็นของความเชื่อมั่น r = 0.95 ในรูปแบบซีมโทติกส์มีรูปแบบ

และขีดจำกัดความเชื่อมั่นบนสำหรับความน่าจะเป็นของความเชื่อมั่นเดียวกันจะเป็นดังนี้

ที่ไหน ก* - การประเมินวิธีช่วงเวลาของพารามิเตอร์รูปร่าง (ตารางที่ 3)

ตัวอย่างที่ 3ให้เราค้นหา GMD สำหรับตัวอย่างจากการแจกแจงแบบปกติ ซึ่งแต่ละองค์ประกอบมีความหนาแน่น

ดังนั้นจึงจำเป็นต้องประมาณค่าพารามิเตอร์สองมิติ ( ม, ปี 2)

ผลคูณของความหนาแน่นของความน่าจะเป็นสำหรับองค์ประกอบตัวอย่าง เช่น ฟังก์ชันความน่าจะเป็นมีรูปแบบ

เราจำเป็นต้องแก้ไขปัญหาการเพิ่มประสิทธิภาพ

เช่นเดียวกับในกรณีอื่นๆ ปัญหาการหาค่าเหมาะที่สุดจะแก้ไขได้ง่ายกว่าถ้าเราหาลอการิทึมของฟังก์ชันความน่าจะเป็น เช่น ไปที่ฟังก์ชั่น

เรียกว่าฟังก์ชันบันทึกความน่าจะเป็น สำหรับการสุ่มตัวอย่างจากการแจกแจงแบบปกติ

เงื่อนไขที่จำเป็นสำหรับค่าสูงสุดคือความเท่าเทียมกันของอนุพันธ์ย่อย 0 ของฟังก์ชันความน่าจะเป็นลอการิทึมเทียบกับพารามิเตอร์ เช่น

ระบบ (10) เรียกว่าระบบสมการความน่าจะเป็นสูงสุด ในกรณีทั่วไป จำนวนสมการจะเท่ากับจำนวนพารามิเตอร์ที่ไม่รู้จัก และแต่ละสมการจะถูกเขียนโดยการเท่ากับ 0 อนุพันธ์ย่อยของฟังก์ชันบันทึกความน่าจะเป็นเทียบกับพารามิเตอร์ตัวใดตัวหนึ่ง

เมื่อสร้างความแตกต่างด้วยความเคารพ มสองเทอมแรกทางด้านขวาของสูตร (9) จะกลายเป็น 0 และเทอมสุดท้ายจะให้สมการ

ดังนั้นการประเมิน ม* พารามิเตอร์ความน่าจะเป็นสูงสุด มคือค่าเฉลี่ยเลขคณิตตัวอย่าง

ในการหาค่าประมาณของความแปรปรวน จำเป็นต้องแก้สมการ

มันง่ายที่จะเห็นว่า

ดังนั้นค่าประมาณความน่าจะเป็นสูงสุด (y 2)* สำหรับความแปรปรวน y 2 โดยคำนึงถึงค่าประมาณที่พบก่อนหน้านี้สำหรับพารามิเตอร์ มคือความแปรปรวนตัวอย่าง

ดังนั้น ระบบสมการความน่าจะเป็นสูงสุดจึงได้รับการแก้ไขในเชิงวิเคราะห์ GME สำหรับความคาดหวังทางคณิตศาสตร์และความแปรปรวนของการแจกแจงแบบปกติคือค่าเฉลี่ยเลขคณิตตัวอย่างและความแปรปรวนตัวอย่าง โปรดทราบว่าการประมาณการครั้งล่าสุดมีความเอนเอียง

โปรดทราบว่าในเงื่อนไขของตัวอย่างที่ 3 การประมาณค่าของวิธีความน่าจะเป็นสูงสุดเกิดขึ้นพร้อมกับการประมาณค่าของวิธีช่วงเวลา นอกจากนี้ประเภทของการประมาณค่าของวิธีโมเมนต์นั้นชัดเจนและไม่ต้องใช้เหตุผลใดๆ

ตัวอย่างที่ 4ลองเจาะลึกความหมายลับของวลีต่อไปนี้จาก Ronald Fisher ผู้ก่อตั้งสถิติสมัยใหม่: "ไม่มีอะไรง่ายไปกว่าการประมาณค่าพารามิเตอร์" คลาสสิกเป็นเรื่องที่น่าขัน: เขาหมายความว่ามันง่ายที่จะมีเรตติ้งไม่ดี ไม่จำเป็นต้องคิดค้นการประมาณค่าที่ดี (!) - ต้องได้รับด้วยวิธีมาตรฐานโดยใช้หลักการความน่าจะเป็นสูงสุด

งาน. จากข้อมูลของ H 0 ความคาดหวังทางคณิตศาสตร์ของตัวแปรสุ่มปัวซองอิสระ 3 ตัวมีความสัมพันธ์กันโดยการพึ่งพาเชิงเส้น:

การรับรู้ปริมาณเหล่านี้จะได้รับ จำเป็นต้องประมาณค่าพารามิเตอร์สองตัวของความสัมพันธ์เชิงเส้นและตรวจสอบ H 0

เพื่อความชัดเจน เราสามารถจินตนาการถึงการถดถอยเชิงเส้นที่รับค่าเฉลี่ยที่จุดต่างๆ ปล่อยให้ได้รับค่าต่างๆ สิ่งที่สามารถพูดเกี่ยวกับขนาดและความเป็นธรรมของ H0?

แนวทางไร้เดียงสา

ดูเหมือนว่าพารามิเตอร์สามารถประมาณได้โดยใช้สามัญสำนึกพื้นฐาน เราได้ค่าประมาณของความชันของการถดถอยโดยตรงโดยการหารส่วนเพิ่มระหว่างการเปลี่ยนจาก x 1 =-1 เป็น x 3 =+1 ด้วย และหาค่าประมาณของค่าเป็นค่าเฉลี่ยเลขคณิต:

ง่ายต่อการตรวจสอบว่าความคาดหวังทางคณิตศาสตร์ของการประมาณค่านั้นเท่ากัน (การประมาณการมีความเป็นกลาง)

เมื่อได้ค่าประมาณแล้ว H0 จะถูกทดสอบตามปกติโดยใช้การทดสอบไคสแควร์ของ Pearson:

การประมาณค่าความถี่ที่คาดหวังสามารถรับได้จากค่าประมาณ:

ยิ่งกว่านั้น หากการประมาณค่าของเรา "ถูกต้อง" ระยะทางของเพียร์สันจะถูกกระจายเป็นตัวแปรสุ่มไคสแควร์โดยมีระดับความอิสระหนึ่งระดับ: 3-2=1 โปรดจำไว้ว่าเรากำลังประมาณค่าพารามิเตอร์สองตัวโดยปรับข้อมูลให้เข้ากับโมเดลของเรา ในกรณีนี้ จำนวนเงินไม่คงที่ ดังนั้นจึงไม่จำเป็นต้องลบหน่วยเพิ่มเติม

อย่างไรก็ตาม เมื่อเราทดแทนมัน เราก็ได้ผลลัพธ์ที่แปลก:

ในด้านหนึ่ง เห็นได้ชัดว่าไม่มีเหตุผลที่จะปฏิเสธ H0 สำหรับความถี่เหล่านี้ แต่เราไม่สามารถตรวจสอบสิ่งนี้ได้โดยใช้การทดสอบไคสแควร์ เนื่องจากการประมาณความถี่ที่คาดหวังที่จุดแรกกลายเป็น เชิงลบ. ดังนั้นการประมาณค่าที่ได้จาก "สามัญสำนึก" จึงไม่ทำให้เราแก้ไขปัญหาในกรณีทั่วไปได้

วิธีความน่าจะเป็นสูงสุด

ตัวแปรสุ่มมีความเป็นอิสระและมีการแจกแจงแบบปัวซอง ความน่าจะเป็นที่จะได้ค่าคือ:

ตามหลักการของความน่าจะเป็นสูงสุด จะต้องค้นหาค่าของพารามิเตอร์ที่ไม่รู้จัก โดยกำหนดให้ความน่าจะเป็นในการได้รับค่าสูงสุด:

หากค่าเหล่านี้คงที่ แสดงว่าเรากำลังเผชิญกับความน่าจะเป็นทั่วไป ฟิชเชอร์เสนอคำใหม่ว่า "ความเป็นไปได้" สำหรับกรณีที่ค่าคงที่ถูกพิจารณาว่าเป็นตัวแปร หากความน่าจะเป็นเป็นผลคูณของความน่าจะเป็นของเหตุการณ์อิสระ เป็นเรื่องปกติที่จะเปลี่ยนผลคูณเป็นผลรวม แล้วจัดการกับลอการิทึมของความน่าจะเป็น:

ในที่นี้ เงื่อนไขทั้งหมดที่ไม่ขึ้นอยู่กับจะถูกกำหนดและละทิ้งในนิพจน์สุดท้าย ในการค้นหาความน่าจะเป็นของบันทึกสูงสุด เราจะเทียบอนุพันธ์ด้วยความเคารพต่อศูนย์:

เมื่อแก้สมการเหล่านี้เราจะได้:

เหล่านี้เป็นสำนวนที่ “ถูกต้อง” สำหรับการประเมิน ค่าประมาณของค่าเฉลี่ยเหมือนกับที่สามัญสำนึกแนะนำ แต่ค่าประมาณของความชันแตกต่าง: คุณสามารถพูดอะไรเกี่ยวกับสูตรนี้ได้บ้าง?

• 1) ดูแปลกที่คำตอบขึ้นอยู่กับความถี่ที่จุดกึ่งกลาง เนื่องจากขนาดจะกำหนดมุมเอียงของเส้น
• 2) อย่างไรก็ตามหาก H 0 เป็นจริง (เส้นถดถอยเป็นเส้นตรง) ดังนั้นที่ความถี่ที่สังเกตได้มาก ค่าเหล่านั้นจะใกล้เคียงกับความคาดหวังทางคณิตศาสตร์ ดังนั้น: และค่าประมาณความน่าจะเป็นสูงสุดจะใกล้เคียงกับผลลัพธ์ที่ได้จากสามัญสำนึก

3) ประโยชน์ของการประมาณค่าเริ่มรู้สึกได้เมื่อเราสังเกตเห็นว่าความถี่ที่คาดไว้ทั้งหมดเป็นค่าบวกเสมอ:

สิ่งนี้ไม่เป็นความจริงสำหรับการประมาณการแบบ "ไร้เดียงสา" ดังนั้นจึงเป็นไปไม่ได้เสมอไปที่จะใช้การทดสอบไคสแควร์ (การพยายามแทนที่ความถี่ที่คาดหวังที่เป็นลบหรือเป็นศูนย์ด้วยความถี่หนึ่งไม่สามารถช่วยสถานการณ์ได้)

4) การคำนวณเชิงตัวเลขแสดงให้เห็นว่าการประมาณแบบไร้เดียงสาสามารถใช้ได้เฉพาะในกรณีที่ความถี่ที่คาดหวังมีขนาดใหญ่เพียงพอ หากใช้ที่ค่าน้อย ระยะทาง Pearson ที่คำนวณได้มักจะสูงเกินไป

บทสรุป : การเลือกการประมาณค่าที่ถูกต้องเป็นสิ่งสำคัญ เนื่องจากไม่เช่นนั้นจะไม่สามารถทดสอบสมมติฐานโดยใช้การทดสอบไคสแควร์ได้ การประเมินที่ดูเหมือนชัดเจนอาจกลายเป็นใช้ไม่ได้!

งานในการประมาณค่าพารามิเตอร์การกระจายคือการให้ได้ค่าประมาณที่เป็นไปได้มากที่สุดของพารามิเตอร์ที่ไม่รู้จักของการกระจายตัวของประชากรตามข้อมูลตัวอย่าง นอกจากวิธีการของโมเมนต์แล้ว เรายังใช้การประมาณจุดของพารามิเตอร์การกระจายอีกด้วย วิธีความน่าจะเป็นสูงสุด. วิธีความน่าจะเป็นสูงสุดเสนอโดยนักสถิติชาวอังกฤษ อาร์. ฟิชเชอร์ ในปี พ.ศ. 2455

อนุญาต เพื่อประมาณค่าพารามิเตอร์ที่ไม่รู้จัก  ของตัวแปรสุ่ม X จากประชากรทั่วไปที่มีความหนาแน่นของการแจกแจงความน่าจะเป็น พี(x)= พี(x, ) ตัวอย่างที่สกัดออกมา x 1 ,x 2 ,…,x n. เราจะพิจารณาผลลัพธ์ตัวอย่างเป็นการนำไปปฏิบัติ n-ตัวแปรสุ่มมิติ ( เอ็กซ์ 1 ,เอ็กซ์ 2 ,…,เอ็กซ์ n). วิธีการหาโมเมนต์ที่กล่าวถึงก่อนหน้านี้ในการรับค่าประมาณจุดของพารามิเตอร์ที่ไม่รู้จักของการแจกแจงทางทฤษฎีไม่ได้ให้ค่าประมาณที่ดีที่สุดเสมอไป วิธีค้นหาการประมาณค่าที่มีคุณสมบัติที่จำเป็น (ดีที่สุด) คือวิธีการ ความเป็นไปได้สูงสุด

วิธีความน่าจะเป็นสูงสุดจะขึ้นอยู่กับเงื่อนไขในการกำหนดจุดสุดขีดของฟังก์ชันหนึ่งๆ ที่เรียกว่าฟังก์ชันความน่าจะเป็น

ฟังก์ชันความน่าจะเป็น DSV X

ล (x 1 ,x 2 ,…,x n ; )=พี(x 1 ; )พี(x 2 ; )…พี(x n ; ),

ที่ไหน x 1, …, x n– ตัวเลือกการสุ่มตัวอย่างคงที่  – พารามิเตอร์โดยประมาณที่ไม่รู้จัก พี(x ฉัน; ) – ความน่าจะเป็นของเหตุการณ์ เอ็กซ์= x ฉัน .

ฟังก์ชันความน่าจะเป็น NSV Xเรียกว่าฟังก์ชันอาร์กิวเมนต์ :

ล (x 1 ,x 2 ,…,x n ; )=ฉ(x 1 ; )ฉ(x 2 ; )…ฉ(x n ; ),

ที่ไหน ฉ(x ฉัน; ) – ให้ฟังก์ชันความหนาแน่นของความน่าจะเป็นที่จุดต่างๆ x ฉัน .

เป็นการประมาณค่าจุดของพารามิเตอร์การกระจาย  ใช้ค่าที่ฟังก์ชันความน่าจะเป็นถึงค่าสูงสุด การประเมิน
เรียกว่า การประมาณความน่าจะเป็นสูงสุด. เพราะ ฟังก์ชั่น ล และ
ลถึงค่าสูงสุดที่ค่าเดียวกันของจากนั้นมักจะหาค่าสูงสุด (สูงสุด) ที่พวกเขาใช้
ลเป็นคุณสมบัติที่สะดวกยิ่งขึ้น

เพื่อกำหนดจุดสูงสุด
ลคุณต้องใช้อัลกอริธึมที่รู้จักกันดีในการคำนวณค่าสุดขีดของฟังก์ชัน:

ในกรณีที่ความหนาแน่นของความน่าจะเป็นขึ้นอยู่กับพารามิเตอร์ที่ไม่รู้จักสองตัว -  1 และ  2 จุดวิกฤติจะถูกพบโดยการแก้ระบบสมการ:

ดังนั้น ตามวิธีความน่าจะเป็นสูงสุด เป็นการประมาณค่าของพารามิเตอร์ที่ไม่รู้จัก  ค่า*ถูกนำมาใช้ที่
การกระจายตัวอย่าง x 1 ,x 2 ,…,x nขีดสุด.

ภารกิจที่ 8ให้เราหาค่าประมาณโดยใช้วิธีความน่าจะเป็นสูงสุด เพื่อความน่าจะเป็น พีในโครงการของแบร์นูลลี

มาดำเนินการกัน nการทดลองซ้ำโดยอิสระและวัดจำนวนความสำเร็จที่เราระบุ ม. ตามสูตรของแบร์นูลลี ความน่าจะเป็นที่จะมี มความสำเร็จจาก n–– คือฟังก์ชันความน่าจะเป็นของ DSV

สารละลาย : มาสร้างฟังก์ชันความน่าจะเป็นกันดีกว่า
.

ตามวิธีความน่าจะเป็นสูงสุด เราจะพบค่าดังกล่าว พีซึ่งจะขยายให้สูงสุด ลและด้วย ln ล.

จากนั้นหาลอการิทึม ล, เรามี:

อนุพันธ์ของฟังก์ชัน ln ลโดย พีดูเหมือน
และที่จุดสุดขั้วจะเท่ากับศูนย์ ดังนั้นการแก้สมการ
, เรามี
.

ลองตรวจสอบเครื่องหมายของอนุพันธ์อันดับสองกัน
ที่จุดผลลัพธ์:

. เพราะ
สำหรับค่าใด ๆ ของอาร์กิวเมนต์ตามด้วยค่าที่พบ พีมีจุดสูงสุด

วิธี, – ประมาณการที่ดีที่สุดสำหรับ
.

ดังนั้น ตามวิธีความน่าจะเป็นสูงสุด การประมาณความน่าจะเป็น พี เหตุการณ์ต่างๆ กในแบบแผนของแบร์นูลลี จะใช้ความถี่สัมพัทธ์ของเหตุการณ์นี้ .

ถ้ายกตัวอย่าง x 1 , x 2 ,…, x nถูกดึงมาจากประชากรที่มีการกระจายแบบปกติ จากนั้นค่าประมาณสำหรับความคาดหวังและความแปรปรวนทางคณิตศาสตร์โดยวิธีความน่าจะเป็นสูงสุดจะมีรูปแบบ:

ค่าที่พบตรงกับค่าประมาณของพารามิเตอร์เหล่านี้ที่ได้จากวิธีช่วงเวลา เพราะ เนื่องจากการกระจายตัวถูกเลื่อน จะต้องคูณด้วยการแก้ไข Bessel แล้วเธอก็จะดูเหมือน
ซึ่งตรงกับความแปรปรวนตัวอย่าง

งาน 9 . ให้แจกแจงแบบปัวซง
อยู่ที่ไหน ม= x ฉันเรามี
. ให้เราค้นหาค่าประมาณของพารามิเตอร์ที่ไม่รู้จักโดยใช้วิธีความน่าจะเป็นสูงสุด  .

สารละลาย :

โดยการสร้างฟังก์ชันความน่าจะเป็น ล และลอการิทึมของมัน ln ล. เรามี:

ลองหาอนุพันธ์ของ ln ล:
และแก้สมการ
. ผลการประมาณค่าของพารามิเตอร์การกระจาย  จะอยู่ในรูปแบบ:
แล้ว
เพราะ ที่
อนุพันธ์ย่อยที่สอง
นี่คือจุดสูงสุด ดังนั้น ค่าเฉลี่ยตัวอย่างสามารถนำมาเป็นค่าประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์ ï สำหรับการแจกแจงแบบปัวซง

สามารถตรวจสอบได้ว่าการแจกแจงแบบเอ็กซ์โปเนนเชียล
ฟังก์ชันความน่าจะเป็นสำหรับค่าตัวอย่าง x 1 , x 2 , …, x nมีรูปแบบ:

.

ค่าประมาณของพารามิเตอร์การกระจาย สำหรับการแจกแจงแบบเอ็กซ์โปเนนเชียลเท่ากับ:
.

ข้อดีของวิธีความน่าจะเป็นสูงสุดคือความสามารถในการได้ค่าประมาณ "ดี" ที่มีคุณสมบัติต่างๆ เช่น ความสม่ำเสมอ ภาวะปกติของเส้นกำกับ และประสิทธิภาพสำหรับตัวอย่างขนาดใหญ่ภายใต้สภาวะทั่วไปส่วนใหญ่

ข้อเสียเปรียบหลักของวิธีนี้คือความซับซ้อนในการแก้สมการความน่าจะเป็น รวมถึงความจริงที่ว่ากฎการกระจายที่วิเคราะห์แล้วนั้นไม่เป็นที่รู้จักเสมอไป

นอกเหนือจากวิธีการของโมเมนต์ซึ่งอธิบายไว้ในย่อหน้าก่อนหน้าแล้ว ยังมีวิธีอื่นๆ สำหรับการประมาณค่าจุดของพารามิเตอร์การกระจายที่ไม่รู้จัก ซึ่งรวมถึงวิธีความน่าจะเป็นสูงสุดที่เสนอโดย R. Fisher

ก. ตัวแปรสุ่มแบบไม่ต่อเนื่องอนุญาต เอ็กซ์ - ตัวแปรสุ่มแบบไม่ต่อเนื่องซึ่งส่งผลให้ n การทดสอบใช้ค่า เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป . ให้เราถือว่ารูปแบบของกฎการกระจายปริมาณ เอ็กซ์ ระบุ แต่ไม่ทราบพารามิเตอร์ θ ซึ่งกำหนดกฎหมายนี้ เราจำเป็นต้องหาค่าประมาณจุดของมัน

ให้เราแสดงความน่าจะเป็นที่ค่าดังกล่าวเป็นผลจากการทดสอบ เอ็กซ์ จะเอาค่า เอ็กซ์ ฉัน (ฉัน= 1 , 2, . . . , n), ผ่าน พี(เอ็กซ์ ฉัน ; θ ).

ฟังก์ชันความน่าจะเป็นของตัวแปรสุ่มแบบไม่ต่อเนื่องอันดับเอ็กซ์ เรียกใช้ฟังก์ชันอาร์กิวเมนต์ θ :

ล (เอ็กซ์ 1 , เอ็กซ์ 2 , ..., เอ็กซ์ ป ; θ ) = พี (เอ็กซ์ 1 ; θ ) ร(เอ็กซ์ 2 ; θ ) . . . พี (เอ็กซ์ n ; θ ),

ที่ไหน เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป - ตัวเลขคงที่

เป็นการประมาณค่าจุดของพารามิเตอร์ θ เอาความหมายนี้ไป θ * = θ * (เอ็กซ์ 1 , เอ็กซ์ 2 , ..., เอ็กซ์ ป), ซึ่งฟังก์ชันความน่าจะเป็นถึงค่าสูงสุด การประเมิน θ * เรียก การประมาณความน่าจะเป็นสูงสุด

ฟังก์ชั่น ลและ ln ลไปถึงค่าสูงสุดที่เท่ากัน θ ดังนั้น แทนที่จะหาค่าสูงสุดของฟังก์ชัน ล ค้นหา (ซึ่งสะดวกกว่า) ค่าสูงสุดของฟังก์ชัน ln ล.

ฟังก์ชันบันทึกความน่าจะเป็นเรียกใช้ฟังก์ชัน ln ล. ตามที่ทราบกันดีว่าจุดสูงสุดของฟังก์ชัน ln ลการโต้แย้ง θ คุณสามารถค้นหาได้ เช่น:

3) ค้นหาอนุพันธ์อันดับสอง ถ้าอนุพันธ์อันดับสองที่ θ = θ * เป็นลบ ดังนั้น θ * - จุดสูงสุด

จุดสูงสุดที่พบ θ * ถือเป็นค่าประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์ θ .

วิธีความน่าจะเป็นสูงสุดมีข้อดีหลายประการ กล่าวโดยทั่วไปแล้ว การประมาณความน่าจะเป็นสูงสุดมีความสม่ำเสมอ (แต่สามารถมีความลำเอียงได้) กระจายแบบไม่แสดงสัญญาณตามปกติ (สำหรับค่าขนาดใหญ่ n ประมาณปกติ) และมีความแปรปรวนน้อยที่สุดเมื่อเปรียบเทียบกับการประมาณค่าปกติแบบไม่แสดงสัญญาณอื่นๆ ถ้าเป็นพารามิเตอร์โดยประมาณ θ มีการประเมินที่มีประสิทธิภาพ θ * สมการความน่าจะเป็นจะมีคำตอบเฉพาะ θ *; วิธีการนี้ทำให้การใช้ข้อมูลตัวอย่างเกี่ยวกับพารามิเตอร์ที่กำลังประมาณได้ครบถ้วนที่สุด ดังนั้นจึงมีประโยชน์อย่างยิ่งในกรณีของตัวอย่างขนาดเล็ก

ข้อเสียของวิธีนี้คือมักต้องใช้การคำนวณที่ซับซ้อน

หมายเหตุ 1.ฟังก์ชันความน่าจะเป็น - ฟังก์ชันของการโต้แย้ง θ ; การประมาณความน่าจะเป็นสูงสุด - ฟังก์ชันของข้อโต้แย้งอิสระ เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป .

โน้ต 2.การประมาณความน่าจะเป็นสูงสุดไม่ตรงกับการประมาณค่าที่พบโดยวิธีโมเมนต์เสมอไป

ตัวอย่างที่ 1λ การกระจายปัวซอง

ที่ไหน ม- จำนวนการทดสอบที่ดำเนินการ x ฉัน - จำนวนครั้งของเหตุการณ์ที่เกิดขึ้นใน ฉัน-ม ( ฉัน=1, 2, ..., n) ประสบการณ์ (ประสบการณ์ประกอบด้วย ตการทดสอบ)

สารละลาย.ลองสร้างฟังก์ชันความน่าจะเป็น โดยคำนึงถึงสิ่งนั้น θ= λ :

ล = พี (เอ็กซ์ 1 ; λ :) พี (เอ็กซ์ 2 ; λ :) . . .พี (เอ็กซ์ n ; λ :),=

.

มาเขียนสมการความน่าจะเป็นซึ่งเราถืออนุพันธ์อันดับหนึ่งให้เป็นศูนย์:

มาหาจุดวิกฤติที่เราแก้สมการผลลัพธ์กัน λ:

มาหาอนุพันธ์อันดับสองด้วยความเคารพ แล:

จะเห็นได้ง่ายว่าสำหรับ แล = อนุพันธ์อันดับสองนั้นเป็นลบ ดังนั้น แล = คือจุดสูงสุด ดังนั้น ในการประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์ แล ของการแจกแจงแบบปัวซอง เราจึงต้องหาค่าเฉลี่ยตัวอย่าง แล* =

ตัวอย่างที่ 2ค้นหาค่าประมาณพารามิเตอร์โดยใช้วิธีความน่าจะเป็นสูงสุด พี การแจกแจงแบบทวินาม

ถ้าเข้า n 1 เหตุการณ์ทดสอบอิสระ กปรากฏขึ้น เอ็กซ์ 1 = ม 1 ครั้ง และ ป 2 กิจกรรมการทดสอบอิสระ กปรากฏขึ้น เอ็กซ์ 2 = ต 2 ครั้งหนึ่ง.

สารละลาย.ให้เราสร้างฟังก์ชันความน่าจะเป็นโดยคำนึงถึงสิ่งนั้น θ = พี:

มาหาฟังก์ชัน log-likelihood:

ลองหาอนุพันธ์อันดับแรกเทียบกับ ร:

.

.

มาหาจุดวิกฤติที่เราแก้สมการผลลัพธ์กัน พี:

ลองหาอนุพันธ์อันดับสองเทียบกับ พี:

.

มันง่ายที่จะตรวจสอบได้ว่าเมื่อไร อนุพันธ์อันดับสองเป็นลบ เพราะฉะนั้น, - จุดสูงสุดและดังนั้นจึงต้องถือเป็นการประมาณความน่าจะเป็นสูงสุดของความน่าจะเป็นที่ไม่ทราบ พี การแจกแจงแบบทวินาม:

ข. ตัวแปรสุ่มต่อเนื่องอนุญาต เอ็กซ์ - ตัวแปรสุ่มต่อเนื่องซึ่งส่งผลให้ n การทดสอบใช้ค่า เอ็กซ์ 1 ,เอ็กซ์ 2 , ..., x ป . ให้เราสมมติว่าประเภทของการกระจายความหนาแน่น ฉ(x) ระบุ แต่ไม่ทราบพารามิเตอร์ θ ซึ่งกำหนดฟังก์ชันนี้

ฟังก์ชันความน่าจะเป็นของตัวแปรสุ่มต่อเนื่องอันดับเอ็กซ์ เรียกใช้ฟังก์ชันอาร์กิวเมนต์ θ :

ล (เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป ; θ ) = ฉ (เอ็กซ์ 1 ; θ ) ฉ (เอ็กซ์ 2 ; θ ) . . . ฉ (x n ; θ ),

ที่ไหน เอ็กซ์ 1 ,เอ็กซ์ 2 , ..., x ป - ตัวเลขคงที่

การประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์การกระจายที่ไม่รู้จักของตัวแปรสุ่มแบบต่อเนื่องจะหาได้ในลักษณะเดียวกับในกรณีของตัวแปรแยก

ตัวอย่างที่ 3ค้นหาด้วยวิธีความน่าจะเป็นสูงสุดในการประมาณค่าพารามิเตอร์ แล การแจกแจงแบบเอกซ์โปเนนเชียล

(0< เอ็กซ์< ∞),

ถ้าเป็นผล n ทดสอบตัวแปรสุ่ม เอ็กซ์, กระจายตามกฎเลขชี้กำลังเอาค่าต่างๆ เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป .

สารละลาย.ให้เราสร้างฟังก์ชันความน่าจะเป็นโดยคำนึงถึงสิ่งนั้น θ= λ:

ล= ฉ (เอ็กซ์ 1 ; λ ) ฉ (เอ็กซ์ 2 ; λ ) . . . ฉ (เอ็กซ์ n ; λ ) =.

มาหาฟังก์ชัน log-likelihood:

มาหาอนุพันธ์อันดับหนึ่งด้วยความเคารพ แล:

มาเขียนสมการความน่าจะเป็นซึ่งเราถืออนุพันธ์อันดับหนึ่งให้เป็นศูนย์:

มาหาจุดวิกฤติที่เราแก้สมการผลลัพธ์ของ แล:

ลองหาอนุพันธ์อันดับสองเทียบกับ แล :

จะสังเกตได้ง่ายว่าสำหรับ แล = 1/ อนุพันธ์อันดับสองเป็นลบ ดังนั้น แล = 1/ คือจุดสูงสุด ดังนั้น ในการประมาณความน่าจะเป็นสูงสุดของพารามิเตอร์ γ ของการแจกแจงแบบเอกซ์โปเนนเชียล เราจึงต้องหาส่วนกลับของค่าเฉลี่ยตัวอย่าง: แล *= 1/

ความคิดเห็นถ้ากระจายความหนาแน่น ฉ(เอ็กซ์) ตัวแปรสุ่มต่อเนื่อง เอ็กซ์กำหนดโดยพารามิเตอร์ที่ไม่รู้จักสองตัว θ 1 และ θ 2 ดังนั้นฟังก์ชันความน่าจะเป็นคือฟังก์ชันของอาร์กิวเมนต์อิสระสองตัว θ 1 และ θ 2:

ล= ฉ (เอ็กซ์ 1 ; θ 1 , θ 2) ฉ (เอ็กซ์ 2 ; θ 1 , θ 2) . . . ฉ (เอ็กซ์ n ; θ 1 , θ 2),

ที่ไหน เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป - ค่าที่สังเกตได้ เอ็กซ์. จากนั้น ค้นหาฟังก์ชันความน่าจะเป็นแบบลอการิทึม และเขียนและแก้ระบบเพื่อหาค่าสูงสุด

ตัวอย่างที่ 4ค้นหาการประมาณค่าพารามิเตอร์โดยใช้วิธีความน่าจะเป็นสูงสุด กและ σ การกระจายตัวแบบปกติ

ถ้าเป็นผล nค่าทดสอบ เอ็กซ์ เอาค่านิยม เอ็กซ์ 1 ,เอ็กซ์ 2 , ...,เอ็กซ์ ป .

สารละลาย.ให้เราสร้างฟังก์ชันความน่าจะเป็นโดยคำนึงถึงสิ่งนั้น θ 1 =กและ θ 2 = σ

.

มาหาฟังก์ชัน log-likelihood:

.

ลองหาอนุพันธ์ย่อยเทียบกับ กและตาม σ:

โดยการเทียบอนุพันธ์ย่อยให้เป็นศูนย์และแก้ระบบผลลัพธ์ของสมการสองสมการ กและ σ 2 เราได้:

ดังนั้น การประมาณความเป็นไปได้สูงสุดที่ต้องการคือ: ก* = ;σ*= . โปรดทราบว่าการประมาณการครั้งแรกนั้นไม่มีอคติ และการประมาณการครั้งที่สองนั้นมีความเอนเอียง