تقدير الإحتمال الأقصى (Maximum Likelihood)

نفرض أن $x_1,x_2,\dots ,x_n$ عينة عشوائية تتبع توزيع برنولي ( Bernoulli distribution)، حيث أن دالة الكثافة الإحتمالية (the probability density function) يمكن كتابتها كما يلي:

$$f(x_i;p)=p^{x_i}{(1-p)}^{1-x_i}$$

بالتالي دالة الإحتمال (Likelihood function) يمكن كتابتها كما يلي:

$$\begin{array}{rcl}L\left(\mathbf{x}|p\right)& =& \prod _{i=1}^n{p}^{x_i}{(1-p)}^{1-x_i}\\ & =& p^{{\sum }_{i=1}^n{x}_i}{(1-p)}^{n-{\sum }_{i=1}^n{x}_i}\end{array}$$

كذلك، بأخد اللوغاريم الطبيعي لدالة الإحتمال، نجد أن:

$$\begin{array}{rcl}l\left(\mathbf{x}|p\right)& =& \log \left(p^{{\sum }_{i=1}^n{x}_i}{(1-p)}^{n-{\sum }_{i=1}^n{x}_i}\right)\\ & =& \left({\sum }_{i=1}^n{x}_i\right)\log \left(p\right)+(n-{\sum }_{i=1}^n{x}_i)\log (1-p)\end{array}$$

الأن، نشتق $l\left(\mathbf{x}|p\right)$ بالنسبة لـ $p$

$$\frac{\partial l\left(\mathbf{x}|p\right)}{\partial p}=\frac{1}{p}{\sum }_{i=1}^n{x}_i-\frac{1}{1-p}(n-{\sum }_{i=1}^n{x}_i)$$

نضع $\frac{\partial l\left(\mathbf{x}|p\right)}{\partial p}$ تساوي صفر

$$\begin{array}{rcl}\frac{1}{p}{\sum }_{i=1}^n{x}_i-\frac{1}{1-p}(n-{\sum }_{i=1}^n{x}_i)& =& 0\\ \frac{1}{p}{\sum }_{i=1}^n{x}_i-\frac{n}{1-p}+\frac{1}{1-p}{\sum }_{i=1}^n{x}_i& =& 0\end{array}$$

نضرب الطرفين بـ $p(1-p)$

$$\begin{array}{rcl}(1-p){\sum }_{i=1}^n{x}_i-np+p{\sum }_{i=1}^n{x}_i& =& 0\\ -np+{\sum }_{i=1}^n{x}_i& =& 0\end{array}$$

وبالتالي:

$$\begin{array}{rcl}p& =& \frac{1}{n}{\sum }_{i=1}^n{x}_i\\ & =& \overline{x}\end{array}$$

أخيراً، تقدير الإحتمال الأرجح (maximum likelihood estimator) يساوي:

$$\hat{p}=\overline{x}$$