الإحصاء البيزي (Bayesian statistics)

الإحصاء البيزي والذي سمي نسبة الى العالم الإحصائي الأنجليزي توماس بيز  (Thomas Bayes) ، الذي عاش خلال الفترة (1701-1761م). هو من قام بصياغة حالة خاصة من النظرية المشهورة والتي تحمل إسمه وهي نظرية بيز ( Bayes’ theorem) رغم أنها لم تنشر في حياته وإنما نشرت بعد وفاته بواسطة ريتشارد برايس (Richard Price) . الاستدلال البيزي هو طريقة استدلال إحصائي تستخدم نظرية بيز لبناء النماذج الإحصائية وإستنتاج الأستدلالات الإحصائية حول معالِم (parameters) العينة أو المجتمع الإحصائي. نظرية بيز تكتب كما يلي:

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

وهي تعني إحتمال وقوع الحادث $A$ بشرط وقوع الحادث $B$. بإستخدام نظرية بيز نستطيع كتابة نموج بيز لمجموعة من المتغيرات العشوائية $x_1,x_2,\dots ,x_n$ والتي تتبع توزيع إحتمالي دالتة الإحتمالية $f(x_i;\theta )$. حيث أن $\theta$ معلمة أو مجموعة معالم (parameters). عندئذ يمكن كتابة النموذج البيزي والذي يمثل بالتوزيع اللاحق (posterior distribution) كما يلي:

$$p(\theta |\mathbf{x})=\frac{L(\mathbf{x}|\theta )p(\theta )}{{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}L(x|\theta )p(\theta )d\theta }$$

حيث أن $p(\theta |\mathbf{x})$ هو التوزيع اللاحق (posterior distribution) و $p(\theta )$ هو التوزيع الأولي (prior distribution) و $L(\mathbf{x}|\theta )$ هي دالة الإحتمال  (likelihood function) أما المقدار الموجود في المقام :

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}L(x|\theta )p(\theta )d\theta$$

فهو ثابت المعايرة (Normalising constant).

التوزيع الأولي (prior distribution) لايعتمد على البيانات وينبغي تحديدة قبل مشاهدة البيانات وهو يمثل مانعتقده حول معلمة معينة وأن يحدد بعناية لتجنب التأثير الشخصي على النتائج (subjective) فإختلاف التوزيع الأولي يؤدي لإختلاف الإستدلالات الإحصائية. في بعض الأحيان قد نشعر بأنه ليس لدينا أي معلومات مسبقة حول معلمة ما، في مثل هذه الحالات يجب أن نستخدم توزيع أولي يعكس جهلنا حول هذه المعلمة. من اهم الملاحظات أنه في الإحصاء البيزي، المعلمة (parameter) ليس قيم واحدة كما في الإحصائ التقليدي وإنما تعامل كمقدار عشوائي يتبع توزيعاً محددا. حيث يتم حساب الإستدلالات الإحصائية حول هذه المعلمة من هذا التوزيع مثل المتوسط والوسيط وفترات الثقة. لبناء النموذج البيزي هناك اربع خطوات وهي:

• تحديد التوزيع الإحتمالي للبيانات وصياغة دالة الإحتمال.
• تحديد التوزيع الأولي.
• حساب التوزيع اللاحق.
• تحديد الإستدلالات الإحصائية من التوزيع اللاحق مثل المتوسط اللاحق (posterior mean)، الوسيط اللاحق (posterior mean) والفترات الموثوفة (credible intervals) وغيرها.

حيث يمكن حساب التوزيع اللاحق بعدة طرق كما في الشكل التالي:

مثال(1): نفرض أن لدينا عينة عشوائية $x_1,x_2,\dots ,x_n$ تتبع توزيع ذات الحدين (binomial distribution)، حيث تعطى دالة الكتلة الإحتمالية (probability mass function) كما يلي:

$$f(x_i;\theta )=\left(\begin{array}{c}{N}_i\\ x_i\end{array}\right){\theta }^{x_i}{(1-\theta )}^{N_i-x_i}$$

نفرض أن التوزيع الأولي (prior distribution) للبارامتر الوحيد $\theta$ هو توزيع بيتا (beta distribution) والذي يعطى من خلال دالة الكثافة الإحتمالية (probability density function) التالية:

$$p\left(\theta \right)=\frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }\left(a\right)\mathrm{\Gamma }\left(b\right)}{\theta }^{a-1}{(1-\theta )}^{b-1},0\le \theta \le 1$$

بالتالي التوزيع اللاحق (posterior density function) يمكن حسابة كما يلي:

$$\begin{array}{rcl}p\left(\theta |\mathbf{x}\right)& \propto & L(\mathbf{x}\mathbf{|}\lambda )p\left(\lambda \right)\\ & \propto & {\theta }^{{\sum }_{i=1}^n{x}_i}{(1-\theta )}^{{\sum }_{i=1}^n{N}_i-{\sum }_{i=1}^n{x}_i}\times {\theta }^{a-1}{(1-\theta )}^{b-1}\\ & \propto & {\theta }^{a-1-{\sum }_{i=1}^n{x}_i}{(1-\theta )}^{b-1+{\sum }_{i=1}^n{N}_i-{\sum }_{i=1}^n{x}_i}\\ & \propto & {\theta }^{(a+{\sum }_{i=1}^n{x}_i)-1}{(1-\theta )}^{(b+{\sum }_{i=1}^n{N}_i-{\sum }_{i=1}^n{x}_i)-1}\end{array}$$

وهذا يمثل توزيع بيتا النسبي (بدون ثابت المعايرة – normalising constant)، بالتالي:

$$\theta |\mathbf{x}\sim Beta(a+{\sum }_{i=1}^n{x}_i,b+{\sum }_{i=1}^n{N}_i-{\sum }_{i=1}^n{x}_i)$$

بالتالي فإن حساب متوسط (posterior mean) التوزيع اللاحق  تعطى كما يلي:

$$E\left(\theta |\mathbf{x}\right)=\frac{a+{\sum }_{i=1}^n{x}_i}{a+b+{\sum }_{i=1}^n{N}_i}$$

كذلك وتباينه (posterior variance) هو :

$$Var\left(\theta |\mathbf{x}\right)=\frac{(a+{\sum }_{i=1}^n{x}_i)(b+{\sum }_{i=1}^n{N}_i-{\sum }_{i=1}^n{x}_i)}{{(a+b+{\sum }_{i=1}^n{N}_i)}^2(1+a+b+{\sum }_{i=1}^n{N}_i)}.$$

مثال(2): نفرض أن لدينا عينة عشوائية $x_1,x_2,\dots ,x_n$ تتبع توزيع بواسون (Poisson distribution) والذي يمثل بدالة الكتلة الإحتمالية (Probablity mass function) التالية:

$$f(x_i;\lambda )=\frac{{\lambda }^{x_i}{e}^{-\lambda }}{x_i!}$$

نفرض أن التوزيع الأولي (prior distribution) لـ $\lambda$ هو توزيع جاما (gamma distribution) والذي يمثل بالدالة:

$$p\left(\lambda \right)=\frac{b^a}{\mathrm{\Gamma }\left(a\right)}{\lambda }^{a-1}{e}^{-b\lambda }$$

بالتالي، يمكن كتابة التوزيع اللاحق (posterior distribution) كما يلي:

$$\begin{array}{rcl}p\left(\lambda |x\right)& \propto & L(x|\lambda )p\left(\lambda \right)\\ & \propto & {\lambda }^{{\sum }_{i=1}^n{x}_i}{e}^{-n\lambda }\times {\lambda }^{a-1}{e}^{-b\lambda }\\ & \propto & {\lambda }^{a-1+{\sum }_{i=1}^n{x}_i}{e}^{-n\lambda -b\lambda }\\ & \propto & {\lambda }^{(a+{\sum }_{i=1}^n{x}_i)-1}{e}^{-(n+b)\lambda }\end{array}$$

والذي يمكن كتابته كتوزيع جاما كما يلي:

$$\lambda |\mathbf{x}\sim Gamma(a+{\sum }_{i=1}^n{x}_i,n+b)$$

وبالتالي متوسط التوزيع اللاحق وتباينة تعطى من خلال:

$$E\left(\lambda |x\right)=\frac{a+{\sum }_{i=1}^n{x}_i}{n+b}$$

$$Var\left(\lambda |x\right)=\frac{a+{\sum }_{i=1}^n{x}_i}{{(n+b)}^2}.$$