概率论与数理统计

概率论与数理统计复习

第一章 概率论的基本概念

一.基本概念

随机试验E:(1)可以在相同的条件下重复地进行;(2)每次试验的可能结果不止一个,并且能事先明确试验的所有可能结果;(3)进行一次试验之前不能确定哪一个结果会出现.

样本空间S: E的所有可能结果组成的集合. 样本点(基本事件):E的每个结果. 随机事件(事件):样本空间S的子集.

必然事件(S):每次试验中一定发生的事件. 不可能事件():每次试验中一定不会发生的事件. 二. 事件间的关系和运算

1.AB(事件B包含事件A )事件A发生必然导致事件B发生. 2.A∪B(和事件)事件A与B至少有一个发生. 3. A∩B=AB(积事件)事件A与B同时发生. 4. A-B(差事件)事件A发生而B不发生.

5. AB= (A与B互不相容或互斥)事件A与B不能同时发生.

6. AB=且A∪B=S (A与B互为逆事件或对立事件)表示一次试验中A与B必有一个且仅有一个发生. B=A, A=B . 运算规则 交换律 结合律 分配律 德•摩根律

ABAB ABAB

三. 概率的定义与性质

1.定义 对于E的每一事件A赋予一个实数,记为P(A),称为事件A的概率. (1)非负性 P(A)≥0 ; (2)归一性或规范性 P(S)=1 ;

(3)可列可加性 对于两两互不相容的事件A1,A2,…(A iAj=φ, i≠j, i,j=1,2,…), P(A1∪A2∪…)=P( A1)+P(A2)+… 2.性质

(1) P() = 0 , 注意: A为不可能事件 P(A)=0 .

(2)有限可加性 对于n个两两互不相容的事件A1,A2,…,A n ,

P(A1∪A2∪…∪A n)=P(A1)+P(A2)+…+P(A n) (有限可加性与可列可加性合称加法定理) (3)若AB, 则P(A)≤P(B), P(B-A)=P(B)-P(A) . (4)对于任一事件A, P(A)≤1, P(A)=1-P(A) . (5)广义加法定理 对于任意二事件A,B ,P(A∪B)=P(A)+P(B)-P(AB) . 对于任意n个事件A1,A2,…,A n

PA1A2AnPAii1n1ijnPAiAj1ijknPAiAjAk

…+(-1)n-1P(A1A2…A n)

四.等可能(古典)概型

1.定义 如果试验E满足:(1)样本空间的元素只有有限个,即S={e1,e2,…,e n};(2)每一个基本事件的概率相等,即P(e1)=P(e2)=…= P(e n ).则称试验E所对应的概率模型为等可能(古典)概型.

2.计算公式 P(A)=k / n 其中k是A中包含的基本事件数, n是S中包含的基本事件总数. 五.条件概率

1.定义 事件A发生的条件下事件B发生的条件概率P(B|A)=P(AB) / P(A) ( P(A)>0). 2.乘法定理 P(AB)=P(A) P (B|A) (P(A)>0); P(AB)=P(B) P (A|B) (P(B)>0).

P(A1A2…A n)=P(A1)P(A2|A1)P(A3|A1A2)…P(A n|A1A2…A n-1) (n≥2, P(A1A2…A n-1) > 0) 3. B1,B2,…,B n是样本空间S的一个划分(BiBj=φ,i≠j,i,j=1,2,…,n, B1∪B2∪…∪B n=S) ,则

当P(B i)>0时,有全概率公式 P(A)=

i1PBiPABi

n 1

PBiPABiPABi当P(A)>0, P(B i)>0时,有贝叶斯公式P (Bi|A)= . nPAPBiPABii1六.事件的独立性

1.两个事件A,B,满足P(AB) = P(A) P(B)时,称A,B为相互独立的事件. (1)两个事件A,B相互独立 P(B)= P (B|A) .

(2)若A与B,A与B,A与B, ,A与B中有一对相互独立,则另外三对也相互独立.

2.三个事件A,B,C满足P(AB) =P(A) P(B), P(AC)= P(A) P(C), P(BC)= P(B) P(C),称A,B,C三事件两两相互独立. 若再满足P(ABC) =P(A) P(B) P(C),则称A,B,C三事件相互独立.

3.n个事件A1,A2,…,A n,如果对任意k (1PAiAiAiPAiPAiPAi12k12,则称这n个事件A,A,…,A相互独立.

k12 n

第二章 随机变量及其概率分布

一.随机变量及其分布函数

1.在随机试验E的样本空间S={e}上定义的单值实值函数X=X (e)称为随机变量. 2.随机变量X的分布函数F(x)=P{X≤x} , x是任意实数. 其性质为:

(1)0≤F(x)≤1 ,F(-∞)=0,F(∞)=1. (2)F(x)单调不减,即若x11.离散型随机变量的分布律 P{X= x k}= p k (k=1,2,…) 也可以列表表示. 其性质为:

(1)非负性 0≤Pk≤1 ; (2)归一性 2.离散型随机变量的分布函数 F(x)=

k1Xkxpk1 .

为阶梯函数,它在x=x k (k=1,2,…)处具有跳跃点,其跳跃值为p k=P{X=x k} .

Pk3.三种重要的离散型随机变量的分布

(1)X~(0-1)分布 P{X=1}= p ,P{X=0}=1–p (0nknk(2)X~b(n,p)参数为n,p的二项分布P{X=k}=(k=0,1,2,…,n) (01.定义 如果随机变量X的分布函数F(x)可以表示成某一非负函数f(x)的积分F(x)=续型随机变量,其中f (x)称为X的概率密度(函数).

2.概率密度的性质

(1)非负性 f(x)≥0 ; (2)归一性 x(3) P{x 10)

xftdt,-∞< x <∞,则称X为连

f(x)dx=1 ;

f(x)dx ; (4)若f (x)在点x处连续,则f (x)=F/ (x) .

注意：连续型随机变量X取任一指定实数值a的概率为零,即P{X= a}=0 . 3.三种重要的连续型随机变量的分布

2

(1)X～U (a,b) 区间(a,b)上的均匀分布

1axbba . f(x)

其它0(2)X服从参数为的指数分布.

1x/若x0efx (>0).

若x00(3)X~N (,2 )参数为,的正态分布

f(x)12(x)22e2 -0.

特别, =0, 2 =1时,称X服从标准正态分布,记为X~N (0,1),其概率密度

(x)12x2e2 , 标准正态分布函数

1(x)2t2xe2dt , (-x)=1-Φ(x) .

若X～N ((,2), 则Z=

X~N (0,1), P{x1x2)-Φ(

x1).

若P{Z>z }= P{Z<-z }= P{|Z|>z /2}= ,则点z ,-z , z / 2分别称为标准正态分布的上,下,双侧分位点. 注意：(z )=1- , z 1- = -z .

四.随机变量X的函数Y= g (X)的分布 1.离散型随机变量的函数 X p k Y=g(X) x 1 x2 … x k … p 1 p2 … p k … g(x1) g(x2) … g(x k) … 若g(x k) (k=1,2,…)的值全不相等,则由上表立得Y=g(X)的分布律.

若g(x k) (k=1,2,…)的值有相等的,则应将相等的值的概率相加,才能得到Y=g(X)的分布律. 2.连续型随机变量的函数

若X的概率密度为fX(x),则求其函数Y=g(X)的概率密度fY(y)常用两种方法：

(1)分布函数法 先求Y的分布函数FY(y)=P{Y≤y}=P{g(X)≤y}=yfXxdx

kk其中Δk(y)是与g(X)≤y对应的X的可能值x所在的区间(可能不只一个),然后对y求导即得fY(y)=FY /(y) .

(2)公式法 若g(x)处处可导,且恒有g /(x)>0 (或g / (x)<0 ),则Y=g (X)是连续型随机变量,其概率密度为

fXhyhyy fYy其它0

其中h(y)是g(x)的反函数 , = min (g (-),g ()) = max (g (-),g ()) .

如果f (x)在有限区间[a,b]以外等于零,则 = min (g (a),g (b)) = max (g (a),g (b)) .

第三章 二维随机变量及其概率分布

一.二维随机变量与联合分布函数

1.定义 若X和Y是定义在样本空间S上的两个随机变量,则由它们所组成的向量(X,Y)称为二维随机向量或二维随机变量. 对任意实数x,y,二元函数F(x,y)=P{X≤x,Y≤y}称为(X,Y)的(X和Y的联合)分布函数. 2.分布函数的性质

(1)F(x,y)分别关于x和y单调不减.

(2)0≤F(x,y)≤1 , F(x,- )=0, F(-,y)=0, F(-,-)=0, F(,)=1 .

(3) F(x,y)关于每个变量都是右连续的,即 F(x+0,y)= F(x,y), F(x,y+0)= F(x,y) . (4)对于任意实数x 1P{x 1二.二维离散型随机变量及其联合分布律

1.定义 若随机变量(X,Y)只能取有限对或可列无限多对值(x i,y j) (i ,j =1,2,… )称(X,Y)为二维离散型随机变量.并称P{X= x

3

i,Y= y j }= p i j为(X,Y)的联合分布律.也可列表表示.

2.性质 (1)非负性 0≤p i j≤1 .

(2)归一性

pij1 .

ij3. (X,Y)的(X和Y的联合)分布函数F(x,y)=

三.二维连续型随机变量及其联合概率密度

xixyjypij

yx1.定义 如果存在非负的函数f (x,y),使对任意的x和y,有F(x,y)=f(u,v)dudv

则称(X,Y)为二维连续型随机变量,称f(x,y)为(X,Y)的(X和Y的联合)概率密度. 2.性质 (1)非负性 f (x,y)≥0 . (2)归一性 f(x,y)dxdy1 .

2F(x,y)(3)若f (x,y)在点(x,y)连续,则f(x,y)

xy(4)若G为xoy平面上一个区域,则P{(x,y)G}f(x,y)dxdy.

G四.边缘分布

1. (X,Y)关于X的边缘分布函数 FX (x) = P{X≤x , Y<}= F (x , ) . (X,Y)关于Y的边缘分布函数 FY (y) = P{X<, Y≤y}= F (,y) 2.二维离散型随机变量(X,Y)

关于X的边缘分布律 P{X= x i }=

j1pij= p i

·

( i =1,2,…) 归一性

i1pi1 .

关于Y的边缘分布律 P{Y= y j }= 3.二维连续型随机变量(X,Y)

i1pij= p

·j

( j =1,2,…) 归一性

j1pj1 .

关于X的边缘概率密度f X (x)=关于Y的边缘概率密度f Y (y)=f(x,y)dy 归一性fX(x)dx1

f(x,y)dx 归一性fY(y)dy1

五.相互独立的随机变量

1.定义 若对一切实数x,y,均有F(x,y)= FX (x) FY (y) ,则称X和Y相互独立. 2.离散型随机变量X和Y相互独立p i j= p i··p·j ( i ,j =1,2,…)对一切xi,yj成立. 3.连续型随机变量X和Y相互独立f (x,y)=f X (x)f Y (y)对(X,Y)所有可能取值(x,y)都成立. 六．条件分布

1．二维离散型随机变量的条件分布

定义 设(X,Y)是二维离散型随机变量,对于固定的j,若P{Y=yj}>0,则称 P{X=x i |Y=yj}

P{Xxi,Yyj}pij为在Y= yj条件下随机变量X的条件分布律. ,P{Yyj}pj同样,对于固定的i,若P{X=xi}>0,则称

P{Y=yj|X=x i} P{Xxi,Yyj}pij,为在X=xi条件下随机变量Y 的条件分布律.

P{Xxi}pi

第四章 随机变量的数字特征

一.数学期望和方差的定义

 4

随机变量X 离散型随机变量 连续型随机变量 分布律P{X=x i}= pi ( i =1,2,…) 概率密度f (x)

数学期望(均值)E(X)

i1xipi(级数绝对收敛)



xf(x)dx(积分绝对收敛)

方差D(X)=E{[X-E(X)]}

2

i122xiE(X)pi [xE(X)]f(x)dx

=E(X2)-[E(X)]2 (级数绝对收敛) (积分绝对收敛) 函数数学期望E(Y)=E[g(X)]

i1g(xi)pi(级数绝对收敛) g(x)f(x)dx(积分绝对收敛)

标准差(X)=√D(X) . 二.数学期望与方差的性质

1. c为为任意常数时, E(c) = c , E(cX) = cE(X) , D(c) = 0 , D (cX) = c 2 D(X) . 2.X,Y为任意随机变量时, E (X±Y)=E(X)±E(Y) .

3. X与Y相互独立时, E(XY)=E(X)E(Y) , D(X±Y)=D(X)+D(Y) . 4. D(X) = 0 P{X = C}=1 ,C为常数.

三.六种重要分布的数学期望和方差 E(X) D(X)

1.X~ (0-1)分布P{X=1}= p (03.X~ ()   4.X~ U(a,b) (a+b)/2 (b-a) 2/12 5.X服从参数为的指数分布  2 6.X~ N (,2)  2 四.矩的概念

随机变量X的k阶(原点)矩E(X k ) k=1,2,… 随机变量X的k阶中心矩E{[X-E(X)] k}

随机变量X和Y的k+l阶混合矩E(X kY l) l=1,2,…

随机变量X和Y的k+l阶混合中心矩E{[X-E(X)] k [Y-E(Y)] l }

第六章 样本和抽样分布

一.基本概念

总体X即随机变量X ; 样本X1 ,X2 ,…,X n是与总体同分布且相互独立的随机变量;样本值x1 ,x2 ,…,x n为实数;n是样本容量.

统计量是指样本的不含任何未知参数的连续函数.如：

1n1n2样本均值XXi 样本方差SXiXni1n1i1 样本标准差S

21nk样本k阶矩AkXini1二.抽样分布 即统计量的分布 1.

1nk( k=1,2,…) 样本k阶中心矩Bk(XiX)( k=1,2,…)

ni1X的分布 不论总体X服从什么分布, E (X) = E(X) , D (X) = D(X) / n .

特别,若X~ N (,2 ) ,则

2

X~ N (, /n) .

2

2.分布 (1)定义 若X～N (0,1) ,则Y =

i1Xi2~ (n)自由度为n的分布.

2

2

n 5

(2)性质 ①若Y~ 2(n),则E(Y) = n , D(Y) = 2n .

②若Y1~ 2(n1) Y2~ 2(n2) ,则Y1+Y2~ 2(n1 + n2).

③若X~ N (,2 ), 则

(n1)S22~ 2(n-1),且

X与S相互独立.

2

(3)分位点 若Y~ 2(n),0<  <1 ,则满足

2222P{Y(n)}P{Y1(n)}P{(Y(n))(Y/21/2(n))}

的点(n),1(n),/2(n)和1/2(n)分别称为2分布的上、下、双侧分位点.

3. t分布

(1)定义 若X~N (0,1),Y~ (n),且X,Y相互独立,则t=(2)性质①n→∞时,t分布的极限为标准正态分布.

②X～N (,)时, ③两个正态总体

2

2

2222X~t(n)自由度为n的t分布. YnX~ t (n-1) .

Sn 相互独立的样本 样本均值 样本方差

X~ N (1,12 ) 且12=22=2 X1 ,X2 ,…,X n1 Y~ N (2,22 ) Y1 ,Y2 ,…,Y n2

X SY S

2

1

2

2

则

22(XY)(12)(n1)S(n1)S21122~ t (n1+n2-2) , 其中 Sw

11n1n22Swn1n2(3)分位点 若t ~ t (n) ,0 < <1 , 则满足

P{tt(n)}P{tt(n)}P{tt/2(n)}

的点t(n),t(n),t/2(n)分别称t分布的上、下、双侧分位点. 注意: t 1-  (n) = - t  (n).

4.F分布 (1)定义 若U~2(n1), V~ 2(n2), 且U,V 相互独立,则F =

22S1S2Un1~F(n1,n 2)自由度为(n1,n2)的F分布.

Vn2(2)性质(条件同3.(2)③)

~F(n1-1,n2-1)

2212(3)分位点 若F~ F(n1,n2) ,0<  <1,则满足

P{FF(n1,n2)}P{FF1(n1,n2)}

P{(FF/2(n1,n2))(FF1/2(n1,n2))}

的点F(n1,n2),F1(n1,n2),F/2(n1,n2)和F1/2(n1,n2)分别称为F分布的上、下、双侧分位点.

6

注意:

1F1(n1,n2).

F(n2.n1)

第七章 参数估计

一.点估计 总体X的分布中有k个待估参数1, 2,…, k.

X1 ,X2 ,…,X n是X的一个样本, x1 ,x2 ,…,x n是样本值.

1.矩估计法

11(1,2,,k)11(1,2,,k)先求总体矩22(1,2,,k)解此方程组,得到22(1,2,,k),

(,,,)(,,,)kk12kkk12k11(A1,A2,,Ak)以样本矩Al取代总体矩 l ( l=1,2,…,k)得到矩估计量22(A1,A2,,Ak),

kk(A1,A2,,Ak)若代入样本值则得到矩估计值. 2.最大似然估计法

若总体分布形式(可以是分布律或概率密度)为p(x, 1, 2,…, k),称样本X1 ,X2 ,…,X

nn

的联合分布,称为参数1,

L(1,2,,k)p(xi,1,2,,k)为似然函数.取使似然函数达到最大值的1,2,,ki12,…,k的最大似然估计值,代入样本得到最大似然估计量.

若L(1, 2,…, k)关于1, 2,…, k可微,则一般可由 似然方程组

LlnL0 或 对数似然方程组 0 (i =1,2,…,k) 求出最大似然估计. ii3.估计量的标准

(1) 无偏性 若E()=,则估计量称为参数的无偏估计量.

不论总体X服从什么分布, E (X)= E(X) , E(S2)=D(X), E(Ak)=k=E(Xk),即样本均值X, 样本方差S2,样本k阶矩Ak分别是总体均值E(X),方差D(X),总体k阶矩k的无偏估计,

(2)有效性 若E(1 )=E(2)= , 而D(1)< D(2), 则称估计量1比2有效. (3)一致性(相合性) 若n→∞时,,则称估计量是参数的相合估计量.

二.区间估计

1.求参数的置信水平为1-的双侧置信区间的步骤

(1)寻找样本函数W=W(X1 ,X2 ,…,X n,),其中只有一个待估参数未知,且其分布完全确定. (2)利用双侧分位点找出W的区间(a,b),使P{a(3)由不等式a 7

P则区间(,)为所求.

2.单个正态总体

待估参数 其它参数 W及其分布 置信区间

 

2

Xz/2) 已知 ~N (0,1) (XnnSXt/2(n1) ~ t (n-1) (XnSn 2未知

2 未知

(n1)S222(n1)S~ 2(n-1) (,2)

2/2(n1)1/2(n1)(n1)S23.两个正态总体 (1)均值差 1- 2

其它参数 W及其分布 置信区间

221,2已知

XY(12)21n122 ~ N(0,1)

(XYz221n122n2)

n22212XY(12)112～t(n1+n2-2) (XYt(n1n22)Sw) 11n1n2 2Sw未知n1n2其中Sw等符号的意义见第六章二. 3 (2)③.

22S1S2(2)  1, 2未知, W=~ F(n1-1,n2-1),方差比12/22的置信区间为

221222S11S11 (,2)

2S2F/2(n11,n21)S2F1/2(n11,n21)注意:对于单侧置信区间,只需将以上所列的双侧置信区间中的上(下)限中的下标/2改为,另外的下(上)限取为- ()即可.

8