Probability Notes 3 一般随机变量

3 一般随机变量(General Random Variable)

3.1 连续随机变量与概率密度函数(Continuous Random Variable and Probability Density Function)

  • 称一个随机变量X为连续随机变量,则存在一个非负函数f_{X}即概率密度函数(PDF for short),该函数对于任意实数轴(real line)上的子集B都满足:
    P(Xin{B})=int _{B}{{f}_{X}(x)dx}
  • B=[a,b],上式即可写作:
    P(ale{X}le{b})=int _{a}^{b}{{f}_{X}(x)dx}

3.2 概率密度函数的属性(Properties of PDF)

  • X是一个连续随机变量,f_{X}是其概率密度函数
  1. {f}_{X}(x)ge{0}~~text{for all}~x
  2. int_{-infty}^{+infty}{{f}_{X}(x)dx}=1
  3. 对于非常小的delta
    P([x,x+delta])approx{{f}_{X}(x)cdot{delta}}
  4. 对于任意实数轴上的子集B
    P(Xin{B})=int _{B}{{f}_{X}(x)dx}

3.3 连续随机变量的期望(Expectation of a Continuous Random Variable)

  • 连续随机变量X,其概率密度函数为{f}_{X},其期望定义为:
    mathbb{E}[X]=int_{-infty}^{+infty}{x{f}_{X}(x)dx}

3.4 连续随机变量的期望法则(Expected Value Rule for Functions of Random Variables)

  • X 是连续随机变量,令 g(X) X 的一个函数,则 g(X) 的期望为:
    mathbb{E}[g(X)]=int_{-infty}^{+infty}{g(x){f}_{X}(x)dx}

3.5 连续随机变量的方差(Variance of Continuous Random Variable)

  • 连续随机变量X的方差定义为:
    var(X)=mathbb{E}[{(X-mathbb{E}[X])}^2]=int_{-infty}^{+infty}{{(x-mathbb{E}[X])}^2}{{f}_{X}(x)dx}
  • 并且:
    0le{var(X)}=mathbb{E}[X^2]-{(mathbb{E}[X])}^2

3.6 期望与方差的属性(Properties of Mean and Variance)

  • X 为随机变量, Y=aX+bX 的一个线性函数,a,b均为标量,则:
    mathbb{E}[Y]=amathbb{E}[X]+b
    var(Y)=a^2var(X)

3.7 累积分布函数(Cumulative Distribution Functions)

  • 随机变量X的累积分布函数{F}_{X}定义为:
    {F}_{X}(x)=P(Xle{x}),~~text{for all}~{x}

3.8 累积分布函数的属性(Properties of CDF)

  • 累积分布函数是单调非减函数(monotonically non-decreasing):
    text{if}~~{xle{y}},~text{then}~~{F}_{X}{(x)}le{F}_{X}{(y)}
  • lim _{xrightarrow{-infty}}{{F}_{X}(x)=0}
    lim _{xrightarrow{+infty}}{{F}_{X}(x)=1}

 

  • X为离散随机变量,则其概率质量函数{F}_{X}(x)x的分段常数函数(piecewise constant function)
  • X为连续随机变量,则其概率密度函数{F}_{X}(x)x的连续函数

 

  • X为离散随机变量,并且X取值为整数值,则其概率质量函数与累积分布函数可以相互推导
    对概率质量函数求和获得累积分布函数:
    {F}_{X}(k)=sum_{i=-infty}^{k}{{p}_{X}(i)}
    对累积分布函数求差分获得概率质量函数:
    {p}_{X}{(k)}=P(Xle{k})-P(Xle{k-1})={F}_{X}{(k)}-{F}_{X}{(k-1)}
  • X为连续随机变量,则其概率密度函数与累积分布函数可以相互推导
    对概率密度函数积分获得累积分布函数:
    {F}_{X}{(x)}=int_{-infty}^{x}{{f}_{X}{(t)}dt}
    对累积分布函数微分获得概率密度函数:
    {f}_{X}{(x)}=frac{d{F}_{X}}{dx}{(x)}

3.9 多个连续随机变量的联合概率密度函数(Joint PDFs of Multiple Continuous Random Variable)

  • 连续随机变量X,Y具有联合概率密度函数{f}_{X,Y}可以用来计算事件B的概率:
    P((X,Y)in{B})=iint _{(x,y)in{B}}{{f}_{X,Y}(x,y)dxdy}
  • 可以从联合概率密度函数获得XY的边际概率密度函数:
    {f}_{X}{(x)}=int_{-infty}^{+infty}{{f}_{X,Y}(x,y)dy}
    {f}_{Y}{(y)}=int_{-infty}^{+infty}{{f}_{X,Y}(x,y)dx}
  • 连续随机变量X,Y的联合累积分布函数定义为:
    {F}_{X,Y}(x,y)=P(Xle{x},Yle{y})
  • 连续随机变量X,Y的联合累积分布函数可以通过联合概率密度函数获得:
    {f}_{X,Y}(x,y)=frac{{partial}^{2}{F}_{X,Y}}{{partial}{x}{partial}{y}}{(x,y)}
  • g是连续随机变量XY的一个函数,则g(X,Y)也是一个连续随机变量,其期望为:
    mathbb{E}[g(X,Y)]=int_{y=-infty}^{+infty}int_{x=-infty}^{+infty}g(x,y){f}_{X,Y}(x,y)dxdy
    g是线性函数,具有形式aX+bY+c,则:
    mathbb{E}[aX+bY+c]=amathbb{E}[X]+bmathbb{E}[Y]+c

3.10 条件于事件的连续随机变量(Conditioning a Continuous Random Variable on an Event)

  • 给定事件 A ,且知 P(A)>0 ,连续随机变量 X 的条件概率密度函数满足:
    P(Xin{B}|A)=int_{B}{f_{X|A}(x)dx}
  • A是实数轴的一个子集,并且P(Xin{A}) data-recalc-dims=0" />,则:
    f_{X|left{Xin{A}right}}(x)=frac{{f}_{X}{(x)}}{P(Xin{A})},~~~~text{if}~xin{A}
    f_{X|left{Xin{A}right}}(x)=0,~~~~~~~~~~text{otherwiese}
  • 若事件{A}_{1},{A}_{1}dots,{A}_{n}是独立事件,构成样本空间的一个划分,且知forall{i},P({A}_{i}) data-recalc-dims=0" />,则:
    {f}_{X}{(x)}=sum_{i=1}^{n}{P({A}_{i}){f}_{X|{A}_{i}}{(x)}}
    这是全概率定理的一个特例

3.11 条件于随机变量的连续随机变量(Conditioning a Continuous Random Variable on an Random Variable)

  • X,Y是两个连续随机变量,给定Y=y则,联合概率密度函数为:
    {f}_{X,Y}(x,y)={f}_{Y}{(y)}{f}_{X|Y}{(x|y)}
  • 可以利用上面的联合概率密度函数计算变量 X 的边际概率密度函数:
    {f}_{X}{(x)}=int_{-infty}^{+infty}{{f}_{Y}{y}{f}_{X|Y}(x|y)dy}
  • 另外有:
    P(Xin{A}|Y=y)=int_{A}{f}_{X|Y}(x|y)dx

3.12 连续随机变量的条件期望(Conditional Expectation of Continuous Random Variable)

  • 定义:
  • 给定事件A,P(A) data-recalc-dims=0" />,连续随机变量X的条件期望定义为:
    mathbb{E}[X|A]=int_{-infty}^{+infty}{x{f}_{X|A}(x)dx}
  • 给定随机变量Y取值y,则连续随机变量X的条件期望定义为:
    mathbb{E}[X|Y=y]=int_{-infty}^{+infty}{x{f}_{X|Y}(x|y)dx}
  • 期望值法则:
  • 给定事件A,P(A) data-recalc-dims=0" />,连续随机变量X的函数g(X)的条件期望定义为:
    mathbb{E}[g(X)|A]=int_{-infty}^{+infty}{g(x){f}_{X|A}(x)dx}
  • 给定随机变量Y取值y,连续随机变量X的函数g(X)的条件期望定义为:
    mathbb{E}[g(X)|Y=y]=int_{-infty}^{+infty}{g(x){f}_{X|Y}(x|y)dx}
  • 全期望定理(Total expectation theorem):
  • 若事件{A}_{1},{A}_{1}dots,{A}_{n}是独立事件,构成样本空间的一个划分,且知forall{i},P({A}_{i}) data-recalc-dims=0" />,则:
    mathbb{E}[X]=sum_{i=1}^{n}P({A}_{i})mathbb{E}[X|{A}_{i}]
    mathbb{E}[X]=int_{-infty}^{+infty}mathbb{E}[X|Y=y]{f}_{Y}(y)dy
  • 另外有:
    mathbb{E}[g(X,Y)|Y=y]=int{g(x,y){f}_{X|Y}(x|y)dx}
    mathbb{E}[g(X,Y)]=int{mathbb{E}[g(x,y)|Y=y]{f}_{Y}(y)dy}

 3.13 连续随机变量的独立性(Independence of Continuous Random Variable)

  • XY是两个连续随机变量,称XY独立,需要:
    {f}_{X,Y}(x,y)={f}_{X}{(x)}{f}_{Y}{(y)},~~~~~~text{for all}~x,y
  • 若两个连续随机变量XY相互独立,则:
    mathbb{E}[XY]=mathbb{E}[X]mathbb{E}[Y]
    mathbb{E}[g(X)h(Y)]=mathbb{E}[g(X)]mathbb{E}[h(Y)]
    var(XY)=var(X)+var(Y)

3.14 连续随机变量的贝叶斯法则(Bayes' Rule for Continuous Random Variables)

  • Y是一个连续随机变量
  • X是一个连续随机变量,则:
    {f}_{Y}{(y)}{f}_{X|Y}{(x|y)}={f}_{X}{(x)}{f}_{Y|X}{(y|x)}
    因而有如下贝叶斯法则
    {f}_{X|Y}{(x|y)}=frac{{f}_{X}{(x)}{f}_{Y|X}{(y|x)}}{{f}_{Y}{(y)}}
    ~~~~~~~~~~~~~~~=frac{{f}_{X}(x){f}_{Y|X}(y|x)}{int_{-infty}^{+infty}{f}_{X}(t){f}_{Y|X}(y|t)dt}
  • N是一个离散随机变量,则:
    {f}_{Y}{(y)}P(N=n|Y=y)={p}_{N}{(n)}{f}_{Y|N}{(y|n)}
    因而有如下贝叶斯法则:
    P(N=n|Y=y)=frac{{p}_{N}{(n)}{f}_{Y|N}{(y|n)}}{{f}_{Y}{(y)}}
    ~~~~~~~~~~~~~~~=frac{{p}_{N}(n){f}_{Y|N}(y|n)}{sum_{i}{p}_{N}(i){f}_{Y|N}(y|i)}
  • 以及:
    f_{Y|N}(y|n)=frac{f_{Y}(y)P(N=n|Y=y)}{p_{N}{(n)}}
    ~~~~~~~~~~~~~~~=frac{f_{Y}(y)P(N=n|Y=y)}{int_{-infty}^{+infty}f_{Y}(t)P(N=n|Y=t)dt}
  • 类似地P(A|Y=y)f_{Y|A}(y)也有相应贝叶斯法则

附:常见连续随机变量小结

  1. 连续均匀随机变量,区间[a,b]
    概率密度函数:
    f_{X}(x)=frac{1}{b-a},~text{if}~ale{x}le{b}
    f_{X}(x)=0,~~~~~~~~~text{otherwise}
    期望:
    mathbb{E}[X]=frac{a+b}{2}
    方差:
    var(X)=frac{{(b-a)}^2}{12}
  2. 指数随机变量,参数lambda
    概率密度函数:
    f_{X}(x)=lambda{e}^{-lambda{x}},~text{if}~xge{0}
    f_{X}(x)=0,~~~~~~~~~~~~~~text{otherwise}
    累积分布函数:
    F_{X}(x)=1-{e}^{-lambda{x}},~text{if}~xge{0}
    F_{X}(x)=0,~~~~~~~~~~~~~~text{otherwise}
    期望:
    mathbb{E}[X]=frac{1}{lambda}
    方差:
    var (X)=frac{1}{{lambda}^2}
  3. 正态随机变量,参数mu,{sigma}^2
    概率密度函数:
    f_{X}(x)=frac{1}{sqrt{2pi}sigma}e^{-frac{(x-mu)^2}{2{sigma}^2}}
    期望:
    mathbb{E}[X]=mu
    方差:
    var(X)={sigma}^2

Leave a Reply

Your email address will not be published. Required fields are marked *