Probability Notes 2 离散随机变量

2 离散随机变量(Discrete Random Variable)

2.1 随机变量(Random Variable)

  • 随机变量(Random Variable)是实验中结果的一个实值函数
  • 随机变量的函数也是随机变量
  • 一个随机变量可以条件于其他事件或其他随机变量
  • 一个随机变量可以独立于其他事件或其他随机变量

2.2 离散随机变量(Discrete Random Variable)

  • 离散随机变量(Discrete Random Variable)是实验结果的一个实值函数,并且函数的取值是有限或可数的
  • 离散随机变量有概率质量函数(Probability Mass Function,PMF),函数描述了随机变量每个可能取值的概率
  • 离散随机变量的函数也是一个离散随机变量,其概率质量函数可以从原本离散随机变量的概率质量函数获得

2.3 概率质量函数(Probability Mass Function)

  • X是一个离散随机变量
  • left{X=xright}表示该离散随机变量取值为x的事件(实验中所有导致X取值为x的结果的集合)
  • P(left{X=xright})表示上述事件发生的概率
  • 对于特定的x,{p}_{X}(x)=P(left{X=xright})是取值x的概率质量(Probability Mass)
  • {{p}_{X}(x)}是离散随机变量X的概率质量函数

2.4 概率质量函数的计算(Calculation PMF of a Random Variable X)

  • 对于离散随机变量X的所有可能取值x
  1. 找到所有属于事件left{X=xright}的结果
  2. 将这些结果的概率相加获得{p}_{X}(x)

2.5 离散随机变量举例

  1. 伯努利随机变量(Bernoulli Random Variable)
    实验:扔1次硬币
    结果:正面朝上(head)或反面朝上(tail)
    概率规则:
    begin{matrix}P(text{head})=p~~~~P(text{tail})=1-pend{matrix}
    事件:
    X=begin{cases} 1 ~ text{if a head} 0 ~ text{if a tail}end{cases}
    概率质量函数:
    {p}_{X}(k)=begin{cases} p ~~~~~~~~~ text{if} ~ k =1 1-p ~~~text{if} ~ k=0 end{cases}
  2. 二项随机变量(Binomial Random Variable)
    实验:扔n次硬币
    结果:共有2^n种可能结果,每个结果都是一个长度为n的正面朝上和反面朝上的序列
    概率规则:设某一结果a_{i}中出现i次正面朝上,出现n-i次反面朝上,则
    P(a)=p^itimes{(1-p)^{n-i}}
    事件:left{X=kright}n次硬币,其中出现k次正面朝上
    概率质量函数:
    p_{X}(k)=P(X=k)=begin{pmatrix}{n}{k}end{pmatrix}=p^k(1-p)^{n-k},~~k=0,1,dots,n
    二项随机变量的属性:
    sum _{k=0}^{n}{p_{X}(k)=P(X=k)=begin{pmatrix}{n}{k}end{pmatrix}p^k(1-p)^{n-k}} =1
  3. 几何随机变量(Geometric Random Variable)
    实验:不断地扔硬币
    事件:left{X=kright}n次硬币,在第k次时首次出现正面朝上
    概率质量函数:
    {p}_{X}(k)={(1-p)}^{k-1}p,~~~~~~~~k=1,2,dots,
  4. 泊松随机变量(Poisson Random Variable)
    概率质量函数:
    {p}_{X}(k)={e}^{-lambda}frac{{lambda}^{k}}{k!},~~~~~k=0,1,2,dots,
    泊松随机变量的属性:
    sum _{k=0}^{infty}{{e}^{-lambda}frac{{lambda}^{k}}{k!}}=1
  5. 离散均匀随机变量(Discrete Uniform Random Variable)
    X sim unif[a,b]
    概率质量函数:
    {p}_{X}(k)=begin{cases}1/{b-a+1}~~~text{if}~k=a,a+1,dots,b�~~~text{otherwise}end{cases}

2.6  离散随机变量的函数(Function of Discrete Random Variable)

  • X是一个离散随机变量,考虑X的函数:Y=g(X),则Y也是一个离散随机变量
  • 若已知X的概率质量函数{p}_{X}(x),则可以获得Y的概率质量函数:
    {p}_{Y}(y)=sum_{left{x|g(x)=yright}}{{p}_{X}(x)}

2.7 离散随机变量的期望(Expectation of Discrete Random Variable)

  • 定义离散随机变量X的期望为:
    mathbb{E}[X]=sum_{x}{x{p}_{X}(x)}
  • 期望的本质是:X所有可能取值的加权平均数

2.8 离散随机变量的函数的期望法则(Expected Value Rule for Functions of Discrete Random Variables)

  • X是离散随机变量,令g(X)X的一个函数,则随机变量g(X)的期望为:
    mathbb{E}[g(X)]=sum_{x}{g(x){p}_{X}(x)}

2.9 矩(Moment)

  • 定义离散随机变量Xn次矩为:
    mathbb{E}[{X}^{n}]=sum_{x}{{x}^{n}{p}_{X}(x)}

2.10 方差(Variance)

  • 定义离散随机变量X的方差为随机变量{(X-mathbb{E}[X])}^{2}的期望,即:
    var(X)=mathbb{E}[{(X-mathbb{E}[X])}^{2}]
    ~~~~~~~~~~~~=sum_{x}{{(x-mathbb{E}[X])}^{2}{p}_{X}(x)}
    ~~~~~~~~~~~~=mathbb{E}[{X}^{2}]-{(mathbb{E}[X])}^{2}

2.11 标准差(Standard Deviation)

  • 定义离散随机变量X的标准差为:
    {sigma}_{X}=sqrt{var(X)}

2.12 期望与方差的属性(Properties of Mean and Variance)

  • X为随机变量,Y=aX+bX的一个线性函数,a,b均为标量,则:
    ~~mathbb{E}[Y]=amathbb{E}[X]+b
    ~~var(Y)={a}^{2}var(X)

2.13 常见离散随机变量的期望与方差举例

  1. 伯努利随机变量
    mathbb{E}[X]=p
    mathbb{E}[{X}^{2}]=p
    var(X)=mathbb{E}[{X}^{2}]-{(mathbb{E}[X])}^{2}=p(1-p)
  2. 离散均匀随机变量
    mathbb{E}[X]=frac{a+b}{2}
    var(X)=frac{(b-a)(b-a+12)}{12}
  3. 泊松随机变量
    mathbb{E}[X]=lambda
    var(X)=lambda

2.14 多个离散随机变量的联合概率质量函数(Joint PMF of Multiple Discrete Random Variables)

  • XY为与同一个实验相关的两个随机变量,则XY的联合概率质量函数{p}_{X,Y}定义为:
    {p}_{X,Y}(x,y)=P(left{X=xright}capleft{Y=yright})=P(X=x,Y=y)
  • 可以由联合概率质量函数获得边际概率质量函数(marginal PMF):
    {p}_{X}(x)=sum_{y}{{p}_{X,Y}{(x,y)}}
    {p}_{Y}(y)=sum_{x}{{p}_{X,Y}{(x,y)}}
  • XY的函数g(X,Y)定义了一个随机变量,有:
    mathbb{E}[g(X,Y)]=sum _{x}{sum _{y}{g(x,y){p}_{X,Y}(x,y)}}
  • 如果g是线性函数,并有形式:aX+bY+c则:
    mathbb{E}[aX+bY+c]=amathbb{E}[X]+bmathbb{E}[Y]+c

 2.15 条件于事件的离散随机变量(Conditioning a Discrete Random Variable on an Event)

  • 给定事件A,且知P(A) data-recalc-dims=0" />,离散随机变量X的条件概率质量函数为:
    {p}_{X|A}(x)=P(X=x|A)=frac{P(left{X=xright}cap A)}{P(A)}
    因为:
    P(A)=sum_{x}{P(left{X=xright}cap A)}
    因此有:
    sum_{x}{{p}_{X|A}(x)=1}
  • 若事件{A}_{1},{A}_{1}dots,{A}_{n}是独立事件,构成样本空间的一个划分,且知forall{i},P({A}_{i}) data-recalc-dims=0" />,则:
    {p}_{X}(x)=sum_{i=1}^{n}{P({A}_{i}){p}_{X|{A}_{i}}(x)}
    这是全概率定理的一个特例,若进一步知forall{B},forall{i},P({A}_{i}cap{B}) data-recalc-dims=0" />,则有:
    {p}_{X|B}(x)=sum_{i=1}^{n}{P({A}_{i}|B)}{p}_{X|{A}_{i}cap{B}}(x)

2.16 条件于随机变量的离散随机变量(Conditioning one Discrete Random Variable on Another)

  • X,Y 是两个离散随机变量,给定Y=y则,联合概率质量函数为:
    {p}_{X,Y}(x,y)={p}_{Y}(y){p}_{X|Y}(x|y)
  • 可以利用上面的联合概率质量函数计算变量X的边际概率质量函数:
    {p}_{X}(x)=sum_{y}{{p}_{Y}(y){p}_{X|Y}(x|y)}

 2.17 离散随机变量的条件期望(Conditional Expectations of Discrete Random Variable)

  • 给定事件A,P(A) data-recalc-dims=0" />,离散随机变量X的条件期望定义为:
    mathbb{E}[X|A]=sum_{x}{x{p}_{X|A}(x)}
  • 给定事件A,P(A) data-recalc-dims=0" />,离散随机变量X的函数g(X)的条件期望定义为:
    mathbb{E}[g(X)|A]=sum_{x}{g(x){p}_{X|A}(x)}
  • 若事件{A}_{1},{A}_{1}dots,{A}_{n}是独立事件,构成样本空间的一个划分,且知forall{i},P({A}_{i}) data-recalc-dims=0" />,则:
    mathbb{E}{X}=sum_{i=1}^{n}{P({A}_{i})mathbb{E}[X|{A}_{i}]}
  • 给定离散随机变量Y取值为y,则离散随机变量X的条件期望为:
    mathbb{E}[X|Y=y]=sum_{x}{{p}_{X|Y}(x|y)}
    若进一步知forall{B},forall{i},P({A}_{i}cap{B}) data-recalc-dims=0" />,则有:
    mathbb{E}[X|B]=sum_{i=1}^{n}{P({A}_{i}|B)mathbb{E}[X|{A}_{i}cap{B}]}
  • mathbb{E}[X]=sum_{y}{p_{Y}(y)mathbb{E}[X|Y=y]}

2.18 离散随机变量的独立性(Independence of Discrete Random Variable)

  • XY为与同一个实验相关的两个随机变量,事件A满足P(A) data-recalc-dims=0" />,则:
    forall{x}~~~~~{p}_{X|A}(x)={p}_{X}(x),则称X独立于事件A
    forall{x},{y}~~~{p}_{X,Y}(x,y)={p}_{X}(x){p}_{Y}{(y)}
  •  X,Y 是两个随机变量,g(X)h(Y)分别是XY的函数,则:
    mathbb{E}[XY]=mathbb{E}[X]mathbb{E}[Y]
    mathbb{E}[g(X)h(Y)]=mathbb{E}[g(X)]mathbb{E}[h(Y)]
    var(X+Y)=var(X)+var(Y)

附:常见离散随机变量小结

  1. 离散均匀随即变量,区间[a,b]
    概率质量函数:
    {p}_{X}(k)=begin{cases}1/{b-a+1}~~~text{if}~k=a,a+1,dots,b�~~~text{otherwise}end{cases}
    期望:
    mathbb{E}[X]=frac{a+b}{2}
    方差:
    var(X)=frac{(b-a)(b-a+12)}{12}
  2. 伯努利随机变量,参数p~(扔一次硬币出现正面朝上)
    概率质量函数:
    {p}_{X}(k)=begin{cases} p ~~~~~~~~~ text{if} ~ k =1 1-p ~~~text{if} ~ k=0 end{cases}
    期望:
    mathbb{E}[X]=p
    方差:
    var(X)=mathbb{E}[{X}^{2}]-{(mathbb{E}[X])}^{2}=p(1-p)
  3. 二项,参数p,n~(扔n次硬币,出现正面朝上的次数)
    概率质量函数:
    p_{X}(k)=P(X=k)=begin{pmatrix}{n}{k}end{pmatrix}=p^k(1-p)^{n-k},~~k=0,1,dots,n
    期望:
    mathbb{E}[X]=np
    方差:
    var(X)=np(1-p)
  4. 几何随机变量,参数p~(连续扔硬币直至第一次出现正面朝上)
    概率质量函数:
    {p}_{X}(k)={(1-p)}^{k-1}p,~~~~~~~~k=1,2,dots,
    期望:
    mathbb{E}[X]=frac{1}{p}
    方差:
    var(X)=frac{1-p}{{p}^{2}}
  5. 泊松随机变量,参数lambda~(在n大,p小时用于近似二项随机变量,lambda=np
    概率质量函数:
    {p}_{X}(k)={e}^{-lambda}frac{{lambda}^{k}}{k!},~~~~~k=0,1,2,dots,
    期望:
    mathbb{E}[X]=lambda
    方差:
    var(X)=lambda

Leave a Reply

Your email address will not be published. Required fields are marked *