Probability Notes 1 样本空间和概率

1 样本空间和概率(Sample Space and Probability)

  • 可以从两个角度理解概率:
  1. 概率为:发生频率,反复进行同样实验出现某结果的频率
  2. 概率为:主观信念,认为事件发生的可能性

1.1 概率模型的元素 (Elements of a Probabilistic Model)

  • 概率模型(probabilistic model)是对不确定情形的一个数学描述
  • 概率模型包括如下两个元素
  1. 样本空间(sample space Omega): 一个实验的所有可能结果(outcome)的集合
  2. 概率规则(probability law):赋予事件(event)A(若干可能结果的集合),一个代表信念或知识的非负数字P(A)(称为事件A的概率)的规则
  • 正当(valid)的样本空间需要满足如下两个条件:
  1. 样本空间内的元素是互相排斥(Mutually exclusive)的:若一个结果发生了,则其他结果均不发生
  2. 样本空间必须是完全穷尽(Collectively Exhaustive)的:样本空间要包含所对应的实验的所有可能结果

1.2 概率公理 (Probability Axioms)

  • 概率模型中的概率规则需要满足如下公理:
  1. 非负性(Nonnegativity):
    forall A subset Omega, ~P(A) ge 0
  2. 可加性(Additivity):
    如果A_{1},A_{2}dots ~是相互独立的事件,则有:
    P(A_{1} cup A_{2} cup dots) = P(A_{1}) + P(A_{2})+dots
  3. 归一性(Normalization):
    P(Omega) = 1
  • 若将样本空间想象成一个单位质量的金属片,则事件A对应于金属片上的一个相应区域,P(A)对应于这个区域的金属的质量
  • 由上述三公理可以推导出其他公式,如:
    P(emptyset) = 1 - P(Omega) = 0
    1=P(Omega)=P(Omegacupemptyset)=P(Omega)+P(emptyset)=1+P(emptyset)

1.3 离散概率规则(Discrete Probability Law)

  • 如果样本空间包含有限个可能的结果,则:
    P(left{s_{1},s_{2},dots,s_{n} right}) = P(left{s_{1} right})+P(left{ s_{2} right}) +dots +P(left{s_{n} right}) = P(s_{1})+P(s_{2}) + dots +P(s_{n})

1.4 离散均匀概率规则(Discrete Uniform Probability Law)

  • 样本空间包含n个可能结果,并且所有结果发生的可能性均相同,则事件A的概率为:
    P(A) = frac{number ~ of ~ elements ~ of ~ A}{n}

1.5 概率规则的属性 (Properties of Probability Laws)

  • A,B,C为三个事件
  1. A subset B rightarrow P(A) le P(B)
  2. P(A cup B) = P(A) + P(B) - P(A cap B)
  3. P(A cup B) le P(A) + P(B)
  4. P(A cup B cup C) = P(A) +P({A}^{c} cap B) + P({A}^{c}cap{B}^{c}cap C)
  5. P(B)=P(A)+P(A^ccap B)ge{P(A)}
  6. P(Acup B)=P(A)+P(A^ccap B)
  7. P(B)=P(Acap B)+P(A^ccap B)
  8. P(A)=P(Acap B)+P(Acap C)+P(Acap B^c cap C^c)+P(Acap Bcap C)
  9. P((Acap B^c)cup(A^ccap B))=P(A)+P(B)-2P(Acap B)
  10. P(Acap B)ge P(A)+P(B)-1 (Bonferroni's inequality)
  11. 若互斥事件S_1,S_2,dots,S_n构成样本空间的一个分划,则:
    P(A)=sum_{i=1}^{n}{P(Acap S_i)}

1.6 条件概率 (Conditional Probability)

  • 给定事件B,并知P(B) data-recalc-dims=0" />,则事件A的条件概率P(A|B)定义为:
    P(A|B) = frac{P(A cap B)}{P(B)}
  • 条件概率帮助我们在掌握了部分信息的条件下理性地认识实验结果
  • 条件概率的概率规则也满足概率规则的属性,例如:
    P(A cup B) le P(A) + P(B) 的条件概率版本为:
    P(Acup C|B)le P(A|B)+P(C|B)

1.7 乘法规则(Multiplication Rule)

  • 假设所有的条件事件的概率均为正,则有:
    P(bigcap _{i = 1}^{n}{{A}_{i}}) = P({A}_{1})P({A}_{2}|{A}_{1}) P({A}_{3}|{A}_{1}cap{A}_{2})cdots P({A}_{n}|bigcap_{i = 1}^{n-1}{{A}_{i}})

1.8 全概率定理(Total Probability Theorem)

  •  若互斥事件{A}_{1},{dots},{A}_{n}构成样本空间的一个分划(partition)(即任何一个可能的结果都唯一地属于A_{1},{dots}{A}_{n}中的一个事件),并且假设forall i, ~P({A}_{i}) data-recalc-dims=0" />。则对于任意事件B,有:
    P(B) = P({A}_{1} cup B) + cdots + P({A}_{n}cup B) ~~~~~~~~~= P({A}_{1})P(B|{A}_{1}) + cdots + P({A}_{n})P(B|{A}_{n})
  • 全概率定理为我们提供了一个分而治之地计算各种事件概率的方法

 1.9 贝叶斯法则 (Bayes' Rule)

  • 若互斥事件A_{1},dots {A}_{n}构成样本空间的一个排列,并且假设forall i,~P({A}_{i}) data-recalc-dims=0" />。则对于任意满足P(B) data-recalc-dims=0" />的事件B,有:
    P({A}_{i}|B) = frac{P({A}_{i})P(B|{A}_{i})}{P(B)}
    ~~~~~~~~~~~~= frac{P({A}_{i})P(B|{A}_{i})} {P({A}_{1})P(B|{A}_{1})+cdots +P({A}_{n})P(B|{A}_{n})}
  • P(A_i)是先验概率,而称P(A_i|B)是事件B发生后的后验概率

1.10 独立性(Independence)

  • 两个事件的独立性
  • P(A cap B) = P(A)P(B)则称事件A与事件B独立 如果额外地有P(B) data-recalc-dims=0" />,则:
    P(A|B) = P(A)
    P(Acap B)=P(A)P(B)
  • 若事件A,B独立,则事件{B}^{c},A也独立

 

  • 条件独立性
  • 已知事件C满足P(C) data-recalc-dims=0" />,若P(Acap B|C)=P(A|C)P(B|C),则称A,B在事件C下相互独立 如果额外地有P(Bcap C) data-recalc-dims=0" />,则P(A|Bcap C)=P(A|C)
  • 独立性并不蕴含条件独立性,条件独立性也不蕴含独立性

 

  • 多个事件间的独立性
  • P(bigcap_{i in S}^{}{{A}_{i}}) = prod_{i in S}^{}{P({A}_{i})}, ~~ for every subset S of left{1,2,dots ,n right}

1.11 数数(Counting)

  • n个对象的排列(Permutation):
    {n!}
  • n个对象中选出k个的排列(K-Permutation):
    frac{n!}{(n-k)!}
  • n个对象中k个对象对象的组合(Combination):
    ( frac{n}{k}) = frac{n!}{k!(n-k)!}
  • n个对象分划(Partition)为r组,第i组有n_{i}个对象:
    (frac{n}{n_{1},{n}_{2},dots,n_{r}}) = frac{n!}{{n}_{1}!{n}_{2}!cdots{n}_{r}!}

Leave a Reply

Your email address will not be published. Required fields are marked *