Probability Notes 4 随机变量 续

4 随机变量更多话题(Further Topics on Random Variables)

4.1 分布的推导(Derived Distributions)

  • X是连续随机函数,YX的函数Y=g(X),若要计算Y的概率密度函数:
  1. 计算Y的累积分布函数:
    F_{Y}(y)=P(g(X)le{y})=int_{left{x|g(x)le{y}right}}f_{X}(x)dx
  2. 微分获得概率密度函数:
    f_{Y}(y)=frac{dF_{Y}}{dy}(y)

 

  • Y=g(X)是线性函数,具有形式Y=aX+b,其中a,b为标量且aneq{0},则:
    f_{Y}(y)=frac{1}{|a|}{f}_{X}(frac{y-b}{a})

 

  • Y=g(X)是连续随机函数X的严格单调函数,则必然有反函数h满足x=h(y)
  • 假设h是可微的,则:
    f_{Y}(y)=f_{X}(h(y))|frac{dh}{dy}(y)|

4.2 协方差(Covariance)

  • 随机变量XY的协方差定义为:
    cov(X,Y)=mathbb{E}[(X-mathbb{E}[X])(Y-mathbb{E}[Y])]
    ~~~~~~=mathbb{E}[XY]-mathbb{E}[X]mathbb{E}[Y]
  • cov(X,Y)=0,则XY是不相关的(uncorrelated)
  • XY相互独立,则cov(X,Y)=0
  • var(X+Y)=var(X)+var(Y)+2cov(X,Y)

4.3 相关性系数(Correlation Coefficient)

  • 随机变量XY的相关性系数定义为:
    rho(X,Y)=frac{cov(X,Y)}{sqrt{var(X)var(Y)}}
  • 相关性系数满足:
    -1lerho(X,Y)le{1}

4.4 条件期望和方差的属性(Properties of the Conditional Expectation and Variance)

  • mathbb{E}[X|Y=y]是一个取值依赖于y的值
  • mathbb{E}[X|Y]是随机变量Y的一个函数,因此也是一个随机变量,在Y取值为y时,其值为mathbb{E}[X|Y=y]
  • 迭代期望定律(Law of Iterated Expectations)
    mathbb{E}[mathbb{E}[X|Y]]=mathbb{E}[X]
  • var(X|Y)是随机变量Y的一个函数,因此也是一个随机变量,在Y取值为y时,其值为var(X|Y=y)
  • 全方差定律(Law of Total Variance)
    var(X)=mathbb{E}[var(X|Y)]+var(mathbb{E}[X|Y])
  • mathbb{E}[X|Y=y]可以被视为在给定Y=y情况下,X取值的一个估计值(estimate)
    mathbb{E}[X|Y]-X是估计误差,该误差是一个期望为0,且与mathbb{E}[X|Y]独立的随机变量

To Be Continued

Leave a Reply

Your email address will not be published. Required fields are marked *