4 随机变量更多话题（Further Topics on Random Variables）

4.1 分布的推导（Derived Distributions）

• $X$是连续随机函数，$Y$是$X$的函数$Y=g(X)$，若要计算$Y$的概率密度函数：

1. 计算$Y$的累积分布函数：
   $F_{Y}(y)=P(g(X)le{y})=int_{left{x|g(x)le{y}right}}f_{X}(x)dx$
2. 微分获得概率密度函数：
   $f_{Y}(y)=frac{dF_{Y}}{dy}(y)$

• 若$Y=g(X)$是线性函数，具有形式$Y=aX+b$，其中$a,b$为标量且$aneq{0}$，则：
  $f_{Y}(y)=frac{1}{|a|}{f}_{X}(frac{y-b}{a})$

• 若$Y=g(X)$是连续随机函数$X$的严格单调函数，则必然有反函数$h$满足$x=h(y)$
• 假设$h$是可微的，则：
  $f_{Y}(y)=f_{X}(h(y))|frac{dh}{dy}(y)|$

4.2 协方差（Covariance）

• 随机变量$X$与$Y$的协方差定义为：
  $cov(X,Y)=mathbb{E}[(X-mathbb{E}[X])(Y-mathbb{E}[Y])]$
  $~~~~~~=mathbb{E}[XY]-mathbb{E}[X]mathbb{E}[Y]$
• 若$cov(X,Y)=0$，则$X$与$Y$是不相关的（uncorrelated）
• 若$X$与$Y$相互独立，则$cov(X,Y)=0$
• $var(X+Y)=var(X)+var(Y)+2cov(X,Y)$

4.3 相关性系数（Correlation Coefficient）

• 随机变量$X$与$Y$的相关性系数定义为：
  $rho(X,Y)=frac{cov(X,Y)}{sqrt{var(X)var(Y)}}$
• 相关性系数满足：
  $-1lerho(X,Y)le{1}$

4.4 条件期望和方差的属性（Properties of the Conditional Expectation and Variance）

• $mathbb{E}[X|Y=y]$是一个取值依赖于$y$的值
• $mathbb{E}[X|Y]$是随机变量$Y$的一个函数，因此也是一个随机变量，在$Y$取值为$y$时，其值为$mathbb{E}[X|Y=y]$
• 迭代期望定律（Law of Iterated Expectations）
  $mathbb{E}[mathbb{E}[X|Y]]=mathbb{E}[X]$
• $var(X|Y)$是随机变量$Y$的一个函数，因此也是一个随机变量，在$Y$取值为$y$时，其值为$var(X|Y=y)$
• 全方差定律（Law of Total Variance）
  $var(X)=mathbb{E}[var(X|Y)]+var(mathbb{E}[X|Y])$
• $mathbb{E}[X|Y=y]$可以被视为在给定$Y=y$情况下，$X$取值的一个估计值（estimate）
  $mathbb{E}[X|Y]-X$是估计误差，该误差是一个期望为$0$，且与$mathbb{E}[X|Y]$独立的随机变量

To Be Continued