Joint Distributions

Joint , marginal and condition

Discrete

描述联合分布最常见方式的是联合 CDF(joint CDF),随机变量$X,Y$的联合 CDF $F_{X,Y}$定义为 $$ F_{X,Y}(x,y)=P(X\le x, Y\le y) $$ $n$ 个随机变量的 CDF 定义类似

离散随机变量$X$ 和 $Y$的联合 PMF(joint PMF) 是 $$ p_{XY}(x, y)=P(X=x, Y=y) $$ $n$ 个离散随机变量的 PMF 定义类似 ![[Pasted image 20260821170053.png|770]] 与一元的 PMF 类似，一个合法的联合 PMF 需要满足非负和和为1两个条件，即 $$ \sum_x\sum_yP(X=x,Y=y)=1 $$

对于离散随机变量$X$ 和 $Y$, $X$的边缘 PMF(marginal PMF) 是 $$ P(X=x)=\sum_yP(X=x,Y=y) $$ $X$ 的边缘 PMF 就是单独考虑 $X$ 的 PMF ，忽略 $Y$ 的影响。通过将 $Y$ 的可能取值相加把联合 PMF 转换为 $X$ 的边缘 PMF 的操作称为对 Y 进行边际化(marginal out)。类似的，可以通过将 $X$ 的所有可能取值相加得到 $Y$ 的边缘 PMF

如果只知道 $X$ 和 $Y$ 的边缘 PMF 是无法得到联合 PMF

从联合 PMF 得到边缘 PMF 的过程如下图所示 ![[Pasted image 20260821183559.png]]

通过 CDF 求边缘分布

也可以通过对 CDF 求极限的方式得到边缘分布，即 $X$ 的边缘 CDF 为 $$ F_X(x)=P(X\le x)=\lim_{y\to\infty}P(X\le x,Y\le y)=\lim_{y\to\infty}F_{XY}(x, y) $$

对于离散随机变量$X$ 和 $Y$, 在给定$X=x$的条件下，$Y$的条件 PMF(conditional PMF) 是 $$ P(Y=y|X=x)=\frac{P(X=x,Y=y)}{P(X=x)} $$ 可以将其看作一个 $x$ 保持不变时，关于 $y$ 的函数与条件概率类似，可以使用贝叶斯公式和全概率公式来求条件 PMF

如果随机变量 $X$ 和 $Y$ 满足 $$ F_{XY}(x,y)=F_X(x)F_Y(y) $$ 那么称它们是独立的
对于离散随机变量，还有两个等价的定义

PMF: $$ P(X=x,Y=y)=P(X=x)P(Y=y) $$
条件 PMF $$ P(Y=y|X=x)=P(Y=y), P(X=x)>0 $$

下面来看一个例子

Chicken-Egg

假设一只鸡下的蛋的总数是一个随机变量 $N$，其中 $N \sim \text{Pois}(\lambda)$。每颗蛋独立地以概率 $p$ 孵化，以概率 $q = 1 - p$ 未能孵化。设 $X$ 为孵化出的鸡蛋数，$Y$ 为未孵化出的鸡蛋数，因此 $X + Y = N$。求 $X$ 和 $Y$ 的联合PMF

解：在给定总蛋数 $N$ 的条件下，每颗蛋是否孵化都是独立的伯努利试验，成功概率为 $p$，因此根据二项分布的定义，$X$ 和 $Y$ 的条件分布分别为 $X|N = n \sim \text{Bin}(n, p)$ 和 $Y|N = n \sim \text{Bin}(n, q)$。以 $N$ 为条件，应用全概率公式，得到 $$ P(X = i, Y = j) = \sum_{n=0}^{\infty} P(X = i, Y = j|N = n)P(N = n) $$ 这个求和是对所有可能的 $n$ 值进行的，同时固定 $i$ 和 $j$。但除非 $n = i + j$，否则 $X$ 等于 $i$ 且 $Y$ 等于 $j$ 是不可能的，这意味着求和中的所有其他项都可以去掉： $$ P(X = i, Y = j) = P(X = i, Y = j|N = i + j)P(N = i + j) $$ 在给定 $N = i + j$ 的条件下，事件 $X = i$ 和 $Y = j$ 实际上是同一个事件，因此可以只保留 $X = i$；剩下的就是代入二项分布和泊松分布 PMF 得到 $$ \begin{aligned} P(X = i, Y = j)& = P(X = i|N = i + j)P(N = i + j)\\ &= \binom{i + j}{i} p^i q^j \cdot \frac{e^{-\lambda}\lambda^{i+j}}{(i + j)!}\\ &= \frac{e^{-\lambda p}(\lambda p)^i}{i!} \cdot \frac{e^{-\lambda q}(\lambda q)^j}{j!} \end{aligned} $$ 这个联合 PMF 可以分解为泊松分布 $\text{Pois}(\lambda p)$ 的 PMF（关于 $i$ 的函数）与泊松分布 $\text{Pois}(\lambda q)$ 的 PMF（关于 $j$ 的函数）的乘积

通过上面这个例子，可以得到两个结论

定理
如果 $X$ 和 $Y$ 是两个独立的离散随机变量并且 $X\sim\text{Pois}(\lambda p)$, $Y\sim\text{Pois}(\lambda q)$,那么 $N=X+Y\sim\text{Pois}(\lambda)$, $X\sim\text{Pois}(\lambda p)$, $X|N=n\sim\text{Bin}(n, p)$

定理
如果 $N\sim\text{Pois}(\lambda)$, $X|N=n\sim\text{Bin}(n, p)$ ,那么 $X$ 和 $Y$ 是两个独立的离散随机变量并且 $X\sim\text{Pois}(\lambda p)$, $Y=N-X\sim\text{Pois}(\lambda q)$

Continuous

如果$X$和$Y$是两个 CDF 为$F_{X,Y}$的连续随机变量，那么它们的联合 PDF 是 CDF 的导数，即 $$ f_{X,Y}(x,y)=\frac{\partial^2}{\partial x\partial y}F_{XY}(x,y) $$ 合法的联合 PDF 需要满足下面两个条件：

$f(x,y)\ge0$
$\int_{\infty}^{\infty}\int_{\infty}^{\infty}f_{X,Y}(x,y)dxdy=1$

联合 PDF 下的体积代表概率,任何单独的点或者平面上的线的概率都是0.一个合法的 PDF 下的体积为1

对于联合 PDF 为 $f_{X,Y}$ 的连续随机变量 $X$ 和 $Y$, $X$ 的边缘 PDF 为 $$ f_X(x)=\int_{-\infty}^{\infty}f_{X,Y}(x,y)dy $$

对于联合 PDF 为 $f_{X,Y}$ 的连续随机变量 $X$ 和 $Y$, 给定 $X=x$ 的条件，$Y$ 的条件 PDF 为 $$ f_{Y|X}(y|x)=\frac{f_{X,Y}(x,y)}{f_X(x)} $$

为了让函数 $f_{Y|X}(y|x)$ 在整个实数域上良定义，如果 $f_X{x}=0$,那么我们约定 $f_{Y|X}(y|x)=0$

$f$ 下的脚标只是用来表示这是三个不同的函数

下表为四个版本的贝叶斯公式 ![[Pasted image 20260821171955.png]] 下表为四个版本的全概率公式 ![[Pasted image 20260821172011.png]]

如果随机变量 $X$ 和 $Y$ 满足 $$ F_{XY}(x,y)=F_X(x)F_Y(y) $$ 那么称它们是独立的 对于离散随机变量，还有两个等价的定义 - PDF: $$ f_{X,Y}(x,y)=f_X(x)f_Y(y) $$ - 条件 PDF $$ f_{Y|X}(y|x)=f_Y(y) $$

命题如果随机变量 $X$ 和 $Y$ 的联合 PDF $f_{X,Y}$ 可以被分解为 $$ f_{X,Y}=g(x)h(x) $$ 那么 $X$ 和 $Y$ 是独立的

Hybrid

2D LOTUS

定理：2D LOTUS
令 $g$ 是一个 $\mathbb{R}^2\to\mathbb{R}$ 的函数，如果 $X$ 和 $Y$ 是离散的，那么 $$ E(g(X,Y))=\sum_x\sum_yg(x,y)P(X=x,Y=y) $$ 如果 $X$ 和 $Y$ 是连续的，那么 $$ E(g(X,Y))=\int_{\infty}^{\infty}\int_{\infty}^{\infty}g(x,y)f_{X,Y}(x,y)dxdy $$

Covariance and Correlation

随机变量 $X$ 和 $Y$ 的协方差(covariance)为 $$ \text{Cov}(X, Y)=E((X-EX)(Y-EY)) $$ 将上式展开并利用期望的线性可以得到 $$ \text{Cov}(X,Y)=E(XY)-E(X)E(Y) $$

协方差的性质

$\text{Cov}(X, X) = \text{Var}(X)$
$\text{Cov}(X, Y) = \text{Cov}(Y, X)$
$\text{Cov}(X, c) = 0$，$c$ 为常数
$\text{Cov}(aX, Y) = a\text{Cov}(X, Y)$， $a$ 为常数
$\text{Cov}(X + Y, Z) = \text{Cov}(X, Z) + \text{Cov}(Y, Z)$
$\text{Cov}(X + Y, Z + W) = \text{Cov}(X, Z) + \text{Cov}(X, W) + \text{Cov}(Y, Z) + \text{Cov}(Y, W)$
$\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X, Y)$
对于 $n$ 个随机变量 $X_1, \ldots, X_n$， $$ \text{Var}(X_1 + \cdots + X_n) = \text{Var}(X_1) + \cdots + \text{Var}(X_n) + 2 \sum_{i < j} \text{Cov}(X_i, X_j) $$

随机变量 $X$ 和 $Y$ 的相关性(correlation)定义为 $$ \text{Corr}(X,Y)=\frac{\text{Cov}(X, Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}} $$

定理：相关性的界限
任意随机变量 $X$ 和 $Y$ 的相关性满足 $$ -1\le\text{Corr}(X,Y)\le1 $$ 证明

Multinomial

将 $n$ 个物品独立地分为 $k$ 组，一个物体被分到第 $j$ 组的概率为 $p_j$.令 $X_1$ 表示第1组的物品数量，令 $X_2$ 表示第2组的物品数量，以此类推($X_1+X_2+\cdots+X_k=n$)。那么 $\mathbf{X}=(X_1,X_2,\cdots,X_k)$ 被称为参数为 $n$ 和 $\mathbf{p}=(p_1,p_2,\cdots,p_k)$ 的多项分布(multinomial distribution)，记为 $\mathbf{X}\sim\text{Mult}_k(n,\mathbf{p})$

多项分布是二项分布的泛化，二项分布只能将固定次数的试验分为两类，而多项分布则可以将试验结果分为多个类别

定理：多项分布的联合 PMF
如果 $\mathbf{X}\sim\text{Mult}_k(n,\mathbf{p})$,那么 $\mathbf{X}$ 的联合 PMF 为 $$ P(X_1=n_1,\cdots,X_k=n_k)=\frac{n!}{n_1!n_2!\cdots n_k1}\cdot p_1^{n_1}p_2^{n_2}\cdots p_k^{n_k} $$ 其中 $n_1+n_2+\cdots+n_k=n$

定理：多项分布的边缘 PMF
多项分布的边缘 PMF 是二项分布。即如果 $\mathbf{X}\sim\text{Mult}_k(n,\mathbf{p})$ ，那么 $X_j\sim\text{Bin}(n,p_j)$

定理：多项分布的合并
如果 $\mathbf{X}\sim\text{Mult}_k(n,\mathbf{p})$ ，那么对于任意不同的 $i$ 和 $j$, $X_i+X_j\sim\text{Bin}(n, p_i+p_j)$,将 $i$ 和 $j$ 合并后的 $\mathbf{X}$ 仍然服从多项分布

定理：多项分布的条件 PMF
如果 $\mathbf{X}\sim\text{Mult}_k(n,\mathbf{p})$ ，那么 $$ (X_2,\cdots,X_k)|X_1=n_1\sim\text{Mult}_{k-1}(n-n_1, (p_2',\cdots,p_k')) $$ 其中 $p_j'=p_j/(p_2+p_3+\cdots+p_k)$

定理：多项分布的协方差
如果 $(X_1,\cdots,X_k)\sim\text{Mult}_k(n,(p_1,\cdots,p_k))$ ，那么 $\text{Cov}(X_i,X_j)=-np_ip_j,i\ne j$

Multivariate Normal

若 $k$ 维随机向量 $\mathbf{X} = (X_1, \dots, X_k)$ 的任意线性组合都服从一维正态分布，则称其服从多元正态分布(multivariate normal, MVN)。即对于任意常数 $t_1, \dots, t_k$，随机变量 $$ t_1 X_1 + \dots + t_k X_k $$ 恒服从正态分布

如果线性组合的值为常数，例如所有 $t_j = 0$ 时，我们将其视为方差为 0 的退化正态分布

特别地，当 $k = 2$ 时，该分布被称为双元正态分布(Bivariate Normal, BVN)

定理：子向量 如果随机向量 $(X_1, X_2, X_3)$ 服从多元正态分布，那么其任意子向量（如 $(X_1, X_2)$）也必然服从多元正态分布。

定理：拼接 若 $\mathbf{X} = (X_1, \dots, X_n)$ 与 $\mathbf{Y} = (Y_1, \dots, Y_m)$ 是两个相互独立的多元正态随机向量，则将它们拼接起来的组合向量 $\mathbf{W} = (\mathbf{X}, \mathbf{Y})$ 也是多元正态随机向量

多元正态分布完全由其均值向量和协方差矩阵唯一确定

对于多元正态随机向量 $\mathbf{X} = (X_1, \dots, X_k)$，其联合 MGF 为： $$ M(\mathbf{t}) = E(e^{\mathbf{t}^T \mathbf{X}}) = E(e^{t_1 X_1 + \dots + t_k X_k}) $$ 根据定义，指数部分 $W = t_1 X_1 + \dots + t_k X_k$ 本身是一个一维正态随机变量。利用一维正态变量 $W$ 的 MGF 性质 $E(e^W) = e^{E(W) + \frac{1}{2}\text{Var}(W)}$ 可以得到 $$ M(\mathbf{t}) = \exp\left(\sum_{j=1}^kt_jE(X_j) + \frac{1}{2} \text{Var}(t_1 X_1 + \dots + t_k X_k) \right) $$