Transformation
Change of Variables
定理：一维变量替换
如果 \(X\) 是 PDF 为 \(f_X\) 的连续随机变量，\(Y=g(X)\) 且 \(g\) 是一个可导且严格递增（或递减） 的函数，那么 \(Y\) 的 PDF 为
$$
f_Y(y)=f_X(x)\left|\frac{dx}{dy}\right|
$$
其中 \(x=g^{-1}(y)\) ，\(Y\) 的支撑集为 \(g(x)\)
证明
对于 \(g\) 递增的情况，随机变量 \(Y\) 的 CDF 为 $$ F_Y(y)=P(Y\le y)=P(g(X)\le y)=P(X\le g^{-1}(y))=P(X\le x)=F_X(x) $$ 对等式两边求导得到 $$ f_Y(y)=f_X(x)\frac{dx}{dy} $$ \(g\) 递减的情况与之类似，只是 \(\frac{dx}{dy}\) 为负，因此需要加绝对值
也可以计算 \(\frac{dy}{dx}\) 然后取倒数
可以使用下面这个形式记忆一维变量替换 $$ f_Y(y)dy=f_X(x)dx $$
当找到 Y 的分布时需要验证
当找到 Y 的分布时需要验证
- 检查条件是否满足变量替换定理的条件
- Y 的 PDF 需要表示为一个关于 \(y\) 的函数
- 指出 Y 的支撑集
\(n\) 维的情况与一维类似，它将随机向量 \(\mathbf{X}\) 的 PDF 变换为随机向量 \(\mathbf{Y}=g(\mathbf{X})\) 的 PDF
定理：变量替换
如果 \(\mathbf{X}=(X_1,\cdots,X_n)\) 是一个联合 PDF 为 \(f_X\) 的连续随机向量，并且 \(g:A_0\to B_0\) 是一个可逆函数，令 \(\mathbf{Y}=g(\mathbf{X})\) ，假设所有的偏导都存在且连续，那么可以得到下面的雅可比矩阵(Jacobian matrix)
$$
\frac{\partial \mathbf{x}}{\partial \mathbf{y}}=
\begin{pmatrix}
\frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} & \cdots &\frac{\partial x_1}{\partial y_n} \\
\vdots & & & \vdots \\
\frac{\partial x_n}{\partial y_1} & \frac{\partial x_n}{\partial y_2} & \cdots &\frac{\partial x_n}{\partial y_n}
\end{pmatrix}
$$
同时假设雅可比矩阵的行列式不为0，那么 \(\mathbf{Y}\) 的联合 PDF 为
$$
f_Y(\mathbf{y})=f_X(g^{-1}(\mathbf{y}))|\left|\frac{\partial \mathbf{x}}{\partial \mathbf{y}}\right||\quad y\in B_0
$$
注意：雅可比矩阵的行列式不为0时 $$ \left|\frac{\partial \mathbf{x}}{\partial \mathbf{y}}\right|=\left|\frac{\partial \mathbf{y}}{\partial\mathbf{x}}\right|^{-1} $$
Box-Muller
假设 \(U\sim\text{Unif}(0, 2\pi)\), \(T\sim\text{Expo(1)}\) 并且 \(U\) 和 \(T\) 相互独立，定义
$$
X=\sqrt{2T}\cos U\text{ 和 }Y=\sqrt{2T}\sin U
$$
求 \((X,Y)\) 的联合 PDF
解:
\(U\) 和 \(T\) 的联合 PDF 为
$$
f_{U,T}(u,t)=f_U(u)\cdot f_T(t)=\frac{1}{2\pi}e^{-t}
$$
其中 \(u\in(0,2\pi),t>0\)
将 \((X,Y)\) 看作平面上的一点，那么
$$
X^2+Y^2=2T(\cos^2U+sin^2U)=2T
$$
将 \((\sqrt{2T},U)\) 看作 \((X,Y)\) 的极坐标表示，因此，雅可比矩阵为
$$
\frac{\partial(x,y)}{\partial(u,t)}=
\begin{pmatrix}
-\sqrt{2t}\sin u & \frac{1}{\sqrt{2t}}\cos u \\
-\sqrt{2t}\cos u & \frac{1}{\sqrt{2t}}\sin u
\end{pmatrix}
$$
它的所有项都连续并且行列式的绝对值为 \(|-\sin^2u-cos^2u|=1\) 不为0
利用变量替换定理可以得到
$$
\begin{aligned}
f_{X,Y}(x,y)&=f_{U,T}(u,t)|\left|\frac{\partial(u,t)}{\partial(x,y)}\right||\\
&=\frac{1}{2\pi}e^{-t}\cdot1\\
&=\frac{1}{2\pi}e^{-\frac12(x^2+y^2)}\\
&=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\frac{1}{\sqrt{2\pi}}e^{-y^2/2}
\end{aligned}
$$
显然 \(f_{X,Y}\) 是两个标准正态分布的乘积，所以 \(X\) 和 \(Y\) 是两个独立同分布随机变量
Convolutions
卷积(convolutions)是一系列独立随机变量的和，可以使用卷积和或者卷积积分来求出 \(T=X+Y\) 的分布
定理：卷积和与积分
如果 \(X\) 和 \(Y\) 是两个独立的的随机变量并且 \(T=X+Y\)
- 如果 \(X\) 和 \(Y\) 是离散的，那么 \(T\) 的 PMF 为 $$ \begin{aligned} P(T=t)&=\sum_x P(Y=t-x)P(X=x) \\ &=\sum_y P(X=t-y)P(Y=y) \end{aligned} $$
- 如果 \(X\) 和 \(Y\) 是连续的，那么 \(T\) 的 PDF 为 $$ \begin{aligned} f_T(t)&=\int_{-\infty}^{\infty}f_Y(t-x)f_X(x)dx \\ &=\int_{-\infty}^{\infty}f_X(t-y)f_Y(y)dx \end{aligned} $$
证明
使用全概率公式，将 \(X\) 作为条件 $$ \begin{aligned} P(T=t)&=\sum_x P(X+Y=t|X=x)P(X=x)\\ &=\sum_xP(Y=t-x|X=x)P(X=x) \\ &=\sum_x P(Y=t-x)P(X=x) \end{aligned} $$ 第二个式子的证明过程与之类似，只需要将 \(Y\) 作为条件
首先求出 \(T\) 的 CDF $$ \begin{aligned} F_T(t)=P(X+Y\le t)&=\int_{-\infty}^{\infty}P(X+Y\le t|X=x)f_X(x)dx \\ &=\int_{-\infty}^{\infty}P(Y\le t-x|X=x)f_X(x)dx \\ &=\int_{-\infty}^{\infty}P(Y\le t-x)f_X(x)dx \end{aligned} $$ 对上式求导，即可得到 $$ f_T(t)=\int_{-\infty}^{\infty}f_Y(t-x)f_X(x)dx $$ 第二个式子的证明过程与之类似，只需要将 \(Y\) 作为条件
设 \(Y\) 的 PDF 为 \(f_Y\)，则 \(-Y\) 的 PDF 为 \(f_{-Y}(y)=f_Y(-y)\)，因此 $$ T=X+Y=X+(-(-Y)) $$ 令 \(Z=-Y\)，则 \(T=X-Z\)，根据变量替换定理可以得到 $$ f_T(t)=\int_{-\infty}^{\infty}f_Z(t-x)f_X(x)dx=\int_{-\infty}^{\infty}f_Y(x-t)f_X(x)dx $$
卷积公式本质上就是将 \(X\) 或 \(Y\) 作为条件的全概率公式，这里要求 \(X\) 和 \(Y\) 独立是为了能去掉条件概率
在使用卷积公式时,需要确定被积变量的范围,即
Beta
Beta 分布(Beta distribution)是一个在区间 \((0,1)\) 上的连续分布，可以看作是 \(\text{Unif}(0,1)\) 的推广
如果一个连续随机变量 \(X\) 的 PDF 为 $$ f(x)=\frac{1}{\beta(a,b)}x^{a-1}(1-x)^{b-1},\quad 0<x<1 $$ 那么 \(X\) 服从参数为 \(a\) 和 \(b\) 的 Beta 分布，记为 \(X\sim\text{Beta}(a,b)\)。其中 \(a>0,b>0,\beta(a,b)\) 是一个使 \(f(x)\) 积分为1的常数
取 \(a=b=1\), \(\text{Beta}(0,1)\) 的 PDF 在 \((0,1)\) 上是一个常数，因此 \(\text{Beta}(0,1)\) 和 \(\text{Unif}(0,1)\) 是相同的
根据定义 \(\beta(a,b)\) 满足 $$ \beta(a,b)=\int_0^1x^{a-1}(1-x)^{b-1}dx $$ 这个积分被称为 beta 积分(beta integral),通常需要通过一些微积分得到 \(\beta(a,b)\) 的值，但对于 \(a\) 和 \(b\) 都为整数的情况，可以通过两个 story 来求出 \(\beta(a,b)\) 的值
Story 1 假设有 \(n+1\) 个球，其中 \(n\) 个白球，1个灰球。将这 \(n+1\) 和球随机放置在单位区间 \([0,1]\) 上，即每个球的位置都是独立同分布的 \(\text{Unif}(0,1)\).令 \(X\) 表示在灰球左侧的白球的数量 为了求事件 \(X=k\) 的概率，将灰球的位置 \(B=p\) 作为条件，那么我们可以将每一个小球的位置独立的伯努利分布，那么落在灰球左边的白球数量服从 \(\text{Bin}(n, p)\),利用全概率公式可以得到 $$ P(X=k)=\int_0^1P(X=k|B=p)f(p)dp=\int_0^1\binom{n}{k}p^k(1-p)^{n-k}dp $$
Story 2 假设有 \(n+1\) 个白球随机放置在单位区间 \([0,1]\) 上，然后需要选择一个球涂成灰色，令随机变量 \(X\) 表示在灰球左侧的白球的数量。根据对称性，\(n+1\) 个球有相等的可能被选择，因此 $$ P(X=k)=\frac{1}{n+1} $$ 这里的关键在于，上下两个 story 描述的其实是同一个事件，因此 $$ \int_0^1\binom{n}{k}p^k(1-p)^{n-k}dp=\frac{1}{n+1} $$ 将上式中的 \(k\) 替换为 \(a-1\) ，\(n-k\) 替换为 \(b-1\) ，便可以得到 $$ \beta(a,b)=\frac{1}{(a+b-1)\binom{a+b-2}{a-1}}=\frac{(a-1)!(b-1)!}{(a+b-1)!} $$
下图是4个 Beta 分布的例子
Beta 分布的PDF 图像的性质
- 如果 \(a<1\) 并且 \(b<1\),图像是一个开口向上的 U 形（左上）
- 如果 \(a>1\) 并且 \(b>1\),图像是一个开口向下的 U 形（左下和右下）
- 如果 \(a=b\),图像关于 \(1/2\) 对称（左上和右下）
- 如果 \(a>b\),图像的向右偏
- 如果 \(a<b\),图像的向左偏
Beta-Binomial共轭性
假设投掷一枚硬币正面朝上的概率为 \(p\) ，但我们并不知道 \(p\) 的值。我们的目标是通过观察 \(n\) 次投掷的结果来推断出 \(p\) 的值，\(n\) 值约大，\(p\) 的值越精确
一个常见的方法是贝叶斯推理(Bayesian inference),它将所有未知量看作随机变量。在上面的例子中，我们将概率 \(p\) 看作随机变量，并为它选择一个先验分布(prior distribution),然后将试验的结果作为条件并利用贝叶斯公式来更新 \(p\) 的分布，这会产生一个后验分布(posterior distribution)
如果我们选择 \(\text{Beta}(a,b)\) 作为 \(p\) 的先验分布，令\(X\)为\(n\)次投掷中正面朝上的次数，如果将\(p\)的值作为条件，那么投掷硬币是一系列独立的伯努利试验，因此 $$ X|p\sim\text{Bin}(n, p) $$
为了得到后验分布，使用贝叶斯公式，令 \(f(p)\) 为先验分布，\(f(p|X=k)\) 为观察到 \(k\) 次正面朝上的后验分布 $$ \begin{aligned} f(p|X=k)&=\frac{P(X=k|p)f(p)}{P(X=k)} \\ &=\frac{\dbinom{n}{k}p^k(1-p)^{n-k}\dfrac{1}{\beta(a,b)}p^{a-1}(1-p)^{b-1}}{\int_0^1P(X=k|p)f(p)dp} \\ &=\frac{\dbinom{n}{k}p^k(1-p)^{n-k}\dfrac{1}{\beta(a,b)}p^{a-1}(1-p)^{b-1}}{\int_0^1\binom{n}{k}p^k(1-p)^{n-k}f(p)dp} \end{aligned} $$ 条件PDF\(f(p|X=k)\)是一个关于\(p\)的函数，因此不含有\(p\)的项都可以被看作常数，所以 $$ f(p|X=k)\propto p^{a+k-1}(1-p)^{b+n-k-1} $$ 这正是 \(\text{Beta}(a+k,b+n-k)\) 的PDF,因此 $$ p|X=k\sim\text{Beta}(a+k,b+n-k-1) $$
在观察到 \(X = k\) 之后，\(p\) 的后验分布仍然是 Beta 分布！这是体现了 Beta 分布和二项分布之间一种被称为共轭的特殊关系：如果选择Beta分布作为 \(p\) 的先验分布，而且试验产生的数据在给定 \(p\) 条件下是二项分布，那么从先验分布到后验分布的过程中，所有分布将一直是Beta分布，即Beta 是二项分布的共轭先验
Gamma
Gamma函数 \(\Gamma\) 定义为 $$ \Gamma(a)=\int_0^{\infty}x^ae^{-x}\frac{dx}{x} $$ 其中\(a\)为大于0的实数
Gamma函数满足下面两个重要的性质
- \(\Gamma(a+1)=a\Gamma(a)\)
- 如果 \(n\) 是正整数，那么 \(\Gamma(n)=(n-1)!\)
证明
利用分部积分公式，可以得到 $$ \Gamma(a+1)=\int_0^{\infty}x^a e^{-x} dx=-x^a e^{-x}\Big|_0^{\infty}+a\int_0^{\infty}x^{a-1}e^{-x}dx=a\Gamma(a) $$
利用数学归纳法，设 \(P(n)\) 为 \(\Gamma(n)=(n-1)!\) 成立
- Basis Step: 当 \(n=1\) 时，\(\Gamma(1)=\int_0^{\infty}e^{-x}dx=-e^{-x}\Big|_0^{\infty}=1=(1-1)!\), 所以 \(P(1)\) 成立。
- Inductive Step: 假设 \(P(k)\) 成立，即 \(\Gamma(k)=(k-1)!\)，则 $$ \Gamma(k+1)=k\Gamma(k)=k(k-1)!=(k+1-1)! $$ 所以 \(P(k+1)\) 成立
综上，\(P(n)\) 成立，即对所有正整数 \(n\), \(\Gamma(n)=(n-1)!\)
对Gamma函数两端同时除以 \(\Gamma(a)\) 便可以得到 $$ 1=\int_0^{\infty}\frac{1}{\Gamma(a)}x^ae^{-x}\frac{dx}{x} $$ 上面的式子是一个支撑集为 \((0,\infty)\) 的 PDF ，而这正是 Gamma 分布的 PDF 的形式 如果随机变量 \(X\) 的 PDF 为 $$ f_X(x)=\frac{1}{\Gamma(a)}x^ae^{-x}\frac1{x},\quad x>0 $$ 那么 \(X\) 服从参数为 \(a\) 和1的 Gamma 分布，记为 \(X\sim\text{Gamma}(a,1)\)
使用之前提到的位置-尺度变换，令随机变量 \(Y=\frac{X}{\lambda}\) ，那么 \(Y\sim\text{Gamma}(a, \lambda)\);然后使用变量替换定理，可以得到 $$ f_Y(y)=f_x(x)\left|\frac{dx}{dy}\right|=f_X(\lambda y)\lambda=\frac{1}{\Gamma(a)}(\lambda y)^ae^{-\lambda y}\frac1{y}, \quad y>0 $$ 因此，如果 \(Y\sim\text{Gamma}(a,\lambda)\) ，那么 \(Y\) 的 PDF 为 $$ f_Y(y)=\frac{1}{\Gamma(a)}(\lambda y)^ae^{-\lambda y}\frac1{y}, \quad y>0 $$
取 \(a=1\), \(\text{Gamma}(1,\lambda)\) 的 PDF 为 \(\lambda e^{-\lambda y}\)，因此 \(\text{Gamma}(\lambda,1)\) 和 \(\text{Expo}(\lambda)\) 是相同的
定理
令 \(X_1,X_2,\cdots,X_n\) 是独立同分布的 \(\text{Expo}(\lambda)\) ，那么
$$
X_1+X_2+\cdots+X_n\sim\text{Gamma}(n,\lambda )
$$
证明
\(\text{Expo}(\lambda)\) 的 MGF 为 \(\dfrac{\lambda}{\lambda-t}\),根据独立随机变量 MGF 的乘积性质，\(X_1+\cdots+X_n\) 的 MGF 为 $$ M_n(t)=\left(\frac{\lambda}{\lambda-t}\right)^n,\quad t<\lambda $$ 令 \(Y\sim\text{Gamma}(n,\lambda)\),利用 LOTUS 计算它的 MGF $$ \begin{aligned} E(e^{tY})&=\int_0^{\infty}e^{ty}\frac{1}{\Gamma(n)}(\lambda y)^ne^{-\lambda y}\frac{dy}{y} \\ &=\frac{\lambda^n}{(\lambda-t)^n}\int_0^{\infty}\frac{1}{\Gamma(n)}e^{-(\lambda-t)y}\big((\lambda-t)y\big)^n\frac{dy}{y} \\ &=\left(\frac{\lambda}{\lambda-t}\right)^n,\quad t<\lambda \end{aligned} $$ 这里将积分号内凑成了 \(\text{Gamma}(n,\lambda-t)\) 的 PDF,因此积分为1。当 \(t\ge\lambda\) 时积分不收敛
可以看到两者有相同的 MGF ，而 MGF 决定分布，因此 $$ X_1+\cdots+X_n\sim\text{Gamma}(n,\lambda) $$
只需要考虑 \(\lambda=1\) 的情况，其余情况可以通过尺度变换得到。令 \(T_n=X_1+\cdots+X_n\)
- Basis Step: 当 \(n=1\) 时，\(\text{Gamma}(1,1)\) 的 PDF 为 \(e^{-x}(x>0)\),与 \(\text{Expo}(1)\) 的 PDF 相同，所以成立
- Inductive Step: 假设 \(T_n\sim\text{Gamma}(n,1)\),那么 \(T_{n+1}=T_n+X_{n+1}\) 的 PDF 为 $$ \begin{aligned} f_{T_{n+1}}(t)&=\int_0^{\infty}f_{T_n}(x)f_{X_{n+1}}(t-x)dx \\ &=\frac{1}{\Gamma(n)}\int_0^tx^{n-1}e^{-x}e^{-(t-x)}dx \\ &=\frac{e^{-t}}{\Gamma(n)}\int_0^tx^{n-1}dx \\ &=\frac{t^ne^{-t}}{\Gamma(n+1)},\quad t>0 \end{aligned} $$ 这是 \(\text{Gamma}(n+1,1)\) 的 PDF
Gamma-Poisson共轭性
与 Beta-Binomial 共轭类似，Gamma 分布是泊松分布的共轭先验
Beta and Gamma Connection
Beta 分布和 Gamma 分布之间有着非常紧密的联系，下面通过一个story来说明它们之间的联系
Bank-Post Office
在跑腿的时候，需要先去银行，再去邮局。设 \(X\sim\text{Gamma}(a,\lambda)\) 是在银行排队的等待时间，\(Y\sim\text{Gamma}(b,\lambda)\) 是在邮局排队的等待时间（两者的 \(\lambda\) 相同）。假设 \(X\) 和 \(Y\) 独立。\(T = X + Y\)（在银行和邮局总共的等待时间）和 \(W = X / (X + Y)\)（在银行等待的时间比例）的联合分布是什么?
使用二维变量替换定理求出 \((T,W)\) 的联合 PDF。令\(t=x+y\), \(w=x/(x+y)\)，那么 $$ x=tw,\quad y=t(1-w) $$
雅可比矩阵为 $$ \frac{\partial(x,y)}{\partial(t,w)}= \begin{pmatrix} w & t \\ 1-w & -t \end{pmatrix} $$
它的行列式为 \(-tw-t(1-w)=-t\),绝对值为 \(t\),因此 \((T,W)\) 的联合 PDF 为 $$ \begin{aligned} f_{T,W}(t,w)&=f_X(tw)f_Y(t(1-w))\cdot t\\ &=\frac{1}{\Gamma(a)\Gamma(b)}(\lambda tw)^ae^{-\lambda tw}\big(\lambda t(1-w)\big)^be^{-\lambda t(1-w)}\cdot\frac1{tw}\cdot\frac1{t(1-w)}\cdot t\\ &=\frac{1}{\Gamma(a)\Gamma(b)}\lambda^{a+b}t^{a+b-1}e^{-\lambda t}w^{a-1}(1-w)^{b-1}\\ &=\left(\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}w^{a-1}(1-w)^{b-1}\right)\cdot\left(\frac{1}{\Gamma(a+b)}(\lambda t)^{a+b}e^{-\lambda t}\frac1t\right) \end{aligned} $$ 联合 PDF 被分解为一个只关于 \(w\) 的函数与一个只关于 \(t\) 的函数的乘积。第一项是 \(\text{Beta}(a,b)\) 的 PDF,第二项是 \(\text{Gamma}(a+b,\lambda)\) 的 PDF;由于联合 PDF 可以分解，因此 \(T\) 和 \(W\) 相互独立
对照 Beta 分布的 PDF,我们可以得到 $$ \frac{1}{\beta(a,b)}=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)} $$
总结
Bank-Post Office 告诉我们，将具有相同速率 \(\lambda\) 的独立 Gamma 随机变量 \(X\) 和 \(Y\) 相加时，总和 \(X+Y\) 服从 Gamma 分布，比例 \(X/(X+Y)\) 服从 Beta 分布，而且总和与比例是独立的。
Order statistics
将 \(n\) 个随机变量按从小到大的顺序排列，就得到了顺序统计量(order statistics)。随机变量 \(X_1,X_2,\cdots,X_n\) 的顺序统计量为 $$ \begin{aligned} &X_{(1)}=\min(X_1,\cdots,X_n) \\ &X_{(2)}\text{ is the second-smallest of }X_1,\cdots,X_n \\ &\vdots \\ &X_{(n-1)}\text{ is the second-largest of }X_1,\cdots,X_n \\ &X_{(n)}=\max(X_1,\cdots,X_n) \end{aligned} $$
根据定义 \(X_{(1)}\le X_{(2)}\le\cdots \le X_{(n)}\).我们称 \(X_{(j)}\) 为第 \(j\) 顺序统计量(j-th order statistics) 如果 \(n\) 为奇数，那么 \(X_{(n-1)/2}\) 被称为样本均值(sample median)
顺序统计量之间是相关的：一旦知道 \(X_{(j)}\) 的值，\(X_{(j+1)}\) 的取值范围就被限制住了
在下面的内容中，我们假设 \(X_1,X_2,\cdots,X_n\) 是 CDF 为 \(F\) ，PDF 为 \(f\) 的独立同分布的连续随机变量。我们要求出 \(X_{(j)}\) 的边缘分布
首先考虑最大值和最小值。 \(X_{(n)}=\max(X_1,\cdots,X_n)\) ,当 \(X_{(n)}\le x\) 时，所有的 \(X_j\) 都不超过 \(x\),因此 \(X_{(n)}\) 的 CDF 为 $$ \begin{aligned} F_{X_{(n)}}(x)&=P(X_1\le x,\cdots,X_n\le x) \\ &=P(X_1\le x)\cdots P(X_n\le x) \\ &=\left(F(x)\right)^n \end{aligned} $$
类似地，\(X_{(1)}=\min(X_1,\cdots,X_n)\) 当 \(X_{(n)}> x\) 时，所有的 \(X_j\) 都大于 \(x\),因此 \(X_{(1)}\) 的 CDF 为 $$ \begin{aligned} F_{X_{(1)}}(x)&=1-P(\min(X_1,\cdots,X_n)>x) \\ &=1-(P(X_1\le x)\cdots P(X_n\le x)) \\ &=1-\big(1-F(x)\big)^n \end{aligned} $$
接下来考虑 \(X_{(j)}\) 的 CDF，与上面的情况类似： \(X_{(j)}\le x\) 意味着有 \(j\) 个随机变量落在 \(x\) 的左侧，如下图所示
重新设一个随机变量 \(N\) 表示落在 \(x\) 左侧的随机变量的个数，对于每个随机变量来说，这是一个概率为 \(F(x)\) 的伯努利试验。因此，\(N\sim\text{Bin}(n,F(x))\) ，而 \(N=j\) 就是 \(X_{(j)}\)
定理：第 j 顺序统计量的 CDF
设 \(X_1,\cdots,X_n\) 是 CDF 为 \(F\) 的独立同分布连续随机变量，那么第 \(j\) 个顺序统计量的 CDF 为
$$
P(X_{(j)}\le x)=\sum_{k=j}^{n}\binom{n}{k}F(x)^k\big(1-F(x)\big)^{n-k}
$$
第 j 顺序统计量的 PDF 可以通过对 CDF 求导得到，但这有一些过于繁琐，我们用一个 story 来推导。
如下图所示，为了使 \(X_{(j)}\) 落在 \(x\) 附近长度为 \(dx\) 的区间内，需要
- 有 \(j-1\) 个随机变量落在 \(x\) 的左侧，概率为 \(F(x)^{j-1}\)
- 有 \(n-j\) 个随机变量落在 \(x\) 的右侧，概率为 \(\big(1-F(x)\big)^{n-j}\)
- 有 1 个随机变量落在 \(x\) 附近长度为 \(dx\) 的区间内，概率为 \(f(x)dx\)
选择落在 \(dx\) 区间内的那个随机变量有 \(n\) 种方式，再从剩下的 \(n-1\) 个中挑出落在左侧的 \(j-1\) 个有 \(\dbinom{n-1}{j-1}\) 种方式，因此 $$ f_{X_{(j)}}(x)dx=n\binom{n-1}{j-1}F(x)^{j-1}\big(1-F(x)\big)^{n-j}f(x)dx $$ 两边同时约去 \(dx\) 即可
定理：第 j 顺序统计量的 PDF
设 \(X_1,\cdots,X_n\) 是 CDF 为 \(F\)、PDF 为 \(f\) 的独立同分布连续随机变量，那么第 \(j\) 个顺序统计量的 PDF 为
$$
f_{X_{(j)}}(x)=n\binom{n-1}{j-1}f(x)F(x)^{j-1}\big(1-F(x)\big)^{n-j}
$$