Expectation
Definition of Expectation
支撑为\(x_1,x_2,\cdots\)的离散随机变量\(X\)的期望(expectation)定义为 $$ E(X)=\sum_{j=1}^{\infty}x_jP(X=x_j) $$ 如果支撑是无限的，那么期望也可以定义为 $$ E(X)=\sum_{x}xP(X=x) $$
如果\(\sum^{j=1}_{\infty}|x_j|P(X=x_j)\)发散，那么期望无定义
期望可以看作权重为概率的加权平均数，期望是一个数字
命题： 如果离散随机变量\(X\)和\(Y\)有相同的分布，那么\(E(X)=E(Y)\)
上面的命题的反命题不成立，即期望相同不代表分布相同。因为期望只是对分布的一个数字的总结，不能完全表示整个分布。
符号约定
可以将\(E(X)\)缩写为\(EX\)，与之类似，\(E(X^2)\)可以缩写为\(EX^2\)，\(E(X^n)\)可以缩写为\(EX^n\)
如果没有没有用括号特别指明，那么期望的次数首先加在随机变量上，然后才加在期望上
例如：\(E(X-1)^4\)表示\(E((X-1)^4)\)而不是\((E(X-1))^4\)
Linearity of Expectation
线性(linearity)是期望最重要的性质
定理 ： 对于随机变量\(X\)和\(Y\)以及常数\(c\) $$ \begin{aligned} E(X+Y)&=E(X)+E(Y) \\ E(cX)&=cE(X) \end{aligned} $$
期望的线性不要求两个随机变量具有独立性
命题:
假设随机变量\(X\)和\(Y\)恒满足\(X\ge Y\)(概率为1),那么\(E(X)\ge E(Y)\)恒成立，当且仅当 \(X=Y\) 时取等
证明
构造一个随机变量\(Z=X-Y\)，当\(X\ge Y\)时，\(Z\ge0\)，那么\(E(Z)\ge0\) 根据随机变量的线性 $$ E(Z)=E(X-Y)=E(X)-E(Y)\ge0 $$ 即\(E(X)\ge E(Y)\) 当\(X=Y\)时，\(E(X)=E(Y)\)
Geometric and Negative Binomial
Geometric
对于一系列独立的伯努利试验，每个试验的成功概率均为\(p\in(0, 1)\)，当第一次出现成功时停止试验。令随机变量\(X\)为第一次成功前失败的次数，那么\(X\)服从参数为\(p\)的几何分布(geometric distribution)，记为\(X\sim\text{Geom}(p)\)
如果\(X\sim\text{Geom}(p)\),那么\(X\)的 PMF 为 $$ P(X=k)=q^kp $$ 其中\(k=0,1,2,\cdots\),\(q=1-p\)
如果\(X\sim\text{Geom}(p)\),那么\(X\)的 CDF 为 $$ F(x)= \begin{cases} 1-q^{\lfloor x\rfloor+1},\text{if }x\ge0 \\ 0,\text{if }x<0 \end{cases} $$ 其中\(q=1-p\)
这里的几何分布不包括最后成功的那一次试验，下面介绍的 First Success 是包含最后一次成功的
对于一系列独立的伯努利试验，每个试验的成功概率均为\(p\in(0, 1)\)，当第一次出现成功时停止试验。令随机变量\(Y\)为第一次成功前失败的次数，包括最后一次成功的试验，那么\(Y\)服从参数为\(p\)的 First Success，记为\(Y\sim\text{FS}(p)\)
如果\(Y\sim\text{FS}(p)\)，那么 \(Y-1\sim\text{Geom}(p)\),可以用下面的公式转换 PMF $$ P(Y=k)=P(Y-1=k-1)=q^{k-1}p $$ 同样的，如果\(X\sim\text{Geom}(p)\),那么\(X+1\sim\text{FS}(p)\)
Negative Binomial
对于一系列独立的伯努利试验，每个试验的成功概率均为\(p\in(0, 1)\)，令随机变量\(X\)为第\(r\)次成功前失败的次数，那么\(X\)服从参数为\(p\)和\(r\)的负二项分布(negative binomial distribution)，记为\(X\sim\text{NBin}(r, p)\)
如果\(X\sim\text{NBin}(r, p)\),那么\(X\)的 PMF 为 $$ P(X=k)=\binom{k+r-1}{r-1}p^{r}q^{k} $$ 其中\(k=0,1,2,\cdots\),\(q=1-p\)
如果\(g(x)\)不是线性函数，那么\(E(g(X))\ne g(E(X))\)
Indicator r.v.s and the Fundamental Bridge
前面已经介绍了指示随机变量的概念，这一节将继续探索指示随机变量的性质
定理:
对于事件 \(A\)和\(B\),其指示随机变量满足以下性质
- 对任意正整数\(k, (I_A)^k=I_A\)
- \(I_{A^c}=1-I_A\)
- \(I_{A\cap B}=I_AI_B\)
- \(I_{A\cup B}=I_A+I_B-I_AI_B\)
指示随机变量可以将概率与期望联系起来，称之为 基础桥梁(fundamental bridge)
事件和指示随机变量之间存在一一对应关系，并且事件\(A\)的概率是指示随机变量\(I_A\)的期望，即
$$
P(A)=E(I_A)
$$
上面的这个关系让我们可以用期望表示任意的概率
Negative Hypergeometric
从一个包含\(w\)个白球和\(b\)个黑球的盒子中不放回的拿球，拿到\(r\)个白球是停止试验。设随机变量\(X\)为拿出第\(r\)个白球前拿出的黑球数量，那么\(X\)服从负超几何分布(negative hypergeometric distribution)，记为\(X\sim\text{NHGeom}(w, b, r)\)
\(X=k\)意味着在前\(r+k-1\)个球中，有\(r-1\)个白球；而在后\(w+b-k-r\)个球中，有\(w-r\)个白球(第\(r\)个球一定为白球)。而白球可能位置的总数为\(\dbinom{w+b}{w}\).
因此，根据概率的定义，可以得到负超几何分布的 PMF
$$
P(X=k)=\frac{\binom{r+k-1}{r-1}\binom{w+b-k-r}{w-r}}{\binom{w+b}{w}}
$$
现在已经了解了四种离散随机变量的分布，它们的关系如下表
| 放回 | 不放回 | |
|---|---|---|
| 试验次数固定 | 二项分布 | 超几何分布 |
| 成功次数固定 | 负二项分布 | 负超几何分布 |
定理
假设\(X\)为非负的整数值随机变量，\(F\)为\(X\)的 CDF ，那么\(X\)的生存函数\(G\)定义为 \(G(x)=1-F(x)=P(X>x)\)
$$
E(X)=\sum_{n=0}^{\infty}G(n)
$$
证明
可以将\(X\)表示为一系列指示随机变量相加，即\(X=I_1+I_2+\cdots+I_b\)，其中\(I_n=I(X\ge n)\)，对于离散随机变量，\(P(X\ge n)\) 和 \(P(X>n-1)\) 是相同的。根据期望的线性性质可以得到 $$ E(X)=\sum_{k=1}^{b}P(X\ge k)=\sum_{n=0}^{b-1}P(X> n)=\sum_{n=0}^{\infty}P(X>n)=\sum_{n=0}^{\infty}G(n) $$
Law of the Unconscious Statistician (LOTUS)
如果\(g(x)\)不是线性函数，那么通常情况下\(g(E(X))\ne E(g(X))\).而 LOTUS 是一种不需要求出\(g(X)\)的分布，直接使用\(X\)的分布便可以得到 \(E(g(x))\)的方法
定理 (LOTUS)
假设\(X\)是一个离散随机变量，\(g\)是一个\(\mathbb{R}\to\mathbb{R}\)的函数，那么
$$
E(g(X))=\sum_{x}g(x)P(X=x)
$$
证明
计算期望的方法
将随机变量\(X\)表示为一系列指示随机变量相加，然后再利用期望的线性性质和基础桥梁计算期望
- 将\(X\)表示为一系列指示随机变量相加，指示随机变量一般选择\(X\)所取的值作为指标
- 使用基础桥梁，计算每一个指示随机变量的期望，对称性在这一阶段非常重要，可以简化计算过程
- 使用期望的线性性质，计算\(E(g(X))\)的期望
Variance
LOTUS 的一个重要应用是寻找随机变量的方差(variance)，与期望一样，方差也是随机变量的的单个数字总结。不同之处在于，期望反应的是分布的中心，而方差则是表示分布有多分散
随机变量\(X\)的方差是 $$ Var(x)=E(X-EX)^2 $$ 方差的平方根被称为标准差(standard deviation) $$ SD(x)=\sqrt{Var(X)} $$
定理
计算方差还有一个等价的式子是
$$
Var(X)=E(X^2)-(EX)^2
$$
这个式子在实际计算中更常用
证明
令\(\mu=EX\),将\((X-\mu)^2\)展开后利用线性得到 $$ E(X-\mu)^2=E(X^2)-2\mu EX+\mu^2=E(X^2)-\mu $$
下面是方差的几个性质
- 对于任意常数\(c\), \(Var(X+c)=Var(X)\)
- 对于任意常数\(c\), \(Var(cX)=c^2Var(X)\)
- 如果 \(X\)和 \(Y\)是独立的，\(Var(X+Y)=Var(X)+Var(Y)\)
- \(Var(X)\ge0\),当且仅当\(P(X=a)=1\)时等号成立
Poisson
如果随机变量\(X\)服从参数为\(\lambda\)的泊松分布(Poisson distribution)，那么\(X\)的 PMF 为 $$ P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!},k=0,1,2,\cdots $$ 记为\(X\sim\text{Pois}(\lambda)\)
泊松分布的期望和方差
如果随机变量\(X\sim\text{Pois}(\lambda)\)，那么\(E(X)=\lambda\)和\(Var(X)=\lambda\)
证明
根据期望的定义 $$ E(X)=\sum_{k=0}^{\infty}k\frac{e^{-\lambda}\lambda^k}{k!} $$ 利用泰勒级数\(e^x=\sum_{n=0}^{\infty}\frac{x^n}{n!}\) $$ \begin{aligned} E(X) &= e^{-\lambda}\sum_{k=1}^{\infty}\frac{\lambda^k}{(k-1)!} \\ &= e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^{j+1}}{j!} \\ &= \lambda e^{-\lambda}\sum_{j=0}^{\infty}\frac{\lambda^{j}}{j!} \\ &= \lambda e^{-\lambda}e^{\lambda} \\ &= \lambda \end{aligned} $$
根据方差的定义 $$ Var(X)=E(X^2)-(EX)^2 $$ 其中\(E(X^2)\)可以通过 LOTUS 得到 $$ E(X^2)=\sum_{k=0}^{\infty}k^2\frac{e^{-\lambda}\lambda^k}{k!} $$ 利用泰勒级数\(e^\lambda=\sum_{k=0}^{\infty}\frac{\lambda^k}{k!}\),两边求导并乘\(\lambda\)得到 $$ \sum_{k=0}^{\infty}\frac{k\lambda^{k}}{k!}=\lambda e^\lambda $$ 对上面的式子再求导并乘\(\lambda\)得到 $$ \sum_{k=0}^{\infty}\frac{k^2\lambda^{k}}{k!}=(\lambda+\lambda^2)e^\lambda $$ 将结果带入\(E(X^2)\)得到\(E(X^2)=\lambda+\lambda^2\) 因此 $$ Var(X)=\lambda+\lambda^2-\lambda^2=\lambda $$
泊松分布常用于描述单位时间内的事件发生次数，特别是当事件发生概率较小且事件发生次数较多时。\(\lambda\)表示这些稀有事件的发生率
Connection between Poisson and Binomial
泊松分布与二项分布有着相等紧密的联系，可以通过给泊松分布增加条件得到二项分布；也可以通过给二项分布取极限得到泊松分布
定理
如果\(X\sim\text{Pois}(\lambda_1)\),\(Y\sim\text{Pois}(\lambda_2)\),那么 \(X+Y\sim\text{Pois}(\lambda_1+\lambda_2)\)
证明
为了求\(X+Y\)的 PMF，可以将 \(X\)作为条件并使用全概率公式 $$ \begin{aligned} P(X+Y=k)&=\sum_{j=0}^kP(X+Y=k|X=j)P(X=j)\\ &=\sum_{j=0}^kP(Y=k-j)P(X=j) \\ &=\sum_{j=0}^k\frac{e^{-\lambda_2}\lambda_2^{k-j}}{(k-j)!}\frac{e^{-\lambda_1}\lambda_1^j}{j!} \\ &=\frac{e^{-(\lambda_1+\lambda_2)}}{k!}\sum_{j=0}^k\binom{k}{j}\lambda_1^{j}\lambda_2^{k-j} \\ &=\frac{e^{-(\lambda_1+\lambda_2)}(\lambda_1+\lambda_2)^k}{k!} \end{aligned} $$
定理
如果如果\(X\sim\text{Pois}(\lambda_1)\),\(Y\sim\text{Pois}(\lambda_2)\),并且\(X\)和\(Y\)独立，那么在\(X+Y=n\)的条件下\(X\)的分布为\(\text{Bin}(n, \lambda_1/(\lambda_1+\lambda_2))\)
定理
如果\(X\sim\text{Bin}(n,p)\)，在保持\(\lambda=np\)不变的情况下，当\(n\to\infty, p\to0\)时，X的PMF会变为\(\text{Pois}(\lambda)\)
Conclusion of Discrete Distributions
Expectance of Discrete Distributions
如果随机变量\(X\sim\text{Bern}(p)\),那么\(E(X)=p\)
证明
根据期望的定义 $$ E(X)=1p+0q=p $$
如果随机变量\(X\sim\text{Bin}(n, p)\),那么\(E(X)=np\)
证明
根据期望的定义 $$ E(X)=\sum_{k=0}^n k P(X=k)=\sum^{n}_{k=0}k\binom{n}{k}p^kq^{n-k} $$
将 \(k\dbinom{n}{k}=n\dbinom{n-1}{k-1}\) 带入上式中得到 $$ \begin{aligned} E(X) &= n\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k}q^{n-k} \\ &= np\sum_{k=1}^{n}\binom{n-1}{k-1}p^{k-1}q^{n-k} \\ &= np\sum_{j=0}^{n-1}\binom{n-1}{j}p^{j}q^{n-1-j} \\ &= np(p+q)^{n-1} \\ &= np \end{aligned} $$
将\(X\)看作是一系列的伯努利试验，即 $$ X=I_1+I_2+\cdots+I_n $$ 其中\(E(I_j)=p\)，利用期望的线性可以得到 $$ E(X)=E(I_1)+E(I_2)+\cdots+E(I_n)=np $$
如果随机变量\(X\sim\text{HGeom}(w, b, n)\),那么\(E(X)=n\dfrac{w}{w+b}\)
证明
将\(X\)看作是一系列的伯努利试验，即 $$ X=I_1+I_2+\cdots+I_n $$ 其中\(E(I_j)=w/(w+b)\)，利用期望的线性可以得到 $$ E(X)=E(I_1)+E(I_2)+\cdots+E(I_n)=n\frac{w}{w+b} $$
虽然 \(I_j\)之间不是独立的，但线性与是否独立无关
如果随机变量\(X\sim\text{Geom}(p)\),那么\(E(X)=q/p\),\(q=1-p\)
证明
根据期望的定义 $$ E(X)=\sum_{k=0}^{\infty}kq^{k}p $$ 上面的式子看起来像\(kq^{k-1}\),因此，可以对几何级数逐项求导得到 $$ \sum^{\infty}_{k=0}kq^{k-1}=\frac{1}{(1-q)^2} $$
最后，给求导后的式子两边乘\(pq\)即可得到 $$ E(X)=\sum_{k=0}^{\infty}kq^{k}p=\frac{pq}{(1-q)^2}=\frac qp $$
根据几何分布的定义，事件\(\{X>n\}\)是前\(n+1\)次试验全部失败，因此 $$ E(X)=\sum_{n=0}^{\infty}P(X>n)=\sum^{\infty}_{n=0}q^{n+1}=\frac{q}{1-q}=\frac{q}{p} $$
如果随机变量\(Y\sim\text{FS}(p)\),那么\(E(Y)=1/p\)
证明
因为 \(Y=X+1\),因此 $$ E(Y)=E(X+1)=E(X)+1=\frac qp+1=\frac1p $$
如果随机变量\(X\sim\text{NBin}(r, p)\),那么\(E(X)=rq/p\)
证明
将\(X\)看作是一系列的独立同分布随机变量\(X_j\sim\text{Geom}(p)\),那么\(X=X_1+X_2+\cdots+X_r\),根据期望的线性 $$ E(X)=E(X_1)+E(X_2)+\cdots+E(X_r)=r\frac{q}{p} $$
如果随机变量\(X\sim\text{NHGEom}(w, b , r)\)，那么\(E(X)=rb/(w+1)\)
证明
将\(X\)看作是一系列的伯努利试验，即 $$ X=I_1+I_2+\cdots+I_r $$ 其中\(E(I_j)=w/(w+b)\)，利用期望的线性可以得到 $$ E(X)=E(I_1)+E(I_2)+\cdots+E(I_r)=rb/(w+1) $$
Variance of Discrete Distributions
如果随机变量\(X\sim\text{Bern}(p)\)，那么\(Var(X)=p(1-p)\)
证明
由于\(x=0\text{或}x=1\)时\(x^2=x\)恒成立，所以随机变量满足\(X^2=X\)，即\(E(X^2)=E(X)=p\)。直接代入方差计算公式得到 $$ Var(X)=E(X^2)-(EX)^2=p-p^2=p(1-p) $$
如果随机变量\(X\sim\text{Geom}(p)\)，那么\(Var(X)=\dfrac{q}{p^2}\)
证明
为了利用 LOTUS 避开直接处理平方项\(k^2\)的复杂级数，可以先计算更易处理的\(E[X(X-1)]\)。对于几何分布 PMF 有
$$
E[X(X-1)] = \sum_{k=0}^{\infty} k(k-1)pq^k = pq^2\sum_{k=2}^{\infty}k(k-1)q^{k-2}
$$
利用几何级数求和公式 \(\sum_{k=0}^{\infty}q^k = \frac{1}{1-q} = \frac{1}{p}\),将该式两边分别求一阶和二阶导数，可以得到：
$$
\sum_{k=2}^{\infty}k(k-1)q^{k-2}=\left(\sum_{k=0}^{\infty}q^{k}\right)''=\left(\frac{1}{p}\right)''=\frac{2}{p^3}
$$
代回级数中得到 \(E[X(X-1)] = pq^2 \cdot \frac{2}{p^3} = \frac{2q^2}{p^2}\)。
此时我们可以还原出 \(E(X^2)\)，再减去期望的平方：
$$
\begin{aligned}
Var(X)&=E(X^2)-(EX)^2 \\
&= E[X(X-1)]+EX-(EX)^2 \\
&= \frac{2q^2}{p^2} + \frac{q}{p} - \frac{q^2}{p^2} \\
&= \frac{q}{p^2}
\end{aligned}
$$
如果随机变量\(Y\sim\text{FS}(p)\)，那么\(Var(Y)=\dfrac{q}{p^2}\)
证明
由定义知 \(Y=X+1\)，其中 \(X \sim \text{Geom}(p)\) 记录的是失败次数。因为平移不会改变数据的波动程度（位置变换的方差不变性），所以 $$ Var(Y)=Var(X+1)=Var(X)=\frac{q}{p^2} $$
如果随机变量\(X\sim\text{NBin}(r, p)\)，那么\(Var(X)=r\dfrac{q}{p^2}\)
证明
将获取总共\(r\)次成功的过程看作是\(r\)轮连续的“等待下一次成功”。若定义每轮新增成功之前经历的新鲜失败次数为\(X_i\)，则显然 \(X_i \stackrel{\text{i.i.d.}}{\sim}\text{Geom}(p)\) 且总失败次数 \(X = \sum_{i=1}^r X_i\)。根据独立随机变量之和的方差具有可加性这一关键性质，我们有： $$ Var(X) = Var\left(\sum_{i=1}^r X_i\right) = \sum_{i=1}^r Var(X_i) = r \cdot \frac{q}{p^2} $$
如果随机变量\(X\sim\text{Bin}(n, p)\)，那么\(Var(X)=np(1-p)\)
证明
把\(n\)次重复的实验拆解为单个的试验，令指示随机变量\(I_j\)为第\(j\)次实验是否成功，则每一个 \(I_j\) 都服从参数为 \(p\) 的伯努利分布。同时由于各次试验彼此无关（独立），所以总的成功次数 \(X = \sum_{i=1}^n I_i\)。利用独立随机变量和的方差可加性： $$ Var(X) = Var\left(\sum_{i=1}^n I_i\right) = \sum_{i=1}^n Var(I_i) = n \cdot p(1-p) $$
如果随机变量\(X\sim\text{HGeom}(w, b, n)\)，那么\(Var(X)=n\dfrac{w}{w+b} \dfrac{b}{w+b} \dfrac{w+b-n}{w+b-1}\)
证明
令\(W=w+b\)表示总体大小。不放回的抽取可以写成一系列指示随机变量之和 \(X=\sum_{i=1}^n I_i\)（\(I_i=1\)代表第\(i\)次抽到了白球）。注意由于是不放回抽样，各\(I_i\)不再具备独立性，因此在求和展开方差时必须考虑两两之间的协方差项 (Covariance) $$ Var(X)=\sum_{i=1}^n Var(I_i)+\sum_{i \neq j}Cov(I_i, I_j) $$ 对于任意单独某一次抽样，抽出白球的无条件概率仍是 \(\frac{w}{W}\)，故每个 \(I_i\) 相当于参数为 \(\frac{w}{W}\) 的单点伯努利变量，单个方差为 \(Var(I_i) = \frac{w}{W}(1-\frac{w}{W}) = \frac{wb}{W^2}\)。第一部分一共\(n\)项，合计 为 \(\frac{nwb}{W^2}\)。
接下来看第二部分，对于任意两次不同的抽样位置 \(i\) 和 \(j\)，依据对称性所有这类组合的贡献是一样大的，而一共存在 \(n(n-1)\) 种可能的配对方式。它们对应的协方差定义为： $$ Cov(I_i,I_j) = E(I_i I_j)-E(I_i)E(I_j) $$ 其中联合期望 \(E(I_i I_j)\) 即为先后两次均抽到白球的发生概率（不放回的条件乘法公式）： $$ E(I_i I_j) = \frac{w}{W} \times \frac{w-1}{W-1} $$ 代入协方差表达式计算得 $$ Cov(I_i,I_j) = \frac{w(w-1)}{W(W-1)} - \left(\frac{w}{W}\right)^2 = \frac{-wb}{W^2(W-1)} $$
汇总这两个贡献项，通过代数上的通分整理即可得到最终结果： $$ \begin{aligned} Var(X) & = \frac{nwb}{W^2} - \frac{n(n-1)wb}{W^2(W-1)} \\ &= \frac{nw b}{W^2} \left( 1 - \frac{n-1}{W-1} \right) \\ &= \frac{nwb}{W^2} \left( \frac{W-1 - n + 1}{W-1} \right) \\ &= \frac{nwb}{W^2} \cdot \frac{W-n}{W-1} \end{aligned} $$ 将\(W=w+b\)重新代回分子分母拆分，便可完美对应命题里的连乘形式。
如果随机变量\(X\sim\text{NHGEom}(w, b , r)\)，那么\(Var(X)=\dfrac{rb(w+b+1)(w+1-r)}{(w+1)^2(w+2)}\)
证明提示
该分布的计算较为繁复，同样可以使用指示随机变量结合不放回条件下多阶段取样的协方差矩阵来严格推导。由于其对称结构与超几何分布同属一个数学体系，上述结论常作为对照知识在习题中进行反向验证应用.
最后将所有分布的期望和方差总结如下：
| 分布 | PMF | 期望 \(E(X)\) | 方差 \(Var(X)\) |
|---|---|---|---|
| 伯努利分布 \(\text{Bern}(p)\) | \(P(X=1)=p\) | \(p\) | \(p(1-p)\) |
| 二项分布 \(\text{Bin}(n, p)\) | \(P(X=k)=\binom{n}{k}p^kq^{n-k}\) | \(np\) | \(np(1-p)\) |
| 超几何分布 \(\text{HGeom}(w, b, n)\) | \(P(X=k)=\frac{\binom wk\binom{b}{n-k}}{\binom{w+b}{n}}\) | $n \dfrac{w}{w+b} $ | \(\dfrac{b}{w+b} \dfrac{w+b-n}{w+b-1}\) |
| 几何分布 \(\text{Geom}(p)\) | \(P(X=k)=q^{k}p\) | \(\dfrac{q}{p}\) | \(\dfrac{q}{p^2}\) |
| First Success \(\text{FS}(p)\) | \(P(X=1)=q^{k-1}p\) | \(\dfrac{1}{p}\) | \(\dfrac{q}{p^2}\) |
| 负二项分布 \(\text{NBin}(r, p)\) | \(P(X=k)=\binom{k+r-1}{r-1}p^{r}q^{k}\) | \(r \dfrac{q}{p}\) | \(r \dfrac{q}{p^2}\) |
| 负超几何分布 \(\text{NHGeom}(w, b, r)\) | \(P(X=k)=\frac{\binom{r+k-1}{r-1}\binom{w+b-k-r}{w-r}}{\binom{w+b}{w}}\) | \(\dfrac{rb}{w+1}\) | \(\dfrac{rb(w+b+1)(w+1-r)}{(w+1)^2(w+2)}\) |
| 泊松分布 \(\text{Pois}(\lambda)\) | \(P(X=k)=\frac{e^{-\lambda}\lambda^k }{k!}\) | \(\lambda\) | \(\lambda\) |