切比雪夫不等式

2023年12月27日

在概率论中，我们常常需要量化随机变量偏离其期望值的概率。切比雪夫不等式（Chebyshev’s Inequality）提供了一个与分布无关的通用边界，即使不知道具体分布形式，也能计算偏离概率的上限。

1. 定义

对于任意随机变量 $X$ （需满足 $\text{Var}(X) < \infty$ ），其期望值为 $\mu$ ，方差为 $\sigma^2$ ，则对任意 $k > 0$ 有：

P\left( |X - \mu| \geq k \sigma \right) \leq \frac{1}{k^2}

切比雪夫不等式是马尔可夫不等式的推广。马尔可夫不等式指出，对于非负随机变量 $Y$ ：

P(Y \geq a) \leq \frac{E[Y]}{a}, \quad a > 0

我们令 $Y = (X - \mu)^2$ ，则 $E[Y] = \sigma^2$ 。根据马尔可夫不等式：

P\left( (X - \mu)^2 \geq k^2 \sigma^2 \right) \leq \frac{E[(X - \mu)^2]}{k^2 \sigma^2} = \frac{\sigma^2}{k^2 \sigma^2} = \frac{1}{k^2}

注意到：

(X - \mu)^2 \geq k^2 \sigma^2 \iff |X - \mu| \geq k \sigma

因此得到切比雪夫不等式：

P(|X - \mu| \geq k \sigma) \leq \frac{1}{k^2}

切比雪夫不等式表明：

设某考试平均分 $\mu = 70$ ，标准差 $\sigma = 10$ ，求分数在50~90分外的概率上限。

解：

切比雪夫不等式是证明弱大数定律的关键工具：

\lim_{n \to \infty} P\left( \left| \frac{S_n}{n} - \mu \right| \geq \epsilon \right) = 0

其中 $S_n = X_1 + \cdots + X_n$ 。

保守性：实际概率通常远低于切比雪夫上界（如正态分布中 $P(|X-\mu| \geq 2\sigma) \approx 5\%$ ，但切比雪夫给出25%上界）。
依赖方差：需方差有限，对柯西分布等方差不存在的情况不适用。