随机数学笔记1

第一章、概率论的基本概念

1. 随机事件的直观意义及运算

(1) 随机试验和随机事件

随机试验是对随机现象进行的观察和实验：

① 可在相同条件下重复进行 $\rightarrow$ 相对相同而非绝对
② 可以弄清试验的全部可能结果 $\rightarrow$ 可以扩展到不可数无穷
③ 试验前不能预言将出现哪一个结果
必然事件：随机事件中肯定发生的事件，记作 $\Omega$ 。
不可能事件：记作 $\emptyset$ 。
随机事件：可能发生也可能不发生的事情。

(2) 基本事件：一次试验中必发生一个且仅发生一个的最简单事件。

不可再分解，最简单，具有相对性。
可组合成复合事件。

2. 随机事件的关系及其运算

样本点与样本空间对应基本事件，复合事件由基本事件构成。若 $\omega \in A$ ，则称事件 $A$ 发生。

(1) 包含关系： $\emptyset \subset A \subset \Omega$

(2) 和事件： $A \cup B$ 或 $\bigcup_{i=1}^{n} A_i$

$\bigcup_{i=1}^{n} A_i$ 表示事件列 $A_1, A_2, \dots$ 中至少有一个发生。

(3) 积事件： $A \cap B$ 或 $AB$

$\bigcap_{i=1}^{n} A_i$

(4) 互不相容事件： $AB = \emptyset$

事件 $A, B$ 不可能同时发生（互斥）。
$A_1, A_2, \dots, A_n$ 两两互不相容。

(5) 对立事件 (逆事件)：

$AB = \emptyset$ 且 $A \cup B = \Omega$
$A = \bar{B}, B = \bar{A}$

(6) 差事件：

$A - B = \{ \omega \mid \omega \in A \text{ 且 } \omega \notin B \}$
$A - B = A - AB = (A \cup B) - B = \bar{A} \cap B$

(7) 运算律：

分配律： $(A \cap B) \cup C = (A \cup C) \cap (B \cup C)$
分配律： $(A \cup B) \cap C = (A \cap C) \cup (B \cap C)$
德·摩根律： $\overline{A \cup B} = \bar{A} \cap \bar{B}$
对偶律： $\overline{A \cap B} = \bar{A} \cup \bar{B}$

3. 概率的直观意义

概率是对随机事件发生可能性大小的度量（测度）。

4. 频率和统计概率

$f_n(A) = \frac{n}{m}$ 为频率。频率具有稳定性与不确定性，频率稳定于概率。

概率性质： ① $0 \le P(A) \le 1$ ② $P(\Omega) = 1$ ③ 若 $A_1, A_2, \dots, A_m$ 互不相容， $P(\bigcup_{i=1}^{m} A_i) = \sum_{i=1}^{m} P(A_i)$

5. 古典概型

① 有且仅有有限多个基本事件 ② 等可能性古典概率 $P(A) = \frac{A \text{ 所含基本事件个数}}{\text{基本事件总数}}$

6. 几何概率

$P(A) = \frac{\mu(A)}{\mu(\Omega)}$ （几何测度）满足可列可加性： $P(\bigcup_{i=1}^{\infty} A_i) = \sum_{i=1}^{\infty} P(A_i)$

7. 概率模型与公理化结构

一、可测空间 设随机试验 $E$ 样本空间为 $\Omega$ ， $\mathcal{F}$ 是 $\Omega$ 上的事件族满足： ① $\Omega \in \mathcal{F}$ ② 若 $A \in \mathcal{F}$ ，则 $\bar{A} \in \mathcal{F}$ （逆运算封闭） ③ 若 $A_i \in \mathcal{F}$ ，则 $\bigcup_{i=1}^{n} A_i \in \mathcal{F}$ （有限和封闭， $\mathcal{F}$ 为代数） ③’ 若 $\bigcup_{i=1}^{\infty} A_i \in \mathcal{F}$ ，则 $\mathcal{F}$ 为 $\sigma$ -代数（可列和封闭）

二、概率空间 设 $(\Omega, \mathcal{F})$ 是一可测空间，对 $A \in \mathcal{F}$ ，定义实数集函数 $P(A)$ 满足： ① 非负性： $\forall A \in \mathcal{F}, 0 \le P(A) \le 1$ ② 规范性： $P(\Omega) = 1$ ③ 完全可加性： $\forall A_i \in \mathcal{F}, A_i \cap A_j = \emptyset (i \neq j)$ ，有 $P(\bigcup_{i=1}^{\infty} A_i) = \sum_{i=1}^{\infty} P(A_i)$ 三元体 $(\Omega, \mathcal{F}, P)$ 称为概率空间。

三、概率性质

$P(\emptyset) = 0$
有限可加性：推论 $P(A) + P(\bar{A}) = 1$ $P (A) + P (\overset{ˉ}{A}) = 1$
- 若 $B \subset A$ ，则 $P(A) \ge P(B)$
- $P(A-B) = P(A) - P(B)$

3. 概率的连续性

若 $A_1 \supset A_2 \supset \dots$ 且 $\bigcap_{i=1}^{\infty} A_i = \emptyset$ ，则 $\lim_{n \to \infty} P(A_n) = 0$ 。

4. 多除少补原理

$P(\bigcup_{i=1}^{n} A_i) = S_1 - S_2 + S_3 - S_4 + \dots + (-1)^{n+1} S_n$ 其中 $S_k$ 为所有 $k$ 个事件交集的概率之和。

4. 条件概率 $P(A|B)$

记 $\Omega_1 = B$ ， $\mathcal{F}_1 = \{C \cap B : C \in \mathcal{F}\}$ 为缩减样本空间。 $P_B(A) = \frac{P(AB)}{P(B)}$ 则 $P_B$ 是可测空间 $(\Omega_1, \mathcal{F}_1)$ 上的概率，构成概率空间 $(\Omega_1, \mathcal{F}_1, P_B)$ 。

5. 乘法公式

$P(AB) = P(B)P(A|B)$

$\text{或} = P(A)P(B|A)$

$P(A_1 A_2 \dots A_n) = P(A_1)P(A_2|A_1) \dots P(A_n|A_1 \dots A_{n-1})$

乘积样本空间: $\Omega_1 \times \Omega_2 \times \dots \times \Omega_n = \{(w_1, w_2, \dots, w_n) | w_i \in \Omega_i\}$

四. 条件概率

在 $B$ 已发生的条件下, $A$ 发生的概率 $= P(A|B)$
设 $(\Omega, \mathcal{F}, P)$ 是概率空间, $A, B \in \mathcal{F}$ 且 $P(B) > 0$ 。 $P(A|B) = \frac{P(AB)}{P(B)}$
设 $B \in \mathcal{F}$ 且 $P(B) > 0$ , 则对 $\forall A \in \mathcal{F}$ 有 $P(A|B)$ 对应，集函数 $P(\cdot|B)$ 满足：非负性、规范性、完全可加性。

6. 全概率公式

定理 1.4.3 (全概率公式) 设 $(\Omega, \mathcal{F}, P)$ 为概率空间, $A_i \in \mathcal{F}$ ( $i=1, 2, \dots, n$ ) 为 $\Omega$ 的一个有限划分, 且 $P(A_i) > 0$ , 则对任意事件 $B \in \mathcal{F}$ 有:

$P(B) = \sum_{i=1}^{n} P(A_i)P(B|A_i)$

五. 贝叶斯公式

$P(A_j|B) = \frac{P(A_j)P(B|A_j)}{\sum_{i=1}^{n} P(A_i)P(B|A_i)}$

六. 事件的独立性, 独立试验模型

1. 相互独立随机事件

$(\Omega, \mathcal{F}, P)$ 为概率空间, $A, B \in \mathcal{F}$ 。若 $P(B) > 0$ 且 $P(A|B) = P(A)$ , 则称 $B$ 独立于事件 $A$ 。若 $P(A, B) = P(A)P(B)$ , 则称 $A, B$ 相互独立。

$\Leftrightarrow P(A \cap B) = P(A)P(B)$

$A, B$ 相互独立 $\rightarrow A, \bar{B}; \bar{A}, B; \bar{A}, \bar{B}$ 相互独立。
$\forall S (1 \le s \le n)$ 及 $1 \le i_1 < i_2 < \dots < i_s \le n$ , 有 $P(A_{i_1} A_{i_2} \dots A_{i_s}) = P(A_{i_1})P(A_{i_2}) \dots P(A_{i_s})$ 。

3. 独立试验模型

① 每次试验条件相同。 ② 试验结果互不影响。

4. 重贝努里概型

对可测空间 $(\Omega, \mathcal{F})$ $(Ω, F)$ 的理解:
- 问题1: 能否认为对任意 $A \in \mathcal{F}$ , $A$ 都是可测集 (概率测度 $P(A)$ 存在)? 可测空间 $(\Omega, \mathcal{F})$ 可以理解为: 可尝试定义概率测度的空间。实际中 $\sigma$ -代数如何选取与实际问题需要和试验目的有关。
- 问题2: 在任意可测空间 $(\Omega, \mathcal{F})$ 上都能定义概率吗? 数学结论: 在任意可测空间 $(\Omega, \mathcal{F})$ 上至少可定义一种概率测度。

第二章: 随机变量及其分布函数

一. 随机变量

设 $(\Omega, \mathcal{F}, P)$ 是概率空间, $X(\omega)$ 是定义在 $\Omega$ 上的单值实函数。若对于 $\forall x \in \mathbb{R}$ , 有 $\{\omega: X(\omega) \le x\} \in \mathcal{F}$ 。

保持随机性与统计性

随机变量可以完整地描绘实验结果, 从而可用量化分析方法来研究随机现象的规律性。

注2: $\{\omega: X(\omega) \le x\} = \{X \le x\} \in \mathcal{F}$ , 使 $P\{X \le x\}$ 总有意义。

注3: 通常 $\mathcal{F}$ 是包含全体 $\{X \le x\}$ 的最小 $\sigma$ -代数。

由 $\sigma$ -代数性质, 有: $\{X < x\} = \bigcup_{k=1}^{\infty} \{X \le x - \frac{1}{k}\} \in \mathcal{F}$ $\{X > x\} = \Omega - \{X \le x\} \in \mathcal{F}$ $\{X = x\} = \{X \le x\} - \{X < x\} \in \mathcal{F}$

二. 随机变量的分布函数

称函数 $F(x) = P\{X \le x\} = P\{\omega: X(\omega) \le x\}$ 为随机变量 $X$ 的分布函数 $F(x)$ 或 $F_X(x)$ 。

性质: ① 单调不降 ② $F(x) \in [0, 1]$ , $\lim_{x \to -\infty} F(x) = 0, \lim_{x \to +\infty} F(x) = 1$ ③ 右连续: $P\{X = x\} = F(x) - F(x-0)$

三. 离散型随机变量

分布律满足: ① $p_n \ge 0 \quad (n=1, 2, \dots)$ ② $\sum_{n=1}^{\infty} p_n = 1$

四. 常用离散型分布

1. 两点分布

$P\{X=0\} = 1-p, P\{X=1\} = p$

2. 二项分布

$P\{X=k\} = C_n^k p^k (1-p)^{n-k}$ , 记为 $X \sim B(n, p)$ 。

3. 几何分布

n重贝努里试验中事件A首次发生时试验次数的分布律。

4. 泊松分布

若 $X_n \sim B(n, p_n)$ , 且 $\lim_{n \to \infty} n p_n = \lambda (\lambda > 0)$ , 则有: $\lim_{n \to \infty} P\{X_n = k\} = \frac{\lambda^k}{k!} e^{-\lambda}, k=0, 1, 2 \dots$

$P\{X_n = k\} = \frac{\lambda^k}{k!} e^{-\lambda}, k=0, 1, 2 \dots$

$\to$ 泊松分布

② $n$ 次独立重复实验，“稀有事件”出现的次数可以认为服从泊松分布。

超几何分布

$\to$ 极限分布是二项分布 ( $N \to +\infty$ )

四. 连续型随机变量

1. 概率密度

分布函数 $F(x)$ ，存在非负函数 $f(x)$ ， $\forall x$ 有:

$F(x) = \int_{-\infty}^{x} f(t) dt$

$X$ 有连续型分布， $f(x)$ 为 $X$ 的概率密度函数，称 $X$ 为连续型随机变量。

2. 性质

(1) $f(t) \ge 0$ (2) $\int_{-\infty}^{+\infty} f(t) dt = 1$

$\{ \Leftrightarrow f(x) \text{ 是某个连续型随机变量的概率密度} \}$

$P\{X = x_0\} = 0 \star \to$ 不同的概率密度可能对应一个分布函数 $F(x)$ 。

不可能事件与 $P=0$ 事件的区别：不可能事件的概率一定为 0，但概率为 0 的事件不一定是不可能事件。

3. 常用连续型分布

① 均匀分布: $U(a, b)$ $f(x) = \begin{cases} \frac{1}{b-a}, & a < x < b \\ 0, & \text{其他} \end{cases}$ $\to$ 与有效区间长度成正比。

② 指数分布: $P\{X > x\} = \int_{x}^{+\infty} \lambda e^{-\lambda u} du$ $\to$ 无后效性: $P\{X > t+s | X > t\} = P\{X > s\}$

连续型随机变量特点：概率分布具有无后效性。均匀分布: $P\{X > x\} = 1 - P\{X \le x\}$ 指数分布: $P\{X > x\} = e^{-\lambda x}$

③ 正态分布 (Gauss 分布)

$\phi(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \quad / \quad X \sim N(\mu, \sigma^2)$

$\to$ 密度函数 $(\mu, \frac{1}{\sqrt{2\pi}\sigma}) \to$ 最高处 $\sigma \downarrow$ ，越聚集； $\sigma \uparrow$ ，越分散 $\sigma \to 0$ 时趋近于 $\delta$ (冲激函数)

标准正态分布: $\Phi(u) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{u} e^{-\frac{t^2}{2}} dt$ ( $\mu=0, \sigma=1$ ) $\Phi(-u) = 1 - \Phi(u)$

$P\{x_1 < X < x_2\} = \Phi\left(\frac{x_2 - \mu}{\sigma}\right) - \Phi\left(\frac{x_1 - \mu}{\sigma}\right)$

分位数: $X \sim N(0, 1)$ $P\{X > u_\alpha\} = \alpha$ ， $u_\alpha$ 称为 $\alpha$ 在标准正态分布下的上侧分位数。

Summary:

$F(x) = \Phi(x) + S(x) + R(x)$ 连续 + 离散 + 奇异

第三章、多维随机变量的分布

二维随机变量及其分布

联合分布函数及其性质

$X, Y$ 同处一个可测空间， $F_X(x) = P\{X \le x\}$ ， $F_Y(y) = P\{Y \le y\}$

任意 $(x, y) \in \mathbb{R}^2$ ，称 $F(x, y) = P\{X \le x, Y \le y\}$ 为随机变量 $(X, Y)$ 的联合概率分布。
$F_X(x), F_Y(y)$ 称为边缘分布函数。

由联合 $\to$ 边缘: $\lim_{y \to +\infty} F(x, y) = F_X(x)$

$P\{x_1 < X \le x_2, y_1 < Y \le y_2\} = F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1)$
联合分布函数的性质 ① 单调不减性: $F(x, y)$ 分别对 $x, y$ 单调不减。 ② 有界性: $\lim_{x \to -\infty} F(x, y) = \lim_{y \to -\infty} F(x, y) = 0$ ，且 $\lim_{x \to +\infty, y \to +\infty} F(x, y) = 1$ 。 ③ 右连续性: $\lim_{x \to x_0^+} F(x, y) = F(x_0, y)$ 。 ④ 相容性: 对任意 $x_1 < x_2, y_1 < y_2$ 有 $F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1) \ge 0$ 。

二维两点分布示例：

X\Y	0	1
0	1-p	0
1	0	p

两次抽球，放回与不放回的边缘概率相同，但联合概率不同。 $\to$ 联合分布可推出边缘分布，反之则不行。

联合概率密度: $F(x, y) = \int_{-\infty}^{y} \int_{-\infty}^{x} f(u, v) \, du \, dv$

$(X, Y)$ 为连续型随机变量，性质:

$f(x, y) \ge 0$
$\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(u, v) \, du \, dv = 1$
$\frac{\partial^2 F(x, y)}{\partial x \partial y} = f(x, y)$ (若 $F(x, y)$ 在 $(x, y)$ 连续)
$G \subset \mathbb{R}^2, P\{(X, Y) \in G\} = \iint_G f(x, y) \, d\sigma$
$f_X(x) = \int_{-\infty}^{+\infty} f(x, y) \, dy, \quad f_Y(y) = \int_{-\infty}^{+\infty} f(x, y) \, dx$

二维均匀分布: 只与区域面积大小有关，与位置无关。 $\to$ 蒙特卡洛模拟: 以近似概率求的近似解。

④ 相容性: 对任意 $x_1 < x_2, y_1 < y_2$ 有 $F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1) \ge 0$

$F(x, y)$ 满足四条性质 $\Leftrightarrow$ 存在 $(X, Y)$ 以 $F(x, y)$ 为分布函数

n 维联合分布函数 $\to$ 任意 k 维边缘分布函数

$P\{X = x_i\} = P_{ii} = \sum_{j=1}^{\infty} P_{ij}$

二维两点分布:

	0	1
0	1-p	0
1	0	p

两次抽球，放回与不放回的边缘概率相同，但联合概率不同。

$\to$ 联合分布可推出边缘分布，反之则不行。

联合概率密度 $\to$

$F(x, y) = \int_{-\infty}^{y} \int_{-\infty}^{x} f(u, v) \, du \, dv$

$(X, Y)$ 为连续型随机变量

性质:

① $f(x, y) \ge 0$

② $\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(u, v) \, du \, dv = 1$

③ $\frac{\partial F(x, y)}{\partial x \partial y} = f(x, y) \quad (\text{若 } F(x, y) \text{ 在 } (x, y) \text{ 连续})$

$\to$ 不连续点只需非负即可

④ $G \subset \mathbb{R}^2, P\{(X, Y) \in G\} = \iint_G f(x, y) \, d\sigma$

⑤ $f_X(x) = \int_{-\infty}^{+\infty} f(x, y) \, dy$

$f_Y(y) = \int_{-\infty}^{+\infty} f(x, y) \, dx$

二维均匀分布: 只与大小有关，与位置无关。

$\to$ 蒙特卡洛模拟: 以近似概率求的近似解。

0 二维随机变量的独立性

$P\{X \le x, Y \le y\} = P\{X \le x\} \times P\{Y \le y\} \rightarrow X \text{ 与 } Y \text{ 相互独立}$

否则称它们是相依的

① $X, Y$ 相互独立 $\Leftrightarrow F(x, y) = F_X(x)F_Y(y)$ 对 $\forall (x, y)$ 均成立

② (离散型) $X$ 与 $Y$ 相互独立 $\Leftrightarrow P\{X=x_i, Y=y_j\} = P\{X=x_i\}P\{Y=y_j\}$ 或 $p_{ij} = p_{i\cdot}p_{\cdot j}$ 对 $\forall (x_i, y_j)$ 均成立

③ (连续型) $\Leftrightarrow f(x, y) = f_X(x)f_Y(y)$

0 多维独立性

$F(x_1, x_2, \dots, x_n) = \prod_{i=1}^{n} F_i(x_i)$

0 条件分布律:

$P\{X=x_i | Y=y_j\} = \frac{p_{ij}}{p_{\cdot j}}$

① $P\{X=x_i | Y=y_j\} \ge 0$

② $\sum_{i=1}^{+\infty} P\{X=x_i | Y=y_j\} = 1$

0 条件概率密度

① 条件分布函数

$P\{Y-\Delta Y < Y \le y\} > 0$ 且 $\forall x \in R, \lim_{\Delta y \to 0^+} P\{X \le x | y-\Delta Y < Y \le y\}$ 存在

此极限为在 $Y=y$ 的条件下， $X$ 的条件分布函数，记作 $F_{X|Y}(x|y)$

若 $(X, Y)$ 是连续型随机变量， $f(x, y)$ 和 $f_X(x)$ 在 $(x, y)$ 附近连续且 $f_X(x) > 0$

$F_{Y|X}(y|x) = \frac{\int_{-\infty}^{y} f(x, v) dv}{\int_{-\infty}^{+\infty} f(x, v) dv} = \frac{\int_{-\infty}^{y} f(x, v) dv}{f_X(x)}$

★ $f_{Y|X}(y|x) = F'_{Y|X}(y|x) = \frac{f(x, y)}{f_X(x)}$

A. 条件概率存在 $\to$ 边缘概率密度的非零区间

B. 非零域

C. $x/y$ 取其它值不存在

$P(A|B) = \frac{P(AB)}{P(B)} \Rightarrow \text{知二求一}$

○ 条件概率与独立性

① $F(x, y) = F_X(x) F_Y(y) \quad (x, y) \in \mathbb{R}^2$

$X, Y \text{ 相互独立} \Leftrightarrow F_{X|Y}(x, y) = F_X(x) \quad (x, y) \in \mathbb{R}^2$

② $f_{X|Y}(x, y) = f_X(x) f_Y(y)$

$\to$ 除去0测集 (边缘P零区间)

③ $f_X(x) = f_{X|Y}(x, y)$

④ $f_Y(y) = f_{Y|X}(x, y)$

联合分布函数 $\to$ 边缘分布函数联合分布律 $\to$ 边缘分布律联合分布密度 $\to$ 边缘分布密度

条件分布

$f_{Y|X}(y|x) = \frac{f(x, y)}{f_X(x)}$

○ 随机变量函数及其分布

$P\{X=k\} = p(k) \quad k=0, 1, \dots$

$P\{Y=r\} = q(r) \quad r=0, 1, \dots$

$P\{X+Y=m\} = \sum_{k=0}^{m} p(k) q(m-k) \rightarrow \text{离散卷积}$

$X_1, \dots, X_n$ 相互独立， $X_i \sim B(1, p)$

一般: 1) $X_1, \dots, X_n$ 相互独立；2) 具有相同类型分布

$Y = \sum_{k=1}^{n} X_k$

分布只有参数变化 $\to$ 具有可加性

除二项分布，泊松分布也可加。

$X_1 + X_2 + \dots + X_n \sim B(n, p)$

反之 $X \sim B(n, p)$ 存在 $X_i \sim B(1, p)$ 。

4 随机变量的函数及其分布

对于连续型随机变量的函数 $Y=h(X)$ ，其累积分布函数为： $F_Y(y) = P\{Y \le y\} = P\{h(X) \le y\} = P\{X \in h^{-1}(-\infty, y]\}$

对于多维随机变量的函数，其联合累积分布函数为： $F_{Y_1, \dots, Y_k}(y_1, \dots, y_k) = P\{h_1(X_1, \dots, X_n) \le y_1, \dots, h_k(X_1, \dots, X_n) \le y_k\}$

概率密度函数为： $f_Y(y) = F'_Y(y) = \frac{1}{|a|} f_X\left(\frac{y-b}{a}\right)$

若 $X \sim N(\mu, \sigma^2)$ ，则线性函数 $Y = aX + b$ ( $a \neq 0$ ) 服从正态分布 $N(a\mu + b, a^2\sigma^2)$ 。该分布具有线性变换不变性。若 $a = \frac{1}{\sigma}, b = -\frac{\mu}{\sigma}$ ，则变换后服从标准正态分布。

① 几种特殊的分布

1. 最大值与最小值 设 $M = \max(X, Y), N = \min(X, Y)$ 。 $F_M(z) = P\{\max(X, Y) \le z\} = P\{X \le z, Y \le z\}$ 若 $X, Y$ 相互独立， $F_M(z) = F_X(z)F_Y(z)$ 。

注： $X, Y$ 相关 $\rightarrow X, Y$ 同分布；但 $X, Y$ 同分布 $\not\Rightarrow X, Y$ 相关（如正态分布中 $Y = -X$ ）。

2. 和的分布 $Z = X + Y$ $F_Z(z) = \int_{-\infty}^{+\infty} \int_{-\infty}^{z-y} f_{X,Y}(x,y) dx dy = \int_{-\infty}^{z} f_Z(u) du$ $f_Z(z) = \int_{-\infty}^{+\infty} f(z-y, y) dy$

若 $X, Y$ 相互独立： $f_Z(z) = \int_{-\infty}^{+\infty} f_X(z-y) f_Y(y) dy = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x) dx$ 此即连续卷积。若 $X_i$ 相互独立且服从正态分布，则其和仍服从正态分布。

3. 商的分布 $Z = X/Y$ $f_Z(z) = \int_{-\infty}^{+\infty} |y| f(zy, y) dy$

随机变量的数字特征

数学期望： 若 $\int_{-\infty}^{+\infty} |x| dF(x) < +\infty$ ，则 $E(X) = \int_{-\infty}^{+\infty} x dF(x) = \int_{-\infty}^{+\infty} x f(x) dx$

$X \sim P(\lambda) \rightarrow E(X) = \lambda, D(X) = \lambda$
两点分布： $E(X) = p, D(X) = p(1-p)$
$X \sim N(\mu, \sigma^2) \rightarrow E(X) = \mu, D(X) = \sigma^2$
$X \sim B(n, p) \rightarrow E(X) = np, D(X) = np(1-p)$
指数分布： $E(X) = \frac{1}{\lambda}, D(X) = \frac{1}{\lambda^2}$
均匀分布： $E(X) = \frac{a+b}{2}, D(X) = \frac{(b-a)^2}{12}$

函数期望： $E(g(X)) = \int_{-\infty}^{+\infty} g(x) f_X(x) dx$ $E(g(X, Y)) = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) dx dy$

若 $X, Y$ 相互独立， $E(XY) = E(X)E(Y)$ 。方差公式： $D(X) = E(X^2) - [E(X)]^2$ 。若 $X_1, \dots, X_n$ 相互独立， $D(\sum X_i) = \sum D(X_i)$ ，且 $D(X_1 - X_2) = D(X_1) + D(X_2)$ 。

Chebyshev 不等式： 若 $D(X)$ 存在，则 $\forall \varepsilon > 0$ ： $P\{|X - E(X)| \ge \varepsilon\} \le \frac{D(X)}{\varepsilon^2}$

协方差与相关系数：

$\text{Cov}(X, X) = D(X)$
$\text{Cov}(X, Y) = E[(X - \mu_X)(Y - \mu_Y)]$
相关系数 $r(X, Y) = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$
对于二维正态分布 $X, Y \sim N(\mu_1, \sigma_1^2; \mu_2, \sigma_2^2, \rho)$ ， $X, Y$ 相互独立 $\Leftrightarrow \rho = 0$ 。
许瓦兹不等式： $\text{Cov}(X, Y) \le \sqrt{D(X)} \sqrt{D(Y)}$

其他概念：

矩：原点矩 $E(X^k)$ ，中心矩 $E[(X - E(X))^k]$ 。
R-S 积分： $I = \int_a^b f(x) dg(x)$ ，黎曼积分为其特例。
条件数学期望： $E(Y|X=x) = \int_{-\infty}^{+\infty} y f(Y|X=x) dy$ 。
回归函数：记 $\mu(X) = E(Y|X)$ 和 $S(Y) = E(X|Y)$ ，它们本身是随机变量。

0 确定性关系与相关关系

若 $\mu(x)$ 存在，则 $Y$ 与 $X$ 存在相关关系。 $y = \mu(x)$ 称为回归方程。

0 考虑随机变量 $\delta(Y) = E(X|Y)$

$E(X|Y) = \int_{-\infty}^{+\infty} x f(x|y) dx \to$ 关于 $y$ 的函数

$E(X|Y) \to$ 关于 $Y$ 的随机变量

$E(c|Y) = c$ , 是常数

关于 $E(X|Y)$ 的分布 $\to$ 转化为 $Y$ 的不等式

$E[aX+bY|Z] = aE(X|Z) + bE(Y|Z)$
$X, Y$ 相互独立, $E(X|Y) = E(X)$
$E(X) = E[E(X|Y)]$
$E[g(Y)X|Y] = g(Y)E(X|Y)$
$E[X - E(X|Y)]^2 \le E[X - g(Y)]^2$

$D(X|Y) = E[X - E(X|Y=y)]^2 \to$ 条件方差

$n$ 维正态随机变量

记 $\mu = E\begin{pmatrix} X \\ Y \end{pmatrix} = \begin{pmatrix} E(X) \\ E(Y) \end{pmatrix} = \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix}$

$C = \begin{pmatrix} \sigma_1^2 & \rho_{12} \sigma_1 \sigma_2 \\ \rho_{12} \sigma_1 \sigma_2 & \sigma_2^2 \end{pmatrix}$

$\varphi(x_1, x_2, \dots, x_n) = \frac{1}{(2\pi)^{\frac{n}{2}} |C|^{\frac{1}{2}}} \exp\left[-\frac{1}{2} (x - \mu)^T C^{-1} (x - \mu)\right]$

$C = (\sigma_{ij})$ 是 $n$ 阶正定对称矩阵, $|C|$ 是其行列式

$X = (x_1, x_2, \dots, x_n)^T$ , $\mu = (\mu_1, \mu_2, \dots, \mu_n)^T$

$\to (X_1, X_2, \dots, X_n)$ 服从 $n$ 维正态分布

① $X_1, X_2, \dots, X_n$ 相互独立
② $X_1, X_2, \dots, X_n$ 两两不相关
③ $C$ 为对角矩阵 ( $C$ 为协方差矩阵)
④ 两两独立

① $X \sim N(\mu, C), B = (b_{jk})_{m \times n}$ $Y = BX \sim N(B\mu, BCB^T)$

Linked Notes

No outgoing note links.

Referenced By

No backlinks yet.