MCMC和泊松过程

马尔科夫链

马尔可夫链（Markov Chain）是一种描述随机过程（Stochastic Process）的数学模型，具有“无记忆性”（Markov Property），即未来状态只依赖于当前状态，而与过去状态无关。马尔可夫链广泛应用于物理学、生物学、经济学、计算机科学等领域，是随机过程理论中的基础工具之一。

以下是马尔可夫链的详细介绍：

1. 马尔可夫链的定义

马尔可夫链是一组随机变量 ( {X_n, n \in T} )，其中：

( X_n ) 表示在时刻 ( n ) 的状态。
状态空间 ( S ) 是 ( X_n ) 可能取值的集合，可以是离散的或连续的。
马尔可夫性质（Markov Property）：
[
P(X_{n+1} = x_{n+1} | X_n = x_n, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) = P(X_{n+1} = x_{n+1} | X_n = x_n)
]
即未来状态 ( X_{n+1} ) 只依赖于当前状态 ( X_n )，而与过去状态 ( X_{n-1}, \dots, X_0 ) 无关。

2. 马尔可夫链的分类

离散时间马尔可夫链（DTMC）：时间 ( T ) 是离散的，例如 ( T = {0, 1, 2, \dots} )。
连续时间马尔可夫链（CTMC）：时间 ( T ) 是连续的，例如 ( T = [0, \infty) )。
有限状态马尔可夫链：状态空间 ( S ) 是有限的。
无限状态马尔可夫链：状态空间 ( S ) 是无限的。

3. 转移概率与转移矩阵

转移概率：从状态 ( i ) 转移到状态 ( j ) 的概率，记作：

P_{ij} = P(X_{n+1} = j | X_n = i)
转移矩阵：对于有限状态马尔可夫链，转移概率可以表示为矩阵 ( P = [P_{ij}] )，其中：
- ( P_{ij} \geq 0 )。
- 每行概率之和为 1，即 ( \sum_j P_{ij} = 1 )。

4. 马尔可夫链的性质

齐次性：如果转移概率 ( P_{ij} ) 不随时间变化，则称马尔可夫链是齐次的。
不可约性：如果从任意状态 ( i ) 可以到达任意状态 ( j )，则称马尔可夫链是不可约的。
周期性：如果状态 ( i ) 的返回时间具有最大公约数 ( d > 1 )，则称状态 ( i ) 是周期性的；否则是非周期性的。
常返性：如果从状态 ( i ) 出发，最终一定会返回 ( i )，则称状态 ( i ) 是常返的；否则是瞬时的。

5. 稳态分布

对于不可约、非周期性的有限状态马尔可夫链，存在唯一的稳态分布 ( \pi = [\pi_1, \pi_2, \dots, \pi_n] )，满足：

( \pi_j \geq 0 )。
( \sum_j \pi_j = 1 )。
( \pi = \pi P )，即稳态分布是转移矩阵 ( P ) 的左特征向量。

稳态分布表示在长时间运行后，系统处于各个状态的概率分布。

6. 马尔可夫链的应用

物理学：描述粒子的随机运动（如布朗运动）。
生物学：建模基因序列或种群动态。
经济学：分析市场状态或消费者行为。
计算机科学：用于算法设计（如蒙特卡罗方法）和自然语言处理（如语言模型）。
排队论：研究服务系统的等待时间和队列长度。

7. 马尔可夫链的示例

示例 1：天气模型

假设天气只有“晴天”和“雨天”两种状态，转移矩阵为：
[
P = \begin{bmatrix}
0.9 & 0.1 \
0.5 & 0.5
\end{bmatrix}
]
其中 ( P_{11} = 0.9 ) 表示晴天保持晴天的概率，( P_{12} = 0.1 ) 表示晴天变为雨天的概率。

示例 2：随机游走

在一维空间中，粒子每次向左或向右移动一步，概率均为 0.5。这是一个无限状态马尔可夫链。

8. 马尔可夫链的计算

稳态分布计算：通过求解方程 ( \pi = \pi P ) 得到稳态分布。
状态概率计算：使用 Chapman-Kolmogorov 方程计算多步转移概率：
[
P^{(n)}_{ij} = P(X_n = j | X_0 = i)
]
其中 ( P^{(n)} = P^n ) 是转移矩阵的 ( n ) 次幂。

9. 马尔可夫链的扩展

隐马尔可夫模型（HMM）：状态不可观测，但可以通过观测序列推断状态。
马尔可夫决策过程（MDP）：在马尔可夫链中引入决策和奖励，用于强化学习。
连续时间马尔可夫链（CTMC）：时间连续，状态转移由速率矩阵描述。

10. 学习马尔可夫链的预备知识

概率论基础（随机变量、条件概率、期望等）。
线性代数（矩阵运算、特征向量等）。
基本的微积分知识。

马尔可夫链是研究随机过程的重要工具，其简洁的数学形式和广泛的应用使其成为许多领域的基础模型。

泊松过程

泊松过程（Poisson Process）是一种重要的随机过程，用于描述事件在时间或空间中的随机发生。它具有无记忆性（Markov Property）和独立增量性，广泛应用于排队论、通信网络、保险精算、物理学等领域。以下是泊松过程的详细介绍：

1. 泊松过程的定义

泊松过程是一种计数过程 ( {N(t), t \geq 0} )，其中 ( N(t) ) 表示在时间区间 ( [0, t] ) 内发生的事件次数。泊松过程满足以下条件：

独立增量性：在不相交的时间区间内，事件发生的次数相互独立。
平稳增量性：在任意时间区间 ( [t, t+s] ) 内，事件发生的次数只与区间长度 ( s ) 有关，而与起点 ( t ) 无关。
稀有性：在很短的时间区间内，发生多个事件的概率趋近于 0。

2. 泊松过程的参数

泊松过程由一个参数 ( \lambda )（称为强度或速率）描述，表示单位时间内事件发生的平均次数。例如：

如果 ( \lambda = 2 )，则表示平均每小时发生 2 次事件。

3. 泊松过程的性质

事件间隔时间：事件之间的间隔时间 ( T_i ) 服从指数分布，其概率密度函数为：
[
f(t) = \lambda e^{-\lambda t}, \quad t \geq 0
]
均值为 ( \frac{1}{\lambda} )。
事件次数分布：在时间区间 ( [0, t] ) 内，事件发生的次数 ( N(t) ) 服从泊松分布，其概率质量函数为：
[
P(N(t) = k) = \frac{(\lambda t)^k}{k!} e^{-\lambda t}, \quad k = 0, 1, 2, \dots
]
均值和方差均为 ( \lambda t )。

4. 泊松过程的分类

齐次泊松过程：强度 ( \lambda ) 是常数。
非齐次泊松过程：强度 ( \lambda(t) ) 是时间的函数。
复合泊松过程：每次事件发生时，伴随一个随机变量（如索赔金额）。
空间泊松过程：事件发生在空间而非时间中。

5. 泊松过程的模拟

泊松过程可以通过以下步骤模拟：

生成事件间隔时间 ( T_i )，服从指数分布 ( \text{Exp}(\lambda) )。
计算事件发生时间 ( S_i = \sum_{j=1}^i T_j )。
重复上述步骤，直到 ( S_i ) 超过预设的时间上限。

6. 泊松过程的应用

排队论：描述顾客到达服务系统的时间间隔。
通信网络：建模数据包的到达过程。
保险精算：分析保险索赔的发生次数。
物理学：描述放射性衰变或光子到达。
生物学：建模基因突变或细胞分裂。

7. 泊松过程的示例

示例 1：顾客到达

假设某商店每小时平均有 5 名顾客到达，则顾客到达过程可以建模为泊松过程，强度 ( \lambda = 5 )。

示例 2：电话呼叫

某呼叫中心每分钟平均接到 2 个电话，则电话呼叫过程可以建模为泊松过程，强度 ( \lambda = 2 )。

8. 泊松过程的计算

事件次数概率：计算在时间 ( t ) 内发生 ( k ) 次事件的概率：
[
P(N(t) = k) = \frac{(\lambda t)^k}{k!} e^{-\lambda t}
]
事件间隔时间概率：计算事件间隔时间小于 ( t ) 的概率：
[
P(T \leq t) = 1 - e^{-\lambda t}
]

9. 泊松过程的扩展

非齐次泊松过程：强度 ( \lambda(t) ) 随时间变化，事件次数分布为：
[
P(N(t) = k) = \frac{(\int_0^t \lambda(s) ds)^k}{k!} e^{-\int_0t \lambda(s) ds}
]
复合泊松过程：每次事件伴随一个随机变量 ( Y_i )，总过程为：
[
X(t) = \sum_{i=1}^{N(t)} Y_i
]
空间泊松过程：事件发生在空间区域 ( A ) 中，强度为 ( \lambda )，事件次数分布为：
[
P(N(A) = k) = \frac{(\lambda |A|)^k}{k!} e^{-\lambda |A|}
]