马尔可夫链（Markov Chain）是一种随机过程，具有“马尔可夫性质”，即在给定当前状态的条件下，未来状态的概率分布仅依赖于当前状态，而与过去状态无关。马尔可夫链在很多领域都有广泛的应用，包括蒙特卡洛方法、统计物理学、自然语言处理等。
马尔可夫链的一般定义如下：
给定状态空间 SS 和状态转移概率矩阵 PP，其中 PijPij 表示从状态 ii 转移到状态 jj 的概率，如果对于任意状态 i,ji,j 和任意时间步 nn，满足以下条件，则称该过程是马尔可夫链：
P(Xn+1=j∣X0,X1,…,Xn)=P(Xn+1=j∣Xn)
P(Xn+1=j∣X0,X1,…,Xn)=P(Xn+1=j∣Xn)
其中，XnXn 表示在时间步 nn 的状态。
马尔可夫链的一个重要特性是它在长时间内具有收敛性，即在足够长的时间后，马尔可夫链的状态分布会收敛到一个稳态分布。这个性质是许多马尔可夫链算法应用的基础。
马尔可夫链的稳态分布表示在长时间运行后，随机过程中各个状态的概率分布不再随时间变化，保持恒定的概率分布。
这个是实例：
import numpy as np# 定义更多的状态
states = ["Sunny", "Cloudy", "Rainy", "Snowy"]# 定义状态转移概率矩阵
transition_matrix = np.array([[0.7, 0.2, 0.1, 0.0],[0.3, 0.4, 0.2, 0.1],[0.1, 0.3, 0.4, 0.2],[0.0, 0.1, 0.3, 0.6]])# 定义初始状态分布
initial_distribution = np.array([0.4, 0.3, 0.2, 0.1])# 生成马尔可夫链轨迹
def generate_markov_chain(num_steps):current_state = np.random.choice(states, p=initial_distribution)chain = [current_state]for _ in range(num_steps - 1):next_state = np.random.choice(states, p=transition_matrix[states.index(current_state)])chain.append(next_state)current_state = next_statereturn chain# 生成马尔可夫链轨迹并打印结果
num_steps = 10
markov_chain = generate_markov_chain(num_steps)
print("Generated Markov Chain:", markov_chain)
稳态分布（Stationary Distribution）是指在马尔可夫链达到平稳状态后，随机过程中各个状态的概率分布不再随时间变化，保持恒定的概率分布。换句话说，稳态分布是一个时间不变的分布，表示在长时间运行后，随机过程在不同状态的停留概率。
形式化地说，对于一个离散状态空间的马尔可夫链，如果存在一个向量 ππ，满足以下两个条件：
非负性条件： 所有的 πiπi（ii 表示状态）都是非负的。
概率归一条件： 向量 ππ 的元素之和等于1，即 ∑iπi=1∑iπi=1。
并且对于任意时间步 nn，都有 P(Xn+1=j)=∑iP(Xn=i)⋅P(Xn+1=j∣Xn=i)P(Xn+1=j)=∑iP(Xn=i)⋅P(Xn+1=j∣Xn=i)，其中 P(Xn=i)P(Xn=i) 表示在时间步 nn 处于状态 ii 的概率，那么向量 ππ 就是该马尔可夫链的稳态分布。
对于连续状态空间的马尔可夫链，稳态分布通常以概率密度函数的形式表示。
稳态分布的存在性和唯一性取决于具体的马尔可夫链。对于满足一定条件的可逆马尔可夫链，稳态分布是唯一存在的。在实际应用中，稳态分布对于理解系统的长期行为、进行概率推断和模拟具有重要意义。
