器学习和人工智能的基石在强化学习、自然语言处理、金融领域、天气预测、语音识别方面都有着极其广泛的应用

The

这句人生哲理的话也代表了马尔科夫链的思想过去所有的信息都已经被保存到了现在的状态基于现在就可以预测未来。

虽然这么说可能有些极端但是却可以大大简化模型的复杂度因此马尔可夫链在很多时间序列模型中得到广泛的应用比如循环神经网络

HMM

比如股价预测通过今天股票的涨跌却预测明天后天股票的涨跌天气预报通过今天是否下雨预测明天后天是否下雨。

这些过程都是可以通过数学公式进行量化计算的。

通过下雨、股票涨跌的概率用公式就可以推导出来

俄国数学家

研究并提出一个用数学方法就能解释自然变化的一般规律模型被命名为马尔科夫链Markov

Chain。

马尔科夫链为状态空间中经过从一个状态到另一个状态的转换的随机过程该过程要求具备“无记忆性

”即下一状态的概率分布只能由当前状态决定在时间序列中它前面的事件均与之无关。

这种特定类型的“无记忆性

6在马尔科夫链看来6

假设我们的序列状态是,那么在时刻的状态的条件概率仅依赖于前一刻的状态即

那么我们只要能求出系统中任意两个状态之间的转换概率这个马尔科夫链的模型就定了。

转移概率矩阵

次运动后的状态概率分别是多少初始状态和终止状态未知时怎么办呢这是就要引入转移概率矩阵

初始状态

状态转移矩阵有一个非常重要的特性经过一定有限次数序列的转换最终一定可以得到一个稳定的概率分布

0.3

的横盘。

然后这个状态作为序列概率分布的初始状态,将其代入这个状态转移矩阵计算的状态。

代码如下

matrix

{}.format(i1))print(vector1)输出结果

Current

这个性质不仅对状态转移矩阵有效对于绝大多数的其他的马尔可夫链模型的状态转移矩阵也有效。

同时不光是离散状态连续状态时也成立。

语言模型

目标是计算其概率。

同一个语句很少在语料中重复多次出现所以直接从语料中估计每个语句的概率是困难的。

语言模型用局部的单词序列的概率组合计算出全局的单词序列的概率可以很好地解决这个问题。

假设每个单词只依赖于其前面出现的单词也就是说单词序列具有马尔可夫性那么可以定义一阶马尔可夫链

“wreck

的概率极低所以第二个语句的概率应该更小从语言模型的角度看第一个语句的可能性更大

信号传输

考虑通过电话线或无线电波传输信号的问题。

每条数据都必须经过一个多阶段的过程才能传输并且在每个阶段都存在传输错误导致数据损坏的概率。

假设传输中发生错误的概率不受过去传输错误的影响不依赖于时间并且可能的数据条数是有限的。

然后可以通过马尔可夫链建模传输过程状态为0和1以及转移矩阵