第五章 隐含马尔可夫模型
- 章节名:第五章 隐含马尔可夫模型
阅读时想到的几处体会: *语音识别、机器翻译------这章主要解决的是自然语言处理里面的如语音识别、机器翻译的问题,利用的是隐含马尔可夫模型,因为这类问题都能抽象成一个通信的过程,本质就是编解码和传输的过程。 *隐含马尔可夫模型------隐含马尔可夫模型与一般的马尔可夫模型不同在于有个编解码过程(能观测到的是随机变量si的oi特征:s->o),这也是问题的核心所在。而我们不知道s是如何到o的,比如我们不知道人的大脑是如何从英文翻译到中文的。因此很自然地把s和o抽象成两个独立的随机过程,用p(s),p(o),p(so)和贝叶斯公式(p(o|s))去近似和模拟p(s|o)。在这个过程中p(o|s)可以用人工标注(有监督的训练算法)的方法去做,大多数情况以及一些无法人工标注获得的情况可用Baum-Welch算法去迭代(无监督的训练算法)(文中说这个是局部最优的在一些不凸的问题上(凸的问题上必要条件+唯一性能变成充要条件)不一定全局最优的,这时的结果比人工标注的会略差)。 阅读本章的疑问: *隐含马尔可夫模型的训练------这里文中说到了三个基本问题:
这里文中并没有说三者的依赖关系,比如2必须先解1(即对于2中这时1中的概率看成一个常数),再比如3如果用Baum-Welch算法其实假设先要解出1和2。 但是我的问题来了,此时其实把核心问题(如何解p(o|s))放到问题2里面去了,我想知道2中解决p(o|s)的本质思想是什么,还是把o和s独立看然后求关系么,那这样和人工标注思想没区别了,如果你说是通过某种算法得到近似人工标注的结果,那这个算法的本质思想又是什么呢? 另外一点文中最后一段的逻辑是先需要一个训练算法解决3(这里是Baum-Welch算法),在用2的方法(这里是Viterbi算法)解决具体问题,这和上面说的2依赖3不就死循环了? 留给自己与大家的问题: *数据挖掘和机器学习的区别与联系,个人认为从术语来说这两个词区别这个问题意义不大,但是从产生和需求定位来看这个问题还是有意义的。个人体会是ML只是DM的一小部分,就是给一个输入或说case我能帮你solve,而DM更多的是需要对所有的输入(case)去归纳抽象出结果,大家指教啊~
勋章对本书的所有笔记 · · · · · ·
-
第一章:文字和语言vs数字和信息
阅读时想到的几处体会: *聚类------是人们认识新事物或者处理未知事物的方式,人们认识“五...
-
第五章 隐含马尔可夫模型
说明 · · · · · ·
表示其中内容是对原文的摘抄