想活成一部电影对《人工智能导论》的笔记(1)

全书笔记

  第一章 绪论
人工智能定义。尼尔森给出的：即“人工智能是关于知识的科学”，所谓“知识的科学”就是研究知识的表示、知识的获取和知识的应用。
精通掌握任何一门知识，必须从这门知识的基本概念开始学习。
在现实生活中，如果你要了解一个概念，就需要知道这个概念的三个功能：要知道概念的名字，也要知道概念所指的对象（可能是物理世界），更要在自己的心智世界里具有该概念的形象（或者图像）。专注于实现AI指名功能的人工智能流派称为符号主义；专注于实现AI指心功能的人工智能流派称为连接主义；专注于实现AI指物功能的流派称为行为主义。
物理符号系统假设只要在符号计算上实现了相应的功能，那么在现实世界就实现了对应的功能，这是智能的充分必要条件。（例子：图灵测试）
连接主义认为大脑是一切智能的基础，主要关注大脑神经元及其连接机制，试图发现大脑的结构及处理信息的机制、揭示人类智能的本质机理，进而在机器上实现相应的模拟。
行为主义假设智能取决于感知和行动，不需要知识、表示和推理，只需要将智能行为表现出来就好，即只要能实现指物功能就可以认为具有智能了。
知识表示就是将人类知识形式化或者模型化。
产生式系统由规则库、综合数据库、控制系统（推理机）三部分组成。产生式适合于表达具有因果关系的过程性知识，是一种非结构化的知识表示方法。（如专家系统）
框架表示法是一种结构化的知识表示方法，目前已经在多种系统中得到应用。框架表示法最突出的特点是便于表达结构性知识，能够将知识的内部结构关系以及知识间的联系表示出来，因此它是一种结构化的知识表示方法，这是产生式知识表示方法不具备的。
第四章  知识图谱
知识图谱以结构化的形式描述客观世界中概念、实体间的复杂关系，将互联网的信息表达成更接近人类认知世界的形式，为人类提供了一种更好地组织、管理和理解互联网海量信息的能力。
知识图谱的三种典型应用：语义搜索、知识问答和大数据分析与决策。
第五章  搜索技术
宽度优先搜索在搜索过程中需要保留已有的搜索结果，需要占用比较大的搜索空间，而且会随着搜索深度的加深成几何级数增加。深度优先搜索虽然不能保证找到最优解，但是可以采用回溯的方法，只保留从初始节点到当前节点一条路径即可，可以大大节省存储空间，其所需要的存储空间只与搜索深度呈线性关系。
搜索技术在人工智能中起着重要作用，人工智能的推理机制就是通过搜索实现的，很多问题求解也可转换为状况空间的搜索问题。深度优先和宽度优先是常用的盲目搜索方法，具有通用性好的特点，但往往效率低下，不适合求解复杂问题。启发式搜索利用问题相关的启发信息，可以减少搜索范围，提高搜索效率。
计算机博弈（计算机下棋）也是典型的搜索问题，计算机通过搜寻最好的下棋走法。谷歌的AlphaGo将深度学习方法引入到蒙特卡洛树搜索中，主要设计了两个深度学习网络，一个为策略网络，用于评估可能的下子点，从众多的可下子点中选择若干个认为最好的可下子点，这样就极大地缩小了蒙特卡洛树搜索中扩展节点的范围；另一个为估值网络，可以对给定的棋局进行估值，在模拟过程中不需要模拟到棋局结束就可以利用估值网络判断棋局是否有利。这样就可以在规定的时间内实现更多的搜索和模拟，从而达到提高围棋下棋水平的目的。除此之外，AlphaGo还把增强学习引入计算机围棋中，通过不断的自我学习提高其下棋水平。通过采用这样一种方法，AlphaGo具有了战胜人类最高水平棋手的能力。
第六章  群智能算法
受自然界和生物界规律的启迪，人们根据其原理模仿设计了许多求解问题的算法（遗传算法、粒子优化算法，蚁群算法），并广泛应用于组合优化、机器学习、智能控制、模式识别、规划设计、网络安全等。
第七章  机器学习
机器学习领域奠基人之一、美国工程院院士Mitchell教授认为机器学习是计算机科学和统计学的交叉，同时也是人工智能和数据科学的核心。他的定义：机器学习是利用经验改善计算机系统自身的性能。一般而言，经验对应于历史数据（如互联网数据、科学实验数据等），计算机系统对应于机器学习模型（如决策树、支持向量机等），而性能则是模型对新数据的处理能力（如分类和预测性能等）。通常来说，经验和数据是燃料，性能是目标，而机器学习技术则是火箭，是计算机系统通往智能的技术途径。
机器学习面向数据分析与处理，以无监督学习、有监督学习和强化学习等为主要的研究问题，提出和开发了一系列模型、方法和计算方法。如基于SVM的分类算法、高维空间中的稀疏学习模型等。机器学习发展的重要里程碑之一是统计学和机器学习的融合。
机器学习的发展的另一个重要节点是深度学习的出现。多种深度学习框架，如深度神经网络、卷积神经网络和递归神经网络已经被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息等领域并取得了极好的效果。
机器学习是建立在数据建模基础上的，因此，数据是进行机器学习的基础。
监督学习：监督学习是机器学习中最重要的一类方法，占据了目前机器学习算法的绝大部分。监督学习就是在已知输入和输出的情况下训练出一个模型，将输入映射到输出。
K邻近算法：其核心思想就是“排队”：给定训练集，对于待分类的样本点，计算待预测样本和训练集中所有数据点的距离，将距离从小到大取K个，则哪个类别在前K个数据点中的数量最多，就认为待预测的样本属于该类别。——“近朱者赤，近墨者黑”
决策树：是一种常见的监督学习方法，代表的是对象属性与对象值之间的一种映射关系。
支持向量机（SVM）——统计学习
无监督学习：同监督学习相比，无监督学习具有很多明显优势，其中最重要的一点是不再需要大量的标注数据。如今，以深度学习为代表的机器学习模型往往需要在大型监督型数据集上进行训练，即每个样本都有一个对应的标签。YannLeCun有一个非常著名的比喻：“假设机器学习是一个蛋糕，强化学习是蛋糕上的一粒樱桃，监督学习是外面的一层糖衣，那么无监督学习才是蛋糕的糕体。”
聚类：聚类是无监督学习中最重要的一类算法。在聚类算法中，训练样本的标记信息是未知的，给定一个样本点组成的数据集，数据聚类的目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，将样本点划分为若干类，使得属于同一类的样本点非常相似，而属于不同类的样本点不相似。
弱监督学习：弱监督学习是相对于监督学习而言的。同监督学习不同，弱监督学习中的数据标签允许是不完全的，即训练集中只有一部分数据是有标签的，其余甚至绝大部分数据是没有标签的；或者说数据的监督学习是间接的，也就是机器学习的信号并不是直接指定给模型，而是通过一些引导信息间接传递给机器学习模型。
半监督学习：是一种典型的弱监督学习方法。在半监督学习当中，我们通常只拥有少量有标注数据的情况，但同时我们拥有大量的无监督数据，利用两者来改善算法性能。目前被广泛应用于社交网络分析、文本分类、计算机视觉和生物医学信息处理等诸多领域。
迁移学习：迁移学习是另一类比较重要的弱监督学习方法，侧重于将已经学习过的知识迁移应用到新的问题中。对于人类来说，迁移学习就是一种与生俱来的能够举一反三的能力。迁移学习可以充分利用既有模型的知识，使机器学习模型在面临新的任务时只需要进行少量的微调即可完成相应的任务，具有重要的应用价值。目前，迁移学习已经在机器人控制、机器翻译、图像识别、人机交互等诸多领域获得了广泛应用。
强化学习：在训练的过程中不断地尝试，错了就扣分，对了就奖励，由此训练得到在各个状态环境中最好的决策。强化学习通常有两种不同的策略：一是探索，也就是尝试不同的事情，看它们是否会获得比之前更好的回报；二是利用，也就是尝试过去经验当中最有效的行为。
人工神经网络（ANN）是一个用大量简单处理单元经广泛连接而组成的人工网络。
20世纪80年代末期提出的BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法相比过去基于人工规则的系统，在很多方面显示出优越性。
深度学习通过无监督学习实现“逐层初始化”，有效克服了深度神经网络在训练上的难度。特别是传统的机器学习技术在处理未加工过的数据时，需要设计一个特征提取器，把原始数据（如图像的像素值）转换成一个适当的内部特征表示或特征向量。深度学习是一种特征学习方法，能够把原始数据转变成更高层次的、更加抽象的表达。深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据来学习更有用的特征，从而提升分类或预测的准确性。深度学习具有较多层的隐层节点，通过逐层特征变换将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，深度学习利用大数据来学习特征，能够发现大数据中的复杂结构。通过深度学习得到的深度网络结构符合神经网络特征，是深层次的神经网络，称为深度神经网络（deepneuralnetworks，DNN）。深度神经网络由多个单层非线性网络叠加而成。
根据神经网络中神经元的连接方式，可划分为不同类型的结构。目前，人工神经网络主要有前馈型和反馈型两大类神经网络。
前馈型：前馈型神经网络中，各神经网络元接受前一层的输入并输出给下一层，没有反馈。前馈网络可分为不同的层，第i层只与第i-1层输出相连，输入与输出的神经元与外界相连。BP神经网络和卷积神经网络都是前馈型神经网络。
反馈型：在反馈型神经网络中，存在一些神经元的输出经过若干个神经元后，再反馈到这些神经元的输入端。最典型的反馈型神经网络是Hopfield神经网络。它是全互联神经网络，即每个神经元和其他神经元都相连。
神经网络方法是一种知识表示方法和推理方法。神经网络的学习是指调整神经网络的连接权值或者结构，使输入和输出具有重要的特性。
BP学习算法具有收敛速度慢、需要大量带标签的训练数据、容易陷入局部最优等缺点，因此BP神经网络只能包含少许隐层，从而限制了BP学习算法的性能，影响了该算法在诸多工程领域中的应用。许多研究通过数学和工程技巧来增加神经网络隐层的层数也就是深度，这样的神经网络称为深度神经网络。
CNN（卷积神经网络）：更像生物神经网络，是深度学习的基础，已经成为当前众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以输入原始图像，避免了传统识别算法中复杂的特征提取和数据重建过程，因而得到了更广泛的应用，成为当前语音分析和图像识别领域的研究热点。
第九章 专家系统
专家系统是一种智能的计算机程序，它运用知识和推理来解决只有专家才能解决的复杂问题。这里的知识和问题均属于同一个特征领域。
专家系统强调知识库与包括推理机在内的其他子系统的分离，一般来说知识库是与领域强相关的，而推理机等子系统具有一定的通用性。
第十章  计算机视觉
计算机视觉是一门研究如何对数字图像或视频进行高层理解的交叉学科。从人工智能的视角来看，计算机视觉要赋予机器“看”的智能，与语音识别赋予机器“听”的智能类似，都属于感知智能范畴。从工程视角来看，所谓理解图像或视频，就是用机器自动实现人类视觉系统的功能，包括图像或视频的获取、处理、分析和理解等诸多任务。
从某种意义上，计算机图形学研究的是如何从模型生成图像或视频的“正”的问题；而计算机视觉则正好相反，研究的是如何从输入图像中解析出模型的“反”问题。
以深度卷积神经网络为代表的深度学习视觉模型克服了上述困难，采用层级卷积、逐级抽象的多层神经网络，实现了从输入图像到期望输出的、高复杂度的非线性函数映射。不仅大大提高了处理视觉任务的精度，而且显著降低了人工经验在算法中的作用，更多的依赖于大量数据，让数据自己决定最“好”的特征或映射函数是什么。可以说，实现了从“经验知识驱动的方法论”到“数据驱动的方法论”的变迁。
第十一章  自然语言处理
概括而言，人工智能包括运算智能、感知智能、认知智能和创造智能。其中，运算智能是记忆和计算的能力，感知智能是感知环境的能力。认知智能包括语言理解、知识和推理。创造智能体现了对未见过、未发生的事物，运用经验，通过想象力设计、实验、验证并予以实现的智力过程。
  第十二章  语音处理
语音处理主要包括语音识别、语音合成、语音增强、语音转换和情感语音等。