人工智能

按有用程度 按页码先后 最新笔记

• 

  第506页

  irachex (去冬天的空岛)

  如何从一些实例中归纳出一颗决策树呢 最直接简单的想法，每次选择一个属性作为树中的一个节点，对它的取值进行划分，然后将这个属性去掉对剩余属性递归下去，如果剩余的都是正例或都是反例，那这个分枝就完成了 但是这样的决策树可能会有很多冗余，比如餐厅的菜系对你是否要等座位不那么重要，但目前餐厅是否满座对你是否要等座位更重要一点。将“不重要”的属性作为根节点就会产生冗余的分类 根据奥卡姆剃刀原则，应该找... (更多)

  如何从一些实例中归纳出一颗决策树呢

  最直接简单的想法，每次选择一个属性作为树中的一个节点，对它的取值进行划分，然后将这个属性去掉对剩余属性递归下去，如果剩余的都是正例或都是反例，那这个分枝就完成了

  但是这样的决策树可能会有很多冗余，比如餐厅的菜系对你是否要等座位不那么重要，但目前餐厅是否满座对你是否要等座位更重要一点。将“不重要”的属性作为根节点就会产生冗余的分类

  根据奥卡姆剃刀原则，应该找到一个与实例相符的”最小“的决策树，这个”最小“也不是那么好定义，就试着找”较小“的呗。直观的想法，给每个属性一个所含信息的度量，每次找度量最大的那个作为根节点

  于是magic的地方就来了，用信息论的方法来度量每个属性的重要程度。我们认为信息是为某个问题提供了一个答案，答案中包含的信息量取决与人的先验知识。人知道的越少，提供的信息越多

  信息论用bit度量信息内容，一般来说，如果可能的答案 ($\nu_i$) 的概率是 ($P(\nu_i)$)，那么实际答案的信息内容 ($I$) 则是 ($$I(P(\nu_1),...,P(\nu_n))=\sum_{i=1}^{n}-P(\nu_i)\log_{2}P(\nu_i)$$) 比如对掷硬币来说，($I(\frac{1}{2},\frac{1}{2})=-\frac{1}{2}\log_{2}\frac{1}{2}-\frac{1}{2}\log_{2}\frac{1}{2} = 1bit$)，一个bit可以回答一个“正/反”的问题

  于是将分类结果占总结果的比例作为各种答案的概率，计算出去掉属性A后还需要多少信息。属性A有($v$)个不同的值，划分为($v$)个子集，将其信息加权平均得到 ($$Remainder(A)=\sum_{i=1}^{v}\frac{p_i + n_i}{p+n}I(\frac{p_i + n_i}{p+n},\frac{n_i}{p_i + n_i})$$) 那么我们通过属性A得到的信息（信息增益）就是 ($$Gain(A)=I(\frac{p}{p+n},\frac{n}{p+n})-Remainder(A)$$) 增益最大的属性就是我们要找的

  这个算法基于贪心的策略所以并不一定最优，当属性非常少时应该可以通过将取值集合编码来DP得到最优结果，但当属性多时好像没办法构造出一种无后效性的状态 (收起)

  2011-12-25 15:43:26   2回应

  收藏

  推荐
• 

  第一章：绪论 Page 1-42

  白乌鸦 (保持简洁)

  1.1.1 AI需具备的能力（通过图灵测试，则为AI）： 1，自然语言处理 2，知识表示 3，自动推理 4，机器学习：适应新环境并检测和推断新的模式 5，计算机视觉：感知物体 6，机器人技术：操作物体 1.1.2 方法： 通过内省、心理测试（认知科学和心理学）和AI计算机模型结合，来检测人类思维工作。 1.1.3 逻辑学的两个障碍： 1）以形式化表达非形式化的知识 2）原则上能解决的问题不一定能在实际中解决 1.1.4 在... (更多)

  1.1.1

  AI需具备的能力（通过图灵测试，则为AI）：

  1，自然语言处理

  2，知识表示

  3，自动推理

  4，机器学习：适应新环境并检测和推断新的模式

  5，计算机视觉：感知物体

  6，机器人技术：操作物体

  1.1.2

  方法：

  通过内省、心理测试（认知科学和心理学）和AI计算机模型结合，来检测人类思维工作。

  1.1.3

  逻辑学的两个障碍：

  1）以形式化表达非形式化的知识

  2）原则上能解决的问题不一定能在实际中解决

  1.1.4

  在复杂的环境下实现完美理性是不可能的

  1.2相关发展

  一，哲学发展

  1）机械唯物：大脑依照物理定律构成意识

  2）笛卡尔的二元论：意识有一部分是超脱自然之外

  3）逻辑实证主义：知识是由元素间的重复关联而获得，把意识当做计算过程

  4）知识与行动之间的联系：亚里士多德：抽象需求---（通过知识分解）---->具体需求----（通过可能性转换）--->具体手段------>行动

  5）漏洞：当多个行动可达到目标&当没有行动可达到目标时，该如何行事

  二，数学发展（逻辑、计算、概率论）

  什么可以被计算：

  1）歌德尔不完备性定理：任何表达能力足以描述自然数的语言中，存在不可判定真值的语句。（整数的某些函数不可用算法表示——不可计算性）

  2）不可操作性：解决一个问题的时间随实例的规模成指数级增长

  三，经济学

  我们如何决策以获得最大收益？

  我们在他人不合作的情况下如何做到这样？

  我们在收益遥遥无期的情况下如何做到这样？

  1）决策理论，把效用理论和概率论结合

  2）运筹学：按顺序才去行动的结果时如何制定理性决策

  四，神经科学

  1）大脑如何处理信息？

  摩尔定律预测CPU的逻辑门数量在2020年左右能与大脑的神经元数量相当。

  五，心理学

  1）人类和动物如何思考和行动的？

  刺激必须翻译成内部表示

  认知过程对表示进行处理可以得到新的、内部方案

  这些依次被翻译回到行动

  这三篇论文显示出计算机模型如何可以分别用来表示记忆、语言和逻辑思维的心理状态。

  1，《The magic number seven》

  2，《Three models of language》

  3，《The logic theory mochine》

  六，计算机工程

  七，控制论

  1）人工制品如何在自己的控制下运转？

  粗略符合AI的观点：设计行为表现最优化的系统

  八，语言学——对应于AI中的知识表示

  语言和思维是怎样联系起来的？

  1957年的《语言行为》（verbal behavior） (收起)

  2011-12-24 13:57:59   回应

  收藏

  推荐

• 

  第506页

  irachex (去冬天的空岛)

  如何从一些实例中归纳出一颗决策树呢 最直接简单的想法，每次选择一个属性作为树中的一个节点，对它的取值进行划分，然后将这个属性去掉对剩余属性递归下去，如果剩余的都是正例或都是反例，那这个分枝就完成了 但是这样的决策树可能会有很多冗余，比如餐厅的菜系对你是否要等座位不那么重要，但目前餐厅是否满座对你是否要等座位更重要一点。将“不重要”的属性作为根节点就会产生冗余的分类 根据奥卡姆剃刀原则，应该找... (更多)

  如何从一些实例中归纳出一颗决策树呢

  最直接简单的想法，每次选择一个属性作为树中的一个节点，对它的取值进行划分，然后将这个属性去掉对剩余属性递归下去，如果剩余的都是正例或都是反例，那这个分枝就完成了

  但是这样的决策树可能会有很多冗余，比如餐厅的菜系对你是否要等座位不那么重要，但目前餐厅是否满座对你是否要等座位更重要一点。将“不重要”的属性作为根节点就会产生冗余的分类

  根据奥卡姆剃刀原则，应该找到一个与实例相符的”最小“的决策树，这个”最小“也不是那么好定义，就试着找”较小“的呗。直观的想法，给每个属性一个所含信息的度量，每次找度量最大的那个作为根节点

  于是magic的地方就来了，用信息论的方法来度量每个属性的重要程度。我们认为信息是为某个问题提供了一个答案，答案中包含的信息量取决与人的先验知识。人知道的越少，提供的信息越多

  信息论用bit度量信息内容，一般来说，如果可能的答案 ($\nu_i$) 的概率是 ($P(\nu_i)$)，那么实际答案的信息内容 ($I$) 则是 ($$I(P(\nu_1),...,P(\nu_n))=\sum_{i=1}^{n}-P(\nu_i)\log_{2}P(\nu_i)$$) 比如对掷硬币来说，($I(\frac{1}{2},\frac{1}{2})=-\frac{1}{2}\log_{2}\frac{1}{2}-\frac{1}{2}\log_{2}\frac{1}{2} = 1bit$)，一个bit可以回答一个“正/反”的问题

  于是将分类结果占总结果的比例作为各种答案的概率，计算出去掉属性A后还需要多少信息。属性A有($v$)个不同的值，划分为($v$)个子集，将其信息加权平均得到 ($$Remainder(A)=\sum_{i=1}^{v}\frac{p_i + n_i}{p+n}I(\frac{p_i + n_i}{p+n},\frac{n_i}{p_i + n_i})$$) 那么我们通过属性A得到的信息（信息增益）就是 ($$Gain(A)=I(\frac{p}{p+n},\frac{n}{p+n})-Remainder(A)$$) 增益最大的属性就是我们要找的

  这个算法基于贪心的策略所以并不一定最优，当属性非常少时应该可以通过将取值集合编码来DP得到最优结果，但当属性多时好像没办法构造出一种无后效性的状态 (收起)

  2011-12-25 15:43:26   2回应

  收藏

  推荐
• 

  第一章：绪论 Page 1-42

  白乌鸦 (保持简洁)

  1.1.1 AI需具备的能力（通过图灵测试，则为AI）： 1，自然语言处理 2，知识表示 3，自动推理 4，机器学习：适应新环境并检测和推断新的模式 5，计算机视觉：感知物体 6，机器人技术：操作物体 1.1.2 方法： 通过内省、心理测试（认知科学和心理学）和AI计算机模型结合，来检测人类思维工作。 1.1.3 逻辑学的两个障碍： 1）以形式化表达非形式化的知识 2）原则上能解决的问题不一定能在实际中解决 1.1.4 在... (更多)

  1.1.1

  AI需具备的能力（通过图灵测试，则为AI）：

  1，自然语言处理

  2，知识表示

  3，自动推理

  4，机器学习：适应新环境并检测和推断新的模式

  5，计算机视觉：感知物体

  6，机器人技术：操作物体

  1.1.2

  方法：

  通过内省、心理测试（认知科学和心理学）和AI计算机模型结合，来检测人类思维工作。

  1.1.3

  逻辑学的两个障碍：

  1）以形式化表达非形式化的知识

  2）原则上能解决的问题不一定能在实际中解决

  1.1.4

  在复杂的环境下实现完美理性是不可能的

  1.2相关发展

  一，哲学发展

  1）机械唯物：大脑依照物理定律构成意识

  2）笛卡尔的二元论：意识有一部分是超脱自然之外

  3）逻辑实证主义：知识是由元素间的重复关联而获得，把意识当做计算过程

  4）知识与行动之间的联系：亚里士多德：抽象需求---（通过知识分解）---->具体需求----（通过可能性转换）--->具体手段------>行动

  5）漏洞：当多个行动可达到目标&当没有行动可达到目标时，该如何行事

  二，数学发展（逻辑、计算、概率论）

  什么可以被计算：

  1）歌德尔不完备性定理：任何表达能力足以描述自然数的语言中，存在不可判定真值的语句。（整数的某些函数不可用算法表示——不可计算性）

  2）不可操作性：解决一个问题的时间随实例的规模成指数级增长

  三，经济学

  我们如何决策以获得最大收益？

  我们在他人不合作的情况下如何做到这样？

  我们在收益遥遥无期的情况下如何做到这样？

  1）决策理论，把效用理论和概率论结合

  2）运筹学：按顺序才去行动的结果时如何制定理性决策

  四，神经科学

  1）大脑如何处理信息？

  摩尔定律预测CPU的逻辑门数量在2020年左右能与大脑的神经元数量相当。

  五，心理学

  1）人类和动物如何思考和行动的？

  刺激必须翻译成内部表示

  认知过程对表示进行处理可以得到新的、内部方案

  这些依次被翻译回到行动

  这三篇论文显示出计算机模型如何可以分别用来表示记忆、语言和逻辑思维的心理状态。

  1，《The magic number seven》

  2，《Three models of language》

  3，《The logic theory mochine》

  六，计算机工程

  七，控制论

  1）人工制品如何在自己的控制下运转？

  粗略符合AI的观点：设计行为表现最优化的系统

  八，语言学——对应于AI中的知识表示

  语言和思维是怎样联系起来的？

  1957年的《语言行为》（verbal behavior） (收起)

  2011-12-24 13:57:59   回应

  收藏

  推荐

• 

  第506页

  irachex (去冬天的空岛)

  如何从一些实例中归纳出一颗决策树呢 最直接简单的想法，每次选择一个属性作为树中的一个节点，对它的取值进行划分，然后将这个属性去掉对剩余属性递归下去，如果剩余的都是正例或都是反例，那这个分枝就完成了 但是这样的决策树可能会有很多冗余，比如餐厅的菜系对你是否要等座位不那么重要，但目前餐厅是否满座对你是否要等座位更重要一点。将“不重要”的属性作为根节点就会产生冗余的分类 根据奥卡姆剃刀原则，应该找... (更多)

  如何从一些实例中归纳出一颗决策树呢

  最直接简单的想法，每次选择一个属性作为树中的一个节点，对它的取值进行划分，然后将这个属性去掉对剩余属性递归下去，如果剩余的都是正例或都是反例，那这个分枝就完成了

  但是这样的决策树可能会有很多冗余，比如餐厅的菜系对你是否要等座位不那么重要，但目前餐厅是否满座对你是否要等座位更重要一点。将“不重要”的属性作为根节点就会产生冗余的分类

  根据奥卡姆剃刀原则，应该找到一个与实例相符的”最小“的决策树，这个”最小“也不是那么好定义，就试着找”较小“的呗。直观的想法，给每个属性一个所含信息的度量，每次找度量最大的那个作为根节点

  于是magic的地方就来了，用信息论的方法来度量每个属性的重要程度。我们认为信息是为某个问题提供了一个答案，答案中包含的信息量取决与人的先验知识。人知道的越少，提供的信息越多

  信息论用bit度量信息内容，一般来说，如果可能的答案 ($\nu_i$) 的概率是 ($P(\nu_i)$)，那么实际答案的信息内容 ($I$) 则是 ($$I(P(\nu_1),...,P(\nu_n))=\sum_{i=1}^{n}-P(\nu_i)\log_{2}P(\nu_i)$$) 比如对掷硬币来说，($I(\frac{1}{2},\frac{1}{2})=-\frac{1}{2}\log_{2}\frac{1}{2}-\frac{1}{2}\log_{2}\frac{1}{2} = 1bit$)，一个bit可以回答一个“正/反”的问题

  于是将分类结果占总结果的比例作为各种答案的概率，计算出去掉属性A后还需要多少信息。属性A有($v$)个不同的值，划分为($v$)个子集，将其信息加权平均得到 ($$Remainder(A)=\sum_{i=1}^{v}\frac{p_i + n_i}{p+n}I(\frac{p_i + n_i}{p+n},\frac{n_i}{p_i + n_i})$$) 那么我们通过属性A得到的信息（信息增益）就是 ($$Gain(A)=I(\frac{p}{p+n},\frac{n}{p+n})-Remainder(A)$$) 增益最大的属性就是我们要找的

  这个算法基于贪心的策略所以并不一定最优，当属性非常少时应该可以通过将取值集合编码来DP得到最优结果，但当属性多时好像没办法构造出一种无后效性的状态 (收起)

  2011-12-25 15:43:26   2回应

  收藏

  推荐
• 

  第一章：绪论 Page 1-42

  白乌鸦 (保持简洁)

  1.1.1 AI需具备的能力（通过图灵测试，则为AI）： 1，自然语言处理 2，知识表示 3，自动推理 4，机器学习：适应新环境并检测和推断新的模式 5，计算机视觉：感知物体 6，机器人技术：操作物体 1.1.2 方法： 通过内省、心理测试（认知科学和心理学）和AI计算机模型结合，来检测人类思维工作。 1.1.3 逻辑学的两个障碍： 1）以形式化表达非形式化的知识 2）原则上能解决的问题不一定能在实际中解决 1.1.4 在... (更多)

  1.1.1

  AI需具备的能力（通过图灵测试，则为AI）：

  1，自然语言处理

  2，知识表示

  3，自动推理

  4，机器学习：适应新环境并检测和推断新的模式

  5，计算机视觉：感知物体

  6，机器人技术：操作物体

  1.1.2

  方法：

  通过内省、心理测试（认知科学和心理学）和AI计算机模型结合，来检测人类思维工作。

  1.1.3

  逻辑学的两个障碍：

  1）以形式化表达非形式化的知识

  2）原则上能解决的问题不一定能在实际中解决

  1.1.4

  在复杂的环境下实现完美理性是不可能的

  1.2相关发展

  一，哲学发展

  1）机械唯物：大脑依照物理定律构成意识

  2）笛卡尔的二元论：意识有一部分是超脱自然之外

  3）逻辑实证主义：知识是由元素间的重复关联而获得，把意识当做计算过程

  4）知识与行动之间的联系：亚里士多德：抽象需求---（通过知识分解）---->具体需求----（通过可能性转换）--->具体手段------>行动

  5）漏洞：当多个行动可达到目标&当没有行动可达到目标时，该如何行事

  二，数学发展（逻辑、计算、概率论）

  什么可以被计算：

  1）歌德尔不完备性定理：任何表达能力足以描述自然数的语言中，存在不可判定真值的语句。（整数的某些函数不可用算法表示——不可计算性）

  2）不可操作性：解决一个问题的时间随实例的规模成指数级增长

  三，经济学

  我们如何决策以获得最大收益？

  我们在他人不合作的情况下如何做到这样？

  我们在收益遥遥无期的情况下如何做到这样？

  1）决策理论，把效用理论和概率论结合

  2）运筹学：按顺序才去行动的结果时如何制定理性决策

  四，神经科学

  1）大脑如何处理信息？

  摩尔定律预测CPU的逻辑门数量在2020年左右能与大脑的神经元数量相当。

  五，心理学

  1）人类和动物如何思考和行动的？

  刺激必须翻译成内部表示

  认知过程对表示进行处理可以得到新的、内部方案

  这些依次被翻译回到行动

  这三篇论文显示出计算机模型如何可以分别用来表示记忆、语言和逻辑思维的心理状态。

  1，《The magic number seven》

  2，《Three models of language》

  3，《The logic theory mochine》

  六，计算机工程

  七，控制论

  1）人工制品如何在自己的控制下运转？

  粗略符合AI的观点：设计行为表现最优化的系统

  八，语言学——对应于AI中的知识表示

  语言和思维是怎样联系起来的？

  1957年的《语言行为》（verbal behavior） (收起)

  2011-12-24 13:57:59   回应

  收藏

  推荐