数据认知手册

在数据科学研究过程中，能快速解决问题是一项不可或缺的能力。但是数据科学面临的复杂性在于，随着大数据采集的数据量越来越大，以及最优解算法越来越复杂，很多算法面临着运行非常耗时，有时甚至在现有的资源情况下不可解的状况。此时，需要数据科学家发挥工程师思维，使用一些计算量小的近似方法，在节省时间和计算资源的前提下，得到不错的结果，这些方法可以称为启发式方法。本书聚焦“启发式方法”这个主题，分5个部分进行介绍。第1部分概述了各种类型的启发式方法；第2部分侧重于面向数据的启发式方法及其在数据科学问题中的应用；第3部分诠释了面向最优化的启发式方法，以及它们如何解决具有挑战性的最优化问题；第4部分是讲解如何设计和实施新的启发式方法，以解决特定问题的相关内容；第5部分介绍了关于启发式方法的其他主题，如透明度和局限性等。

本书适合从事和计划从事数据科学领域相关工作的读...

(展开全部)

在数据科学研究过程中，能快速解决问题是一项不可或缺的能力。但是数据科学面临的复杂性在于，随着大数据采集的数据量越来越大，以及最优解算法越来越复杂，很多算法面临着运行非常耗时，有时甚至在现有的资源情况下不可解的状况。此时，需要数据科学家发挥工程师思维，使用一些计算量小的近似方法，在节省时间和计算资源的前提下，得到不错的结果，这些方法可以称为启发式方法。本书聚焦“启发式方法”这个主题，分5个部分进行介绍。第1部分概述了各种类型的启发式方法；第2部分侧重于面向数据的启发式方法及其在数据科学问题中的应用；第3部分诠释了面向最优化的启发式方法，以及它们如何解决具有挑战性的最优化问题；第4部分是讲解如何设计和实施新的启发式方法，以解决特定问题的相关内容；第5部分介绍了关于启发式方法的其他主题，如透明度和局限性等。

本书适合从事和计划从事数据科学领域相关工作的读者阅读。

撒迦利亚·沃加里斯博士出生于希腊雅典。他在克里特岛技术大学学习生产工程和管理，通过信息系统与技术硕士学位后转向计算机科学专业，然后通过机器学习获得博士学位后转向数据科学。他曾在佐治亚理工学院担任研究员，在塞浦路斯的一家电子营销初创公司担任SEO经理，并在Elavon（GA）和G2 Web Services（WA）担任数据科学家。他还曾担任微软的项目经理，负责必应的数据分析管道。目前在GLG（美国格理集团）担任顾问。

1. 胡本立，国际数据管理协会中国分会(DAMA China)创始人及现任主席，全球数据要素50人委员会主席。曾任世界银行首席技术官、国际数据管理协会副主席。拥有物理学学士以及计算机科学硕士学位，并在哈佛商学院完成企业高级主管关于战略、变革管理、金融和财务的培训。

2. 马欢，全球数据要素50人论坛专家，本科毕业于同济大学，后获得上海交...

(展开全部)

撒迦利亚·沃加里斯博士出生于希腊雅典。他在克里特岛技术大学学习生产工程和管理，通过信息系统与技术硕士学位后转向计算机科学专业，然后通过机器学习获得博士学位后转向数据科学。他曾在佐治亚理工学院担任研究员，在塞浦路斯的一家电子营销初创公司担任SEO经理，并在Elavon（GA）和G2 Web Services（WA）担任数据科学家。他还曾担任微软的项目经理，负责必应的数据分析管道。目前在GLG（美国格理集团）担任顾问。

1. 胡本立，国际数据管理协会中国分会(DAMA China)创始人及现任主席，全球数据要素50人委员会主席。曾任世界银行首席技术官、国际数据管理协会副主席。拥有物理学学士以及计算机科学硕士学位，并在哈佛商学院完成企业高级主管关于战略、变革管理、金融和财务的培训。

2. 马欢，全球数据要素50人论坛专家，本科毕业于同济大学，后获得上海交通大学工学硕士学位。从开发工程师做起，担任过系统分析师、系统架构师、项目经理等角色。具有20多年的信息系统开发设计经验，曾经两次获得部级科技发展奖项。主持翻译了《DAMA-DMBOK数据管理知识体系指南》系列等专业书籍，作为骨干编委参与编写《国际数据之都:上海城市数字化转型市民手册》，此外还翻译了《首席数据官管理手册:建立并运行组织的数据供应链》《DataOps实践手册:敏捷精益的数据运营》《区块链重构规则》《数据与现实》《星型模型》等多本译著。2011年首次把数据管理专业认证CDMP引入中国，并获得CDMP大师级认证，主理的“DAMA数据管理”是国内最活跃的专业社区之一。

本书翻译组成员介绍

组长

胡本立 DAMA China主席

组员（按姓氏笔画排序）

马欢 《DAMA-DMBOK数据管理知识体系指南》《首席数据官管理手册》等书主译者

朱桢 上海邓白氏商业信息咨询有限公司营销产品线负责人

朱晨君 西部数据交易中心市场部负责人

刘诚燃 上海熵衍信息技术有限公司创始人

刘俊 上海药明生物技术有限公司数字化主任

李天池 中国软件评测中心高级咨询顾问

李德金 山东省大数据中心大数据工程师

张顺 天津智慧城市研究院咨询总监

郭媛 海促会浦江学术委员会学术委员

赖志明 北京青麦科技有限公司数据架构师

推荐序
译者序
前言
第1部分 关于启发式方法
第1章 创造性解决问题
1.1 解决问题
· · · · · · (更多)

推荐序
译者序
前言
第1部分 关于启发式方法
第1章 创造性解决问题
1.1 解决问题
1.2 解决问题过程中的创造力
1.3 人工智能与创造力
1.4 脚踏实地的创造力
1.5 小结
第2章 什么是启发式方法
2.1 启发式方法概述
2.2 启发式度量指标
2.3 启发式算法
2.4 重要注意事项
2.5 小结
第3章 启发式与元启发式方法
3.1 元启发式方法概述
3.2 何时使用元启发式方法
3.3 适合元启发式方法的问题
3.4 重要注意事项
3.5 小结
第4章 特定的指标和方法
4.1 为什么启发式方法不可或缺
4.2 如何践行启发式方法
4.3 何时使用特定指标
4.4 何时使用特定的方法
4.5 小结
第2部分 面向数据的启发式方法
第5章 EDA基本启发式方法
5.1 EDA的启发式方法概述
5.2 EDA中的基本启发式方法
5.2.1 基于范围的相关启发式方法
5.2.2 二元相关启发式方法
5.2.3 你自己的启发式方法
5.3 如何在 EDA 中有效利用这些启发式方法
5.4 重要注意事项
5.5 小结
第6章 EDA高级启发式方法
6.1 为什么需要EDA高级启发式方法
6.2 EDA中特定的高级启发式方法
6.2.1 可辨识指数
6.2.2 密度分析
6.2.3 其他高级启发式
6.3 如何在 EDA 中有效地利用启发式方法
6.4 重要注意事项
6.5 小结
第7章 模型相关的启发式方法
7.1 模型相关的启发式方法概述
7.2 特定模型相关启发式方法
7.2.1 F分数启发式
7.2.2 曲线下面积启发式
7.2.3 基于范围的相关启发式
7.2.4 置信指数启发式
7.2.5 其他模型启发式
7.3 如何有效利用这些启发式方法
7.4 重要注意事项
7.5 小结
第8章 其他启发式方法
8.1 其他启发式方法概述
8.2 熵和反熵启发式方法
8.2.1 熵
8.2.2 反熵
8.2.3 在与数据相关的问题中是否使用熵或反熵
8.3 与距离相关的启发式方法
8.3.1 距离启发式方法
8.3.2 相似性启发式方法
8.3.3 与置信度指数的关系
8.4 重要注意事项
8.5 小结
第3部分 面向最优化的启发式
第9章 人工智能与机器学习最优化
9.1 最优化理论概述
9.2 最优化用例
9.3 最优化算法的关键组成部分
9.4 最优化在人工智能和机器学习中的作用
9.5 重要注意事项
9.6 小结
第10章 最优化中的启发式方法
10.1 一般优化中的启发式方法
10.2 使用启发式的特定优化算法
10.2.1 基于群体的算法
10.2.2 遗传算法
10.2.3 模拟退火算法和变体
10.2.4 其他
10.3 粒子群优化和启发式
10.3.1 概述
10.3.2 PSO算法的伪代码
10.3.3 启发式方法的应用
10.4 重要注意事项
10.5 小结
第11章 复杂的最优化系统
11.1 复杂优化器概述
11.2 遗传算法家族优化器
11.2.1 遗传算法的关键概念
11.2.2 香草味遗传算法及其局限性
11.2.3 精英主义变体（Elitism Variant）
11.2.4 缩放比例修改（Scaling Hack）
11.2.5 约束调整（Constraints Tweak）
11.2.6 其他变体
11.3 应用于遗传算法的启发式方法
11.4 重要注意事项
11.5 小结
第12章 最优化集成
12.1 最优化集成概述
12.2 最优化系统的结构
12.3 启发式方法在最优化集成中的作用
12.4 重要注意事项
12.5 小结
第4部分 设计和实施新的启发式方法
第13章 启发式方法的目标和功能
13.1 启发式方法的目标和功能概述
13.2 定义启发式方法的目标
13.3 确定启发式方法的功能
13.4 优化启发式方法的目标和功能
13.5 重要注意事项
13.6 小结
第14章 度量启发式的参数、输出和可用性
14.1 度量启发式的参数、输出和可用性概述
14.2 定义度量启发式的参数和输出
14.3 确定度量启发式的可用性和范围
14.4 优化度量启发式的可用性
14.5 重要注意事项
14.6 小结
第15章 方法启发式的参数、输出和可用性
15.1 方法启发式的参数、输出和可用性概述
15.2 定义方法启发式的参数和输出
15.3 确定方法启发式的可用性和应用范围
15.4 优化方法启发式的可用性
15.5 重要注意事项
15.6 小结
第16章 开发和优化启发式方法
16.1 开发新启发式方法的过程概述
16.2 定义新启发式方法的目标和功能
16.2.1 概述
16.2.2 一种衡量变量多样性的启发式方法
16.2.3 一种衡量数据点独特性的启发式方法
16.2.4 价值问题
16.2.5 你的立身之地
16.3 定义新启发式方法的参数、输出和可用性
16.3.1 多样性启发式的参数、输出和可用性
16.3.2 独特性指数启发式的参数、输出和可用性
16.3.3 两种启发式方法的应用范围
16.4 重要注意事项
16.5 小结
第5部分 启发式方法补充主题
第17章 启发式方法的局限性
17.1 启发式方法常见局限性概述
17.2 泛化能力局限
17.3 精度限制
17.4 为什么存在这些限制及权衡
17.5 重要注意事项
17.6 小结
第18章 启发式方法的潜力
18.1 启发式方法的潜力概述
18.2 启发式方法在EDA中的潜力
18.3 启发式最优化的潜力
18.4 启发式辅助过程的潜力
18.5 启发式模型构建的潜力
18.6 小结
第19章 启发式和透明度
19.1 透明度在数据科学和AI中的价值
19.2 启发式方法如何帮助提高透明度
19.3 构建更加透明的数据科学框架
19.4 重要注意事项
19.5 小结
第20章 最后的想法
20.1 启发式方法及其价值
20.2 启发式来了，创造力是否有尽头
20.3 用启发式方法开发自己的创造力
20.4 重要注意事项
20.5 在启发式的旅程中，路在何方
术语
附录
附录A启发式的关键组成部分
附录B在计算机上安装和使用
· · · · · · (收起)