大数据架构之道与项目实战

常耀斌，资深大数据专家，拥有16年国家级项目架构设计与管理经验。北邮计算机工学硕士，曾就职于中国电科、华为、中国移动等知名企业，历任项目经理、高级专家、技术总监、高级架构师等职务。一直专注于亿级用户规模的大数据和人工智能平台的技术架构研发和关键技术研究，参与项目曾获“国家科技进步特等奖“，个人曾获“金牌员工”、“优秀共产党员”称号。个人拥有中国发明专利40多项，发表国家级期刊学术论文10多篇，多次应邀参加国内顶级会议和高峰论坛，并担任专家评委和评审专家。。

郑智民，资深大数据分析师，中移动研究院前瞻项目研究员。北京邮电大学电子与通信工程硕士、厦门大学MBA，曾担任国家智慧城市大数据方案专家、发明家协会委员等。具有12年电信运营、智慧医疗、智慧家庭、工业物联网、智慧环保等领域项目经验。BI大数据实战项目曾助力移动全国经分大赛团体夺魁，物联网创新项目曾获...

(展开全部)

常耀斌，资深大数据专家，拥有16年国家级项目架构设计与管理经验。北邮计算机工学硕士，曾就职于中国电科、华为、中国移动等知名企业，历任项目经理、高级专家、技术总监、高级架构师等职务。一直专注于亿级用户规模的大数据和人工智能平台的技术架构研发和关键技术研究，参与项目曾获“国家科技进步特等奖“，个人曾获“金牌员工”、“优秀共产党员”称号。个人拥有中国发明专利40多项，发表国家级期刊学术论文10多篇，多次应邀参加国内顶级会议和高峰论坛，并担任专家评委和评审专家。。

郑智民，资深大数据分析师，中移动研究院前瞻项目研究员。北京邮电大学电子与通信工程硕士、厦门大学MBA，曾担任国家智慧城市大数据方案专家、发明家协会委员等。具有12年电信运营、智慧医疗、智慧家庭、工业物联网、智慧环保等领域项目经验。BI大数据实战项目曾助力移动全国经分大赛团体夺魁，物联网创新项目曾获第十九届全国发明奖等国家部委级奖项6项及移动全国级优秀创新成果奖2项，为移动全国刊物《移周刊》首位创新专访人物。在大数据及人工智能、区块链领域以第一发明人申请19项发明专利，撰写可穿戴设备、VR/AR等7份标准，出版VR和大数据领域书籍各1部。

周贤波，资深研究员。北理工工学硕士，曾就职于华为等知名企业。近10多年一直专注于机器视觉/图形图像等相关算法研发，尤其擅长在软硬件平台、智能穿戴式设备、物联网、大数据及人工智能、AR/VR开发、AI芯片等前沿技术研发。拥有12年大型项目设计和开发经验，在大数据和人工智能领域有5项中国发明专利申请。

第 1章 企业级大数据平台服务的总体设计
1.1平台架构设计的总体技术要求
1.2微服务引擎的可扩展性设计
1.3微服务引擎的优秀解决方案
1.3.1 高并发采集微服务
1.3.2 灵活转发微服务
· · · · · · (更多)

第 1章 企业级大数据平台服务的总体设计
1.1平台架构设计的总体技术要求
1.2微服务引擎的可扩展性设计
1.3微服务引擎的优秀解决方案
1.3.1 高并发采集微服务
1.3.2 灵活转发微服务
1.3.3 高可扩展海量存储服务
1.3.4 高并发海量存储服务
1.3.5 高可靠海量存储服务
1.3.6 实时计算服务
1.3.7 基于机器学习的智能分析服务
1.3.8 自定义迁移服务
1.4设计小结· 17
第 2章 大数据高并发采集微服务引擎
2.1核心需求分析和优秀解决方案
2.2服务引擎的技术架构设计
2.2.1 Maven与 Eclipse集成配置
2.2.2 Mina2.0框架以及业务设计
2.2.3 设备协议规范制定及数据包设计
2.2.4 按照设备和数据类型进行业务树构建
2.2.5 按照设备的数据包状态进行解析
2.2.6 按照通用方式进行高并发入库
2.3核心技术讲解及模块化设计
2.3.1 Spring Maven Web服务构建
2.3.2 Spring Boot微服务构建
2.3.3 数据包定义和实现
2.3.4 业务树构建和实现
2.3.5 数据包状态进行解析实现
2.3.6 按照通用方式进行高并发入库实现
2.3.7 客户端模拟器工具类进行高并发测试
2.4项目小结·
第 3章 大数据灵活转发微服务引擎
3.1核心需求分析和优秀解决方案
3.2服务引擎的技术架构设计
3.3核心技术讲解及模块化实现
3.3.1 Spring MVC Web服务构建
3.3.2 Spring Boot微服务构建
3.3.3 灵活配置和通用工具类构建
3.3.4 创建发送数据主题，注册观察者对象
3.3.5 启动多线程进行数据发送
3.3.6 采用 Post策略模式进行数据发送
3.3.7 采用 ActiveMQ策略模式进行数据发送
3.4项目小结· 173
4.1核心需求分析和优秀解决方案
4.2服务引擎的技术架构设计
4.3核心技术讲解及模块化实现
4.3.1 Spring MVC的工作原理及执行流程
4.3.2 Spring MVC Web服务构建
4.3.3 Spring Boot Web微服务构建
4.3.4 统一对外数据接收接口及通用类
4.3.5 MySQL对智能终端运动数据的分状态和分策略处理
4.3.6 MySQL对智能终端运动数据的分职责处理
4.3.7 MySQL对智能终端运动数据的统一入库处理
4.4项目小结
第 5章 大数据高并发海量存储微服务引擎
5.1核心需求分析和优秀解决方案
5.2服务引擎的技术架构设计
5.3核心技术讲解及模块化实现
5.3.1 Spring MVC和 Spring Boot集成 MongoDB
5.3.2 MongoTemplate核心类实现 Dao层接口
5.3.3 基于 MongoDB处理智能终端运动数据
5.3.4 基于 MongoDB管道技术处理体检数据
5.3.5 基于 AngularJS架构可视化体检数据
5.4项目小结·
第 6章 大数据高可靠海量存储微服务引擎
6.1核心需求分析和优秀解决方案
6.2服务引擎的技术架构设计
6.3核心技术讲解及模块化实现
6.3.1 Hadoop完全分布式集群构建
6.3.2 Spring MVC和 Spring Boot集成 Hbase
6.3.3 HbaseTemplate核心类实现 Dao层接口
6.3.4 Hbase集群的智能终端运动数据 Controller接口
6.3.5 Hbase集群的智能终端运动数据 Service接口
6.3.6 Hbase集群的智能终端运动数据 Dao接口
6.4项目小结
第 7章 大数据实时计算微服务引擎
7.1核心需求分析和优秀解决方案
7.2服务引擎的技术架构设计
7.3核心技术讲解及模块化实现
7.3.1 分布式采集服务 Flume部署及数据采集
7.3.2 分布式消息服务 Kafka部署及数据发送
7.3.3 创建 HBase数据库和 Spark环境
7.3.4 分布式实时处理引擎 Spark Streaming原理及数据处理
7.3.5 构建 BD_RTPServer_DP工程实现数据处理
7.3.6 构建 BD_RTPServer_Boot服务实现可视化
7.4项目小结
第 8章 大数据智能分析微服务引擎
8.1核心需求分析和优秀解决方案
8.2服务引擎的技术架构设计
8.3核心机器学习算法讲解和应用
8.3.1 逻辑回归的原理分析
8.3.2 支持向量机原理分析
8.3.3 决策树原理分析
8.3.4 聚类算法原理分析
8.3.5 关联规则算法原理分析
8.3.6 协同过滤原理分析
8.4 Spark架构原理与数据预测
8.4.1 YARN运行架构工作原理
8.4.2 Spark Mlib核心技术
8.4.3 Spring Maven工程构建
8.4.4 决策树预测体检费用
8.4.5 逻辑回归预测体检费用
8.4.6 随机森林预测体检费用
8.4.7 支持向量机预测疾病概率
8.4.8 协同过滤推荐药品
8.5项目小结
第 9章 大数据自定义迁移微服务引擎
9.1核心需求分析和优秀解决方案
9.2服务引擎的技术架构设计
9.3核心技术讲解及模块化实现
9.3.1 Hadoop生态的核心组件
9.3.2 HBase工作原理
9.3.3 Sqoop工作原理
9.3.4 MapReduce工作原理
9.3.5 Sqoop抽取历史数据到 HDFS
9.3.6 构建工程 BD_CustomTransfer_Maven
9.3.7 智能终端运动数据从 MySQL数据迁移到 Hive
9.4项目小结
· · · · · · (收起)

本章是项目实战前的总体战略设计篇，将深入探讨项目的总体架构设计思想。我们从构建一个商用的企业级大数据平台服务的总体技术要求出发，详细阐述从核心需求到设计方案的运筹过程。 2016年是大数据时代的元年， 2017年是人工智能时代的元年，2018全球人工智能产品应用博览会在苏州举办，更推进了大数据和人工智能在智能制造、软硬件终端和服务业等领域的广泛应用。大数据与人工智能、云...

• 企业级大数据平台服务的总体设计