机器视觉理论与实践

机器视觉一直是工业领域的重要研究方向，探讨机器视觉的图书很多，其中一部分聚焦图像处理与分析的理论和算法，也有一些偏重具体的案例，例如人脸识别、视频跟踪等具体项目实现。本书基于作者在企业内部的培训内容，以测量和检测为主线，将基础理论与项目实践紧密结合，介绍机器视觉的理论算法和关键技术，同时展示若干完整项目案例。

本书理论部分条理清晰、内容翔实。结构安排上按照循序渐进原则，由浅入深引出相关概念。例如对于相机标定和点云配准所必需的非线性优化，首先介绍矩阵实现基变换和线性映射两个作用，然后自然过渡到矩阵等价和矩阵相似，其次为了求解最简形而引出特征值分解和奇异值分解，从而得到求解超定方程的工程方法，最后归结于四大子空间。篇幅设计方面强调详略得当和主次分明，对于关键概念和重要方法不惜笔墨。例如对于测量平差和状态估计的最小二乘法，从残差分项、目标函数等诸多角度进行...

(展开全部)

机器视觉一直是工业领域的重要研究方向，探讨机器视觉的图书很多，其中一部分聚焦图像处理与分析的理论和算法，也有一些偏重具体的案例，例如人脸识别、视频跟踪等具体项目实现。本书基于作者在企业内部的培训内容，以测量和检测为主线，将基础理论与项目实践紧密结合，介绍机器视觉的理论算法和关键技术，同时展示若干完整项目案例。

本书理论部分条理清晰、内容翔实。结构安排上按照循序渐进原则，由浅入深引出相关概念。例如对于相机标定和点云配准所必需的非线性优化，首先介绍矩阵实现基变换和线性映射两个作用，然后自然过渡到矩阵等价和矩阵相似，其次为了求解最简形而引出特征值分解和奇异值分解，从而得到求解超定方程的工程方法，最后归结于四大子空间。篇幅设计方面强调详略得当和主次分明，对于关键概念和重要方法不惜笔墨。例如对于测量平差和状态估计的最小二乘法，从残差分项、目标函数等诸多角度进行阐述，通过不同视角予以强化加深。对于这类优化问题的构建和求解，不仅可以采用类似Ceres等通用平台，还可以灵活定制专用优化算法。

本书将理论内容尽量控制在维持自洽的最低限度，无意过多纠缠于烦琐的推导过程，力求避免出现为理论而理论的现象。例如对于向量微积分、矩阵论以及射影几何等内容，均在使用之前的必需阶段才导入相关概念，尽量使得全书能够封闭，同时又不致过于发散而失焦。

理论应该结合实践，能够解决实际问题。本书不是对已有方法进行简单的罗列，而是强调具体工程实践应用。学术界和工业界已经存在OpenCV和Halcon等快速搭建解决方案的成熟平台，但是本书依然提供了一个精简版本的图像处理和分析（IPA）软件框架，对各类常用算法进行了无依赖的纯C/C++实现。其意义在于，唯有深刻理解具体算法的底层实现细节，才能娴熟而高效地运用各种高度封装的检测算子。同时考虑工业应用一般需要7×24小时不间断地运行，软件框架对此需求也进行了合理优化。

实践和理论的结合上力求自然衔接，平滑过渡。例如第1章，在介绍优化理论之后，即以破损照片复原为例，介绍点云配准的应用，给出L-M优化算法和加权L-M算法的实现；然后考虑到噪声引出粗差剔除问题，通过3D空间的平面拟合给出迭代加权M-估计算法的实现，通过2D空间的圆弧拟合给出RANSC算法的实现。再例如第2章，在坐标系变换和刚体运动内容结束之后，即通过眼在手形式的关节机械手柔性测量应用，对理论内容进行实践和验证。

实践性在本书还体现为工程性。现实中的任务很少体现为单一技术，基本都呈现出多学科融合的工程属性。例如金属表面的漏镀检测，书中详细介绍了度量空间选择、高纬数据降维、主元分析、特征挖掘、评价函数构造、模型训练等各个不同领域的工程环节。对于工作当中如何分析问题、寻找解决方案并设计算法实现，提供全景式的案例展示。

书中融合作者研发的多个实际项目，介绍了若干具体案例，涉及切割刀口深度测量、激光打标机校准、切割机摆盘上料、印刷机对位纠偏和芯片基线检测、金属漏镀颜色检测以及贴片机、芯片测试机等项目。这些案例均在正文中依次分析了项目需求，阐述了设计思路，并对关键环节进行细致的说明和解释。希望通过以上案例，能够引起读者对于机器视觉的更多兴趣。

全书共7章。第1章为优化技术，介绍最优化理论和方法；第2章为空间几何，介绍欧氏空间以及射影空间的坐标系变换和与运动；第3章为相机模型与标定，介绍2D/3D空间射影相机模型和仿射相机模型的标定和与校准；第4章为工业测量应用，介绍尺寸测量和结构恢复的若干案例；第5章为图像处理与分析，介绍图像预处理技术和特征检测算法；第6章为颜色检测应用，介绍常见色度空间和颜色检测应用；第7章为视觉系统硬件组成，介绍相机、镜头和光源等硬件选型与设计。

机器视觉涉及知识领域较广，技术更新较快。限于作者水平，书中难免存在疏漏之处，欢迎读者批评指正。

张德好 2023年7月于杭州

目 录
第1章 优化方法
1.1 多元微积分：1.1.1 反对称矩阵、1.1.2 梯度向量、1.1.3 方向导数、1.1.4 向量微积分
1.2 线性优化：1.2.1 基本解、1.2.2 单纯形
1.3 非线性优化：1.3.1 梯度下降法、1.3.2 最速下降法、1.3.3 牛顿法、1.3.4 高斯牛顿法、1.3.5 列文伯格-马夸尔特法
1.4 优化估计应用：1.4.1 L-M算法、1.4.2 加权L-M算法、1.4.3 迭代加权M-估计、1.4.4 粗差剔除RANSAC
· · · · · · (更多)

目 录
第1章 优化方法
1.1 多元微积分：1.1.1 反对称矩阵、1.1.2 梯度向量、1.1.3 方向导数、1.1.4 向量微积分
1.2 线性优化：1.2.1 基本解、1.2.2 单纯形
1.3 非线性优化：1.3.1 梯度下降法、1.3.2 最速下降法、1.3.3 牛顿法、1.3.4 高斯牛顿法、1.3.5 列文伯格-马夸尔特法
1.4 优化估计应用：1.4.1 L-M算法、1.4.2 加权L-M算法、1.4.3 迭代加权M-估计、1.4.4 粗差剔除RANSAC
1.5 约束优化和多目标优化：1.5.1 等式约束、1.5.2 不等式约束、1.5.3 多目标优化
第2章 空间几何
2.1 矩阵两个功能：2.1.1 基底变换、2.1.2 线性映射、2.1.3 矩阵等价与相似、2.1.4 特征值分解与奇异值分解、2.1.5 Ax=0与Ax=b的最小二乘解
2.2 坐标系变换与刚体运动：2.2.1 坐标系变换、2.2.2 刚体运动、2.2.3 关节机械手应用
2.3 射影几何：2.3.1 二维射影空间、2.3.2 二维变换群、2.3.3 三维射影空间、2.3.4 三维变换群、2.3.5 单应矩阵总结
第3章 相机模型与标定
3.1 射影相机模型：3.1.1 坐标系、3.1.2 线性模型、3.1.3 非线性模型、
3.2 立体视觉模型：3.2.1 立体视觉系统、3.2.2 标准双目系统、3.2.3 基础矩阵求解、3.2.4 坐标归一化
3.3 相机直接标定：3.3.1 DLT法、3.3.2 参数求解、3.3.3 参数分解、3.3.4 改进方法
3.4 平面标定法：3.4.1 线性模型、3.4.2 线性模型参数、3.4.3 畸变模型、3.4.4 畸变模型参数、3.4.5参数优化、3.4.6 图像校准应用
3.5 远心镜头标定：3.5.1 无主点标定法、3.5.2 单幅标定法、3.5.3 简化方法、3.5.4 直接标定法
第4章 工业测量应用
4.1 结构光深度测量：4.1.1 相机标定、4.1.2 结构光标定、
4.2 切割机上料：4.2.1 问题原型、4.2.2 局部坐标系、4.2.3 全局坐标系、4.2.4 奇异值分解
4.3 激光打标机校准：4.3.1 畸变原因、4.3.2 图像系统校准、4.3.3 激光系统校准、4.3.4 双工位校准
4.4 印刷机对位纠偏：4.4.1 算法设计、4.4.2 精密运动模组、4.4.3 正运动方程、4.4.4 外部参数标定
第5章 图像处理与分析
5.1 图像增强：5.1.1 线性拉伸、5.1.2 方差规范化拉伸、5.1.3 分段线性拉伸、5.1.4 灰度窗及切片、5.1.5 直方图均衡化
5.2 平滑滤波：5.2.1 均值滤波、5.2.2 高斯滤波、5.2.3 邻域加权、5.2.4 双边滤波、5.2.5 中值滤波、5.2.6 条件滤波
5.3 区域分割：5.3.1 区域分割方法、5.3.2 阈值分割方法、5.3.3 二维阈值分割、5.3.4 轮廓的特征描述
5.4 边缘检测：5.4.1 一阶算子、5.4.2 二阶算子
5.5 角点定位：5.5.1 单尺度检测、5.5.2 多尺度空间、5.5.3 尺度选择算子、5.5.4 角点特征描述
5.6 基线检测应用：5.6.1 图像预处理、5.6.2 确定基线区域、5.6.3 确定基线边界、5.6.4 确定基线坐标、5.6.5 优化改进措施
第6章 颜色检测应用
6.1 颜色描述：6.1.1 光谱分布、6.1.2 视效函数、6.1.3 强度度量、6.1.4 颜色度量、6.1.5 匹配函数
6.2 颜色模型：6.2.1 基础颜色模型、6.2.2 均匀颜色模型、6.2.3 感知颜色模型
6.3 主元分析：6.3.1 机器学习、6.3.2 SVD特征提取、6.3.3 PCA基本原理、6.3.4 EVD数据降维、6.3.5 PCA降维过程
6.4 漏镀检测应用：6.4.1 颜色空间、6.4.2 特征工程、6.4.3 分类器
第7章 视觉系统硬件构成
7.1 相机：7.1.1 传感器类型、7.1.2 传感器尺寸、7.1.3 曝光时间、7.1.4 分辨率、7.1.5 芯片测试机案例、7.1.6 线扫描系统
7.2 镜头：7.2.1.内部参数、7.2.2 外部参数、7.2.3 贴片机案例
7.3 光源：7.3.1 光源要素、7.3.2 光源结构形式、7.3.3 光源驱动器设计、7.3.4 光源的均匀性评价
附 录 A 关于字体和符号的约定 304
A.1 字体及表示约定
A.2 常用符号约定
附 录 B 李群和李代数的代数与几何意义 306
B.1 李群
B.2 李代数
B.3 对应关系
B.4 向量的分解
B.5 三维空间旋转
参 考 文 献
· · · · · · (收起)