缺陷检测自动化!基于CCD-YOLOv5算法的铸件表面缺陷检测模型

在制造环节中，受铸件材料特性、生产环境等多重因素影响，铸件表面易出现裂纹、气孔、划痕等缺陷，不同程度上降低了产品质量，缩短了产品使用寿命，严重的缺陷甚至可能危及铸件生产线的安全运作。因此在生产制造流程中，铸件的外观、内在性能及使用性能等成为重要生产监测指标。铸件生产的品质检测环节关键在于对铸件表面缺陷的精准识别和分类，进而分析缺陷类型及其成因，并据此制定针对性解决方案，以提升铸件产品的整体质量，优化生产流程。

传统的缺陷检测方式主要依赖于专业人员筛查，但受限于主观判断，可能导致漏检、复检、误检等问题，筛查过程耗时耗力，且效果不稳定。为了实现对铸件制造品质的即时、精确把控，采用高效可行的铸件表面缺陷检测方法尤为关键。

近几年，随着深度学习通用算法的广泛应用与技术性突破，基于卷积神经网络的目标检测算法在铸件表面缺陷检测领域，得到研究者重视。贾民平等在铸件表面缺陷识别研究中，通过构建深度卷积神经网络缺陷识别模型，对多张铸件缺陷图像进行训练与测试，识别出缺陷对应的位置和类别，证明了卷积神经网络的铸件表面缺陷在线化智能检测可行性。但其设计网络相对原始，识别精度和效率都有待提高。赵鹏等提出一种包含不同神经元数量的卷积层与池化层构造的改进AlexNet，该网络通过增加卷积层数，不关注图像边缘信息，在反向传播中逐层进行权值更新，使用Softmax进行缺陷分类，实现检测模型的优化。YUN J P等提出一种基于条件卷积变分自编码器与深度卷积神经网络的级联自编码器结构，其分类网络由4个特征提取层与一个分类层构成，使用深度学习模型对级联自编码器训练的数据进行缺陷分类工作。罗月童等提出一种基于全连接层的卷积去噪自编码器，编码包括4个卷积层与4个池化层，由全连接层衔接编码器与解码器，用于缺陷检测时，将检测图像由灰度转换为彩色，使用区域像素点多次重构的方法，叠加重合区域，增强缺陷部分与背景的对比度差分，以减少重构产生随机误差的情况发生。此方法利用阈值分割得到缺陷图像，但在分类能力上则有所欠缺。WANG L利用YOLOv3模型，提出一种使用Kmeans++数据集锚框信息的金属表面小缺陷特征提取方法，提升了对小目标缺陷的检测效果。DUAN L等将YOLOv3模型中的单密度卷积层变更为双密度卷积层，以提高铸件表面缺陷的综合检测能力。当前的铸件表面缺陷检测研究方法中，仍然存在数据集样本数量较少，检测模型参数多、计算量大、检测精度和效率有待提高等难点。

【研究亮点】

通过对铸件表面缺陷数据集进行预处理，扩充铸件表面缺陷的样本图像数量，使用Mosaic数据增强方法，同时对原生的算法模型进行优化，以提高模型对铸件表面缺陷的综合检测效果。

【全文导读】

湖北工业大学联合武汉云计算科技有限公司研究团队在2024年第44卷第8期《特种铸造及有色合金》期刊上发表了题为“基于CCD-YOLOv5算法的铸件表面缺陷检测模型”的文章，作者针对铸件表面缺陷检测对象种类繁多、目标不明显、特征多样等因素，提出一种基于改进YOLOv5算法的铸件表面缺陷检测模型。对数据样本做翻转、旋转、调色处理，使用9-Mosaic数据增强，丰富样本数量特征；将CSPDarknet53模块替换为C2f模块，丰富轻量化网络梯度信息；引入CA注意力机制，提升模型泛化能力；将耦合头模块替换为解耦头模块，提升拟合速度。改进CCD-YOLOv5对铸件表面缺陷检测的准确率由78.2%提升至82.9%，召回率由74.3%提升至76.7%，mAP@0.5值由76.4%提升至81.0%。结果表明，改进模型有效提升了综合识别检测效果。

【图文解析】

1　数据集预处理工作

在铸件表面缺陷检测模型的设计过程中，训练模型使用的数据集样本数量不足，会产生模型检测过拟合、精度低等缺点。为进一步模拟不同类型的铸件缺陷，丰富数据集样本数量，进一步提高模型检测鲁棒性与泛化能力，需要对样本图像进行数据扩充工作。经过数据样本扩充之后，训练部分的样本数量增加至1 863张，数据扩充效果见图1~图3。通过对样本图像做翻转、旋转、调色等操作，可以得到新扩充的样本图像。其中翻转操作可以通过竖直翻转、水平翻转和斜对角线翻转的方式，增加样本图像的特征多样性；调色操作可以通过改变图像的亮度、对比度、色相、饱和度等特征，模拟多类铸件表面缺陷在不同环境下的检测场景，进一步增加铸件表面缺陷数据集的样本数量，强化检测模型的鲁棒性。

图1　样本图像翻转前后对比效果图

图2　样本图像旋转前后对比效果图

图3　样本图像调色前后对比效果图

充分利用数据增强技术，通过计算机生成数据，提升数据集的样本数量。Mosaic数据增强方法进一步提升了模型泛化能力。此类数据增强是基于Cutmix数据增强方法进行改进得到的。Cutmix方法将两张图像进行简单拼接，传统的4-Mosaic数据增强，通过随机选取4张图像，根据基准点做随机尺寸调整、比例缩放，合并为指定尺寸的完整大图。此方法依据各图比例变换方式，确保图像标签与映射关系相对应，有效丰富了数据集的样本多样性，增强模型对非常规语义环境的目标检测效果，有效降低模型对硬件设备的性能需求与训练成本，提升模型整体训练效果。相较于传统的4-Mosaic增强技术，本研究引入了9-Mosaic数据增强方法，其工作原理见图4。该方法的核心在于随机选择9张图像样本，并对其进行裁剪、旋转和拼接等操作。这一数据增强策略不仅显著增强了样本多样性，还通过随机缩放的方式有效增加了小目标样本的数量，能够更好地模拟复杂环境中的模型检测任务，从而在提高模型在面对大小不一、种类繁多的检测目标时，保持一定鲁棒性和泛化能力。

图4　9-Mosaic数据增强流程示意图

2　改进YOLOv5模型方法研究

YOLO系列算法是一种基于回归分类思想的单阶段目标检测算法。通过划分网格产生多个目标候选区域，在同一个神经网络中进行目标分类和目标位置定位工作。后续发展的YOLO版本，通过提高输入图像分辨率、引入图像尺寸动态调整、引入多尺度预测、使用更深层的网络及分类器等改进，开发形成了多种优化版本。

YOLOv5目标检测模型，包括YOLOv5s、YOLOv5m、YOLOv5l等不同层级种类。几类模型的核心区别在于调整相关参数，得到不同的网络宽度和深度。相较于前几代YOLO模型，YOLOv5在更轻量级的网络结构中使用了Mosaic数据增强、Self-train等方法，提升了目标检测的整体效率和精度。经综合考虑，使用YOLOv5系列中结构更轻量化、应用面更广的YOLOv5s，开展铸件表面缺陷检测工作。

当前YOLO系列最新的SOTA模型为YOLOv8，其与YOLOv5在模型架构上的主要区别在于，YOLOv5中使用的C3（C3SPDarknet53）模块，在YOLOv8中替换为更轻量化的C2f模块，针对不同尺寸的模型提供不同数量的通道，以提升模型整体性能。同时，YOLOv5使用的耦合头检测结构，在YOLOv8中替换为解耦头结构，将分类任务和定位任务分开，二者并行推进，有效提高了模型收敛速度与目标检测精度。

图5　改进CCD-YOLOv5网络结构图

Fig.5　Structure of improved CCD-YOLOv5 model

图6　C3模块与C2f模块对比图

Fig.6　Comparison of C3 module and C2f module

图7　CA注意力机制结构图

图8　解耦头结构图

3　铸件表面缺陷检测试验

本试验中，以Python为开发语言，Pycharm为主要开发环境，深度学习框架Pytorch为开发框架，基于原生YOLOv5及改进后模型，针对铸件表面缺陷开展试验。具体试验环境配置见表2。

图9　准确率-召回率曲线图

Fig.9　P-R curve

【主要结论】

针对传统铸件表面缺陷检测存在的耗时费力、品控亟待提升等瓶颈问题，提出了一种基于改进YOLOv5的铸件表面缺陷检测方法。为提升数据集的样本丰富性，对铸件表面缺陷数据集实施了数据扩充与9-Mosaic数据增强策略，进一步强化缺陷特征信息。在YOLOv5原生模型结构上，将原有C3模块替换为C2f模块，旨在实现模型的轻量化并丰富梯度信息。同时，引入CA注意力机制，旨在减少冗余数据信息的干扰，增强模型的特征表达能力。此外，替换耦合头模块为解耦头模块，以强化模型对全局信息的获取能力。通过这些改进措施，改进后的CCD-YOLOv5铸件表面缺陷检测模型，在检测精度与检测效率上，表现出更为优良的性能，实现了模型综合检测性能的提升。

【文章来源】

特种铸造及有色合金2024年第44卷第8期，欢迎引用！

【引用格式】

中文：鄢之麟, 钟收成, 孙进, 等.基于CCD-YOLOv5算法的铸件表面缺陷检测模型[J].特种铸造及有色合金，2024，44（8）：1083-1089.

英文：YAN Z L, ZHONG S C, SUN J, et al.Casting surface defect detection model based on CCD-YOLOv5 algorithm[J].Special Casting & Nonferrous Alloys，2024，44（8）：1083-1089.

编辑/排版：江姗

校对：刘晨辉

审核：张正贺