揭秘富士康自动化产线背后的「AI眼睛」

作者 | 来自镁客星球的家衡

富士康，一家全球公认的超级制造业巨头，如今已经占据全球超过42%的代工市场份额。

当外界对这艘“工业航母”的印象还停留在“苹果御用代工厂”时，富士康已经陆续完成大陆地区30余座内部灯塔工厂的升级改造，全面投身下一代半导体、智能汽车等新兴产业。

据官方报道称，在富士康成都厂区，通过AI、物联网（IoT）等技术，该工厂生产效率提高了200%，设备综合效率提高了17%。而类似的数字化改造项目也在其他广区也得到了推广。

但数字化改造终究是一项长期的系统工程。站在企业视角上看，单靠自身技术很难做到面面俱到，这时便需要专业技术公司的助力。

以自动化产线上常见的外观检测项目为例，在引入清湛研究院的“外观缺陷检测方案”后，改造后的富士康自动化产线，在工作效率方面得到卓有成效的提升。

5G加持下，“AI眼睛”更智能

与人类视觉相比，使用机器进行缺陷检测有着明显的优势。

它精度高，速度快，可“看”清人眼无法看清的快速运动的目标，具有较高的稳定性，提升质量的可控性，同时可以进行信息的集成与留存，方便人员追溯。

因此，机器视觉在多个领域都有着频繁的应用，帮助人工进行缺陷的检测识别并标记。

但是，早期富士康自动化产线上的机器视觉项目仍然存在部分问题：

1、难以区分黑点和吸附，易将OK品判定为NG品，造成一定的资源浪费；

2、难以准确分辨流纹、划痕、鼓包、起皮等瑕疵；

3、人检与机检标准界限定位不清楚；

4、现有检测设备接口不开放，二次开发不可行；

5、生产节拍固定，数据处理效率要求高，自动化改造要求高。

图 | 产线现场图片

针对上述问题，经过多次实地调研考察，清湛研究院提出了一套“5G+AI”的工业视觉检测方案：

对于5个CCD相机拍摄的样本图片，3台视觉主机会先对其进行一遍初筛，过滤出NG的样本图像；

随后将图像/信号通过5G传输的方式发送到AI边缘服务器，通过服务器上搭载的AI算法完成缺陷样本的检测与分类，并将分类的结果传输给PLC，PLC驱动分拣机构完成NG和OK样品的分拣；

AI算法将数据通过5G传输的方式与云端进行通讯，完成模型的训练任务并下发到服务器进行部署。

从工厂反馈的实际效果来看，在改用清湛研究院的工业视觉检测方案之后，富士康原有产线中遗留的问题得到了有效的解决。

图 | 自动化改造方案架构

5G环境下，实现真正强技术需求

据清湛研究院透露，该项目中涉及到海量的图像数据。

具体来看，每个样品拍5个面，每个面3个角度，每个角度4-5张图（取决于不同位置的CCD相机），每张图5MB，即每个样品数据量在375MB左右，并且一秒内会拍摄多个样品。

这些数据需要实时地被处理，利用千兆有线网络传输一组样品图片需耗时400ms左右，使用4G网络传输需耗时4000ms左右，而基于5G的图像传输延时仅为50ms左右。

图 | 5G传输时延对比图

但是对于如此庞大的图像数据，如果只依靠5G传输的速度仍达不到理想的效果，因此还需要对数据采用压缩技术，实现数据的约简。

具体实现方式：当视觉主机发送NG信号的时候，基于深度学习的数据压缩，利用图像数据中空间冗余的思想，对数据进行编码，不但提高压缩率，而且可以避免冗余计算，大大提高传输速度。再通过“5G+深度学习”压缩重建后，单组图片平均传输速度为1ms，实现了真正的“秒”传。

一套系统，多项亮点

在完成了数据传输后，下一步就是让整套AI系统完成庞大数据的处理工作。

通过各个模块的拆解分析，我们可以能清晰感受整套改造方案架构的精巧之处。

·超大规模数据标注

据清湛研究院介绍，该套检测方案使用的人工智能算法是数据驱动型算法，首先需要把人类理解和判断事物的能力教给计算机，再让计算机学习到这种识别能力。

要学习数据中的规律，就要假设数据是有正确答案的，很多数据是不存在所谓答案的，那么如果我们想让数据能有“规律”就要给数据标注。

据悉在本项目中，共计标注10000+图像数据，包含30000+图像标注框。在庞大的数据集的支持下，检测方案的准确率在工作过程中不断提升。

图 | 数据标注界面

·高准确率的人工智能算法

传统的机器学习在特征提取上主要依靠人来分析和建立逻辑，而深度学习则通过多层感知机模拟大脑工作，构建深度神经网络来学习简单特征、建立复杂特征、学习映射并输出。

最终在整个训练过程中，所有的层级都会被不断优化。

在本项目中，基于清湛自研的AI算法，配合大量的训练数据，检测准确率可达99.99%以上，并且优化了算法的检测速度，优化后单帧图像检测仅需4ms即可完成。

图 | 图像检测算法

·5G传输+云服务器模型训练

海量标注的图像数据仅依靠边缘服务器难以进行训练任务，通过5G+云服务器的形式，可以大幅减少图像传输时间，同时降低训练所需时间，最高降幅可达80%，仅需一天时间即可完成数据训练。

图 | 算法训练终端

·AI中台——零代码AI训练平台

本项目中的数据标注以及模型训练，均使用清湛研究院自研的AI中台进行开发部署，亮点如下：

1、零代码可视化分析，无需编程简单拖拽；

2、涵盖海量前沿机器学习和深度学习算法；

3、个性化定制，可与自写代码无缝衔接；

4、多种预训练模型，可更快速收敛至高精度；

5、可解释性功能，打破深度学习黑箱，为模型结果呈现判断依据/生物学基础；

6、印刷级高清图表，边缘计算和云计算可协同作业。

图 | AI中台系统界面

除此以外，清湛研究院还为其配备了数据展示终端，特点如下：

1、无缝嵌入原有系统，仅增加微量的计算时间，可大幅降低人工/耗材损耗；

2、一键修改IP，可适配不同计算单元；

3、动态化参数配置，现场工作人员根据情况调整相应的阈值。

图 | 系统展示界面

据统计，在项目上线后，机台总良率有了明显的上升，良率提升至96.60%左右，提升幅度超7%；

同时，误检率下降至1.5%左右，降幅超4%；单个样本处理时间控制在7ms以内（从接收取图信号到给PLC发送OK/NG信号为一个周期）；

最终，本项目较好地完成了交付标准。

图 | 上线后机台总良率

结语

未来，随着AI的不断迭代自学习，AI对传统制造业的降本、增效、提质效果将更加明显，越来越多的制造工厂也将会在各个质检环节甚至全流程运用AI实现更高效、更准确、更自动化的作业，来提升生产质量。

清湛研究院也将协同广大供应商合作伙伴致力于实现我国由工业大国向工业强国的转变，让中国成为第四次工业革命的引领者。