论文范文:基于机器视觉的拆回电表自动分拣系统 设计与实现

来源: 未知 作者:paper 发布时间: 2022-06-30 11:29
论文地区:中国 论文语言:中文 论文类型:工程硕士
电表是人们生活中常备的电气设备,但每年因轮换、拆除等原因导致的拆 回电表数量巨大,仅四川省一年拆回电表数量达 160 万。目前行业内针对拆回 电表的分拣主要是依靠人工分拣
电表是人们生活中常备的电气设备,但每年因轮换、拆除等原因导致的拆
回电表数量巨大,仅四川省一年拆回电表数量达 160 万。目前行业内针对拆回
电表的分拣主要是依靠人工分拣,工作效率低且用人成本高。因此,有必要研
究实现拆回电表的自动分拣,代替人工分拣。目前相关研究主要是针对拆回电
表的条形码扫描识别,对于电表型号、版本、生产厂家、电气规格等参数信息
则未进行识别提取,错失大量有效信息,不利于拆回电表的相关数据后续分析,
如质量分析、问题定位与溯源等。
针对以上问题,本文研发出一套基于机器视觉的拆回电表自动分拣系统,
该系统可拆分成机械平台和图像识别软件两个子模块。(1)机械平台:由图像
采集装置和分拣装置组成。图像采集装置将流水线上的拆回电表固定后进行拍
摄,获取电表图像,将图像输入到图像识别软件中,完成相应参数信息的提取,
并将信息传输给后续分拣装置;分拣装置基于提取信息将电表输送至不同流水
线上,从而完成自动分拣流程;(2)图像识别软件:该软件主要任务是识别电
表图像的字符信息,并完成相应参数的提取。基于模板匹配实现字符区域的粗
定位,将电表图像划分为多个区域 ROI,输入到后续不同模块中。基于 ROI 图
像灰度特征与 AdaBoost 分类器对下方区域 ROI 实现电表版本分类,采用开源
条形码识别工具对中间区域 ROI 实现条形码识别。基于 CTPN 实现对中间区域
ROI 上字符的精定位,得到各行字符的精确定位坐标,将坐标输入到字符识别
模块。采用合成模拟数据集的方式训练基于 DenseNet+CTC 的识别模型,完成
I
四川大学工程硕士专业学位论文
字符识别。通过正则表达式在识别的字符信息中提取所需的电表型号、版本、
生产厂家、电气规格等参数信息。最后,利用 Tkinter 工具对软件进行封装,完
成人机交互界面的设计与实现。为测试自动分拣系统的可行性,实验选取 1000
个电表对系统进行测试,测试结果表明系统平均识别准确率达 98.4%、单个电
表检测耗时为 1.56 秒,达到项目要求。
本文研发出一套基于机器视觉的拆回电表自动分拣系统,该系统通过图像
采集装置获取电表图像,随后利用 OCR 模型完成电表图像中的字符定位与识
别,并完成电表型号、版本、生产厂家、电气规格等相关信息的提取。最后基
于识别信息将拆回电表输送至不同流水线上,完成不同类别的分拣。该系统功
能齐全,鲁棒性较强,可提取信息内容超出已有的拆回电表识别系统,有利于
后续对拆回电表的数据分析,如公司生产电表质量分析、用电异常问题定位与
溯源等。可代替拆回电表人工分拣,实现自动分拣流程,提升工作效率,进而
提升拆回电表行业分拣效率。
关键词:机器视觉;拆回电表;自动分拣系统;字符定位;字符识别
II
 
 
 Design and Implementation of Automatic Sorting
System for Dismantled Electric Meters Based on
 Machine Vision
Major: Mechanical Engineering
Graduate Student: Feng Zhan School Supervisor: Prof. Wang Jie
Enterprise Supervisor: Hu MingChun
Electric meters are electrical equipment in people’s life. However, the number of
dismantled electric meters every year due to reasons such as rotation and dismantling
is huge. In Sichuan Province alone, the number of dismantled electric meters in one
year amounts to one million and six hundred thousand. At present, the sorting of
dismantled electric meters in the industry mainly relies on manual sorting, which has
low work efficiency and high labor costs. Therefore, it is necessary to study the
realization of automatic sorting of dismantled electric meters, instead of manual
sorting. At present, the relevant research is mainly aimed at the barcode scanning and
identification of the dismantled electric meters. The parameter information of the
meter model, version, manufacturer, and electrical specifications has not been
identified and extracted, and a large amount of valid information is missed, which is
not conducive to the subsequent analysis of relevant data of dismantled electric meters.
Such as quality analysis, problem location and traceability, etc.
In response to the above problems, this article has developed a machine vision-
based automatic sorting system for dismantled electric meters, which can be split into
two sub-modules, a mechanical platform and an image recognition software. (1)
Mechanical platform: It is composed of image acquisition device and sorting device.
The image acquisition device fixes the dismantled electric meters on the assembly line
III
四川大学工程硕士专业学位论文
 and then shoots, acquires the meter image, inputs the image into the software system,
 completes the extraction of the corresponding parameter information, and transmits
 the information to the subsequent sorting device; the sorting device is based on the
 extracted information transport the meter to different assembly lines to complete the
 automatic sorting process; (2) Image recognition software: The main task of the
 software is to identify the character information of the meter image and complete the
 extraction of the corresponding parameters. Based on template matching, the coarse
 positioning of the character area is realized, and the image of the electric meter is
 divided into multiple area ROIs, which are input into different subsequent modules.
 Based on the gray features of the ROI image and the AdaBoost classifier, the meter
 version is classified for the lower area ROI, and the open-source barcode recognition
tool is used to achieve barcode recognition for the middle area ROI. Based on CTPN,
the precise positioning of the characters on the middle area ROI is realized, and the
precise positioning coordinates of each line of characters are obtained, and the
coordinates are input to the character recognition module. The method of synthetic
simulation data set is used to train the recognition model based on DenseNet+CTC to
 complete character recognition. Use regular expressions to extract the required meter
 model, version, manufacturer, electrical specifications and other parameter
 information from the recognized character information. Finally, use the Tkinter tool
 to package the software to complete the design and implementation of the human-
 computer interaction interface. In order to test the feasibility of the automatic sorting
 system, the experiment selected 1,000 meters to test the system. The test results
 showed that the average recognition accuracy of the system reached 98.4%, and the
 detection time of a single meter was 1.56 seconds, which met the project requirements.
 This paper develops a machine vision-based automatic sorting system for
dismantled electric meters. The system uses image acquisition devices to obtain meter
images, and then uses OCR models to complete the character location and recognition
 in the meter images, and complete the meter model, version, and manufacturer,
 electrical specifications and other related information extraction. Finally, based on the
IV
四川大学工程硕士专业学位论文
identification information, the dismantled electric meters is transported to different
assembly lines to complete the sorting of different categories. The system has
complete functions and strong robustness. The information content that can be
extracted exceeds the existing identification system of the dismantled electric meters,
which is conducive to the subsequent data analysis of the dismantled electric meters,
such as the quality analysis of the company's production meters, and the location and
traceability of abnormal electricity usage problems, etc. It can replace the manual
sorting of dismantled electric meters, realize the automatic sorting process, improve
work efficiency, and improve the sorting efficiency of dismantled electric meters
industry.
Keywords: Machine vision; Dismantled electric meters; Automatic sorting
system; Character location; Character recognition
V
四川大学工程硕士专业学位论文
目录
1 绪论·····································································································································1
1.1 课题来源与背景及研究意义 ····························································································1
1.1.1 课题来源····················································································································1
1.1.2 课题背景及研究意义································································································1
1.2 国内外研究现状················································································································2
1.2.1 电表识别系统发展及现状························································································2
1.2.2 OCR 技术发展及现状································································································4
1.2.3 自动分拣装置发展及现状························································································8
1.3 研究内容及结构安排······································································································10
1.4 本章小结··························································································································11
2 分拣系统方案设计 ············································································································12
2.1 总体方案设计··················································································································12
2.2 机械平台方案设计··········································································································13
2.2.1 图像采集装置方案设计··························································································13
2.2.2 分拣装置方案设计··································································································14
2.3 图像识别软件方案设计 ··································································································15
2.4 本章小结··························································································································17
3 分拣系统机械平台结构设计·····························································································18
3.1 图像采集装置设计··········································································································18
3.1.1 相机选型··················································································································18
3.1.2 光源选型··················································································································19
3.2 分拣装置设计··················································································································22
3.2.1 位置检测装置选型··································································································22
3.2.2 身份验证装置选型··································································································23
3.2.3 限位装置与夹紧装置选型······················································································24
3.2.4 分类装置设计与选型······························································································25
I
四川大学工程硕士专业学位论文
3.3 本章小结··························································································································26
4 图像识别关键技术研究·····································································································27
4.1 字符定位··························································································································29
4.1.1 粗定位······················································································································30
4.1.2 精定位······················································································································36
4.2 字符识别··························································································································39
4.2.1 基于 DenseNet+CTC 的识别模型 ··········································································40
4.2.2 模拟数据集合成······································································································44
4.2.3 模型训练与测试······································································································50
4.3 条形码识别······················································································································52
4.4 版本分类··························································································································53
4.5 信息提取与汇总··············································································································56
4.6 人机交互界面··················································································································58
4.7 本章小结··························································································································62
5 分拣系统实现与测试 ········································································································63
5.1 系统实现··························································································································63
5.2 实验测试··························································································································64
5.3 本章小结··························································································································66
6 总结与展望························································································································67
6.1 工作总结··························································································································67
6.2 工作展望··························································································································68
参考文献 ·······························································································································69
作者在读期间科研成果简介·································································································73
声 明···································································································································74
致 谢···································································································································75
II
四川大学工程硕士专业学位论文
1 绪论
1.1 课题来源与背景及研究意义
1.1.1 课题来源
本课题由四川大学-泸州市政府市校战略合作项目“基于人工智能识别技术
的拆回智能电表分拣研究”纵向项目(项目编号:2019CDLZ-24)支持。
1.1.2 课题背景及研究意义
由于故障更换、政策拆除、功能更新等原因导致拆回电表数量巨大,仅四
川省一年拆回电表数量达 160 万。《国家电网公司计量资产全寿命周期管理办
法》中指出,对上述电表应检查其封印、拍照留底、抄录电表底电量显示值,
并将相关信息录入到国家电网的营销业务系统中[1]。
目前行业内针对拆回电表的分拣回收工作主要是通过人工录入系统,其问
题如下:
(1)效率低下:由于拆回电表数量巨大,相关检测工作人员难以在短时间
内将全部电表进行一一检测,信息录入耗时较长,按规定对拆回电表进行规范
且详细地分拣录入工作十分困难。
(2)质量无法保证:由于数量巨大,相关检测工作人员在分拣时易发生漏
分拣、漏信息录入或误录入错误信息问题,使得质量较好、运行时间短、可再
利用的电表被误报废,不仅浪费了资源,报废电表作为电子垃圾还造成了环境
污染。
(3)有损经济效益:拆回电表的分拣是作为电表的全寿命周期管理的末尾
环节,此环节的信息数据收集量不足、数据收集错误,不利于产品的质量管控。
同时,数据收集错误可能造成重大经济损失、与客户发生经济纠纷等问题。
随着机器视觉[2]、深度学习[3]等智能化技术的兴起,基于智能化技术的智能
检测在越来越多的工业场景得到应用。因此,可研究基于智能化技术对拆回电
表的自动分拣,代替人工分拣,以解决上述分拣工作中存在的问题。结合本课
题要求,需要录入的电表信息如下图 1.1 所示,分别是电表型号、电流规格、
脉冲常数、条形码 id、生产厂家、生产日期和电表版本。
1
四川大学工程硕士专业学位论文
图 1.1 电表识别信息示意图
由图 1.1 可知,电表表面存在诸多字符信息,所需录入系统的数据仅是其
中的一部分。因此,智能化技术在识别信息的同时需要排除无效信息的干扰,
提取有效信息部分并录入系统,并基于识别信息完成相应的分拣回收工作,从
而实现拆回电表的自动分拣。
1.2 国内外研究现状
1.2.1 电表识别系统发展及现状
早期的电表识别系统主要是针对机械式电表,利用传统图像处理技术对电
表条形码或电表电量示数进行定位与识别。2007 年,上海交通大学的张晓颖[4]
设计了一套电表自动识别系统,利用二值化处理、边缘检测等数字图像处理技
2
四川大学工程硕士专业学位论文
术实现了对电表识别区域的辨识与定位,基于字符分割与特征提取完成了对电
表电量示数的字符识别,并结合条形码编码器规则完成了条形码识别,最后将
电表图像的自动识别与物流控制、数据库融合为一整套电表自动识别系统,从
而完成了对拆回电表的信息识别、数据复查等功能。2009 年,东北林业大学的
刘雯雯[5]研发了一套电表电量示数识别系统,在图像预处理阶段采用 Ostu 算法
完成图像阈值分割,利用投影定位算法与边缘检测算法实现了电表电量示数区
域的精细定位,结合形态学处理与 Hough 检测进行倾斜修正,最后将图像特征
输入到 BP 神经网络中从而进行字符识别,该系统的识别准确率达到了 80%。
2011 年,吉林大学的荆倩倩[6]研发了针对电表电量示数的识别算法,基于图像
纹理特征实现了电表电量示数区域的字段分割,基于形态学特征实现了字符的
精确定位,并利用 Hough 检测、坐标映射和双线性插值算法对倾斜图像进行旋
转矫正,最后改进投影识别算法以完成数字识别。
近年来随着智能电表的普及,已有越来越多针对智能电表的相关研究工作。
2012 年,南京理工大学的杨娟[7]设计了一套电表电量示数与条形码自动识别系
统,基于图像灰度特征分布实现了对字符区域的粗定位,基于扫描法完成条形
码的定位,利用中值滤波降低噪声干扰,结合 Sobel 算法与 Hough 检测实现对
区域的倾斜矫正,最后利用先验知识、投影法以及结构特征法实现字符分割与
识别,利用 Code128 编码器规则实现了条形码的解码识别。2014 年,南京理工
大学的贝澄洁[8]设计了一套电表电量示数自动识别系统,利用 Hough 检测与电
量示数区域特点完成了区域定位,改进了 Bernsen 算法实现了字符分割,结合
结构特征法实现数字识别,最后基于识别流程开发了相应图像识别软件。2018
年,山东大学的李霖[1]设计了一套拆回电表智能管理装置,基于自适应的灰度
特征分割法实现对电表条形码的识别,建立了识别条形码与营销数据库比对模
型,通过最近邻补录算法对异常数据进行比对复核。2019 年,厉建宾等人[9]提
出了一种结合阈值切分与 YOLO 模型的电表电量示数自动识别方法,利用
YOLO 模型检测电表电量示数区域,利用阈值切分将区域切分为多个单字符,
最后使用单字符识别模型对切分出的单字符图像进行识别,识别准确率达
72.54%。2020 年,赵兴旺等人[10]设计了一套基于图像识别的电表智能建档系统,
利用 SIFT 特征提取与匹配算法对电表字符区域进行粗定位,通过改进垂直投
3
四川大学工程硕士专业学位论文
影直方图方法将字符区域切分为多个单字符,设计采用最近邻(KNN)算法对
单个字符进行识别,随后利用 Bi-gram 模型提取电表属性信息,最后结合 RFID
标签数据对电表进行智能建档。2021 年,王敏等人[11]提出了一种基于机器视觉
的电表图像参数信息检测技术,可以定位并识别电表铭牌上的电流规格与脉冲
常数信息,利用形态学分割与 Canny 边缘检测算法实现参数信息的定位,通过
Halcon 软件对图像进行识别,其检测准确率达 99.5%。
综上所述,针对电表的信息识别,相关研究工作主要集中在基于数字图像
处理技术的电表条形码识别以及电表电量示数识别,少部分研究是针对电表其
他参数的识别与提取。但以上工作的识别对象仅包含条形码、数字和英文字符,
无法对汉字进行识别,故而无法识别本课题所要求的生产厂家、生产日期和电
表版本等信息。因此,欲建立拆回电表的自动分拣系统,则必须研究可识别条
形码、数字、英文字符和中文字符的字符识别技术,从而利用该技术完成电表
信息的自动识别与录入,以用于拆回电表的分拣流程。
1.2.2 OCR 技术发展及现状
OCR(Optical Character Recognition,光学字符识别)是一个经典的机器视
觉领域的研究问题[12],其任务输入是包含字符的图像,输出是识别字符信息。
OCR 的传统技术流程如图 1.2 所示,主要包括图像预处理、字符区域提取、字
符切分和字符识别等部分,其具体介绍如下所示:
图 1.2 传统 OCR 技术流程示意图
(1)图像预处理:针对含有字符的图像,OCR 技术通常需利用降噪技术
对图像进行平滑处理,如平均滤波、高斯模糊、中值模糊、双边滤波,随后对
降噪后的图像进行灰度化或二值化处理[13-15]。
4
四川大学工程硕士专业学位论文
(2)字符区域提取:字符区域提取是指提取图像中字符所在区域的位置,
排除其他无效区域的干扰,其提取方式主要有边缘检测[16]、笔划宽度变换法[17]
和滑动窗口检测方法[18]三种。边缘检测方法通常利用 Canny[19]、Sobel[20]等轮廓
检测方法提取图像中字符区域的轮廓,基于轮廓边缘实现对字符区域的提取。
笔划宽度变换算法不同于边缘检测法关注图像的梯度信息,更关注于图像中字
符的笔划特征,基于高对比度的字符边缘提取笔划区域横截面,将多个横截面
组合成完整的字符区域[21]。滑动窗口检测法是将一定大小的矩形窗口在图像上
自上而下、自左而右地进行遍历搜索,利用 SVM[22]、AdaBoost[23]等分类器对遍
历区域进行分类判别,将置信度高于一定阈值的区域视为候选区域,从而将字
符区域与图像背景分离。
(3)字符切分:字符切分是指将字符区域切分为多个单字符图像,常用垂
直投影法对字符区域进行切分[24]。垂直投影法将图像投影至水平方向上,字符
对应的位置在投影直方图上对应区域会有峰值出现,通过在直方图上检测各个
峰值的位置从而将字符图像切分为多个单字符图像。
(4)字符识别:字符识别是指识别图像中的文字,常用识别方法有模板匹
配和特征分类法。模板匹配法[25]需要建立字符图像模板库,将待识别的字符图
像和模板库中的字符图像进行相似度比较,取相似度最高的模板图像作为识别
结果。特征分类法提取图像特征作为特征向量,将特征向量输入到贝叶斯、SVM、
神经网络等分类器中完成字符分类。
传统的 OCR 技术主要是自下向上地流水线检测,基于单独字符或者笔画
进行检测,没有考虑语句上下文信息,当初始检测模块有误差时,会逐渐累积
到后续识别模块中。同时,传统方法对方案的依赖性较强、鲁棒性较差。针对
上述问题,近年来越来越多的学者开展了基于深度学习的 OCR 研究,其技术流
程如下图 1.3 所示。基于深度学习的 OCR 技术流程可分为如图 1.3(a)所示的
字符定位和字符识别两部分,或者如图 1.3(b)所示的端到端解决方案。
5
四川大学工程硕士专业学位论文
(a)字符定位-字符识别
(b)端到端
图 1.3 基于深度学习的 OCR 技术流程示意图
(1)字符定位:字符定位是指预测图像中文本行区域的位置信息,相关定
位方法主要是基于字符图像的特点对 Faster R-CNN[26]、SSD[27]等目标检测模型
做出改进,从而完成字符区域在图像中的预测任务。2016 年,Tian 等人[28]对
Faster R-CNN 做出改进,结合卷积神经网络与循环神经网络提出了 CTPN 检测
模型,采用不同长宽比的锚点检测字符区域,从而可以检测水平方向上不同大
小字符的位置,是基于深度学习对字符定位研究的经典模型。2017 年,Shi 等
人[29]提出了 SegLink 模型,该模型是在 SSD 模型的基础上针对文本行特点做出
了改进,在检测局部字符区域的基础上,基于规则将所有局部字符区域进行融
合,从而检测出任意长度的字符区域。同年,Zhou 等人[30]提出了 EAST 模型,
基于全卷积网络实现对字符区域的预测,最后通过 NMS(Non-Maximum
Suppression,非极大值抑制)[31]融合相关的预测结果,该模型的创新之处在于
对字符区域的预测阶段时不局限于矩形,而是四边形形状,因此使得模型可以
检测出任意四边形形状的文本。2018 年,Liao 等人[32]提出了 TextBoxes++模型,
该模型同样是基于 SSD 模型的改进字符定位模型,创新之处在于提取图像特征
时采用矩形形状的卷积核而不是正方形形状,从而可以检测到任意方向的字符
区域。2019 年,Zhong 等人[33]提出了 AF-RPN 模型,将 Faster R-CNN 模型锚
点预测改为字符特征点预测,将锚点合并改为特征点合并,从而可以检测出任
意方向的字符区域。2020 年,Ye 等人[34]提出了 TextFuseNet 模型,在特征提取
时提取字符级别、单词级别和文本行级别的图像特征,将不同层次的图像特征
进行融合,从而检测出任意形状的字符区域。
(2)字符识别:不同于传统 OCR 技术流程中字符识别模型只能识别单个
字符,基于深度学习的字符识别模型可以识别出字符图像中的多个字符,相关
6
四川大学工程硕士专业学位论文
研究主要是基于 CTC 机制[35]或者基于 attention 机制[36]实现字符识别。2016 年,
Shi 等人[37]提出了 CRNN 模型,该模型利用 VGG 模型提取字符图像特征,利
用双向长短时记忆网络学习字符特征之间的语义关系,最后通过 CTC 机制完成
多字符分类。2017 年,Ghosh 等人[38]提出了 VAM 模型,该模型将长短时记忆
网络与注意力机制融合,利用基于卷积神经网络的编码器提取字符图像特征,
通过多层感知机得到注意力权重矩阵,使得解码器将注意力集中于字符相关的
区域。2018 年,Cheng 等人[39]提出了 AON 模型,利用卷积神经网络提取图像
特征和旋转方向特征,将特征进行逆转、组合等操作得到图像编码向量,将向
量输入到基于 attention 机制的解码器中,以输出字符识别结果。2018 年,Shi
等人[40]提出了 ASTER 模型,该模型可以识别不规则形状的文本,通过不同分
辨率的图像输入以及引入的空间变换网络[41]模块,使得解码器在识别时准确率
更高。2020 年,Zhang 等人[42]提出了 ATRTVM 模型,该模型利用了语言中字
符的重复性质,将图像特征学习与信息建模阶段分离,将字符识别转换为了模
板匹配问题,在字符识别任务上取得了较好的结果。
(3)端到端:是指一个模型完成字符的定位与识别的全部任务,典型的模
型结构中包含了字符定位和识别两个分支,但分支之间共享卷积特征,使得一
个模型可以完成不同任务。2017 年,Bartz 等人[43]提出了 STN-OCR 模型,该模
型引入了空间变换网络模块,字符定位与识别两个分支共同学习深度神经网络
提取到的图像特征,提高了特征利用率,从而可以对字符进行定位的同时完成
识别任务。2018 年,Liu 等人[44]提出了 FOTS 模型,其创新之处在于提出了
ROIRotate 机制,池化了含有方向信息的字符区域,从而实现了将字符定位与识
别两个任务端到端的连接起来,且整体检测速度更快。2019 年,Qin 等人[45]提
出了 TUTS 模型,设计了一个同时具有检测模块和识别模块的模型,其检测模
块是基于 Mask R-CNN 模型,两个模块之间共享卷积特征且联合训练,因此可
以在自然场景下完成任意字符的定位与识别任务。2020 年,Baek 等人[46]提出
了端到端的 CRAFTS 模型,该模型可以检测与识别任意形状的文本,使基于
attention 机制的解码器的损失经过检测器模块的反向传播,且检测模块输出的
字符预测图输入到解码器中,从而将注意力更多地放在字符中心位置,增加了
检测与识别的准确率。
7
四川大学工程硕士专业学位论文
1.2.3 自动分拣装置发展及现状
基于机器视觉的自动分拣装置的组成如图 1.4 所示,可分为运输装置、图
像采集装置和分类装置,其具体介绍如下所示:
图 1.4 自动分拣装置组成及分类示意图
(1)运输装置:运输装置是指承担工件运输任务的装置,常见的实现方式
有传送带和 AGV(Automated Guided Vehicle)小车。传送带在工业中的应用已
较为成熟,而 AGV 小车由于灵活性较高,主要用于无人仓储领域中快递包裹
等中小型工件的分拣运输[47]。
(2)数据采集装置:数据采集装置通过相机获取工件图像,随后输入到图
像识别软件中,以完成相应的工件数据识别与提取。
(a)滚筒式分拣机 (b)挡板式分拣机
图 1.5 分类装置示意图[47]
8
四川大学工程硕士专业学位论文
(3)分类装置:分类装置基于提取信息将工件输送至不同流水线上,以实
现工件的分类分拣,常见的分类装置有滚筒式分拣机、挡板式分拣机和机械臂。
滚筒式分拣机结构如图 1.5(a)所示,传送带的表面由滚筒构成,当工件到达
分类位置时,滚筒上的导向滑块沿轴向移动使得工件移动方向发生更改,从而
完成工件的分类分拣,滚筒式分拣机的优点是适用范围广,可适应各种形状的
工件,但是其缺点是成本高、要求工件间的间距较大,否则易发生误分拣[48]。
挡板式分拣机的结构如图 1.5(b)所示,当工件达到分类位置时,挡板推动工
件移动至其他流水线上,从而完成工件的分类分拣,挡板式分拣机的优点是成
本低,但缺点是对挡板与工件的形状匹配有限制要求,使得适用范围较小。机
械臂通常配置了真空吸盘或者夹取装置,通过吸取或夹取工件实现分类分拣,
其发展应用已较为成熟,如日本的 FANUC 公司推出的 R-2000iA 系列分拣机械
臂[49](如图 1.6 所示)、瑞典 ABB 公司推出的 FlexPicker IRB 分拣机械臂[50]、
Zhou 等人设计的可以实现多类别小型工件的识别分拣机械臂[51]等。机械臂的优
点是适用范围广,但缺点是成本较高。以上三种类型分类装置的对比如下表 1.1
所示:
图 1.6 FANUC 公司生产的机械臂[49]
9
四川大学工程硕士专业学位论文
表 1.1 分类装置对比
装置 适用对象 间距要求 成本
滚筒式分拣机 中大型工件 工件之间有足够间距 高
挡板式分拣机 中小型工件 工件之间有一定间距 低
机械臂 小型至大型工件 无 高
综上所述,自动分拣装置的类型因分拣对象而异,各组成装置应针对分拣
对象特点选择相应的实现方式。考虑到本文分拣对象是拆回电表,分拣对象固
定且体积较小,自动分拣装置中运输装置选择传送带即可满足运输要求,分类
装置选择成本较低的挡板式分拣机,但分拣过程中应注意保证传送带上拆回电
表之间的间距,防止发生误分拣问题。
1.3 研究内容及结构安排
本文以拆回电表为研究对象,针对电表表面的电表型号、电流规格、脉冲
常数、条形码 id、生产厂家、生产日期和电表版本等信息进行识别与提取,设
计基于机器视觉的拆回电表自动分拣系统,实现电表分类分拣流程的自动化。
该系统要求单个电表的识别时间不超过 3 秒,每项信息的识别准确率均达 95%
以上。本文各章节的内容如下所示:
第一章:介绍了课题来源、背景及研究意义,详细描述了电表识别系统、
OCR 技术和自动分拣装置的发展与现状,并对本文的研究对象、内容以及文章
结构做了简要介绍。
第二章:基于项目研究内容,设计了自动分拣系统的总体方案,描述了系
统工作流程,展示了机械平台与图像识别软件的设计内容与目标。
第三章:在第二章机械平台设计方案的基础上,完成机械平台的结构设计,
详细说明各装置的选型、实现和工作流程。
第四章:在第二章图像识别软件设计方案的基础上,详细说明电表 OCR 模
型的工作流程以及内部各个子模块的实现细节,展示了系统的人机交互界面。
第五章:展示了自动分拣系统的实物图,并通过实验测试自动分拣系统的
准确率和检测耗时,验证了自动分拣系统的可行性。
10
四川大学工程硕士专业学位论文
第六章:对本课题的研究内容做出总结,指出下一步工作的方向。
1.4 本章小结
本章介绍了拆回电表自动分拣系统的课题背景以及研究意义,明确了研究
内容和相应技术指标,对电表识别系统、OCR 技术以及自动分拣装置做了详细
调研,并对本文的各章内容做了简要介绍。
11
四川大学工程硕士专业学位论文
2 分拣系统方案设计
2.1 总体方案设计
结合项目研究内容,本文设计的拆回电表自动分拣系统由机械平台和图像
识别软件两大部分构成,系统整体流程如下图 2.1 所示。机械平台中图像采集
装置的作用是利用相机和光源获取固定、高清的电表图像,分拣装置负责将电
表输送至不同分支上。而图像识别软件的作用则是识别电表图像中的属性信息,
并将数据保存、传递至分拣装置。
图 2.1 自动分拣系统整体流程示意图
系统总体工作流程如下:
(1)图像采集:电表在输送过程中到达图像采集装置,利用光源照明使得
电表表面的字符清晰可见,通过相机拍摄得到固定角度、固定大小的清晰电表
图像,并将图像输出到步骤(2)中。
(2)图像识别:图像识别软件经过一系列地字符定位、识别与信息提取等
步骤,将电表图像上提取得到的属性信息按指定形式进行保存,并将信息输出
至步骤(3)中。
(3)电表分拣:分拣装置基于识别信息对当前电表进行归类,按规则将不
同类型电表输送至后续流水线上的不同分支,用以进行相应地检测、回收、打
包等工作,从而完成整个电表的自动分拣流程。
12
四川大学工程硕士专业学位论文
2.2 机械平台方案设计
如图 2.1 所示,机械平台主要由两个装置组成,分别是图像采集装置和分
拣装置。其中图像采集装置负责采集电表图像,将图像输入到后续的图像识别
软件中进行信息识别。而分拣装置则负责电表的分拣任务,基于识别信息将电
表输送至不同分支上。各装置详细介绍见本节下文。
2.2.1 图像采集装置方案设计
图像采集装置是电表自动分拣系统中至关重要的一个组成部分,当电表到
达图像采集装置时,图像采集装置需要对电表进行拍摄从而得到清晰的电表图
像,并将图像输出至图像识别软件中以进行后续的信息识别步骤。因此,图像
采集装置获取的电表图像质量对后续图像识别软件的识别效果有着直接的影响。
图 2.2 图像采集装置示意图
为保证获取稳定、高清的高质量电表图像,本文设计的电表图像采集装置
示意图如图 2.2 所示,其主要组成部分有相机、光源、夹具以及相应的安装设
备。不同角度的电表图像会给图像识别软件的识别任务带来较大的困难,为降
低该因素对图像识别软件识别效果的影响,在图像采集装置设计时,将相机正
对电表中心进行拍摄。同时,通过夹具将电表固定,防止拍摄过程中电表发生
移动,从而获取固定角度、固定大小的电表图像。但考虑到电表表面光洁度不
13
四川大学工程硕士专业学位论文
一,拍摄过程中易受到光线的干扰,光线处理不当可能导致拍摄图像过曝或者
欠曝,使得字符模糊不清,图像识别软件难以区分字符前景和背景。因此,光
源的设计需保证电表表面光线均匀,在保证电表表面上的字符清晰可见的同时
噪声尽可能地少、字符前景和背景对比度较大,便于图像识别软件对电表图像
进行识别。
2.2.2 分拣装置方案设计
为完成电表的分类分选任务,本文设计的分拣装置示意图如图 2.3 所示,
其主要组成部分有位置检测装置、夹紧装置、身份验证装置、限位装置和分类
装置以及相关安装设备。
图 2.3 分拣装置示意图
图像识别软件将电表图像的识别信息输入到分拣装置后,分拣装置需要根
据识别信息对电表进行分类,考虑到电表在输送过程中可能遭遇传送带故障、
人为干扰等问题,使得输入到分拣装置时的电表可能与输入的电表信息不一致,
可利用身份验证装置验证电表身份 id。若当前电表身份 id 与输入的电表信息的
身份 id 一致,则根据当前输入电表信息对电表进行分类。若当前电表身份 id 与
输入的电表信息的身份 id 不一致,说明中间有电表被略过,需要根据身份 id 在
数据库中查询数据,再通过查询数据对当前电表进行分类。
在验证电表身份时需要将电表固定,当靠近身份验证装置的位置检测装置
检测到有电表通过时,此时限位装置放下拦截杆阻止电表随传送带移动,完成
身份验证和数据查询后限位装置解除电表限位,其后的分类装置将根据电表信
14
四川大学工程硕士专业学位论文
息将电表输送到对应传送带上,从而完成电表分类。在身份验证的同时,远处
的位置检测装置若检测到传送带上有其他电表通过,发送指令给夹紧装置,夹
紧装置将限制其他电表的移动,直到上一电表完成身份验证以及电表分类的流
程后才解除对其他电表的移动限制。在自动分拣系统工作流程中,分拣装置不
断重复上述流程,直到完成所有电表的分拣工作。
2.3 图像识别软件方案设计
图像识别软件总体设计方案如下图 2.4 所示,图像识别软件前端是面向用
户的人机交互界面,图像识别软件后端是 OCR 模型。人机交互界面输入数据是
电表图像,输出数据是电表识别信息。而 OCR 模型则根据人机交互界面中的指
令信号执行对应功能,其主要作用是对电表图像进行图像识别,提取电表属性
信息。
图 2.4 图像识别软件方案图
对电表图像进行图像识别,OCR 模型需要先将待识别属性区域定位,然后
识别区域内的字符属性。但电表图像上有很多字符区域,存在部分字符区域不
属于目标识别属性。因此,在字符定位阶段应尽可能少地检测无效字符区域,
15
四川大学工程硕士专业学位论文
并且通过数据处理对字符识别后的信息进行筛选与提取,从而排除无效的字符
属性,提取所需的待识别属性。同时,考虑到电表表面可能存在划痕、污渍、
贴纸、光洁度不一等问题,OCR 模型应具有较高的鲁棒性,在有干扰的条件下
也能准确识别出图像中的字符。从效率的角度出发,OCR 模型应兼顾鲁棒性与
识别速度,在克服上述问题准确识别出电表待识别属性的基础上,其具体实现
方案不可过于复杂,识别时间应小于项目要求的 3 秒钟限制时间,才能保证电
表分拣流程的整体效率。
人机交互界面作为图像识别软件与用户之间联系的桥梁,是用户了解和使
用 OCR 模型功能时最直接也是最重要的一个部分[52]。一个好的人机交互界面
设计,可以极大地提高用户使用软件时的用户体验和效率,考虑到图像识别软
件面向的用户对象,OCR 系统的人机交互界面设计应简单明了。从上述原则出
发,OCR 系统的人机交互界面设计如下图 2.5 所示。
图 2.5 人机交互界面示意图
由图 2.5 可知,人机交互界面除了标题和菜单栏外,主要分成了图像显示
区域、识别信息显示区域和控制区域三个部分。其中图像显示区域用以显示每
次读取的电表图像,方便用户实时查看拍摄状态,如电表表面是否存在划痕、
16
四川大学工程硕士专业学位论文
图像是否过曝欠曝等情况。识别信息显示区域用以展示电表识别属性,用户可
以实时查看电表识别属性,对比图像显示区域可以方便用户查看是否存在漏识
别、错识别等问题。控制区域提供了用户控制系统的接口,支持用户启动、关
闭 OCR 模型、保存数据等一系列操作。菜单栏区域则存储了一些用户不常用的
功能,比如设置、查看帮助等等。
2.4 本章小结
本章基于项目研究内容,设计规划了机械平台与图像识别软件相结合的总
体方案,提供了电表自动分拣系统的整体示意图,阐述了拆回电表的整体分拣
流程、各模块的功能及其设计。首先,介绍了图像采集装置的设计方案,采用
相机拍摄固定角度与大小的高清电表图像,利用光源照明保证了成像的稳定性。
其次,在分拣装置中设计了身份验证装置,以处理分拣电表和识别数据不一致
的问题,通过限位装置和分类装置实现分类。对电表分拣流程进行了分析,利
用夹紧装置和位置检测装置限制其他电表的移动,防止其他电表在对当前电表
分类的过程产生干扰。最后,描述了图像识别软件的设计内容,将图像识别软
件的功能和操作解耦成OCR识别模型和人机交互界面两部分,详细介绍了OCR
识别模型的目标以及人机交互界面的设计布局。
17
四川大学工程硕士专业学位论文
3 分拣系统机械平台结构设计
基于 2.2 节的机械平台方案设计,自动分拣系统的机械平台三维模型如下
图 3.1 所示,机械平台主要由图像采集装置和分拣装置组成,各装置的详细设
计细节见本章下文。
图 3.1 机械平台三维模型示意图
3.1 图像采集装置设计
3.1.1 相机选型
相机是图像采集装置中的一个重要组成部分,相机的参数和性能会影响到
最终采集到的电表图像质量。相机按传感器类型可以分成 CCD 相机和 CMOS
相机两种,CCD 相机常用于零件分拣等工业领域中,而 CMOS 相机常用于智
能手机等消费领域中[53]。虽然 CCD 相机的传感器制作工艺更加复杂,但其解
析度、信噪比、动态范围等参数都优于 CMOS 传感器,在复杂的工业环境下
CCD 相机能长时间稳定高效地工作。因此,本文最终选择 CCD 类型的相机用
于图像采集装置。
CCD 相机的主要成像方式分成面阵成像和线阵成像方式两种,面阵成像可
以在一次性获取拍摄图像的全部内容,主要用于拍摄对象尺寸适中、拍摄频率
18
四川大学工程硕士专业学位论文
较高但成像精度要求一般的场合。而线阵相机一次性只能读取一行图像数据,
拍摄完整的对象需要多次扫描拍摄图像,主要用于拍摄对象窄长、拍摄频率较
低且成像精度要求较高的场合。由于本文研究对象是电表,其尺寸适中且流水
线对效率要求较高,因此 CCD 相机的成像方式选取面阵成像。
镜头也会影响 CCD 相机的成像效果,镜头的焦距参数是指在获取清晰图
像的条件下相机与拍摄对象的距离。当拍摄对象与相机之间的距离在镜头焦距
的调整范围内时,若成像不清晰,变焦镜头可以自动调整焦距从而使得成像变
得清晰,而定焦镜头则只能通过调整拍摄对象与相机之间的距离来使得成像清
晰。对于电表对象而言,由于图像采集装置中电表与相机的距离是设计与安装
时确定的,因此采集定焦镜头即可,其优点是节省成本、没有对焦时间。结合
设计安装尺寸,最终选择的相机焦距为 12mm。
3.1.2 光源选型
常见的光源有 LED 灯、白炽灯和荧光灯,由于白炽灯和荧光灯存在光能随
时间的增加而衰减、不稳定等问题,因此工业界常采用 LED 光源。LED 光源
按形状可以分为环形光源、同轴光源和条形光源,其具体介绍如下所示:
(1)环形光源:通常安装在镜头上,可以增强待检测物体的特征与背景间
的对比度,因此主要用于金属表面损伤检测、表面刻字检测等领域,其结构如
图 3.2 所示。
图 3.2 环形光源示意图
(2)同轴光源:常用于拍摄对象存在反光问题的场合,同轴光源光照均匀,
可以有效避免拍摄对象的表面反光,常用于陶瓷表面、金属表面瑕疵检测等领
19
四川大学工程硕士专业学位论文
域,其结构如图 3.3 所示。
图 3.3 同轴光源示意图
(3)条形光源:安装方式不固定,其光照角度可针对拍摄对象自由组合,
常用于字符检测、工件表面检测等领域,其结构如图 3.4 所示。
图 3.4 条形光源示意图
由于拍摄对象是电表,其表面的铭牌区域易反光且 LCD 区域会自发光,若
采取垂直照明则反射光线与 LCD 发光光线会影响成像效果,因此不宜采取垂
直照明的方案。考虑到条形光源易于安装,可自由组合进行倾斜照明,并且多
个条形光源拼接可直接对多个电表照明,因此本文选取 LCD 条形光源,其照明
方案如下图 3.5 所示。
20
四川大学工程硕士专业学位论文
图 3.5 条形光源照明方案示意图
基于上述条形光源照明方案与相机选型,图像采集装置实现如下图 3.6 所
示。
图 3.6 图像采集装置示意图
21
四川大学工程硕士专业学位论文
3.2 分拣装置设计
基于 2.2.2 节的分拣装置设计,本文分拣装置实现如下图 3.7 所示,分拣装
置主要由位置检测装置、夹紧装置、身份验证装置、限位装置和分类装置组成。
图 3.7 分拣装置实现图
3.2.1 位置检测装置选型
位置检测装置需要检测当前位置是否有电表通过,常见的实现方式有接触
式检测与非接触式检测两种方式。考虑到接触式检测方式会与电表接触产生磨
损,本文选择非接触式检测方式,常见的非接触式检测装置介绍如下所示:
(1)涡流式接近开关:当导电物体在接近开关时其内部会产生涡流,从而
改变开关内部电路的状态,利用该原理可检测有无导电物体通过。其优点是开
关频率高、抗干扰性好,缺点是只能检测金属一类的导电物体。
(2)光电式接近开关:利用光电效应,当待检测对象接近光电式接近开关
时,光电器件接收到反射光后可检测出有无物体通过。其优点是光电式接近开
关对被检测工件几乎无影响,但缺点是只适用于无粉尘污染的工作环境。
(3)霍尔接近开关:当磁性物体接近霍尔元件时,霍尔元件的霍尔效应会
22
四川大学工程硕士专业学位论文
改变开关内部电路的状态,从而检测出有无待检测对象通过。其优点是成本低,
但缺点是只适用于磁性物体。
综上所述,结合被检测物电表的特点,本文选择光电式接近开关作为位置
检测装置。当流水线上的电表通过光电式接近开关所在处时,光电式接近开关
接收到电表反射回来的光线,从而检测出有电表通过,并将接近信号发送给其
他装置。最终选择 LIXIANG 品牌 LXDM-31 光电式接近开关,相关参数如下表
3.1 所示。
表 3.1 光电式接近开关参数
参数 取值
感应距离 1-200mm
光源类型 红光(600NM)
开关频率 120Hz
响应时间 5ms
3.2.2 身份验证装置选型
身份验证装置需要验证当前电表的身份 id,常见的身份 id 读取方式有射频
识别(Radio Frequency Identification,RFID)和条形码识别。由于 RFID 需要在
电表上安装电子标签,额外增加了成本和安装时间,而电表本身铭牌上就配备
了条形码,因此本文采取条形码识别作为身份验证方式。
条形码识别装置发展相对成熟,本文采用霍尼韦尔(Honeywell)3320G 工
业条形码识别器,其相关参数见下表 3.2。
表 3.2 条形码识别装置参数
参数 取值
倾角 45°
焦点 127mm
景深 55-159mm
接口 15-POS D-Sub
23
四川大学工程硕士专业学位论文
3.2.3 限位装置与夹紧装置选型
传送带上的电表在做身份验证时,限位装置需要阻止当前电表随传送带移
动,而夹紧装置则需要限制其他电表的移动。由于二者的功能相似,因此可采
用相同硬件实现。本文采用了带导杆气缸,利用气缸导杆的往复运动实现对电
表的限位与解除限位。当气缸的导杆伸出时,与电表接触从而限制电表的移动,
当导杆收回时解除电表的限位,电表继续随传送带移动。带导杆气缸如下图 3.8
所示,主要结构组成有缸体和导杆。本文选择汉诺威 MGPM40-20 带导杆气缸,
相关参数如下表 3.3 所示。
图 3.8 带导杆气缸示意图
表 3.3 带导杆气缸参数
参数 取值
缸径 20mm
行程 40mm
保证耐压力 1.5Mpa
使用压力 0.12-1.0Mpa
活塞速度 50-500mm/s
24
四川大学工程硕士专业学位论文
3.2.4 分类装置设计与选型
分类装置的作用是在电表完成身份验证后,根据电表信息决定是否将电表
更改至其他流水线上,从而完成电表的分类分拣。分类装置的结构如下图 3.9 所
示。
由图 3.9 可知,分类装置的结构主要由动力机构、挡板和安装架组成。其
中安装架的作用是将分类装置固定在流水线上,利用动力机构将挡板伸出,将
电表限制在挡板范围内,随后动力机构再将挡板收回,从而将电表传输至其他
流水线上。分类装置中动力机构是核心组成部分,本文动力机构采用气缸实现,
最终选择三益 CTPB-16 气缸,相关参数如下表 3.4 所示。
图 3.9 分类装置示意图
表 3.4 气缸参数
参数 取值
缸径 16mm
行程 300mm
保证耐压力 1.1Mpa
使用压力 0.1-0.7Mpa
活塞速度 50-800mm/s
25
四川大学工程硕士专业学位论文
3.3 本章小结
本章在上一章自动分拣系统设计方案的基础上,完成了机械平台的结构设
计,介绍了相应装置的工作流程。针对图像采集装置,详细介绍了相机和光源
的选型以及相应的光源照明方案。针对分拣装置,明确了各装置的分工,给出
了位置检测装置、身份验证装置、夹紧装置、限位装置和分类装置的实现细节,
如装置的相关技术指标与参数,并展示了相应装置三维模型示意图。
学术论文网提供数万篇的免费毕业论文、硕士论文、博士论文、sci论文发表的范文供您参考,并提供经济、管理、医学、法律、文学、教育、理工论文、mba作业、英语作业的论文辅导写作、发表等服务,团队实力雄厚,多达人,帮您解决一切论文烦恼。