摘要: 水果种类多，种间相似大，需人工辅助识别后称重销售，电子秤响应时间受网络影响大，智能化程度低导致用户体验差。文章采用基于边缘计算的YOLOv4-Tiny算法和高精度传感器，实现了边缘式超市水果智能电子秤。首先，采用双孔平行梁式传感器作为主体搭建电子秤；其次，对YOLOv4-Tiny添加注意力机制CBAM，提高相似水果的识别率，并将模型部署于边缘设备Jetson Nano上；最后，建立了基于本地边缘计算与远程存储服务一体化的超市水果管理系统，实现数据可追溯。实验结果表明：该智能电子秤能够实时在线识别货物种类，并将货物名称、货物重量、称重时间和货物价格等信息存储在远程服务端，电子秤还支持语音提示、人机交互、在线支付和凭证自动打印等功能。系统响应速度快，用户交互体验强，可为有实时检测需求的应用场景提供借鉴。
Abstract:
Due to the variety and similarity of fruits, manual recognition is required for weighing. The response time of electronic scales is greatly affected by the network, and the low level of intelligence leads to poor user experience. In this paper, YOLOv4-Tiny algorithm based on edge computing and high-precision sensors were used to realize the supermarket fruit intelligent electronic scale. Firstly, a dual hole parallel beam sensor was used as the main body to build an electronic scale; Secondly, attention mechanism CBAM was optimized the model of YOLOv4-Tiny to improve the recognition rate of similar fruits, and the model was deployed on the edge device of Jetson Nano; Finally, a supermarket fruit management system based on the integration of local edge computing and remote storage services was established to achieve data traceability. The experimental results show that the intelligent electronic scale can recognize the type of goods in real-time online, and store information such as the name, weight, weighing time, and price of the goods on the remote server. The electronic scale also supports functions such as voice prompts, human-computer interaction, online payment, and automatic voucher printing. The system has fast response speed and strong user interaction experience, which can provide reference for application scenarios with real-time detection needs.
1. 引言
随着人工智能、大数据等技术的不断发展，智能支付、RFID识别 [1] 、数据管理系统 [2] 的综合应用，使超市零售业正在逐步实现数字化、智能化和信息化转型，新型的售货方法和购物体验提高了工作效率和消费者满意度 [3] 。目前，水果售货仍主要由售货员手动输入货物标签号并称重。水果种类多、类间相似等问题增加了判别和记忆难度，查询标签耗时或输错标签都严重影响顾客体验好感。近年来，国内外学者将机器视觉 [4] 和深度学习 [5] [6] 等技术应用于水果无人售货系统研究，但大部分研究仅针对水果识别算法或轻量化模型的研究，对相似水果识别和无人售货装置的开发鲜有涉及。
本文设计了一种基于边缘计算 [7] 的超市水果智能售货电子秤，将卷积神经网络直接部署在本地Jetson Nano嵌入式开发板，与视觉传感器和称重传感器相结合，实现水果的自动识别与称重。电子秤语音播报水果种类、价格和金额，待顾客确认购买信息后，完成消费标签的打印与数据上传。基于本地服务的智能电子秤不仅可以避免网络对数据传输和识别的影响，还提高了管理和工作效率。
2. 超市水果智能电子秤硬件结构与控制
超市水果智能售货电子秤主要包括测重电路、图像采集与识别电路、语音播报、本地人机交互、无线传输电路和RFID身份识别电路等硬件结构，总体结构框图如图1所示。图像采集与识别电路主要负责图像采集与水果种类在线识别，其中识别装置采用支持深度学习算法的Jetson Nano嵌入式开发板；测重电路主要由双孔平衡梁氏传感器和高精度AD转换电路组成。识别和称重水果后，水果种类、重量、会员信息和优惠前后金额等信息显示在本地人机交互屏幕，同时由语音播报购物信息，待顾客确认后，数据上传并打印凭证。整个硬件结构采用单一MCU作为主控，负责电路逻辑控制。
Figure 1. Hardware structure diagram of supermarket fruit intelligent sales electronic scale
图1. 超市水果智能售货电子秤硬件结构图
2.1. 图像采集与识别电路
采用AX-3079-V1.0_1MX179型号工业相机作为电子秤图像采集摄像头。采用英伟达NVIDIA JETSON NANO作为本地嵌入式设备，该板卡具有128核Maxwell架构的GPU和2个NVDLA深度学习加速器引擎，可提供21 TOPS的INT8运算能力，且体积小、性能优、计算能力强、具有出色的图像处理等性能 [8] ，适用于本项目的嵌入式系统开发。
2.2. 高精度称重电路
称重传感器采用双孔平行梁式传感器 [9] ，其原理是基于电阻应变效应，当外力作用于弹性体时，会产生弹性变形，使得附在其表面的电阻应变片产生机械变形，电阻值也会相应变化。传感器原理图如图2所示。通过测量电路，电阻的变化可以被转化为电信号(如电压或电流)，从而将外力转化为电信号。在本系统中，高速AD采样电路会捕捉到该信号，完成水果质量获取。本系统的传感器外围电路采用了差
动电桥，U0和
成线性关系，以减小和克服非线性误差。其中，上垫片是受压应变，下垫片是受拉应变，在接入电桥相邻桥臂进行组合。
(1)
这种设计方式使得差动电桥没有非线性误差，并且电压灵敏度是单臂工作时的两倍。同时，该设计方案还具有温度补偿作用，可以避免在常温下温度对测量产生的影响。
Figure 2. Schematic diagram of the double-hole parallel beam sensor
图2. 双孔平行梁式传感器原理图
为了获得高精度的电压信息，采用HX711设计AD电路，用来将称重传感器的弹性变形转化为电压变化。通过改变传感器中R3和R4两个电阻的阻值，控制AD电路的基准电压，从而实现对芯片的精度调整。
2.3. 高精度称重电路
为了方便数据的处理和管理，本系统采用了集成芯片ESP8266来实现数据的上传。同时，数据上传至云平台并存储到云服务器中，实现数据的可用性和可访问性。
其次，系统采用了线性电源为系统提供电压。与开关电源相比，线性电源具有纹波很小、输出稳定等特点，能够提高系统的稳定性和可靠性，保障售货机的长期运行。
除此之外，本系统还运用了SYN6288中文语音合成芯片，在系统与人交互的过程中增强了人机互动的效果，体现了智能化系统更加人性化的设计理念。此外，为了方便用户的操作，系统还支持通过打印机打印小票，以及通过RFID刷卡识别会员信息等功能，提高了系统的实用性和用户体验。
3. 智能电子秤的逻辑设计与控制
水果智能电子秤嵌入式主控负责接收采集到的图像，进行识别后将数据传输至STM32。STM32单片机负责接收采集到的数据，并将其上传到服务器。服务器对数据进行处理后，再将处理后的数据返回单片机。单片机通过语音服务将对应的价格等信息播报给顾客，从而完成无人水果售卖系统的收银功能。此外，用户还可以通过数据查看自己的购买记录并核实价格等信息，实现了便捷的数据查询功能。系统逻辑设计流程图如图3所示。
4. 基于改进YOLOv4-Tiny的水果识别模型
4.1. 图像增强
由于原始图像样本量较少，为增强模型的训练集的构建，为卷积神经网络提供更多的训练集，通过Image Data Generator数据增强图片生成器，对拍摄的水果图片进行了镜像旋转、改变图像亮度、饱和度以及减小对比度等手段对水果图像进行数据增广。预处理水果图像样本如图4所示。
4.2. 基于深度学习的水果识别模型
Figure 5. Fruit recognition network structure of YOLOv4-Tiny with CBAM
图5. YOLOv4-Tiny + CBAM水果识别网络结构
采用TensorFlow深度学习框架进行水果识别。采用轻量化YOLOv4-Tiny卷积神经网络 [10] 模型作为识别器。该模型属于一种One-stage的目标检测算法，利用卷积神经网络特征提取和损失函数优化等手段提高检测性能，同时通过Backbone和FPN网络的设计提高识别精度和速度。在特征利用部分，该模型采用两个特征层进行目标检测，结合先验框和坐标偏移量等技术计算得到预测框的位置和大小。将置信度阈值设置为0.5，而非极大抑制的IOU阈值设置为0.3。该模型的主干特征提取网络Backbone将输入图片分辨率调整为416 × 416 × 3。具体地，在输入层，使用卷积核大小为3 × 3、过滤器数为20、卷积步长为2、卷积填充为1进行卷积操作，在其中插入激活函数ReLU。经过最大池化层的处理之后，特征数据的大小缩小，细节逐渐增加，并用于物体定位。在三次池化操作之后各自得到的子特征图尺寸为208 × 208 × 32、104 × 104 × 64、52 × 52 × 128、26 × 26 × 256、13 × 13 × 512。FPN网络的设计则包括将最后一个shape的特征层进行上采样，与上一个shape的有效特征层进行堆叠并卷积，并将其用于预测。
相似水果自动识别存在较多误判，在YOLOv4-Tiny模型结构中引入卷积块注意力机制 [11] (Convolutional Block Attention Module, CBAM)以提高相似水果的识别率，水果智能识别模型网络结构如图5所示。CBAM模块由两个独立的子模块组成：通道注意力机制和空间注意力机制。首先，沿特征图的通道维度注入注意力映射；然后，沿空间维度进行同样的操作。CBAM能够精确地识别有效特征作为模型决策的依据；最后，将注意力权重与输入特征映射相乘，对输入的特征图进行自适应细化。
5. 系统测试与结果分析
5.1. 称重电路的测量与分析
对秤盘划分为不同的区域(如图6所示)，将0.01 kg~5 kg范围内不同质量的砝码放置单一区域或组合区域进行称重测量试验。各区域的平均误差如图7所示。
由图7可以看出秤盘各区域重量测量误差较小，测量误差均在10−4量级，精度较高。
Figure 7. The average error result of weighing in different regions is plotted
图7. 不同区域称重平均误差结果图
5.2. 基于深度学习的水果识别分析
对香蕉、梨、红富士苹果和山东烟台苹果四种水果进行识别，改进前后的识别结果如图8和表1所示。
Figure 8. Confusion matrix of recognition results based on YOLOv4-Tiny
图8. 基于YOLOv4-Tiny识别结果混淆矩阵
Table 1. Accuracy of each fruit before and after improvement (%)
表1. 改进前后各水果精确率(%)
由表1可以看出，改进前YOLOv4-Tiny模型对四种水果的平均识别率可达94.8%，香蕉、梨与苹果之间不存在误判，说明三类水果特征差异大，有利于种类识别，但红富士苹果和山东烟台苹果存在较多误判，其原因在于二者属于同类水果，全局特征较为相似。引入CBAM注意力机制，重点突出局部特征，提高相似水果的识别率。YOLOv4-Tiny + CBAM的水果识别模型识别率达100%，四种水果识别率提高了5.2个百分点，两种苹果的识别率分别提高了11.1个百分点和9.6个百分点。
5.3. 数据管理系统功能测试
使用管理员账号登录无人售货管理系统后台时，跳转至用户列表界面，页面的左侧是导航栏，上面显示可以跳转的三个界面：用户管理、订单管理、数据统计。其中在用户管理中的用户列表页面上方设置一个搜索框，可以实现通过输入名字进行模糊或者精确查找。用户列表信息包括了姓名、性别、用户邮箱、电话、角色、以及修改信息和删除信息按钮。同时对页面进行了分页处理，可以指定每一页显示用户个数为1、2、5或10条。管理员可以通过点击搜索框右边的添加用户按钮来新增用户。同理，对某一用户点击修改按钮也会弹出如添加用户一样的输入框，但其中已经自动填写原用户信息，管理员只需修改对应信息点击确定按钮即可完成修改。
点击左侧导航栏上的订单管理按钮即可进入订单列表，列表信息包括订单编号、消费者姓名、订单价格(元)、是否付款、水果种类、下单时间。在订单列表页面上方的搜索框可以对消费者姓名进行精确或模糊查找。
5.4. 系统整体测试结果
对系统进行整体测试，测试内容主要包括系统功能、系统提示信息正确性和响应时间等指标，实际使用情况与预期目标进行比对，具体测试结果如表2所示。
由表2可知，该系统各功能模块、信息栏目均为测试正常，满足预定要求，用户使用完成后数据更新速度小于3秒，水果识别速度小于1秒，充分表明基于边缘计算的水果种类识别响应速度快，有利于实时检测识别。
6. 结束语
采用轻量化YOLOv4-Tiny作为边缘式水果智能电子秤的识别网络，引入注意力机制提高了相似水果的识别率。使用Vue.js和SSM框架开发了远程管理系统的前段与后端，实现了数据存储、统计、可视化和追溯等功能。基于Jetson Nano的水果智能电子秤具有离线识别功能的嵌入式设备、数据采集和无线传输、高精度称重传感器、语音播报和身份识别等硬件结构。基于边缘计算的超市水果智能电子秤，大幅度提高结算过程的信息化、自动化程度，提高无人化、精益化管理水平，为超市无人售货模式提供技术借鉴，对具有实时检测识别需求的应用场景提供理论参考。
基金项目
浙江省高校实验室工作研究项目(ZD202306)、国家级大学生创新创业训练计划项目(202210338034)。
NOTES
*通讯作者。