1. 引言
在现代工业生产中，自动化技术的应用已经成为提高生产效率和质量的重要手段。随着机器人技术的不断发展，机器人在工业生产中扮演着越来越重要的角色。目前的研究主要集中在固定单臂、固定双臂，机械臂的抓取采用正解或逆解控制算法成熟，另外物品形状单一或是物品位置固定，抓取控制简单。相关领域的学者和工程师们通过结合计算机视觉、深度学习和控制算法等技术，尝试解决动态环境下抓取任务中的种种挑战。一些研究团队提出了利用三维传感器进行实时场景感知的方法，从而使机器人能够快速响应物体位置和运动状态的变化。同时，强化学习等智能算法也在动态抓取中发挥了积极作用，通过让机器人在实践中学习，提高其适应不确定性和变化的能力。但在高速运动的场景下保持精准抓取、对多物体协同抓取的高效处理等问题，另外双机械臂物品动态抓取系统作为一种重要的自动化装备，要求对不同形状、颜色和材质的物品进行高效、精准的抓取和搬运，传统的控制就不能满足要求。王校峰等提出了以开源机器人操作系统为平台进行基于视觉反馈的动态抓取策略[1]，有较高的可行性和准确性，叶子涵等提出了机械臂抓取轨迹规划，采用示教学习和物体识抓取两个阶段[2]，对环境的适应性很好，但研究都局限于机械臂固定，运动范围一定，不适合机械臂平台不固定和物品位置不固定的动态环境。为了解决这一问题，本文旨在设计并实现一种基于视觉协同的双机械臂物品动态抓取系统。该系统将利用先进的机器视觉技术，实现对传送带上不同形状和颜色的固体物品进行实时感知和精确定位，同时通过双机械臂的协同控制，实现对物品的动态抓取。
2. 方法
2.1. 系统设计
2.1.1. 系统搭建
采用一双臂移动机器人，由车体和双臂组成，其中车体上安装有一普通相机和一深度相机，能够实现基于视觉协同的双机械臂物品动态抓取。整体系统架构如图1所示，实验所用的目标为带红、蓝、绿三色的立方块，通过识别目标的颜色、位置、形状、大小、姿态等进行动态追踪，结合色块移动的速度进行预估及深度相机实时追踪反馈信息，完成双机械臂抓取。
Figure 1. Schematic diagram of dynamic grabbing with dual robotic arms
图1. 双机械臂动态抓取示意图
普通相机以俯视图角度收集预想环境下物品的颜色、形状、大小、姿态等信息，深度相机收集物品侧视图角度的形状、姿态、高度，并获取抓取物品的位置信息。为实现上述功能，硬件平台采用MiniPC作为主控制器，有强的算力，可以快速计算所需抓取物品的坐标点，并进行坐标转换。同时，还可以无线方式与连接传感器和执行器的微控制器进行通信。系统硬件组成框图如图2所示。
Figure 2. System hardware structure block diagram
图2. 系统组成硬件结构框图
双机械臂采用6关节串联机械臂结构，这种结构具有较好的柔性和自由度，能够适应多种工件的抓取和搬运任务。同时，6关节机械臂的运动学建模相对简单，便于控制算法的设计和实现。
2.1.2. 空间坐标转换
图像处理后得到的是像素坐标，但在机械臂实际的抓取过程中需要的是实际坐标，那么就需要将像素坐标转换成空间坐标。图像的像素空间是二维平面，假定图像检测区域的大小为320 × 240，对该区域下采集到的图像分别进行掩膜、滤波、腐蚀和膨胀等颜色处理，再对物块进行边缘检测并绘制最小矩形轮廓，由轮廓的四个顶点便可以得到色块的中心坐标和角度。像素坐标向空间坐标的转换需要通过数值映射进行转换，其数值映射关系如表1所示。
Table 1. Table of numerical mapping relations
表1. 数值映射关系表
|
像素宽度 |
像素高度 |
实际坐标横向 |
实际坐标纵向 |
最小值 |
0.0 |
0.0 |
−1250.0 |
1250.0 |
最大值 |
320 |
240 |
1250.0 |
3250.0 |
通过上表可以知道像素坐标的范围所映射到的实际坐标的范围大小，关于实际坐标下x和y的计算公式如(1)和(2)所示，计算出的坐标(x, y)为最终的实际坐标。
(1)
(2)
2.2. 视觉协同算法
2.2.1. 视觉感知设计
在双机械臂物品动态抓取系统中，视觉感知由普通相机和深度相机协同实现。深度相机感知物品的位置信息，深度相机主要依赖于其获取的深度信息，这些深度信息可以提供物品与相机之间的距离，从而确定物品在三维空间中的位置。结合深度信息，可以进一步实现场景建模等应用。为了获取深度信息，深度相机通常采用结构光、飞行时间法等。通过测量光线从物体表面反射回来的时间或测量光线在物体表面散射的模式来计算物体的深度信息。深度相机获取到物体的深度信息后，使用这些信息来重建物体的三维模型，给出物体的形状和大小，并确定物体在空间中的位置和姿态。
对普通相机采集到的图像采用颜色分割算法进行处理，通过对不同颜色物体的特征提取和分割，实现对传送带上的物块的颜色识别[3]。通过颜色分割，能够准确地识别出不同颜色的物品，为后续的位置定位提供重要的信息。普通相机可以提供清晰度较高的图像，但缺乏深度信息，而深度相机则正好相反。深度相机与普通相机结合提供更丰富和准确的环境感知。在设想的应用环境下，普通相机提供颜色、纹理及形状信息，而深度相机提供物体的距离和深度信息[4]。通过将这些信息融合在一起，可以生成更完整和准确的场景描述，方便机械臂的控制。同时，深度相机和普通相机产生的数据量通常很大，需要进行实时处理。在协同工作时，这两种传感器产生的数据可以相互补充，从而降低数据处理难度，提高处理速度。利用边缘检测算法对图像进行处理，提取物品的边缘信息，从而得到物品的外形轮廓。通过边缘检测，能够获取物品的形状和大小信息，为后续的姿态估计和位置定位提供基础数据。
综上所述，视觉感知模块的设计将通过颜色分割、边缘检测和形状匹配等算法，实现对物品的颜色识别、外形轮廓提取和位置姿态估计，为双机械臂的精准抓取提供重要的视觉数据支持。
2.2.2. 视觉反馈控制算法
视觉反馈控制算法(Visual Feedback Control Algorithm)是一种利用视觉传感器获取系统状态信息，并根据这些信息实时调整控制策略的控制算法[5]。在机器人控制、自动化系统和机械臂操作中，视觉反馈控制算法可以用于实现对目标物体的精确定位、跟踪和操作。
以下是视觉反馈控制算法的描述：
输入：视觉传感器获取的目标物体位置和姿态信息，系统当前状态信息。
输出：根据目标物体位置和姿态信息进行实时调整的控制指令。
Step 1：获取视觉传感器采集的目标物体位置和姿态信息，包括三维坐标、朝向、速度等。
Step 2：根据系统当前状态信息，如机器人或机械臂的位置、姿态、速度等，确定当前的控制策略和执行动作。
Step 3：根据目标物体的位置和姿态信息，计算目标位置与当前位置的误差，以及目标姿态与当前姿态的误差。
Step 4：根据误差信息，利用控制算法(如比例–积分–微分(PID)控制器、模糊控制器等)，生成相应的控制指令。
Step 5：实时调整系统的控制策略和执行动作，使得系统能够根据目标物体的位置和姿态信息进行精确定位、跟踪和操作。
Step 6：不断重复上述步骤，实现对目标物体的稳定跟踪和操作。
其过程中的视觉反馈控制算法通过实时获取目标物体的位置和姿态信息，并根据这些信息进行实时调整，能够使系统对目标物体进行精确的跟踪和操作，具有广泛的应用价值。系统调试与优化：在验证过程中发现并解决系统中的问题和缺陷，对系统进行调试和优化，以提高系统的性能和稳定性。以上步骤将有助于确保系统功能能够满足设计要求，并为系统的正式应用奠定基础。
3. 实验结果及分析
为满足实验需要，实验场景搭建如图3所示。两个臂分别连接各自的控制器，所接收的控制信息通过wifi与MiniPC交互[6]。深度相机与普通相机用同一个控制器进行连接控制，同样所采集信息通过wifi传输给MiniPC进行处理。抓取的目标物采用带颜色的立方块演示。
Figure 3. Dynamic item perception system
图3. 动态物品感知系统
3.1. 色域值实验
第一步需校正普通相机角度、位置和方向。其定位检测校正如图4所示。
Figure 4. Camera positioning detection correction chart
图4. 摄像头的定位检测校正图
第二步：设置色域值。
在HSV色彩空间中，H通道对应不同的颜色，因此可以通过对H通道的筛选便能筛选出特定的颜色，如图5所示。具体步骤如下：
Figure 5. HSV color channel description and color threshold
图5. HSV色彩通道描述及颜色阈值
Step 1：将图像从RGB色彩空间转换为HSV色彩空间。
Step 2：设定特定颜色的H通道值范围。例如，如果要提取红色，可以设定H通道值在170度左右。如果要提取蓝色，可以设定H通道值在200度左右。
Step 3：使用cv2.inRange()函数来筛选出H通道值在设定范围内的像素。该函数会返回一个二值图像，其中符合条件的像素被标记为白色(255)，不符合条件的像素被标记为黑色(0)。
Step 4：使用cv2.bitwise_and()函数将原图像和二值图像进行按位与运算，以得到符合特定颜色条件的图像。
第三步：普通相机采集图像信息，提取物体轮廓。
图像处理主要是对物块的颜色进行识别，通过颜色转换提取出物块的轮廓，计算出的轮廓中心坐标即为物块的中心坐标。图像处理的结果如图6所示。
Figure 6. Block and outline
图6. 物块及轮廓
检测的物块位置信息如表2所示。
Table 2. Block coordinates
表2. 物块坐标
编号 |
红色 |
绿色 |
蓝色 |
坐标 |
x/cm |
y/cm |
z/cm |
x/cm |
y/cm |
z/cm |
x/cm |
y/cm |
z/cm |
1 |
−9.08 |
26.0 |
6.0 |
−0.18 |
26.0 |
6.0 |
8.32 |
26.0 |
6.0 |
2 |
−8.84 |
25.5 |
6.0 |
0.06 |
25.5 |
6.0 |
8.56 |
25.5 |
6.0 |
3 |
−8.63 |
25.7 |
6.0 |
0.27 |
25.7 |
6.0 |
8.77 |
25.7 |
6.0 |
4 |
−8.62 |
26.4 |
6.0 |
−0.12 |
26.4 |
6.0 |
8.38 |
26.4 |
6.0 |
5 |
−8.47 |
25.9 |
6.0 |
−0.03 |
25.9 |
6.0 |
8.53 |
25.9 |
6.0 |
第四步：深度相机采集信息构建点云图，获取物品位置、姿态、形状等信息。
进行相机初始化，然后使用深度相机采集RGB图像流(用于物体识别)和深度图像流(用于测距)。最后，将这两个图像流进行对齐，以获得RGB图像和深度图像在像素坐标系下的统一，如图7所示。这些数据将用于构建点云图，并获取物品的位置、姿态和形状等信息。
Figure 7. RGB image and depth image of the target item obtained by depth camera
图7. 深度相机获取目标物RGB图像和深度图像
在物块的三维坐标中，z轴是固定的，y轴为机械臂到物块的距离，x轴为物块与机械臂之间的水平距离。经过数据分析，x轴和y轴的误差平均不超过0.5 cm，而物块的边长为3 cm，即使有误差也不影响机械臂抓取物料，所以综合分析，物料抓取搬运过程是可以实现的。
3.2. 深度相机点云数据测试
深度相机点云数据使用AxisColor色彩通道，点云可视化模型为Flat Squares，通过点云数据我们可以计算得到目标物体上各个点相对于深度相机的绝对位姿。在进行机械臂视觉抓取任务时，将该数据作为机械臂末端执行的目标位姿进行机械臂逆运动学计算即可。点云可视化效果如图8~10所示。
Figure 8. Point cloud data created in the simulation system
图8. 仿真系统中创建点云数据
Figure 9. Point cloud data visualization (RGB8 format)
图9. 点云数据可视化(RGB8格式)
Figure 10. Point cloud data visualization (depth map format)
图10. 点云数据可视化(深度图格式)
通过点云数据计算得到被抓取目标的绝对位姿，在实测环境下，深度点云所测量的误差值稳定在±2 cm内，识别定位精度可以完成此次的抓取任务。
3.3. 动态抓取精度测试
上位机运行程序的同时，可以看到图像的处理结果，并通过控制台将每次识别到的色块位置坐标进行打印输出，并且显示机械臂执行的每一步抓取动作是否完成。以五次数据为例，所测得的部分坐标信息如表3所示。
机械臂到传送带中央标记处的距离X为30 cm，Y为100 cm，通过表3中的实验数据可知，每次坐标的波动范围在0.6 cm之内，这种误差在机械臂的动态抓取过程中可以正常抓取。由于抓取的色块的长宽均为3 cm，并且夹爪装置间距直径具有4.5 cm，因此在抓取过程中，在偏差几毫米的情况下，夹爪仍然可以抓取色块。通过实验数据可知该设计的方案是可行的。
Table 3. Position coordinate information
表3. 位置坐标信息
编号 |
X/mm |
Y/mm |
Z/mm |
1 |
306 |
98 |
40 |
2 |
304 |
98 |
40 |
3 |
304 |
100 |
40 |
4 |
303 |
99 |
40 |
5 |
300 |
99 |
40 |
3.4. 响应速度测试
在测试基于视觉协同的双机械臂物品动态抓取系统的响应速度时，主要是评估系统对目标物体运动的快速响应能力。本研究选用的是4核MiniPC进行运算处理，通过wifi进行通信，传输和运算会存在延时，网络的拥堵也会使其发生变化。在信息传输时对其进行了研究响应检测，检测结果如表4所示。
Table 4. Response detection table
表4. 响应检测表
收发数据次数 |
响应稳定区间 |
平均延时 |
1 |
1.05~2.98 ms |
1.62 ms |
2 |
1.30~4.46 ms |
2.67 ms |
3 |
2.54~6.25 ms |
3.69 ms |
4 |
3.40~6.98 ms |
4.81 ms |
5 |
4.38~8.98 ms |
5.84 ms |
表4中对响应操作进行了5次测试，计算出响应时间以及平均延时时间，延时是客观存在的，具有一定的波动性，有上升和下降的趋势，但基本会在一个稳定的区间内。
通过以上步骤的测试，可以全面评估基于视觉协同的双机械臂物品动态抓取系统在不同目标物体运动模式下的响应速度和稳定性，为系统的进一步优化和应用提供重要参考。
4. 结论
本文介绍了基于视觉协同的双机械臂物品动态抓取的设计与实现。动态抓取技术在工业生产线和复杂环境中具有广泛的应用前景，对于提高自动化生产效率和灵活性具有重要意义。首先，讨论了动态抓取技术的重要性和应用场景。在工业生产线上，动态抓取技术可以应用于自动装配、包装和物料处理等任务，提高生产效率和产品质量[7]。在复杂环境中，动态抓取技术需要展现机器人系统在面对挑战性环境时的适应能力和稳定性，例如在混乱堆放、动态移动物体、不规则形状和多物体抓取等场景中的应用。接着，介绍了基于视觉协同的双机械臂物品动态抓取的设计原理和关键技术。视觉协同技术通过摄像头获取场景信息，实现机器人对目标物体的识别和定位，从而指导机械臂进行精准的抓取动作。双机械臂协同工作可以提高抓取的稳定性和灵活性，适应不同形状和尺寸的物品的抓取任务。最后，对设计内容进行了实验，测试基于视觉协同的双机械臂物品动态抓取系统在实际应用中的效果。为后续双臂移动机器人实现灵活、动态抓取完成相应设计。
基金项目
河南省教育厅2023年大学生创新创业训练计划项目(202312746032)、郑州科技学院2023年大学生创新创业训练计划项目(DC202332)。