基于机器视觉的机械臂抓取方法、装置及设备[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112775967 A(43)申请公布日 2021.05.11

(21)申请号 2020112610.3(22)申请日 2020.12.30

(71)申请人 中南民族大学

地址 430074 湖北省武汉市洪山区民族大

道182号中南民族大学

申请人 武汉晴川学院(72)发明人 郑禄　王珏　帖军　田莎莎　汪红　

毛腾跃　谢勇　(74)专利代理机构 深圳市世纪恒程知识产权代

理事务所 44287

代理人 胡海国(51)Int.Cl.

B25J 9/16(2006.01)G06T 7/20(2017.01)

权利要求书2页 说明书9页 附图3页

CN 112775967 A(54)发明名称

装置及设基于机器视觉的机械臂抓取方法、

备

(57)摘要

本发明属于机械臂技术领域，公开了一种基于机器视觉的机械臂抓取方法、装置及设备。通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。

CN 112775967 A

权　利　要　求　书

1/2页

1.一种基于机器视觉的机械臂抓取方法，其特征在于，所述基于机器视觉的机械臂抓取方法包括以下步骤：

连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。

2.如权利要求1所述的基于机器视觉的机械臂抓取方法，其特征在于，所述对所述多帧图像进行分析，并根据分析结果确定物体抓取参数的步骤，包括：

对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；对所述物体特征数据进行分析，确定抓取位置及抓取角度；

根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；

根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。3.如权利要求2所述的基于机器视觉的机械臂抓取方法，其特征在于，所述对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据的步骤，包括：

对所述多帧图像进行纹理识别，以获得物体纹理数据；根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；根据所述多层特征图像数据构建物体特征数据。

4.如权利要求2所述的基于机器视觉的机械臂抓取方法，其特征在于，所述对所述物体特征数据进行分析，确定抓取位置及抓取角度的步骤，包括：

通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角度。5.如权利要求2所述的基于机器视觉的机械臂抓取方法，其特征在于，所述根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间的步骤，包括：

根据所述物体纹理数据提取纹理特征；

根据所述纹理特征与预设存储空间中各材质类别的物体纹理特征进行匹配，以确定所述待抓取物体的材质类别；

根据所述材质类别确定所述待抓取物体的可承受抓取力度区间。

其特征在于，所述6.如权利要求1‑5中任一项所述的基于机器视觉的机械臂抓取方法，

获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹的步骤，包括：

获取机械臂的当前坐标，并根据所述运动轨迹及预设抓取距离确定目标抓取位置；根据所述当前坐标及所述目标抓取位置确定机械臂移动轨迹。

7.如权利要求1‑5中任一项所述的基于机器视觉的机械臂抓取方法，其特征在于，所述基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取的步骤，包括：

根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置；

2

CN 112775967 A

权　利　要　求　书

2/2页

根据所述目标抓取位置和所述物体抓取参数控制所述机械臂对所述待抓取物体进行抓取。

8.如权利要求7所述的基于机器视觉的机械臂抓取方法，其特征在于，所述根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置的步骤，包括：

根据所述机械臂移动轨迹控制所述机械臂移动；采集所述机械臂移动过程中的障碍物图像数据；对所述障碍物图像数据进行分析，以获得障碍物轮廓信息；根据所述障碍物轮廓信息对所述机械臂移动轨迹进行调整，并返回所述根据所述机械臂移动轨迹控制所述机械臂移动的步骤，直至所述机械臂移动至目标抓取位置。

9.一种基于机器视觉的机械臂抓取装置，其特征在于，所述基于机器视觉的机械臂抓取包括以下模块：

状态确认模块，用于连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；

轨迹计算模块，用于在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；

参数确定模块，用于对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；轨迹确定模块，用于获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；

抓取控制模块，用于基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。

10.一种基于机器视觉的机械臂抓取设备，其特征在于，所述的基于机器视觉的机械臂抓取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机器视觉的机械臂抓取程序，所述基于机器视觉的机械臂抓取程序被所述处理器执行时实现如权利要求1‑8中任一项所述的基于机器视觉的机械臂抓取方法的步骤。

3

CN 112775967 A

说　明　书

基于机器视觉的机械臂抓取方法、装置及设备

1/9页

技术领域

[0001]本发明涉及机械臂技术领域，尤其涉及一种基于机器视觉的机械臂抓取方法、装置及设备。

背景技术

[0002]随着人工智能浪潮的兴起，机器人在各行各业发挥着日益重要的作用。对机器人而言，抓取是机器人走进真实世界必不可少的技能，比如在物流行业中对物体进行分拣，在工业生产线上完成零件的装配等。然而，在实际应用场景中，被抓取物体的移动轨迹、位置、姿态、可承受力度等均不同，使得机械臂抓取难以应用于各种复杂的应用场景中。[0003]上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

[0004]本发明的主要目的在于提供一种基于机器视觉的机械臂抓取方法、装置及设备，旨在解决现有技术难以应用于复杂的应用场景中的技术问题。[0005]为实现上述目的，本发明提供了一种方法，所述方法包括以下步骤:[0006]连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；

[0007]在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；

[0008]对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；[0009]获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；

[0010]基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。[0011]优选地，所述对所述多帧图像进行分析，并根据分析结果确定物体抓取参数的步骤，包括：

[0012]对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；[0013]对所述物体特征数据进行分析，确定抓取位置及抓取角度；

[0014]根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；[0015]根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。[0016]优选地，所述对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据的步骤，包括：

[0017]对所述多帧图像进行纹理识别，以获得物体纹理数据；[0018]根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；

4

CN 112775967 A[0019][0020]

说　明　书

2/9页

根据所述多层特征图像数据构建物体特征数据。优选地，所述对所述物体特征数据进行分析，确定抓取位置及抓取角度的步骤，包通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角

括：

[0021][0022]

度。

优选地，所述根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间的步

骤，包括：

[0024]根据所述物体纹理数据提取纹理特征；

[0025]根据所述纹理特征与预设存储空间中各材质类别的物体纹理特征进行匹配，以确定所述待抓取物体的材质类别；

[0026]根据所述材质类别确定所述待抓取物体的可承受抓取力度区间。[0027]优选地，所述获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹的步骤，包括：

[0028]获取机械臂的当前坐标，并根据所述运动轨迹及预设抓取距离确定目标抓取位置；

[0029]根据所述当前坐标及所述目标抓取位置确定机械臂移动轨迹。[0030]优选地，所述基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取的步骤，包括：

[0031]根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置；

[0032]根据所述目标抓取位置和所述物体抓取参数控制所述机械臂对所述待抓取物体进行抓取。

[0033]优选地，所述根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置的步骤，包括：

[0034]根据所述机械臂移动轨迹控制所述机械臂移动；[0035]采集所述机械臂移动过程中的障碍物图像数据；[0036]对所述障碍物图像数据进行分析，以获得障碍物轮廓信息；[0037]根据所述障碍物轮廓信息对所述机械臂移动轨迹进行调整，并返回所述根据所述机械臂移动轨迹控制所述机械臂移动的步骤，直至所述机械臂移动至目标抓取位置。[0038]此外，为实现上述目的，本发明还提出一种基于机器视觉的机械臂抓取装置，所述基于机器视觉的机械臂抓取包括以下模块：[0039]状态确认模块，用于连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；[0040]轨迹计算模块，用于在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；[0041]参数确定模块，用于对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；

[0042]轨迹确定模块，用于获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；

5

[0023]

CN 112775967 A[0043]

说　明　书

3/9页

抓取控制模块，用于基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓

取参数对所述待抓取物体进行抓取。[0044]此外，为实现上述目的，本发明还提出一种基于机器视觉的机械臂抓取设备，所述的基于机器视觉的机械臂抓取设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机器视觉的机械臂抓取程序，所述基于机器视觉的机械臂抓取程序被所述处理器执行时实现如上所述的基于机器视觉的机械臂抓取方法的步骤。[0045]本发明通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。附图说明

[0046]图1是本发明实施例方案涉及的硬件运行环境的电子设备的结构示意图；[0047]图2为本发明基于机器视觉的机械臂抓取方法第一实施例的流程示意图；[0048]图3为本发明基于机器视觉的机械臂抓取方法第二实施例的流程示意图；[0049]图4为本发明基于机器视觉的机械臂抓取装置第一实施例的结构框图。[0050]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式

[0051]应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。[0052]参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于机器视觉的机械臂抓取设备结构示意图。[0053]如图1所示，该电子设备可以包括：处理器1001，例如处理器(Central 

用户接口1003，网络接口1004，存储器1005。其中，Processing Unit，CPU)，通信总线1002、

通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless‑FIdelity，WI‑FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non‑Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是于前述处理器1001的存储装置。[0054]本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。[0055]如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于机器视觉的机械臂抓取程序。[0056]在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005

6

CN 112775967 A

说　明　书

4/9页

可以设置在基于机器视觉的机械臂抓取设备中，所述电子设备通过处理器1001调用存储器1005中存储的基于机器视觉的机械臂抓取程序，并执行本发明实施例提供的基于机器视觉的机械臂抓取方法。

[0057]本发明实施例提供了一种基于机器视觉的机械臂抓取方法，参照图2，图2为本发明一种基于机器视觉的机械臂抓取方法第一实施例的流程示意图。[0058]本实施例中，所述基于机器视觉的机械臂抓取方法包括以下步骤：[0059]步骤S10：连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；

[0060]需要说明的是，本实施例的执行主体可以为基于机器视觉的机械臂抓取设备，所述基于机器视觉的机械臂抓取设备可以是微型电脑、服务器等电子设备，还可以是其他可实现相同或相似功能的设备，本实施例对此不加以，在本实施例及下述各实施例中，以基于机器视觉的机械臂抓取设备为例对本发明基于机器视觉的机械臂抓取方法进行说明。[0061]需要说明的是，待抓取物体可以为准备进行抓取的物体，多帧图像可以根据预设间隔时间进行连续采集，例如：每间隔20毫秒进行一次采集，共采集10张图像。当前状态可以包括运动状态及静止状态，通过采集的待抓取物体可以判断待抓取物体是处于运动状态还是静止状态，例如：从采集的图像中选取一参照物，比对前后采集的图像中待抓取物体与参照物的相对位置，若相对位置一直保持不变，则可以判定待抓取物体的当前状态为静止状态，若相对位置产生了变化，则可以判定待抓取物体的当前状态为运动状态。[0062]步骤S20：在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；

[0063]可以理解的是，当前应用场景中所需要抓取的物体的运动状态一般都是有规律的运动，因此，通过在多帧图像中选定的参照物与待抓取物体的相对位置的变化情况，可以确定待抓取物体对应的运动轨迹。[00]步骤S30：对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；[0065]需要说明的是，物体抓取参数可以包括抓取位置、抓取角度及抓取力度。通过对多帧图像进行分析，可以确定抓取待抓取物体时需要的物体抓取参数。[0066]进一步地，本实施例步骤S30，可以为：[0067]步骤S301：对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；

[0068]需要说明的是，物体特征数据可以是根据图像识别技术对待抓取物体进行识别，提取的物体形状、大小、轮廓等特征数据，物体纹理数据可以是对待抓取物体进行纹理识别，提取的物体的材质纹理数据。[0069]进一步地，本实施例步骤S301，可以为：[0070]对所述多帧图像进行纹理识别，以获得物体纹理数据；根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；根据所述多层特征图像数据构建物体特征数据。

[0071]需要说明的是，对多帧图像进行纹理识别，可以获取待抓取物体的材质纹理数据即物体纹理数据。预设多层感知网络可以是在SSD(Single Shot MultiBox Detector)网络的基础上引入Inception模块(Inception Construction)构建的多层感知网络，可以进行

7

CN 112775967 A

说　明　书

5/9页

底层特征的融合以丰富浅层特征，由此预设多层感知网络对图像进行分析即可得到多层特征图像数据，再根据多层特征图像数据即可构建物体特征数据。[0072]步骤S302：对所述物体特征数据进行分析，确定抓取位置及抓取角度；[0073]可以理解的是，根据物体特征数据可以模拟构建物体的轮廓数据，根据轮廓数据可进行计算分析，即可得到抓取时可使用的抓取位置及抓取角度。[0074]进一步地，本实施例步骤S302，可以为：

[0075]通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角度。[0076]需要说明的是，先验框就相当于区域提名算法中前期提供的建议框，可以使用先验框生成可能存在可抓取部位的抓取位置候选区域，预设神经网络模型是根据大量的抓取样本训练得到的神经网络模型，根据预设神经网络模型可以对抓取位置候选区域进行分析，可提取出抓取位置候选区域中存在的可抓取位置及可抓取位置对应的抓取角度，并将可抓取位置按对应的可行度进行排序，根据排序结果自所有可抓取位置中选取抓取位置，并确定对应的抓取角度。[0077]步骤S303：根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；[0078]需要说明的是，物体根据构成的材质的不同，可承受的力度也不相同，因此，可以根据物体纹理数据确定确定待抓取物体的材质，并根据待抓取物体的材质确定待抓取物体的可承受力度区间，最终根据可承受力度区间确定抓取力度，例如：取可承受力度区间中的最小值作为抓取力度。[0079]进一步地，为了说明如何确定可承受抓取力度区间，本实施例步骤S303，可以为：[0080]根据所述物体纹理数据提取纹理特征；根据所述纹理特征与预设存储空间中各材质类别的物体纹理特征进行匹配，以确定所述待抓取物体的材质类别；根据所述材质类别确定所述待抓取物体的可承受抓取力度区间。[0081]需要说明的是，预设存储空间中可以存储有各个不同材质类别的物体纹理特征及材质类别对应的可承受力度区间。[0082]在实际使用中，可以根据物体纹理数据提取出纹理特征，将纹理特征与各个材质类别的物体纹理特征进行匹配，获得与各个材质类别的纹理匹配度，选取纹理匹配度最大的材质类别作为待抓取物体的材质类别，并将该材质类别对应的可承受抓取力度区间作为待抓取物体的可承受抓取力度区间。[0083]步骤S304：根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。[0084]可以理解的是，将抓取位置、抓取角度及抓取力度进行组合即可构建得到物体抓取参数。

[0085]步骤S40：获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；

[0086]需要说明的是，当前坐标可以表示机械臂当前所处的位置，通过机械臂的抓取速度可以计算得到一个合适的抓取距离。[0087]在实际使用中，可以获取机械臂的当前坐标，并根据所述运动轨迹及预设抓取距离确定目标抓取位置；根据所述当前坐标及所述目标抓取位置确定机械臂移动轨迹。

8

CN 112775967 A[0088]

说　明　书

6/9页

需要说明的是，预设抓取距离可以是根据机械臂的抓取速度计算得到的抓取距

离，目标抓取位置可以为根据移动轨迹、机械臂移动速度及预设抓取距离计算得到的适合执行抓取的位置坐标。[00]在实际使用中，根据当前坐标及目标抓取位置确定机械臂移动轨迹时，可以先获取当前坐标及目标抓取位置间所有的障碍物信息，例如：障碍物坐标、障碍物大小等信息，再根据障碍物信息规划移动轨迹，以避开当前坐标及目标抓取位置间的障碍物。[0090]步骤S50：基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。[0091]可以理解的是，根据机械臂移动轨迹即可控制机械臂移动至目标抓取位置，在移动完成之后，即可控制机械臂根据物体抓取参数对待抓取物体进行抓取。[0092]本实施例通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。[0093]参考图3，图3为本发明一种基于机器视觉的机械臂抓取方法第二实施例的流程示意图。

[0094]基于上述第一实施例，本实施例基于机器视觉的机械臂抓取方法在所述步骤S50，具体包括：

[0095]步骤S501：根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置；[0096]需要说明的是，目标抓取位置可以为根据移动轨迹、机械臂移动速度及预设抓取距离计算得到的适合执行抓取的位置坐标，根据机械臂移动轨迹即可控制机械臂移动至目标抓取位置。

[0097]需要说明的是，在机械臂移动过程中，因为各种意外情况或其他任务执行时障碍物的位置可能会有变动，或由于障碍物信息更新的不及时等情况影响导致机械臂移动轨迹的轨迹线路上可能会出现障碍物，此时，若不及时修正机械臂移动轨迹，可能会令机械臂与障碍物发生碰撞。[0098]进一步地，为了避免机械臂与障碍物发生碰撞，本实施例步骤S501具体包括：[0099]根据所述机械臂移动轨迹控制所述机械臂移动；采集所述机械臂移动过程中的障碍物图像数据；对所述障碍物图像数据进行分析，以获得障碍物轮廓信息；根据所述障碍物轮廓信息对所述机械臂移动轨迹进行调整，并返回所述根据所述机械臂移动轨迹控制所述机械臂移动的步骤，直至所述机械臂移动至目标抓取位置。[0100]需要说明的是，障碍物轮廓信息可以包括障碍物大小、形状等信息，障碍物图像数据可以是在机械臂移动过程中采集的位于机械臂移动轨迹前方的障碍物图像数据，通过对障碍物图像数据进行分析，可以确定障碍物的障碍物轮廓信息，通过障碍物轮廓信息判断机械臂继续移动是否会与障碍物发生碰撞，在可能发生碰撞时，可以根据障碍物轮廓信息对机械臂移动轨迹进行调整，使得机械臂可以避开障碍物，之后可根据调整后的机械臂移

9

CN 112775967 A

说　明　书

7/9页

动轨迹继续运行，重复执行上述步骤，直至机械臂移动至目标抓取位置。[0101]步骤S502：根据所述目标抓取位置和所述物体抓取参数控制所述机械臂对所述待抓取物体进行抓取。

[0102]可以理解的是，在机械臂移动至目标抓取位置之后，即可通过物体抓取参数控制机械臂在目标抓取位置对待抓取物体进行抓取。

[0103]本实施例通过根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置；根据所述目标抓取位置和所述物体抓取参数控制所述机械臂对所述待抓取物体进行抓取。由于还采集了机械臂移动过程中的障碍物图像数据，通过对障碍物图像数据进行分析确定障碍物轮廓信息，根据障碍物轮廓信息对机械臂移动轨迹进行调整，可以有效的规避因数据更新延迟或障碍物位置变动导致的碰撞，进一步地提高了基于机器视觉的机械臂抓取方法的安全性。

[0104]此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于机器视觉的机械臂抓取程序，所述基于机器视觉的机械臂抓取程序被处理器执行时实现如上文所述的基于机器视觉的机械臂抓取方法的步骤。[0105]参照图4，图4为本发明基于机器视觉的机械臂抓取装置第一实施例的结构框图。[0106]如图4所示，本发明实施例提出的基于机器视觉的机械臂抓取装置包括：[0107]状态确认模块401，用于连续采集待抓取物体的多帧图像，并根据所述多帧图像确定待抓取物体的当前状态；[0108]轨迹计算模块402，用于在所述当前状态为运动状态时，根据所述多帧图像预测所述待抓取物体的运动轨迹；[0109]参数确定模块403，用于对所述多帧图像进行分析，并根据分析结果确定物体抓取参数；

[0110]轨迹确定模块404，用于获取机械臂的当前坐标，根据所述当前坐标及所述运动轨迹确定机械臂移动轨迹；[0111]抓取控制模块405，用于基于所述机械臂移动轨迹，控制所述机械臂根据所述物体抓取参数对所述待抓取物体进行抓取。

[0112]本实施例通过连续采集待抓取物体的多帧图像，并根据多帧图像确定待抓取物体的当前状态；在当前状态为运动状态时，根据多帧图像预测待抓取物体的运动轨迹；对多帧图像进行分析，并根据分析结果确定物体抓取参数；获取机械臂的当前坐标，根据当前坐标及运动轨迹确定机械臂移动轨迹；基于机械臂移动轨迹，控制机械臂根据物体抓取参数对待抓取物体进行抓取。由于是根据多帧图像预测物体的运动轨迹并确定的物体抓取参数，再根据机械臂的当前坐标及运动轨迹确定的机械臂运动轨迹及物体抓取参数对待抓取物体进行抓取，可以保证在抓取场景复杂时依旧可以对待抓取物体进行抓取。[0113]进一步地，所述参数确定模块403，还用于对所述多帧图像进行分析，获得待抓取物体的物体特征数据及物体纹理数据；对所述物体特征数据进行分析，确定抓取位置及抓取角度；根据所述物体纹理数据确定待抓取物体的可承受抓取力度区间，并根据所述可承受抓取力度区间确定抓取力度；根据所述抓取位置、抓取角度及抓取力度构建物体抓取参数。

[0114]进一步地，所述参数确定模块403，还用于对所述多帧图像进行纹理识别，以获得

10

CN 112775967 A

说　明　书

8/9页

物体纹理数据；根据预设多层感知网络对所述多帧图像进行分析，获得多层特征图像数据；根据所述多层特征图像数据构建物体特征数据。[0115]进一步地，所述参数确定模块403，还用于通过先验框对所述物体特征数据进行数据分析，生成抓取位置候选区域；通过预设神经网络模型对抓取位置候选区域进行分析，以获得抓取位置及抓取角度。[0116]进一步地，所述参数确定模块403，还用于根据所述物体纹理数据提取纹理特征；根据所述纹理特征与预设存储空间中各材质类别的物体纹理特征进行匹配，以确定所述待抓取物体的材质类别；根据所述材质类别确定所述待抓取物体的可承受抓取力度区间。[0117]进一步地，所述轨迹确定模块404，还用于获取机械臂的当前坐标，并根据所述运动轨迹及预设抓取距离确定目标抓取位置；根据所述当前坐标及所述目标抓取位置确定机械臂移动轨迹。

[0118]进一步地，所述抓取控制模块405，还用于根据所述机械臂移动轨迹控制所述机械臂移动至目标抓取位置；根据所述目标抓取位置和所述物体抓取参数控制所述机械臂对所述待抓取物体进行抓取。[0119]进一步地，所述抓取控制模块405，还用于根据所述机械臂移动轨迹控制所述机械臂移动；采集所述机械臂移动过程中的障碍物图像数据；对所述障碍物图像数据进行分析，以获得障碍物轮廓信息；根据所述障碍物轮廓信息对所述机械臂移动轨迹进行调整，并返回所述根据所述机械臂移动轨迹控制所述机械臂移动的步骤，直至所述机械臂移动至目标抓取位置。

[0120]应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做。[0121]需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做。[0122]另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于机器视觉的机械臂抓取方法，此处不再赘述。[0123]此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。[0124]上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。[0125]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

11

CN 112775967 A[0126]

说　明　书

9/9页

以上仅为本发明的优选实施例，并非因此本发明的专利范围，凡是利用本发

明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

12

CN 112775967 A

说　明　书　附　图

1/3页

图1

图2

13

CN 112775967 A

说　明　书　附　图

2/3页

图3

14

CN 112775967 A

说　明　书　附　图

3/3页

图4

15