如何使用超级模型包识别纸箱/麻袋(用于拆码垛等,适用于多种尺寸、纹理,抗表面反光)

本贴将介绍如何使用超级模型包识别纸箱/麻袋。

1. 获取超级模型包
2. 在Mech-Vision中部署超级模型包
3. 查看识别效果
4. 在Mech-DLK中微调超级模型(可选)

注意事项: 当识别效果不够理想时,才需在Mech-DLK中微调超级模型。

术语解释: 超级模型包,即梅卡曼德提供的通用模型,用于识别纸箱或麻袋。如果识别效果欠佳,可使用 Mech-DLK 对模型进行微调。

最终的定位识别效果如下图所示,左图为纸箱和麻袋的2D图,右图为深度学习识别效果。


获取超级模型包

由于Mech-Vision需利用超级模型包进行推理,完成对纸箱/麻袋的识别,所以需获取用于纸箱/麻袋的识别的模型包。

如下图所示,在下载中心对软件及其版本进行筛选,筛选出Mech-Vision可用的超级模型包,并下载。

注意事项:

  • 识别精确度: 相比CPU模型包,GPU模型包可识别出更精确的物体轮廓。
  • 计算速度: 在实验室测试条件下(Intel Core 12th i5-12400 vs NVIDIA GTX 1050Ti),CPU模型包的推理速度与GPU模型包基本一致。

在Mech-Vision中部署超级模型包

导入超级模型包

将超级模型包导入深度学习模型包管理工具

使用超级模型包进行推理

使用深度学习模型包推理步骤利用导入好的超级模型包对纸箱/麻袋的图像进行推理。

提示: 模型包推理指的是经过训练的深度学习模型对数据进行推理,从而实现各种各样的任务,如图像分类、实例分割等。

查看识别效果

超级模型包推理完成后,即可在Mech-Vision中查看识别效果。

纸箱识别效果展示

纸箱识别效果如下表所示(可点击查看大图)。图中数字为置信度,即识别表现评分。彩色掩膜边缘轮廓即识别出的纸箱边缘轮廓。纸箱识别结果的边缘轮廓可达到较高贴合度。

麻袋识别效果展示

麻袋识别效果如下表所示(可点击查看大图)。图中数字为置信度,即识别表现评分。彩色掩膜边缘轮廓即识别出的麻袋边缘轮廓。麻袋识别结果的边缘轮廓可达到较高贴合度。

在Mech-DLK中微调超级模型

如果纸箱/麻袋识别效果较好,则无需进行超级模型微调。

如果纸箱/麻袋识别效果不够理想,则需在Mech-DLK中对超级模型进行微调。

获取超级模型

由于Mech-DLK不能直接对超级模型包进行微调,所以需获取该模型包对应的超级模型。

如下图所示,在下载中心对软件及其版本进行筛选,筛选出Mech-DLK可用的超级模型,并下载。

微调超级模型

打开Mech-DLK软件,选择“实例分割”模块后,可参考用户手册操作。

超级模型微调完成后,即可将超级模型导出为超级模型包,再次导入Mech-Vision进行模型包推理。

识别过程中的常见问题

如何避免误识别?

  • 尽量保持现场光照稳定,避免出现图像过曝、欠曝、有阴影的情况,否则会导致图像中的麻袋边缘不清晰,影响深度学习的稳定性。
  • 调节相机的白平衡,保证图像不过曝、欠曝。
  • 垛旁不要摆放其他与抓取无关的纸箱或麻袋,避免误识别。
  • 设置合适的ROI。

如何设置合适的ROI?

需基于垛型的最大垛(满垛)来设置ROI,需保证ROI包含垛的最高和最低区域,且ROI比满垛时的垛型稍大一圈,同时ROI内尽量不包含其他干扰点云。

完成上述操作后,若深度学习识别的稳定性没有提升,则需针对该种类纸箱或麻袋对超级模型进行迭代,或使用该种类纸箱或麻袋数据对超级模型进行微调。具体内容请参考超级模型迭代

2 个赞

超级模型适用多种尺寸,有适应尺寸范围吗?比如说一个物流项目箱子种类很多,可能有几百种,这个时候可以通过尺寸范围来规范客户来料。

2 个赞

超级模型可以识别的箱子取决于2D图像中箱子的尺寸,多数常规尺寸的箱子均可识别。如果在图像中箱子过大或者过小可能识别效果不是很好,这个时候可能需要基于现场实际数据做一些模型微调的训练。

1 个赞

做模型微调的训练是可以基于超级模型上,进行采图标注迭代的吗?还是重新采图训练模型的。

2 个赞

基于超级模型的基础上进行微调的,需要大概20张数据就可以微调出一个比较适合这种特殊情况的模型了。

2 个赞


请问按照图里的红框的两个箱子上半部分标签黏在一起,可以通过超级模型进行分割拆垛吗?

1 个赞

图片不是很清晰。这种情况会有二义性的问题,会有风险将两个箱子识别为一个整体,建议对来料做一些控制。

2 个赞

如果来料无法避免,能通过超级模型训练或者提前设置箱子尺寸离线码垛来避免这个问题吗?

1 个赞

目前上传的dlkmp模型,在进行模型微调时,参数设置里的“输入图像尺寸”应该如何设置,是否需要和dlkmp训练时设置的“输入图像尺寸”一致?

加入数据训练可以一定程度上避免该问题,但需要相对多的数据,如果存在标签覆盖了两个箱子中间的所有缝隙,那是一个纸箱还是两个纸箱依然那里判断。
Vision中有“验证箱形目标物体掩膜”的步骤,可以过滤不在范围内的纸箱掩膜,可以配合使用进行掩膜过滤。

一般情况下建议和用于finetune的dlkmp模型尺寸一致以保证最好效果。
如果超级模型为512分辨率,但是512分辨率中现场的纸箱成像效果较差,需要用1024分辨率的数据训练,此时是可以用512超模正常finetune且也能较快收敛,因为分辨率带来的精度提升大于超级模型尺寸不一致带来的精度降低。