RVS 1.7.372 |新增 AIDetect 算子,简化加载 AI 模块

1. 新增 AIDetect 算子

新增的 AIDetect 算子用于对几类 CNN 神经网络模型进行图像分割任务,支持 CPU 与 GPU 设备。

AIDetect 算子在 RVS 启动时会自动加载 AI 模块,无需通过 InitTrigger 专门触发初始化。

算子属性、数据信号输入输出介绍详见 AIDetect 算子文档

image-20240912135545359

功能演示

使用 AIDetect 算子的 MaskRCNN 神经网络模型对加载的图像进行推理。获得图像中的目标位置掩码(像素区域)。

步骤1:算子准备

添加 Trigger 、Load、AIDetect 算子至算子图。

步骤2:设置算子参数

  1. 设置 Load 算子参数:

    • 类型 → Image

    • 文件 →icon_more → 选择图像文件名 ( example_data/mask_data_train/20221010140850486/rgb.png )

    • 图像 → icon_visOn 可视

  2. 设置 AIDetect 算子参数:

    • 类型 → MaskRCNN

    • 类名文件路径 →icon_more → 选择相应文件名( example_data/mask_data_train/fruits.txt )

    • 权重文件路径 →icon_more → 选择相应权重文件名 ( example_data/mask_data_train/train_output/model_final.pth )

    • 配置文件路径 →icon_more → 选择相应配置文件名( example_data/mask_data_train/train_output/config.yaml )

    • 物体得分阈值 →icon_more → 0.75

    • 识别结果图像 → icon_visOn 可视

    • Mask 名称列表 → icon_visOn 可视

步骤3:连接算子

image-20240912102754324

步骤4:运行与结果

  1. 打开 RVS 的运行按钮,AIDetect 算子完成第一次的初始化运行(首次运行不会对输入的图像进行推理,仅仅是运行环境检测以及将模型文件从本地载入到内存),运行成功后界面显示如下图:

    image-20240912103914516

  2. 触发 Trigger 算子进行推理。在推理过程中,会在日志栏高亮打印AI 推理模块正在执行推理的输出信息,推理完成后,会在日志栏打印该图像推理得到的目标个数与Mask名称列表,如下图所示。

    image-20240912103726717

  3. 推理完成后,在 RVS 的 2D 图区域显示推理结果示意图,如下所示。

    Python_AIDetectGPU_result

2.新增图像形态学变换算子(ImageMorph)

图像形态学变换算子用于处理和分析图像的形状和结构特征。具体应用包含:ErodeOperator、DilateOperator、OpeninggOperator、ClosingOperator、Skeleton。

算子文档即将发布,敬请期待。

image-20240918102334754

ErodeOperator(腐蚀)

  • 作用:腐蚀操作会缩小图像中的前景对象(通常是白色区域),去除图像中的小噪声点。

  • 应用:去除小的白色噪声,使得物体边界更加平滑。

    image-20240918141347550

DilateOperator(膨胀)

  • 作用:膨胀操作会扩大图像中的前景对象,填补物体中的小孔洞。

  • 应用:增强物体的边界,填补物体内部的小孔洞。

    image-20240918141459706

OpeningOperator(开运算)

  • 作用:开运算是先进行腐蚀再进行膨胀的操作。它可以去除小的物体,同时保持较大物体的形状和大小。

  • 应用:去除图像中的小噪声,同时保持物体的整体形状。

    image-20240918141536240

ClosingOperator(闭运算)

  • 作用:闭运算是先进行膨胀再进行腐蚀的操作。它可以填补物体中的小孔洞,同时保持物体的整体形状。

  • 应用:填补物体中的小孔洞,连接断裂的部分。

    image-20240918141613843

Skeleton(骨架提取)

  • 作用:骨架提取操作用于提取图像中物体的骨架结构,保留物体的基本形状和拓扑结构。

  • 应用:分析物体的形状特征,提取物体的中心线。

    image-20240918141809870

3.TCP 通讯算子面板添加了显示样例的功能

TCP 服务器接收面板/TCP服务器发送面板中添加查看样例按钮,添加指令后,点击查看样例即可在样例栏查看指令样例。

image-20240918102538832

4. 新增 TyFrameSave/TyFrameLoad 算子

TyFrameSave/TyFrameLoad 算子用于统一格式保存和加载图漾相机每帧拍摄的数据。

算子文档即将发布,敬请期待。

图漾相机帧数据保存/TyFrameSave

TyFrameSave 算子用于保存图漾相机每帧拍摄的数据。选择保存路径后,每帧数据将以子文件的形式保存至该路径中。该算子还支持选择是否保存IR图像和TCP数据。

image-20240918103026252

保存后文件保存格式如下图所示:

image-20240918105233383

图漾相机帧数据加载/TyFrameLoad

TyFrameLoad 算子用于加载图漾相机的每帧数据。根据选择的子目录索引和点云坐标系,输出点云、深度图、彩色图、IR 图和 TCP 数据。

image-20240918103055672

帧数据加载后输出如下图所示:

image-20240918105424466

5.‘制作点云模板工具’优化和修正

  1. 聚类提取半径异常值删除拆分,可根据需求进行指定操作。

    image-20240918110430031

  2. 支持切换模板视角。

    exchange

  3. 参数表格面板将参数名称进行中文翻译。

    image-20240918110557465

6. RVS 的在线更新功能框架进行修正

若某些 1.7 早期版本在进行在线更新时遇到问题,可通过重新下载安装RVS来解决。

image-20240918111009930

7.交互面板绑定操作更新

  1. 右击控件,点击显示控件面板

    image-20240918111358896

  2. 曝光参数栏选择需要绑定的参数后,点击 icon 进行绑定。

    image-20240918111454113

    3.绑定后,在控件参数栏显示已经绑定的参数,点击确定完成绑定。

    image-20240918134740664