RVS 1.7.372 |新增 AIDetect 算子,简化加载 AI 模块
1. 新增 AIDetect 算子
新增的 AIDetect 算子用于对几类 CNN 神经网络模型进行图像分割任务,支持 CPU 与 GPU 设备。
算子属性、数据信号输入输出介绍详见 AIDetect 算子文档。
功能演示
使用 AIDetect 算子的 MaskRCNN 神经网络模型对加载的图像进行推理。获得图像中的目标位置掩码(像素区域)。
步骤1:算子准备
添加 Trigger 、Load、AIDetect 算子至算子图。
步骤2:设置算子参数
-
设置 Load 算子参数:
-
类型 → Image
-
文件 → → 选择图像文件名 ( example_data/mask_data_train/20221010140850486/rgb.png )
-
图像 → 可视
-
-
设置 AIDetect 算子参数:
-
类型 → MaskRCNN
-
类名文件路径 → → 选择相应文件名( example_data/mask_data_train/fruits.txt )
-
权重文件路径 → → 选择相应权重文件名 ( example_data/mask_data_train/train_output/model_final.pth )
-
配置文件路径 → → 选择相应配置文件名( example_data/mask_data_train/train_output/config.yaml )
-
物体得分阈值 → → 0.75
-
识别结果图像 → 可视
-
Mask 名称列表 → 可视
-
步骤3:连接算子
步骤4:运行与结果
-
打开 RVS 的运行按钮,AIDetect 算子完成第一次的初始化运行(首次运行不会对输入的图像进行推理,仅仅是运行环境检测以及将模型文件从本地载入到内存),运行成功后界面显示如下图:
-
触发 Trigger 算子进行推理。在推理过程中,会在日志栏高亮打印
AI 推理模块正在执行推理
的输出信息,推理完成后,会在日志栏打印该图像推理得到的目标个数与Mask名称列表,如下图所示。 -
推理完成后,在 RVS 的 2D 图区域显示推理结果示意图,如下所示。
2.新增图像形态学变换算子(ImageMorph)
图像形态学变换算子用于处理和分析图像的形状和结构特征。具体应用包含:ErodeOperator、DilateOperator、OpeninggOperator、ClosingOperator、Skeleton。
ErodeOperator(腐蚀)
-
作用:腐蚀操作会缩小图像中的前景对象(通常是白色区域),去除图像中的小噪声点。
-
应用:去除小的白色噪声,使得物体边界更加平滑。
DilateOperator(膨胀)
-
作用:膨胀操作会扩大图像中的前景对象,填补物体中的小孔洞。
-
应用:增强物体的边界,填补物体内部的小孔洞。
OpeningOperator(开运算)
-
作用:开运算是先进行腐蚀再进行膨胀的操作。它可以去除小的物体,同时保持较大物体的形状和大小。
-
应用:去除图像中的小噪声,同时保持物体的整体形状。
ClosingOperator(闭运算)
-
作用:闭运算是先进行膨胀再进行腐蚀的操作。它可以填补物体中的小孔洞,同时保持物体的整体形状。
-
应用:填补物体中的小孔洞,连接断裂的部分。
Skeleton(骨架提取)
-
作用:骨架提取操作用于提取图像中物体的骨架结构,保留物体的基本形状和拓扑结构。
-
应用:分析物体的形状特征,提取物体的中心线。
3.TCP 通讯算子面板添加了显示样例的功能
在 TCP 服务器接收面板/TCP服务器发送面板
中添加查看样例
按钮,添加指令后,点击查看样例
即可在样例
栏查看指令样例。
4. 新增 TyFrameSave/TyFrameLoad 算子
TyFrameSave/TyFrameLoad 算子用于统一格式保存和加载图漾相机每帧拍摄的数据。
图漾相机帧数据保存/TyFrameSave
TyFrameSave 算子用于保存图漾相机每帧拍摄的数据。选择保存路径后,每帧数据将以子文件的形式保存至该路径中。该算子还支持选择是否保存IR图像和TCP数据。
保存后文件保存格式如下图所示:
图漾相机帧数据加载/TyFrameLoad
TyFrameLoad 算子用于加载图漾相机的每帧数据。根据选择的子目录索引和点云坐标系,输出点云、深度图、彩色图、IR 图和 TCP 数据。
帧数据加载后输出如下图所示:
5.‘制作点云模板工具’优化和修正
-
将
聚类提取
与半径异常值删除
拆分,可根据需求进行指定操作。 -
支持切换模板视角。
-
参数表格面板
将参数名称进行中文翻译。
6. RVS 的在线更新功能框架进行修正
7.交互面板绑定操作更新
-
右击控件,点击
显示控件面板
。 -
在
曝光参数
栏选择需要绑定的参数后,点击 进行绑定。3.绑定后,在
控件参数
栏显示已经绑定的参数,点击确定完成绑定。