步骤参考指南

采集

• 从相机获取图像

预处理

• 点云变换
• 点云降采样
• 点过滤
• 计算点云法线
• 合并点云
• 点云聚类
• 获取最高层点云
• 将深度图转为点云
• 提取3D ROI内点云
• 3D方法估计点云边缘
• 图像形态学变换
• 提取掩膜中对应的点云
• 将3D点云投影为2D图像

识别

• 深度学习模型包推理
• 计算平面点云的位姿和尺寸
• 3D粗匹配
• 3D精匹配

位姿处理

• 位姿变换
• 沿指定方向移动位姿
• 使位姿的轴旋转至指定方向
• 使位姿的轴指向参考点
• 3D位姿排序
• 翻转位姿的坐标方向
• 设置位姿四元数
• 给位姿添加标签
• 显示点云与位姿
• 计算位姿间距离
• 计算两位姿沿指定方向的距离
• 位姿求逆
• 将PoseList转换为PoseLists
• 将2D位姿转为3D位姿

简易轨迹生成

• 简易轨迹生成

评估

• 过滤
• 根据布尔值触发控制流
• 根据阈值对数值进行二分类
• 根据与参考方向的夹角判断位姿是否有效
• 根据点云尺寸进行分类
• 验证箱子尺寸是否有效
• 验证箱形目标物体掩膜
• 提取长方体内的点云
• 提取圆柱范围内的点云
• 滤除不在ROI内的位姿
• 验证点云是否符合要求
• 判断是否为所需的标签
• 计算掩膜面积
• 通过统计数据检查位姿重复精度

数据处理

• 限制输出
• 转换数据类型
• 数值比较
• 数值运算
• 统计3D点个数
• 统计数据列表中指定层级的元素个数
• 快捷创建
• 按照索引对元素重新排序
• 排序并输出索引列表
• 将位姿分解为四元数和平移向量
• 分解物体尺寸
• 合并数据
• 拆包合并
• 数据重复并串接
• 标签映射
• 将旋转向量分解为X-Y-Z轴
• 按照索引提取对应的元素

文件

• 保存图像
• 保存结果到文件
• 读取图像
• 读取点云
• 从文件中读取位姿
• 读取物体尺寸

传输

• 视觉输出

系统

• 视觉步骤组合
• 接受所有

高级步骤

2D特征提取

• 填充孔洞
• 检测并测量圆
• 检测圆心

3D特征提取

• 2D方法估计点云边缘
• 查找几何元素

3D通用处理

• 点云聚类，并输出符合条件的点云
• 删除点云中部分点
• 生成点云模板
• 计算点云沿轴长度

3D匹配

• 去除被压叠的物体

3D模型获取

• 创建物体模型
• 获取模型的点云

绘制

• 在图像上将信息可视化

标签

• 从任意变量转为标签类型
• 连接标签
• 根据阈值对数值分类

映射

• 将2D点转为3D点
• 正交投影

掩膜处理

• 计算掩膜中心点坐标
• 掩膜逻辑运算

元步骤

• 为数据分组
• 打包
• 列表逆序
• 拆包数据
• 将List转换为Lists

位姿

• 计算两位姿指定轴的夹角
• 取每个输入位姿的一部分合成新的位姿
• 映射到多抓取点
• 将位姿沿Z轴移动到点云表面
• 围绕指定轴旋转位姿
• 滤除相邻过近的位姿

位姿2

• 计算两Vector3D间的角度
• 计算Vector3D的叉积
• 计算Vector3D的点积
• 计算Vector3D的长度
• 由四元数和平移向量组合位姿
• 由数值合成Vector3D
• 将Vector3D分解为数值
• 三维向量运算

排序

• 排序并分层

工具

• 布尔值列表逻辑运算
• 获取法兰位姿
• 将Shape2DList转换为Pose2DList

测量

• 计算物体体积