图漾相机工具

图漾相机工具(CameraSourceTool)支持枚举图漾相机、设置相机 IP、开启相机、查看相机信息、设置相机参数并预览采集的图像。

输入输出终端说明

在工具块编辑区根据需要连接工具的输入输出,终端说明如下表所示。

CameraSourceTool-access

终端名称

终端类型

数据类型

内容描述

OutputImageColor

输出型

VisionImage

采集的彩色图

OutputImageDepth

输出型

VisionImage

采集的深度图

OutputImageIRLeft

输出型

VisionImage

采集的左红外图

OutputImageIRRight

输出型

VisionImage

采集的右红外图

OutputPointCloud

输出型

PointCloud

采集的点云图

快速开始

该部分内容主要介绍 Vision++ 图漾相机工具的使用流程:

使用图漾相机工具前,请先:

  1. 将图漾相机与上位机连接。连接方式请参见 硬件连接

  2. 若首次使用 USB 相机,请至 图漾官网下载区 下载并安装驱动,安装教程请参考 安装 USB 驱动

修改相机 IP 地址

Vision++ 支持修改网络相机的 IP 地址为静态或动态 IP。设置相机 IP 前,请确保上位机 IP 在目标网段上。

  1. 在工具块编辑区双击“CameraSourceTool”进入 图漾相机工具 页面。

    CameraSourceTool-access

  2. 点击icon-set-ip,进入 相机 IP 设置 页面。

    set-ip-interface

  3. 在“网卡列表”处选择相机连接的网卡。

  4. 在“找到设备”处选择相机的序列号。

  5. 设置 IP。

    • 若需设置静态 IP,手动填写“设备目标IP”、“设备目标网关”和“设置目标掩码”。

    • 若需设置动态 IP,点击“自动 IP”即可。

  6. 点击“设置”。

连接相机

  1. 点击 图漾相机工具 页面的“检索相机”,在相机列表中选择待连接的相机。

    CameraSourceTool-access

  2. 点击 icon-configcamera,开启相机。

开启相机后,根据需要进行以下操作:

  • 点击 icon-startcapturing,开始采集图像。

  • 点击 icon-stopcapturing,暂停采集图像。

  • 点击 icon-icon-closecamera,关闭相机。

查看相机信息

开启相机后,便可在“相机信息”一栏查看当前已开启的相机信息,包括:

  • Interface Name:接口名称

  • Serial Number:SN 序列号

  • Vendor:厂商

  • Model:型号

  • Mac Address:Mac 地址

  • IP Address:IP 地址

  • Config Version:配置版本

  • FW Version:固件版本

camere-information

设置工作模式

开启相机后,在未采集图像时,点击 icon-setting-workmode ,并选择工作模式。

work-mode-settings-interface

工作模式

描述

关闭触发模式

点击 icon-startcapturing,相机以最高帧率连续采集图像。

Slave 触发模式-硬件触发

将外部硬触发信号源与相机连接,相机(处于开启状态)根据触发信号频率采集图像。

Slave 触发模式-软件触发(连续)

点击 icon-startcapturing,相机接收到软件触发信号后采集图像。

Slave 触发模式-软件触发(单步)

点击 icon-startcapturing 后,点击“单步触发”。每点击一次“单步触发”,相机采集一帧图像。

设置相机参数

Vision++ 支持设置相机每个组件的参数,如设备、深度、彩色、红外。

开启相机后,点击 icon-unfolded 展开页面,并设置设备/深度/彩色/红外左/红外右参数。

关于每个组件的参数,详情请查看 参数说明

预览图像

Vision++ 支持实时预览深度图、彩色图、红外图、点云图以及 RGBD 图。

操作步骤

  1. 点击icon-configcamera,开启相机。

  2. 点击icon-startcapturing,开始采集图像。

  3. 预览图像。

    预览深度图/彩色图/红外图

    1. 勾选“深度”/“彩色”/“红外”。

    2. 切换至 2D 视图,预览深度图、彩色图、红外图。

    3. 若需查看原始图像,将“图像对齐”设置为“原始图”;若需查看对齐图,将“图像对齐”设置为“彩色对齐深度”或“深度对齐彩色”。

    CameraSourceTool-2Dviews

    预览点云图

    1. 勾选“深度”和“点云”。

    2. 切换至 3D 视图,预览点云图。

    3. 若需查看原始点云图,将“图像对齐”设置为“原始图”;若需查看彩色点云图,勾选“彩色”,将“图像对齐”设置为“彩色对齐深度”或“深度对齐彩色”。

    CameraSourceTool-3Dview

    预览 RGBD 对齐图

    1. 勾选“深度”和“彩色”。

    2. 将“图像对齐”设置为“彩色对齐深度”或“深度对齐彩色”。

    3. 切换至 Registration 视图,预览 RGBD 对齐图。

    CameraSourceTool-Registrationview

视图说明

2D 视图

  • 视图信息说明

    • 视图标题栏显示当前图像的名称、图像的帧率、保存图像图标icon-saveimages

    • 鼠标放置在深度图上可查看当前像素的深度值 “Depth of (X,Y)” 以及图像中心的深度值 “Depth of Center”。

  • 视图调整说明

    • 鼠标左键可平移图像

    • 鼠标滚轮可缩放图像

3D 视图

  • 视图设置说明

    • 颜色:点击下拉框可选择点云显示的颜色。

    • 显示质量:视图显示的质量。显示质量越高,对电脑性能要求越高。

    • 交互模式:“正常”显示原始 3D 点云;“流畅”显示稀疏的 3D 点云;“快速”显示 3D 点云的外接矩形。

    • 鼠标跟踪:点击点云某个位置后,便可将此处设置为旋转和缩放的中心。

    • 适应图像:将点云置于视图中央,并调整点云缩放比例以适应视图。

    • icon-saveimages:保存当前视图。

  • 视图调整说明

    • 鼠标左键可旋转点云

    • 鼠标右键可平移点云

    • 鼠标滚轮可缩放点云

参数说明

设备

参数名

描述

设置条件

GVSP resend

网络相机的图像数据流重传开关。

在相机停止采集图像后设置。

packet size

网络相机数据传输时,分组发送到链路上最大传输单元的大小。

在相机停止采集图像后设置。

cmos sync

左右红外图像完全同步曝光开关。

在相机停止采集图像后设置。

trigger delay us

延迟触发。相机收到硬件触发信号后,延时设置的延迟时间后进行图像采集,单位是微秒。

在相机停止采集图像后设置。

flash light enable

红外泛光灯开关。红外泛光灯用于辅助红外图进行标定。
在采集红外图时勾选“flash light enable”,并根据实际需求设置泛光灯亮度 flash light intensity。

可实时设置。

深度

通用参数

参数名

描述

设置条件

image mode

深度图的图像格式+分辨率

在相机停止采集图像后设置。

Fill Hole

填洞功能,可优化深度图。
开启 File Hole,根据深度图调节 k Size 和 h Size。
若 k Size 和 h Size 的参数值设置太大,可能会出现深度图失真的现象。

可实时设置。

Remove Ouliter

降噪功能,可优化深度图。
开启 Remove Ouliter,根据深度图调节 spk size。
若区域中的点云个数小于 spk size 设定值,则将该区域的点云视为飞点并去除。

可实时设置。

Time Domain Filtering

时域滤波,可优化深度图。
开启 Time Domain Filtering,根据深度图调节 time-domain frame count。
time-domain frame count 设定值约大,得到的深度值抖动幅度越小,点云越平滑。

可实时设置。

ToF 系列

仅 ToF 系列相机支持以下参数。

参数名

描述

设置条件

HDR ratio

ToF 高动态范围比,可优化高对比度场景的深度成像效果。
将相机的工作模式设置在触发模式下,且 depth quality 设置为 high 时,根据深度图调节 HDR ratio。

可实时设置。

tof jitter threshold

ToF 抖动滤波。
tof jitter threshold 设置值越大,深度图边缘抖动的深度数据过滤得越少。

depth quality

ToF 深度图质量

在相机停止采集图像后设置。

filter threshold

ToF 抖动滤波。
filter threshold 设置值越小,过滤的飞点越多。

tof channel

ToF 调制频道。
设置 tof channel,确保同一场景下同系列 ToF 相机的调制频道不同。

在相机停止采集图像后设置。

tof modulation threshold

ToF 激光调制光强。
激光调制光强小于 tof modulation threshold 的像素点不参与计算深度,即像素点的深度值赋值为 0。

可实时设置。

SGBM 参数

仅带 SGBM 算法的相机支持以下参数。

参数名

描述

设置条件

scale unit

设置深度图中像素值的单位。
深度数据可表示最大值 = 65536 * scale unit。
设定值越小,深度计算的精度越高,但设定值过小可能会导致深度计算出现误差。

可实时设置。

disparity num

设置视差搜索范围。
设定值越大,相机 Z 方向的测量范围越大,但算力会增加。建议设置成 16 的整数倍。

可实时设置。

disparity offset

设置开始搜索的视差值。
设定值越小,Z方向最大测量值(Zmax)越大,即测量范围越远,但设定值下限受景深影响。

可实时设置。

match window height

设置视差匹配窗口的高。
设定值必须为奇数。

可实时设置。

match window width

设置视差匹配窗口的宽。
设定值必须为奇数。
视差匹配窗口(match window height * match window width)越大,深度图更加平滑,但是精度会降低。视差匹配窗口越小,深度图显示更多细节,但是出现错误匹配的几率越大。

可实时设置。

image number

设置用于深度计算的 IR 图像数量。
设定值越大,输出深度图像质量越好,帧率越小。
受相机算力的影响,image number 和 match window height 之间存在一个约束,即 (image number+1) / 2 * match window height < 48。

可实时设置。

semi global param p1

设置相邻像素 (+/-1) 约束惩罚参数 P1。
设定值越大,深度图越平滑。
防止出现不连续或不合理的深度值,有效抑制噪声和不连续性。

可实时设置。

semi global param p2

设置周围像素约束惩罚参数 P2。
设定值越大,深度图越平滑。P2 > P1。
该参数可以有效地处理纹理丰富区域,减少误匹配的数量。

可实时设置。

semi global param p1 scale

设置相邻像素 (+/-1) 约束惩罚参数 P1_scale。
设定值越小,深度图越平滑。

可实时设置。

enable half window size

搜索滤波开关。
用于进一步优化深度图,去除噪声和不连续性,对物体边缘点云更友好。

可实时设置。

uniqueness factor param

设置唯一性检查参数 1,即最优匹配点与次优匹配点的百分比。
设定值越大,匹配代价越唯一,错误匹配点过滤掉的越多。

可实时设置。

uniqueness min absolute diff

设置唯一性检查参数 2,即最优匹配点与次优匹配点差值的绝对值。
设定值越大,匹配代价越唯一,错误匹配点过滤掉的越多。

可实时设置。

enable LRC

左右一致性检查开关。
开启 enable LRC 后,调节参数 max LRC diff。
在进行立体匹配时,对于同一物体表面上的像素,左图匹配右图的视差为 LR,右图匹配左图的视差为 RL。当 ABS(LR-RL) > max LRC diff 时,则认为该点是可信匹配点。
max LRC diff 设定值越小,匹配结果越可靠。

可实时设置。

enable median filter

中值滤波开关。用于消除孤立的噪声点,同时尽可能地保留图像的边缘信息。
开启 enable median filter 后,调节参数 median filter thresh。
median filter thresh 设定值越大,过滤的噪点越多,但也可能会导致深度图的细节信息丢失。

可实时设置。

彩色

参数名

描述

设置条件

image mode

彩色图的图像格式+分辨率

在相机停止采集图像后可设置。

auto exposure

自动曝光时间

可实时设置。仅部分型号相机支持。

exposure time

曝光时间。
如需手动调节曝光时间,请关闭 auto exposure。

可实时设置。

auto gain

自动增益

可实时设置。仅部分型号相机支持。

gain

增益
如需手动调节增益,请关闭 auto gain。

可实时设置。

auto white balance

自动白平衡

可实时设置。仅部分型号相机支持。

Struct AEC ROI

自动曝光时间 ROI。根据 ROI 区域自动调节整幅彩色图的曝光时间。
勾选 “Struct AEC ROI”,并设置 ROI 区域的左上角坐标 (X,Y)、宽度 W 和高度 H。
设置完 ROI 后,点击“设置”。

在相机开始采集图像后可设置,并且使用 Struct AEC ROI 前需确保 auto exposure 功能已启用。仅部分型号相机支持。

Auto ISP

软件 ISP,在软件层面上将存在偏色的 RAW BAYER 图像处理成正常色彩空间的彩色图。

在相机停止采集图像后可设置。

Undistort EN

畸变校正开关

可实时设置。

红外

参数名

描述

设置条件

image mode

红外图的图像格式+分辨率

在相机停止采集图像后可设置。

exposure time

曝光时间

可实时设置。

gain

数字增益

可实时设置。

analog gain

模拟增益

可实时设置。

undistort

红外图的畸变校正开关

在相机停止采集图像后可设置。

hdr

该功能用于优化高对比度场景的深度成像效果,需配合红外曝光时间使用。
采集左右红外图时,勾选“hdr”,并根据深度图调整“para0”和 “para1”。
设置 hdr 后,调整红外曝光时间 exposure time,获得最佳的深度图。

可实时设置。

激光

参数名

描述

设置条件

power

激光强度

可实时设置。

auto ctrl

激光器自动调整功能开关。 勾选 “auto ctrl”后,激光器仅在采集深度图时开启; 取消勾选 “auto ctrl”后,激光器在采集任何图像时都会开启。

在相机停止采集图像后可设置。