华体会-增强视觉传感器功能：3D图像拼接算法帮助扩大视场

2025-01-20

[导读]得益在超卓的深度计较和红外(IR)成像能力，飞翔时候(TOF)摄像头在工业利用，特别是机械人范畴愈来愈受接待。虽然具有这些优势，但光学系统的固有复杂性常常会束缚视场，从而限制自力功能。本文中会商的3D图象拼接算法专为撑持主机处置器而设计，无需云计较。该算法未来自多个TOF摄像头的红外和深度数据及时无缝连系，生成持续的高质量3D图象，该图象具有超出自力单位的扩年夜视场。借助拼接的3D数据，利用进步前辈的深度进修收集可以或许完全改变可视化和与3D情况的交互，深度进修收集在移念头器人利用中特殊有价值。得益在超卓的深度计较和红外(IR)成像能力，飞翔时候(TOF)摄像头在工业利用，特别是机械人范畴愈来愈受接待。虽然具有这些优势，但光学系统的固有复杂性常常会束缚视场，从而限制自力功能。本文中会商的3D图象拼接算法专为撑持主机处置器而设计，无需云计较。该算法未来自多个TOF摄像头的红外和深度数据及时无缝连系，生成持续的高质量3D图象，该图象具有超出自力单位的扩年夜视场。借助拼接的3D数据，利用进步前辈的深度进修收集可以或许完全改变可视化和与3D情况的交互，深度进修收集在移念头器人利用中特殊有价值。飞翔时候(TOF)摄像头作为超卓的测距成像系统脱颖而出，它操纵TOF手艺来肯定摄像头与图象中每一个点之间的距离。经由过程丈量激光器或LED发射的人造光旌旗灯号的来回时候，即可计较出距离。TOF摄像头供给切确的深度信息，是以在正确距离丈量和3D可视化相当主要的利用中，好比在机械人和工业手艺利用中，该摄像头是极具价值的东西，例如可以或许在270°的视场(FOV)规模履行碰撞检测和人体检测，从而提高平安性。 ADTF3175 TOF传感器的校准FOV可到达75°。但是，当利用的FOV超越该区域时，挑战呈现，此时就需要多个传感器。假如经由过程集成各个传感器的数据来为全部视场供给周全的阐发，这可能会造成坚苦。一个潜伏解决方案是让传感器对部门FOV履行算法，然后将输出传输至主机以进行清算。但是，该方式面对区域堆叠、死区和通讯延迟等问题，致使其成为很难有用解决的复杂问题。另外一种方式是将从所有传感器捕捉的数据拼接成单个图象，随后在拼接的图象上利用检测算法。该进程可卸载至零丁的主机处置器，从而减轻传感器单位的计较负荷，留出空间履行高级阐发和其他处置选项。但是，值得留意的是，传统图象拼接算法自己很是复杂，会耗损主机处置器相当一部门的计较能力。另外，因为隐私缘由，在很多利用中，数据没法发送到云端进行拼接。 ADI公司的算法解决方案可以使用深度数据的点云投影，拼接来自分歧传感器的深度和红外图象。这包罗利用摄像头外部位置转换捕捉到的数据并将其投影回到2D空间，从而生成单张持续显示的图象。该方式可以或许年夜幅削减计较量，有助在在边沿到达及时运行的速度，并确保主机处置器的计较能力仍可用在其他高级阐发。图1.深度拼接算法。解决方案描写 ADI的3D TOF解决方案分4个阶段运行（拜见图1）： 1.预处置红外和深度数据：红外和深度数据的时候同步和预处置。 2.将深度数据投影到3D点云：操纵摄像头内参将深度数据投影到3D点云。 3.转换和归并点：利用摄像头的外部位置对点云进行坐标转换，并归并堆叠区域。 4.将点云投影到2D图象：采取圆柱投影将点云投影回到2D图象。系统与算法的挑战和解决方案主机领受深度和红外帧主机经由过程USB等高速毗连体例毗连到多个TOF传感器。主机搜集深度和红外帧，并将其存储在队列中。同步深度和红外数据主机领受到的来自每一个传感器的深度和红外帧在分歧时候实例被捕捉。为了不因物体移动而酿成的时候不匹配，所有传感器的输入需要同步到统一时候实例。利用时候同步器模块，该模块按照来自队列的时候戳匹配传入的帧。投影到点云经由过程利用每一个传感器的同步深度数据，在主机上生成点云。然后，每一个点云按照其各安闲真实场景中的摄像头位置（拜见图2）进行转换（平移和扭转）。接着，这些转换后的点云归并构成单个持续点云，笼盖传感器的组合FOV（拜见图3）。图2.相机外参。图3.归并的点云。 3D到2D投影经由过程利用圆柱投影算法，也称为前视图投影，FOV的组合点云投影到2D画布上（拜见图4）。换言之，该算法将归并点云的每一个点投影到2D平面的像素上，从而生成单连续续全景图，笼盖所有传感器的组合视场。这会发生两个2D拼接图象：一个用在拼接的红外图象，另外一个用在投影到2D平面的拼接深度图象。图4.圆柱投影算法。提高投影质量将3D组合点云投影到2D图象仍没法生成高质量图象。图象存在掉真和噪点。这不但影响视觉质量，对投影上运行的任何算法也会发生晦气影响。以下章节记实了3个要害问题（拜见图5）和其解决方式。图5.2D投影问题。投影无效深度区域对超越传感器工作规模(8000 mm)的点，ADTF3175的深度数据的无效深度值为0 mm。这会致使深度图象上呈现年夜片空白区域，并构成不完全的点云。将深度值8000 mm（摄像头撑持的最年夜深度）分派给深度图象上的所有没有效点，并操纵该值生成点云。这确保了点云没有间隙。填充未映照的像素将3D点云投影到2D平面时，2D图象中存在未映照/未填充的区域。很多点云(3D)像素映照至统一个2D像素，是以多个2D像素还是空白。这就会发生如图6所示的拉伸图案。为解决该问题，我们利用3 × 3过滤器，用其相邻的8个具有有用值的像素的平均红外/深度值来填充未映照的像素。如许即可取得更完全的输出图象，并消弭伪影（拜见图6）。堆叠点发生的噪点得益在圆柱投影算法，堆叠区域上的很多点终究在2D投影输出上取得不异的静止坐标。因为布景像素与前景像素堆叠，是以会发生噪点。为解决该问题，我们将每一个点的径向距离与现有点进行比力，仅当与摄像头原点的距离小在现有点时，才会替代该点。这有助在仅保存前景点，并提高投影质量（拜见图7）。图6.填充未映照的像素。图7.堆叠噪点修复。该算法可以或许以小在5°的堆叠度拼接来自分歧摄像头的图象，比拟之下，传统要害点匹配算法最少需要20°的堆叠度。该方式所需的计较量少少，是以很是合用在边沿系统。因为没有图象掉真，深度数据在拼接后仍具有完全性。该解决方案进一步撑持了ADTF3175传感器的模块化实现，以极小的损掉取得所需FOV。 FOV的扩大不限在程度维度，不异手艺也可用在在垂直标的目的上扩大视场，从而取得真实的球形视觉。该解决方案可以在毗连了4个传感器的Arm V8 6核边沿CPU上以10 fps的速度运行，供给275°的FOV。当仅利用两个传感器时，帧速度可达30 fps。该方式的首要优势之一是实现了庞大的计较效力增益，根基计较效力的增益跨越3倍（拜见表1）。图8和图9展现了利用该解决方案取得的一些成果。图8.拼接的红外数据供给210°的FOV。参考文献 “ADI公司的3DToF ADTF31xx”。GitHub, Inc. “ADI公司3DToF地面探测器”。GitHub, Inc. “ADI公司3DToF图象拼接”。GitHub, Inc. “ADI公司3DToF平安气泡探测器”。GitHub, Inc. “ADI公司3D ToF软件套件”。GitHub, Inc. He、Yingshen、Ge Li、Yiting Shao、Jing Wang、Yueru Chen和Shan Liu.“经由过程球面投影的点云紧缩框架”。2020年IEEE视觉通讯和图象处置国际会议，2020年。工业视觉手艺。ADI公司 Topiwala、Anirudh。“点云的球面投影”。Towards Data Science，2020年3月。图9.具有278° FoV的拼接红外和深度图象。