克日,,,,,我院特种机械人中心庞旭芳博士团队在盘算机视觉顶级聚会 Conference on Computer Vision and Pattern Recognition(CVPR)上揭晓了研究效果 Upright-Net: Learning Upright Orientation for 3D Point Cloud(UprightNet:学习预计三维点云模子的正立偏向)。。。。。。。
该研究提出一种基于深度学习的点云正朝向预盘算法,,,,,称为Upright-Net。。。。。。。将一连的点云正朝向预计问题转化为离散的点云基面支解问题,,,,,不但保存正朝向预计解空间的一连性,,,,,同时也降低了该类问题模子训练的难度,,,,,提高了模子的泛化和迁徙能力。。。。。。。
论文信息:Xufang PANG*, Feng Li*, Ning Ding^, and Xiaoping Zhong^, “Upright-Net: Learning upright orientation for 3d point cloud,” CVPR, 2022.(*:一作,,,,,^:通讯作者)
论文及数据地点:/en/article/798
Demo视频: https://www.bilibili.com/video/BV1yU4y1X79C/
研究配景
在盘算机图形学与视觉领域,,,,,将物体配准到正立偏向关于三维模子处置惩罚至关主要,,,,,通过模子正立配准有利于模子匹配,,,,,模子检索,,,,,模子库缩略图体现以及机械人物体安排妄想等应用。。。。。。。随着深度学习的生长,,,,,神经网络在许多点云模子处置惩罚使命中都有逾越古板算法的体现,,,,,然而现在大大都网络都是在规范姿态下的配准数据集,,,,,或者加入希罕旋转角度的数据集上举行评价。。。。。。。而剖析处置惩罚非配准数据最大的挑战是找到物体具有旋转平移稳固性的几何特征从而降低模子训练难度,,,,,提高模子的泛化能力。。。。。。。该问题成为几何深度学习研究中的重点之一,,,,,如经典网络PointNet通过添加T-Net,,,,,ITN(Iterative?Transformer?Network)通过迭代方法,,,,,来实现几何特征及学习特征空间的配准,,,,,然而该类要领由于其缺乏对旋转平移特征的强监视,,,,,并不可较显着的改善模子体现。。。。。。。
恢复物体正朝向是一个果真的有挑战性的问题,,,,,主要缘故原由有以下两点,,,,,首先物体的正朝向界说需要综合思量物理定律,,,,,几何属性,,,,,语义偏向性,,,,,功效偏向性,,,,,设计语言等等。。。。。。。以是很难定制通用的规则来实现恣意物体的正朝向界说。。。。。。。第二,,,,,正朝向预计实质来说是一个具有一连性的旋转问题,,,,,然而由于差别物体种别之间几何体现保存重大的差别性,,,,,其简单模子训练难度大,,,,,其解的收敛性很是懦弱。。。。。。。
研究内容
基于“形式听从功效”的设计原则,,,,,现实生涯中的大大都物体都具有支持底面,,,,,以对抗重力、维持平衡。。。。。。。为此,,,,,本文提出一种基于深度学习的点云正朝向识别算法,,,,,称为Upright-Net。。。。。。。该要领将一连的点云正朝向预计问题转化为离散的点云支解问题,,,,,即从输入的3D点云模子中支解出位于物体底面的支持点,,,,,通过迫近拟合支持平面并盘算其法向,,,,,点云模子的正朝向则界说为平面法线朝向物体质心的偏向。。。。。。。
为编码界说物体正朝向的重大规则,,,,,我们使用基于数据驱动的要领并提出UprightNet, 该网络基于边卷积以及注重力机制并在一组特殊设计的损失项约束下,,,,,学习界说三维物体的正朝向模子。。。。。。。该网络模子在正朝向预计使命体现优异并具有优异的泛化能力,,,,,同时该研究设置的正向预计使命可作为前置使命,,,,,通过网络学习提取点云模子的偏向感知特征,,,,,以迁徙学习的方法提高下游点云分类支解等使命的模子体现。。。。。。。
研究亮点
该研究提出一种基于深度学习的点云正朝向预盘算法,,,,,称为 Upright-Net。。。。。。。使用物体通用的功效结构,,,,,自然基面(正立状态下与支持面接触的几何结构),,,,,将一连的点云正朝向预计问题转化为离散的点云支解问题,,,,,这样不但保存正朝向预计解空间的一连性,,,,,同时也降低了该类问题模子训练的难度。。。。。。。同时基于数据驱动的要领,,,,,Upright-Net 不但在正朝向预计问题获得优异体现,,,,,同时因其能够学习到三维点云的偏向感知特征,,,,,因而也能提高下游使命,,,,,如分类支解问题,,,,,在高密度旋转采样扩充数据集上的体现。。。。。。。
作者简介
本文第一作者为 优德官网 助理研究员庞旭芳博士和深圳大学硕士研究生李锋,,,,,通讯作者为 优德官网 副院长叮嘱博士和深圳大学副教授钟小品博士。。。。。。。
庞旭芳,,,,,博士,,,,,任职于优德官网特种机械人中心,,,,,主要研究偏向为盘算机图形学,,,,,盘算设计等,,,,,现在主要致力于高精度三维重修手艺以及基于三维视觉的特种机械人作业指导研究。。。。。。。
李锋,,,,,深圳大学硕士研究生,,,,,主要研究偏向是盘算机视觉。。。。。。。
叮嘱博士,,,,,任优德官网副院长,,,,,特种机械人中心主任,,,,,现在他的研究偏向为仿生特种机械人与盘算机视觉,,,,,他向导的特种机械人中心致力于为都会大型基础设施,,,,,包括桥梁、隧道、输电、地下管网等研制行业特种机械人装备,,,,,在未来替换、辅助人举行装备设施的运维、磨练、退役等全生命周期的治理效劳。。。。。。。
钟小品,,,,,博士,,,,,副教授,,,,,深圳大学机电与控制工程学院院长助理,,,,,研究偏向为工业视觉及智能系统。。。。。。。
聚会先容
CVPR(IEEE Conference on Computer Vision and Pattern Recognition)即 IEEE 国际盘算机视觉与模式识别聚会。。。。。。。该聚会是由 IEEE 举行的盘算机视觉和模式识别领域的顶级聚会。。。。。。。
