从立体图像估计透明物体3D姿态

对于这个难题的一个解决方案, 例如ClearGrasp提出的方案, 就是使用深度神经网络去修复受损的透明物体的深度图。给定透明物体的RGB-D图像, ClearGrasp使用深度神经网络推测物体表面法线、透明表面的掩模和遮挡边界，用于优化场景中所有透明曲面的初始深度估计（上图中最右侧）.这种方法非常有前景的, 并且允许利用依赖于深度的姿势估计的方法处理透明物体的场景.但是修复可能很难办, 特别是完全使用合成的图像进行训练时,可能会导致深度的错误。

在于斯坦福AI实验室联合发表在CVPR2020上的文章, " 在与KeyPose:从立体图者估计透明物体的三维姿态" 中, 我们介绍了一个ML系统,直接预测三维关键点来评估透明物体的深度。 为了训练这个系统,我们自用自动的方式采集了一个搭的真实世界透明物体数据集,并且利用手工选定的三维关键点高效的标注他们的姿势.然后我们训练深度模型（称为KeyPose）来从单目或立体图像中端到端地估计3D关键点，而不需要显式地计算深度. 在训练过程中，模型可以处理可见和不可见的对象，包括单个对象和对象类别。虽然KeyPose可以处理单目图像，但立体图像提供的额外信息使其能够在单目图像输入的基础上将结果提高两倍, 根据对象的不同，典型误差从5毫米到10毫米不等。它在这些物体的姿态估计方面比最先进的方法有了实质性的改进，即使竞争性的方法提供了真实深度。我们正在发布keypoint标记的透明对象的数据集，供研究团体使用。

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!