ScanRefer:使用自然语言的RGB-D扫描中的3D对象本地化
介绍
我们介绍了使用自然语言描述在RGB-D扫描中进行3D对象本地化的新任务。 作为输入,我们假设扫描的3D场景的点云以及对指定目标对象的自由形式描述。 为了解决此任务,我们提出了ScanRefer,其核心思想是从3D对象建议和编码的句子嵌入中学习融合的描述符。 然后,该学习到的描述符将语言表达与3D扫描的基本几何特征相关联,并促进目标对象的3D边界框的回归。 为了训练和基准化我们的方法,我们引入了一个新的ScanRefer数据