大规模3D数据集ScanNet：让机器人理解真实世界

yejia80550708

转载：雷锋网 白及

Angela  Dai 是斯坦福大学的一名博士生，在 CVPR 上有一个 Spotlight talk，主要介绍 ScanNet，一个拥有标注过 3D 室内场景重构信息的大规模 RGB-D 数据集。

她最初的想法是，推动数据匮乏的机器学习算法的发展，特别是在 3D 数据上。3D 数据包含更多信息，比如比如大小和物体之间的距离。但 3D 数据更难获取，为其添加标注也更难，现在 3D 数据并不多。

Angela希望用 ScanNet 建立一个可扩展数据采集框架。他们首先需要收集 3D 重建数据，然后用有效的方式对数据进行标注，以便收集更多数据。目前团队已经收集约 1500 个 RGB-D 的视频序列，通过 iPad 应用加深度传感器而收集的。然后视频会被上传到服务器，并被自动重建。然后，视频会被给到亚马逊 Mechanical Turk，将标注工作众包出去。

数据标注是在一个给定的 3D 场景中，绘制出物体，例如，绘制一个椅子、桌子或者计算机，从而了解什么是什么，以及所在位置。每个图像通常需要 5 个人来标注。所得数据可以在做物体分类这样的训练任务时，作为标准参考。

ScanNet 数据集可以帮助直接在 3D 数据上训练算法。例如，如果有一个机器人在房间移动，它需要识别房间里有什么对象，而且不仅需要识别远处有一个物体，还要确定这个物体是什么。

Angela 和团队还在现实数据上做了几个场景理解的基准测试。因为现在已有的大型 3D 数据集都是合成的，这与现实世界收集的 3D 数据有很大不同。

通常情况下，如果你通过合成数据库来训练算法，当算法用于真实数据时效果不会太好，因为计算机并没有学习到现实世界的数据特征。现实中有很多噪音，很难观察到一个对象的全部特征。基准测试表明，计算机在真实数据中的训练效果，比在合成数据中的训练效果要好得多。真实数据以后会有更大的需求。

Angela 以前一直在研究 3D 重建，开发实时的 3D 重建系统，但她后来发现很难运用于实践中，因为缺少对于场景的语义理解。在一个场景中，人们会希望知道物体在哪个位置，到底是什么物体，这样还可以有虚拟助手或聊天机器人一样的东西，帮助做场景的交互。这也是她开发新的数据集的原因。

另外，除了众包标注任务，他们也希望能众包场景重建任务。除此之外，在语义理解方面还要做很多工作。但他们现在的任务是，解决物体识别。3D 场景数据未来还会有更多有趣的应用。

Angela 还很感兴趣于将真实世界的数据与合成的 CAD 模型相结合，相关联起来。这么做的一个好处是，合成数据比较容易获得而且易于操作，如果合成数据与真实数据建立了联系，那就可以让在模型上训练的系统，更容易迁移到真实数据上。

当然，更重要的任务是给 3D 数据赋予语义解释，这有利于使机器人更好地理解世界。