试验显现，DUSt3R在单目/多视图深度估量以及相对位姿估量三个使命上，均获得SOTA。

  作者团队（来自芬兰阿尔托大学+NAVER LABS人工智能研讨所欧洲分所）的“宣语”也是气势满满：

  关于多视图立体重建（MVS）使命来说，第一步便是估量相机参数，包含表里参。

  这个操作很单调也很费事，但关于后续在三维空间中进行三角丈量的像素不可或缺，而这又是简直一切功能比较好的MVS算法不能脱离的一环。

  它不需求任何相机校准或角度姿势的先验信息，就可完结恣意图画的密布或无约束3D重建。

  在供给超越两张输入图画的情况下，经过一种简略而有用的大局对准战略，将一切成对的点图表明为一个一起的参阅结构。

  如下图所示，给定一组具有不知道相机姿势和内涵特征的相片，DUSt3R输出对应的一组点图，从中咱们就可以直接康复各种一般难以一起估量的几许量，如相机参数、像素对应联系、深度图，以及完全一致的3D重建作用。

  详细网络架构方面，DUSt3R根据的是规范Transformer编码器和解码器，受到了CroCo（经过跨视图完结3D视觉使命的自我监督预练习的一个研讨）的启示，并选用简略的回归丢失练习完结。

  如下图所示，场景的两个视图（I1，I2）首先用同享的ViT编码器以连体（Siamese）办法来进行编码。

  所得到的token表明（F1和F2）随后被传递到两个Transformer解码器，后者经过穿插注意力不断地交流信息。

  试验首先在7Scenes（7个室内场景）和Cambridge Landmarks（8个室外场景）数据集上评价DUSt3R在肯定姿势估量使命上功能，目标是平移差错和旋转差错（值越小越好）。

  作者表明，与现有其他特征匹配和端到端办法比较，DUSt3R体现算可圈可点了。

  由于它一从未接受过任何视觉定位练习，二是在练习过程中，也没有遇到过查询图画和数据库图画。

  其次，是在10个随机帧上进行的多视图姿势回归使命。成果DUSt3R在两个数据集上都获得了最佳作用。

  而单目深度估量使命上，DUSt3R也能很好地hold室内和室外场景，功能优于自监督基线，并与最先进的监督基线平起平坐。

  以下是两组官方给出的3D重建作用，再给大伙感受一下，都是仅输入两张图画：

  有网友给了DUSt3R两张没有一点堆叠内容的图画，成果它也在几秒内输出了精确的3D视图：

  对此，有网上的朋友表明，这在某种程度上预示着该办法不是在那进行“客观丈量”，而是体现得更像一个AI。

  除此之外，还有人猎奇当输入图画是两个不同的相机拍的时，办法是否依然有用？