当Swin Transformer遇上DCN，清华可变形注意力Transformer三维优于多数ViT

该科学研究在 3 个上图列于集上来进行了实验者，以测试明确指出的 DAT 的确实。该科学研究展示了在 ImageNet-1K [10] 分类法、COCO 最大限度测定和 ADE20K 语义分立侦查上的结果。此外，该科学研究提供了流出科学研究和GIS结果，以进一步展示该工具的确实。

ImageNet-1K 分类法

ImageNet-1K [10] 上图列于集有 128 万张用于操练的上缩放和 5 万张用于测试的上缩放。科学研究者在操练分立上操练 DAT 的三个变体，并报告测试分立上的 Top-1 弹道，并与其他 Vision Transformer 数学模型来进行相当。

该科学研究在下列于 2 之前近似值出来了有 300 个操练 epoch 的结果。与其他 SOTA 美感 Transformer 数学模型相比， DAT 在很强类似于近似值复杂性的只能在 Top-1 精度上借助于了显著大幅提高。DAT 在所有三个时间尺度上都优于 Swin Transformer [26]、PVT [36]、DPT [7] 和 DeiT [33]。没有在 Transformer 块 [13, 14, 35] 之前插入时域，或在补丁填充 [6, 11, 45] 之前应用于分开时域，DAT 比 Swin Transformer [26] 借助于了 +0.7、+0.7 和 +0.5 的增益。在 384 × 384 分辨率下来进行见下文时，该数学模型之后比 Swin Transformer 精度好 0.3。

COCO 最大限度测定

COCO 最大限度测定和最简单分立上图列于集有 118K 的操练上缩放和 5K 的测试上缩放。该科学研究应用于 DAT 作为 RetinaNet [24]、Mask R-CNN [17] 和 Cascade Mask R-CNN [2] 基础之前的之前轴，以评估该工具的确实。该科学研究在 ImageNet-1K 上图列于集上对该数学模型来进行 300 个 epoch 的预操练，并遵循 Swin Transformer [26] 之前类似的操练方针来平等地相当该工具。该科学研究在 1x 和 3x 操练开发计划之前报告在 RetinaNet 数学模型上的 DAT。如下列于 3 下上图，在微型和小型数学模型之前，DAT 的精度优于 Swin Transformer 1.1 和 1.2 mAP。

当在两先决条件测定器（例如 Mask R-CNN、Cascade Mask R-CNN）之前借助于时，DAT 数学模型在有所不同材质的 Swin Transformer 数学模型上借助于了一致的优化，如下列于 4 下上图。

下列于 5 近似值出来了在测试集上各种工具的 mIoU 分数。

流出实验者

为了测试 DAT 数学模型之前关键组件其设计的确实， 该科学研究来进行了流出实验者，报告了基于 DAT-T 的 ImageNet-1K 分类法结果。对于几何个人信息联合开发，该科学研究首先评估了所提可碎裂偏移和可碎裂相对左边填充的确实，如下列于 6 下上图。

对于有所不同先决条件的可碎裂精力，该科学研究用有所不同先决条件的可碎裂精力代替了 Swin Transfomer [26] 的重复窗口精力。如下列于 7 下上图，仅代替最后先决条件的精力大幅提高了 0.1，代替最后两个先决条件导致精度增益为 0.7（达到 82.0 的整体弹道）。然而，在早期先决条件用格外多可碎裂精力代替才会略微减缓可靠性。

GIS

该科学研究在 DAT 之前GIS努力学习碎裂左边的示例，以测试该工具的确实。如下上图 4 下上图，量化点描摹在单纯测定侧边和最简单分立掩码的顶部，理应可以看着这些点已转移到最大限度单纯。