磐创AI分享
来源
机器之心
参与
魔王、小舟、杜伟
将自然语言处理领域主流模型Transformer应用在视觉领域似乎正在成为趋势。最近，Facebook研究人员提出一项新技术——数据高效图像Transformer(DeiT)，该方法所需的数据量和计算资源更少，且能产生高性能的图像分类模型。Transformer是自然语言处理领域的主流方法，在多项任务中实现了SOTA结果。近期越来越多的研究开始把Transformer引入计算机视觉领域，例如OpenAI的iGPT、Facebook提出的DETR等。最近，Facebook提出了一项新技术Data-efficientimageTransformers（DeiT），需要更少的数据和更少的计算资源就能生成高性能的图像分类模型。研究人员仅用一台8-GPU的服务器对DeiT模型进行3天训练，该方法就在ImageNet基准测试中达到了84.2%的top-1准确率，并且训练阶段未使用任何外部数据，该结果可以与顶尖的卷积神经网络（CNN）媲美。该研究提出的方法（DeiT和带蒸馏的DeiT）与以前的视觉Transformer模型以及SOTACNN的性能曲线对比，这些模型均在ImageNet上训练而成。该研究表明仅使用常规的学术数据集就能训练Transformer，使之高效处理图像分类任务。研究者希望借此推动计算机视觉领域发展，将Transformer扩展到新的用例上，并让无法使用大规模系统来训练大型AI模型的研究者和工程师能够利用该研究。DeiT方法由FacebookAI与索邦大学的MatthieuCord教授合作开发，目前代码已开源。论文
