您现在的位置是:热点 >>正文
谷歌大脑最新操作玩“复古”:不用卷积注意力,图像分类接近SOTA
热点771800人已围观
简介...
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转谷歌载请联系出处。
谷歌大脑的视觉Transformer团队(ViT大脑),搞了个复古操作。
他们不用卷积神经网络(CNN)、也不用Trans最新former,仅凭最早的AI视觉任务采用的多层感知机(MLP)操作结构,就实现了接近SOTA的性能,更是在ImageNet图像分类任玩“务上取得了87.94%的准确率。
这个架构名为MLP-Mixer复古,采用两种不同类型的MLP层,可以看做是一个特殊的CNN,使用 1×1卷积”:进行通道混合(按位操作),同时全感受野和参数共享的的单通道深度卷积进行不用字符混合(跨位操作)。
在JFT-300M数据集上预训练、微调到224卷积分辨率的Mixer-H/14版本取得了86.32%的准确率,比S注意OTA模型ViT-H/14仅低0.3%,但运行速度是其2.2倍。
论力,文地址:
https://arxiv.org/abs/2105.0图像1601
项目地址:
https://github.com/goog分类le-research/vision_transformer/tr接近ee/linen
Tags:
相关文章
标签: 58集团 李子健 姚劲波 安居客
热点云梦级6月15日云梦级消息,据大厂日爆云梦级消息,58集团国内业务总裁李子健近日已离职,目前集团内网已无法检索到其个人相关信息。 据悉,随着此次人事变动,58内部组织架构也随之调整。原本向李子健汇报的...
【热点】
阅读更多云计算核心技术Docker教程:将Docker容器映像推送到Docker Hub
热点要将映像推送到Docker Hub,您必须首先使用Docker Hub用户名和通过Web上的Docker Hub创建的存储库名称来命名本地映像。 您可以通过向存储库添加特定的图像来添加多个图像:(例如...
【热点】
阅读更多OpenAI 在美国新建五个数据中心,推动 Stargate 项目快速发展
热点OpenAI 宣布将在美国新建五个数据中心,这些数据中心将分布在德克萨斯州、新墨西哥州、俄亥俄州及中西部的某个地区。这一扩建将使 Stargate 项目的总计算能力接近7吉瓦(GW)。Stargate...
【热点】
阅读更多