百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Apple团队:轻量级、通用且移动友好的网络框架(附论文下载)

bigegpt 2025-05-08 16:53 29 浏览

关注并星标

从此不迷路

计算机视觉研究院


公众号ID|ComputerVisionGzq

论文地址:https://arxiv.org/pdf/2110.02178.pdf

计算机视觉研究院专栏

作者:Edison_G

轻量级卷积神经网络 (CNN) 是移动视觉任务的事实。他们的空间归纳偏差使他们能够在不同的视觉任务中以较少的参数学习表示。


一、前言


轻量级卷积神经网络 (CNN) 是移动视觉任务的事实。他们的空间归纳偏差使他们能够在不同的视觉任务中以较少的参数学习表示。然而,这些网络在空间上是局部的。为了学习全局表示,已经采用了基于自我注意的视觉变换器 (ViTs)。与CNN不同,ViTs是重量级的。


二、背景


基于self-attention的模型,尤其是视觉变换器(ViTs;下图a),是卷积神经网络的替代方法,可用于学习视觉表示。简而言之,ViTs将图像划分为一系列不重叠的补丁,然后使用Transformer中的multi-headed自注意力学习interpatch表示。总体趋势是增加ViTs网络中的参数数量以提高性能。然而,这些性能改进是以模型大小(网络参数)和延迟为代价的。许多现实世界的应用程序(例如,增强现实和自动轮椅)需要视觉识别任务(例如,目标检测和语义分割)才能及时在资源受限的移动设备上运行。为了有效,此类任务的ViT模型应该是轻量级和快速的。即使缩小ViT模型的模型大小以匹配移动设备的资源限制,其性能也明显比轻量级CNN差。例如,对于大约5-6百万的参数预算,DeIT的准确度比MobileNetv3低3%。因此,设计轻量级的ViTs模型势在必行。

轻量级CNN为许多移动视觉任务提供了动力。然而,基于ViT的网络还远未在此类设备上使用。与易于优化和与特定任务网络集成的轻量级CNN不同,ViT是重量级的(例如,ViT-B/16 vs. MobileNetv3:86 vs. 750 万个参数),更难优化,需要大量的数据增强和L2正则化以防止过拟合,并且需要昂贵的解码器来执行下游任务,尤其是密集预测任务。例如,基于ViT的分割网络学习了大约3.45亿个参数,并获得了与基于CNN的网络DeepLabv3相似的性能,有5900万个参数。在基于ViT的模型中需要更多参数可能是因为它们缺乏特定于图像的归纳偏差,这是CNN固有的 。为了构建稳健且高性能的ViT模型,结合卷积和变换器的混合方法引起了人们的兴趣。然而,这些混合模型仍然是重量级的,并且对数据增强很敏感。例如,去除CutMix和DeIT-style数据增强会导致ImageNet准确率显着下降(78.1% 到 72.4%)(2021)。


三、概要


在今天分享中,研究者提出以下问题:是否可以结合两者的优势?CNN和ViT为移动视觉任务构建轻量级低延迟网络?

为此,研究者推出了MobileViT,这是一种用于移动设备的轻量级通用视觉转换器。MobileViT为使用转换器(即,转换器作为卷积)对信息的全局处理提出了不同的观点。新框架的结果表明,MobileViT在不同的任务和数据集上明显优于基于CNN和ViT的网络。在ImageNet-1k数据集上,MobileViT在大约600万个参数下达到了78.4%的top-1准确率,比MobileNetv3(基于CNN)和DeIT(基于ViT)准确率高3.2%和6.2%。在MS-COCO目标检测任务上,对于相似数量的参数,MobileViT的准确度比MobileNetv3高5.7%


四、新框架


MobileViT

与ViT及其变体(有和没有卷积)不同,MobileViT提供了一个不同的视角来学习全局表示。标准卷积涉及三个操作:展开、局部处理和折叠。MobileViT块使用转换器将卷积中的局部处理替换为全局处理。这允许MobileViT块具有类似CNN和ViT的属性,这有助于它以更少的参数和简单的训练配方(例如,基本增强)学习更好的表示

据我们所知,这是第一项表明轻量级ViT可以通过跨不同移动视觉任务的简单训练配方实现轻量级CNN级性能的工作。对于大约5-600万的参数预算,MobileViT在 ImageNet-1k数据集上实现了78.4%的 top-1 准确率,比MobileNetv3准确率高3.2%。当MobileViT用作高度优化的移动视觉任务特定架构中的功能主干时,我们还观察到性能的显着提升。将MNASNet替换为MobileViT作为SSDLite中的特征主干,产生了更好(+1.8% mAP)和更小(1.8×)的检测网络。具体如下图:

MobileViT显示出与CNN类似的泛化能力。MobileNetv2和ResNet-50的最终训练和验证错误分别用☆和O标记。

每个像素都能看到MobileViT块中的每个其他像素。在这个例子中,红色像素使用 transformers处理蓝色像素(其他补丁中相应位置的像素)。因为蓝色像素已经使用卷积对相邻像素的信息进行了编码,所以这允许红色像素对来自图像中所有像素的信息进行编码。这里,黑色和灰色网格中的每个单元格分别代表一个补丁和一个像素。

Multi-scale vs. standard sampler.


五、实验


ImageNet-1k验证集上MobileViT和CNN的比较。所有模型都使用基本增强。

在这里,Basic意味着ResNet风格的增强,而Advanced意味着是增强方法的组合,如MixUp、RandAugmentation和CutMix。


Inference time of MobileViT models on different tasks.


(c) THE END

转载请联系本公众号获得授权


计算机视觉研究院学习群等你加入!


计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

计算机视觉研究院

公众号IDComputerVisionGzq


相关推荐

Redis集群对比:主从复制、哨兵模式、Cluster一文看懂所有优缺点

在分布式系统中,Redis作为高性能的内存数据库,其集群方案的选择直接影响到系统的稳定性、可用性和扩展性。本文将全面对比Redis的三种主流集群方案:主从复制、哨兵模式和Cluster模式,帮助开发者...

redis的主从复制,读写分离,主从切换

当数据量变得庞大的时候,读写分离还是很有必要的。同时避免一个redis服务宕机,导致应用宕机的情况,我们启用sentinel(哨兵)服务,实现主从切换的功能。redis提供了一个master,多个sl...

# Redis 入门到精通(九)-- 主从复制(3)

#Redis入门到精通(九)--主从复制(3)##一、redis主从复制-常见问题(1)###1、伴随着redis系统的运行,master的数据量会越来越大,一旦master重启...

redis - 主从复制(Redis主从复制时序图)

1引言在上一篇文章中,我们了解了Redis两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AO...

# Redis 入门到精通(九)-- 主从复制(2)

#Redis入门到精通(九)--主从复制(2)##一、redis主从复制--数据同步阶段注意事项###1、数据同步阶段master说明1)如果master数据量巨大,数据同步阶段应...

Redis主从复制(redis主从复制主节点挂了)

介绍Redis有两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AOF文件恢复内存中的数据。不过...

深入解析 Redis 集群的主从复制实现方式

在互联网大厂的后端开发领域,Redis作为一款高性能的内存数据库,被广泛应用于缓存、消息队列等场景。而Redis集群中的主从复制机制,更是保障数据安全、实现读写分离以及提升系统性能的关键所在。今...

Redis主从架构详解(redis主从架构高可用如何实现)

Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...

抖音“四大包塘战神”:承包了全网的快乐

在抖音钓鱼垂类领域,"包塘战神"军团正掀起一场黑色幽默风暴。空军华、大表坑、李赔光、透心良四位创作者,以承包鱼塘为舞台,用连续翻车的钓鱼直播构筑起流量奇观。当钓鱼佬在抖音集体转型喜剧人...

ORACLE 11G RAC 安装-通过VM配置共享磁盘

简介:在自己的电脑上通过VM软件搭建Oracle11GRAC,通过修改VM的参数文件来实现磁盘共享!目标:搭建RAC环境实现:使用VMwareWorkstation8.0.0+ORACLE...

Linux操作系统安全配置(linux系统安全配置包括)

一、服务相关命令systemctlenable服务名#开机自启动systemctldisable服务名#禁用开机自启动systemctlstop服务名#停止服务systemctls...

关于Linux性能调优中网络I/O的一些笔记

写在前面和小伙伴分享一些Linux网络优化的笔记,内容很浅,可以用作入门博文内容结合《Linux性能优化》读书笔记整理涉及内容包括常用的优化工具(mii-tool,ethtool,ifconfig,i...

从 Sonatype Nexus Repository Manager 迁移到 Artifactory

1.Nexus1.1下载下载链接:https://help.sonatype.com/repomanager3/product-information/download/download-archiv...

Ubuntu20安装zabbix5.0企业监控系统亲测教程

前言示例主机:zabbix10.0.100.10,将安装在UbuntuServer上教程说明:因使用官方教程无法安装成功,所以本教程与官方教程有所不同安装前提:已安装UbuntuServer2...

Linux内核设计与实现—进程管理(linux内核程序设计)

进程进程就是处于执行期的程序(目标码存放在某种存储介质上)。进并不仅仅局限于一段可执行程序代码(Unix称其为代码段,textsection)。通常进程还要包含其他资源,像打开的文件,挂起的信号,...