百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

谷歌发布超强马赛克清除技术,靠AI的“脑补”来还原图像

bigegpt 2024-08-12 14:18 2 浏览

有时候出于隐私等方面的考虑,我们需要给图片和影像打上马赛克,有时候我们又会嫌马赛克碍事,打马赛克和反马赛克仿佛一场无止境的较量。微软在1月底推出了一项自动视频打码技术,用户只需要选择视频中的一个人物,AI就能自动识别、追踪视频中这个人物所有露脸的地方并进行模糊处理。而近日Google Brain(谷歌大脑)团队又发布了一个名为超强像素递归方案(Pixel Recursive Super Resolution)的AI系统,能提高像素乱化处理后的照片的分辨率。通俗地讲,就是能去除马赛克。

有兴趣的读者可以试试用谷歌的这个AI去清除微软的AI打出来的马赛克,不过在进行这个“以子之矛,攻彼之盾”的游戏前,不妨先看看谷歌的这个解码AI到底“超强”在哪里。

谷歌上载在预印本网站arXiv上的论文详细介绍了这个算法的原理和效果。在下图中,右列是名人照片未经模糊化的原图,左列是被打码后的照片,分辨率仅有8x8像素。而中间是谷歌的AI解码处理后的效果,分辨率达到32x32像素,提升了16倍。

左起:马赛克版、谷歌AI还原版、原图

通常情况下,马赛克是难以清除的。这是因为在打码过程中,原图的信息会经历不可逆的损失。根据奈奎斯特采样定理,如果这个采样频率比原始数据的频率的 2 倍还要低,那么必然产生不可逆的数据损失。

以往最常见的马赛克去除方法是插值。我们可以把每一个像素想象成一个特定颜色的小格子,这些特定的颜色可以用特定的数值代表。一张图片就是由无数这样的小格子组成的。而最常见的马赛克手段,就是把那个区域的数字都取周围数字的平均数。

而所谓的插值,就是把这块被取并均值的区域再进行放大,比如放大200%的话,原来被打码区域里的一个小格子就会被2x2四个格子取代,剩下的任务就是再重新填充这4个格子的颜色。我们可以通过取周围若干个格子颜色的加权平均值来填充每个格子,取的周围格子数越多,还原效果也就越好。当然,这种解码手段最后呈现的效果并不能令人满意。

2016年,得克萨斯大学的一个团队推出了一个名为Torch的反马赛克,不过Torch的原理是识别而非复原。也就是说,Torch可以匹配出被打马赛克图片相符或者相似的原图。

谷歌大脑的这个算法思路与Torch一脉相承,只是技术上更进一步。开发者们通过深度学习让机器产生“联想”,以“猜测”的方式为被马赛克的色块增加细节,提升像素倍数,从而得出更清晰的画面。比起“还原”,还不如说这是AI靠强大的学习和计算能力“脑补”出了原图。

这种“脑补”基于两项核心工具。第一项工具调节网络(conditioning network),是一个CNN(卷积神经网络),通过向系统展示海量人物面部照片来进行训练,让系统记忆学习到具有代表性的面部特征。另一项工具优先网络(prior network)是一个PixelCNN,让系统基于之前的训练,猜测哪些细节可以作为高分辨率照片的特征,并根据概率优先原则,从所有可能的原图中找到最有可能匹配的细节,对高分辨率照片进行填充。

训练机器还原卧室照片所用的样本示例

目前,该系统“还原”出的人脸照片的混淆率是10%。在“还原”场景图片方面,该系统的表现可能会更好一些,其混淆率可以达到28%。50%的混淆率意味着完全复原,可以以假乱真。

“还原”人脸混淆率为10%,“还原”场景混淆率为28%。

从应用角度来看,该系统最大的突破在于能够让8x8像素的模糊图片变得清晰一些,尽管离通过识别面部验证人员身份还有一段距离,但对于通过“还原“分辨图片中对象的位置、确定事物大概面貌以及确认某人是否在现场来说已经足够了,这将为犯罪刑侦带来更大的帮助。

而Google近水楼台先得月,可能会将该技术率先应用在自家SNS社交网站“Google+”的图片上传上,即在用户上传照片时将其低像素压缩,识别出图片中的关键信息,然后再启动这项AI技术,将图片提高分辨率进行“还原”。这种方式可以帮助用户节省流量。

相关推荐

数据中台与业务中台总体技术架构设计方案

《数据中台与业务中台总体技术架构设计方案》提出**“开放、稳定、滋养”三原则**,强调通过统一技术架构与框架破除烟囱式系统,构建**“业务中台+数据中台”闭环体系**。方案主张从单体架...

三分钟摸清楚什么叫前后端分离(什么是前后端分离架构?)

什么叫前后端分离?其实,前后端分离的初衷是为了分离前后端开发人员的职责,解决开发模式的问题。说到底,前后端分离就是将前端视图和后端数据进行分离,这样,后端只需要提供接口(后端数据)给前端,而前端也可以...

刚刚,给学妹普及了登录的两大绝学

今天跟大家聊一个比较基础的话题,就是实现登录的方式有哪些?适合刚入行的朋友。华山之Session绝学Session我们称之为会话控制,是一种在服务器端保持会话状态的解决方案。通俗点来讲就是客户...

6种微服务RPC框架,你知道几个?(grpc是微服务框架吗)

开源RPC框架有哪些呢?一类是跟某种特定语言平台绑定的,另一类是与语言无关即跨语言平台的。跟语言平台绑定的开源RPC框架主要有下面几种。Dubbo:国内最早开源的RPC框架,由阿里巴巴公司...

微服务中,Spring Cloud 有哪些注册中心?

SpringCloud是微服务架构中经常使用的一个框架,它提供了一系列工具来帮助开发者构建和管理分布式系统,而服务注册中心又是微服务架构中一个关键组件。那么,SpringCloud支持哪些注册...

Eureka的自我保护机制(eureka自我保护机制原理)

最近遇到一个问题,服务之间调用报错,显示无法路由到指定服务,但是对应的服务是启动的,查询eureka,结果eureka上显示如下,所有实例均消失,我个人对注册中心并没有什么研究,进行正好借此机会简单总...

eureka、zookepeer、nacos的区别(eureka和nacos哪个更好)

前言随着微服务被各大企业应用在项目中,微服务的框架也被更多人学习和使用,但是大部分情况下都是停留在应用层。一、演变过程1.1服务注册和发现基本概念服务注册:将某个或者某些服务的信息(模块的ip和...

40K+Star!Mall电商实战项目开源,附源码、教程合集

最近看了下我的Github,发现mall项目已经突破40K+Star,有点小激动!记得去年8月的时候mall项目刚过20K+Star,时隔1年多已经增长到了40K+Star。今天跟大家聊聊mall项目...

SpringCloud 常见注册中心的比较(springcloud注册过程)

一、概述springcloud是一个非常优秀的微服务框架,要管理众多的服务,就需要对这些服务进行治理,也就是我们说的服务治理,服务治理的作用就是在传统的rpc远程调用框架中,管理每个服务与每个服务之间...

简单介绍Nacos服务注册中心(nacos注册中心有什么用)

Nacos是阿里开源的一个新框架,在分布式的架构中,Nacos同时扮演着服务注册中心和配置中心的角色。今天主要讲的是Nacos作为服务注册中心。分布式中著名的CAP理论,任何一种服务注册中心都只能实现...

入门注册中心——consul(注册中心怎么注册)

基础概念什么是注册中心随着微服务理论发展的成熟,越来越多互联网公司采用微服务架构来支持业务发展。各个微服务之间都需要通过注册中心来实现自动化的注册和发现。注册中心主要有三种角色:服务提供者(RPCS...

08 Eureka的基础知识(eureka replication)

Eureka是Netflix开发的服务发现框架,SpringCloud将它集成在自己的子项目spring-cloud-netflix中,实现SpringCloud的服务发现功能。上图简要描述了Eur...

微服务架构中的服务注册与发现有哪些?Zookeeper、Eu

“大家好,我是码哥,《Redis高手心法》作者,本章节选自《Java面试高手心法58讲》专栏。随着单体应用的拆分,我们面临的首要问题就是采用哪种方式实现服务间的调用,像之前单体应用可能直接在配...

Eureka 都挂了,微服务还能调通吗?

如果你做过微服务开发,这个面试题应该能够立马答出来,如果你没做过微服务开发,但是学过一些SpringCloud组件的用法,这个问题可能要稍微想一下,但是也应该能够答出来。今天就来和大家说说这个问...

ZooKeeper、Eureka、Consul 、Nacos微服务注册中心对比

注册中心前言服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务,原则上都应存在或者支持多个提供者,这是由微服务的分布式属性决定的。更进一步,为了支持弹性扩缩容特性,一个微服务的提供...