百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

AI能实时检测视频流中人脸并打马赛克,视频后期福音!

bigegpt 2024-08-19 12:04 5 浏览

大数据文摘出品

作者:牛婉杨


我们现在经常用到的马赛克其实起源于建筑上的图案装饰,如今马赛克常用于图像或视频的模糊处理。随着技术的进步,打码与去码变成了一种常见的技术研究方向,同时也掀起了一场技术与道德的“战争”。


那么为什么要打马赛克?其实是出于一种隐私保护,例如新闻上出现犯罪嫌疑人的画面时是需要打码的,因为尚未定罪时需要维护嫌疑人的肖像权。


现如今,大部分打马赛克的工作都需要我们手动来打,比如在图像/视频制作软件里添加马赛克。那么这种工作能不能交给AI呢?如果AI可以自动对图像/视频进行实时处理,无疑会帮人类减轻很大的工作量。


答案是可以!Adrian Rosebrock博士在博客中分享了通过OpenCV实现“人脸自动马赛克”这一教程,而这个项目是受到了他的一位博客读者的启发。事实上,这个项目有很大的现实意义。


那么,AI究竟是如何做到自动实时打码的?说到这里,首先需要介绍一下什么是人脸模糊。


什么是人脸模糊?


Adrian Rosebrock博士在博客中详细的分享了技术实现方法,从介绍人脸检测器,人脸模糊的简单步骤,到分别用OpenCV对人脸进行高斯模糊和像素化模糊的详细操作。


Adrian Rosebrock博士的详细教程:

https://www.pyimagesearch.com/2020/04/06/blur-and-anonymize-faces-with-opencv-and-python/


简单来说,实现人脸模糊可以分为以下4步:



第一步:人脸检测


在这一步可以使用任何的人脸检测器,只要它能在图像或视频中生成人脸的边界框坐标就行。


有一些常见的人脸检测工具可以供你参考:

  • Haar cascades
  • HOG + Linear SVM
  • Deep learning-based face detectors


一旦识别到人脸,就可以进入到第二步了。


第二步:图像/视频的ROI提取


脸探测器会给出一个边界框,也就是图像中人脸的坐标(x, y)。


这些坐标通常表示:


  • 人脸边界框的起始坐标x
  • 面部截止的坐标x
  • 人脸位置的起始坐标y
  • 面部截止的坐标y


然后就可以用这些信息来提取人脸ROI(感兴趣区域),如下图所示:


接下来就开始进行人脸模糊啦。


第三步:人脸模糊


说到打码这件事,有两种常用的模糊方式,一个是高斯模糊,一个是像素化模糊。高斯模糊的效果比较“温柔”,但很可能面临着模糊不彻底的问题,而像素化模糊就相当简单粗暴,是我们最常见的马赛克样式。



这两个模糊方式都可以实现人脸自动模糊这个项目,练习时可以凭你的个人喜好选择。


在进行人脸模糊之后,最后一步就是将模糊后的人脸放回原始图像中。


第四步:将模糊后的照片整合到原始图像中


使用来自人脸检测的原始(x, y)坐标(步骤二中提到的),我们可以得到模糊/匿名化的人脸,然后将其存储到原始图像中(如果使用OpenCV和Python,则此步骤使用NumPy数组切片)。


至此,人脸模糊的部分就完成了。


如何在实时视频中通过AI实现人脸自动模糊?


文摘菌在这里简单展示一下如何使用OpenCV识别人脸,然后再将人脸模糊应用到实时视频流中。


首先需要从Adrian Rosebrock博士的这篇博文中获取源代码,然后打开OpenCV人脸检测器,使用以下命令启动blur_face_video.py:


$ python blur_face_video.py --face face_detector --method simple
[INFO] loading face detector model...
[INFO] starting video stream...



以可以通过method pixelated来进行像素化的人脸模糊:


$ python blur_face_video.py --face face_detector --method pixelated
[INFO] loading face detector model...
[INFO] starting video stream...



以上应用的人脸模糊方法,是假设输入视频流的每一帧中都可以检测到人脸。


那么,如果检测器中途未能检测到人脸会怎样?显然,在漏掉的帧中无法进行打码,也就破坏了人脸模糊的目的。


在这种情况下我们该怎么做呢?


通常,在人脸移动的比较慢的情况下,有一个简单的方法是取最后一个已知的面部位置,然后模糊该区域。


还有一种高级的方法是使用专门的对象跟踪器,如果人脸检测器没有识别到,则对象追踪器可以补充提供面部位置,这个方法会复杂很多,因为要在人脸的多个角度建立跟踪,但是这个方法也更加完善。


微软曾提出一种可在视频中通过AI实现人脸模糊的方法


早在2017年,微软研究院就提出了一套基于AI算法的视频人脸模糊解决方案。虽然该算法能够对视频进行自动处理,但是需要用户点击想要打码的人才能打上马赛克。


这套算法能够将源视频中的人物提取出来,并返回给用户,然后用户可以自由选择给谁打码。


要想打码,首先需要找出所有人脸的出现位置,并把同一个人所有帧中的人脸连接起来。为此,需要有三个算法:人脸检测、跟踪、识别


下图更为详细的展示了关于这套人脸模糊系统具体是如何工作的:



在时间复杂度方面,微软研究院称该系统在Azure的CPU服务器上能够实时处理720p的视频,并且能够以2倍时长处理1080p的高清视频。


技术始终在进步,3年前就可以做到在视频中通过AI进行人脸模糊,3年后已经可以利用AI在实时视频流中自动打码了,我们相信,科技还能做到更多。

尽管,目前AI实时打码这一技术还尚未成熟,但总有一天技术能够“承担”起更多的社会责任,保护更多的人。


相关报道:

https://www.pyimagesearch.com/2020/04/06/blur-and-anonymize-faces-with-opencv-and-python/

https://www.zhihu.com/question/21672713

相关推荐

悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)

新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...

高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源

凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...

微服务架构实战:商家管理后台与sso设计,SSO客户端设计

SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...

还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑

在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...

Seata源码—6.Seata AT模式的数据源代理二

大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...

30分钟了解K8S(30分钟了解微积分)

微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...

SpringBoot条件化配置(@Conditional)全面解析与实战指南

一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...

一招解决所有依赖冲突(克服依赖)

背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...

你读过Mybatis的源码?说说它用到了几种设计模式

学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...

golang对接阿里云私有Bucket上传图片、授权访问图片

1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...

spring中的资源的加载(spring加载原理)

最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...

Android资源使用(android资源文件)

Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...

如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)

深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...

@Autowired与@Resource原理知识点详解

springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...

java的redis连接工具篇(java redis client)

在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...