百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

MediaSession在57中的开场白 seminar开场白

bigegpt 2024-10-12 05:14 5 浏览

用技术提升美好事物发生的概率。

Technologically, for greater probability to be happy.

从chrome57开始,MediaSession就可以在chrome中被使用了。MediaSession让我们可以对通知栏进行自定义操作,方便了用户直接在通知栏对媒体的控制。在有了MediaSession后,即使在锁屏界面,我们也可以看到媒体的信息,以及控制播放状态。对于提供了播放列表的网页,我们还可以直接切换至另一个媒体。下图为官方提供的样图。

一、调起MediaSession的经过

在Chromium运行时,有一个Browser进程,若干个Render进程和一个GPU进程。后面会涉及到Browser进程以及Render进程。通常情况下,一个Tab或者多个Tab对应一个Render进程。

MediaSession的代码在browser端,且在c++端和java端都有相对应的部分。接下来先分析一下调起MediaSession的代码实现。

看播放视频的时候是如何调起MediaSession的(多种情况,此处只举出一种)。情景为点击播放媒体按键,开始创建播放器与MediaSession。下面是主要的流程:

下面的是相对应的代码:

最初,会创建一个HTMLMediaElement的DOM节点。该代码在 HTMLMediaElement.cpp中。在这里会调用play(),若调用成功媒体能正常播放,则promise为完成态,否则为拒绝态。

接下来进入到刚刚被调用的play()方法中:

若视频能播放,则调用PlayInternal(),否则就返回错误信息。代码也在HTMLMediaElement.cpp中。

PlayInternal()中设置好当前是否暂停的状态与能否自动播放后继续调用UpdatePlayState(). UpdatePlayState()中在开始播放前设置好播放速率和声音,然后调用GetWebMediaPlayer的Play()开始播放。代码都在HTMLMediaElement.cpp里面。

同样,这里也是调用UpdatePlayState()来更新播放状态。此处与前面提到的play()与UpdatePlayState()有什么关系呢?前面的我们理解为在Webkit层的播放器,而后者理解为Content层的播放器。此处代码在webmediaplay_impl.cc中。

UpdateSate()里调用SetDelegateState()来处理媒体状态,然后在SetDelegateState()中处理了三种状态,即关闭、播放与暂停。播放的话,则调用DidPlay()。代码在webmediaplayer_impl.cc。

DidPlay()中主要向Browser端发送了IPC消息,于是播放媒体的消息就传给了Browser端了。代码在renderer_webmediaplayer_delegate.cc里面。下面的代码就直接到Browser部分了。

这里Browser端收到IPC消息后执行OnMediaPlaying(),此处看到203行,已经调用了MediaSessionControllersManager的RequestPlay(),后面部分开始已经到MediaSession的主体了。代码在media_web_contents_observer.cc。

MediaSessionControllersManager 控制所有的MediaSessionController。在RequestPlay()的时候会创建一个MediaSessionController,在构造控制器的时候还会设置好对应的 MediaSession,一个MediaSessionController控制一个MediaSession。通过controller初始化MediaSession里的播放器。

代码在media_session_controller.cc里面。

二、C++端整体逻辑

MediaSessionControllersManager:由MediaWebContentsObserver调用,通过MediaSessionController来控制MediaSession。上面就是一个map,通过MediaPlayerId来对应不同的Controller,这里也可以看出一个播放器对应了一个Controller。

MediaSessionController:当我们在通知中对媒体进行操作时,Java端会发送消息过来,在Controller中收到后向Renderer发送IPC消息,控制Renderer里面的WebMediaPlayer。在构造MediaSessionController的时候还会给他对应的MediaSessionImpl赋值,此处可以看出每个MediaSessionController控制一个MediaSessionImpl。

MediaSessionImpl:整个MediaSession的中心,处理所有媒体与通知有关的事项。主要是播放状态与焦点状态的控制。其中的NotifyAboutStateChange()提供了能否控制与是否暂停两个状态,这两个值对控制播放的非常重要。能否控制表示我们是否能通过通知栏控制这个播放器,如果不能控制,则通知栏中不会出现。

MediaSessionServiceImpl:提供一些服务,主要是设置播放状态与播放支持的动作,且这两项决定了通知栏所展现的界面。代码中setMetadata()也就是设置元数据,里面包含图片,aritst,title等数据。Action部分也就是与支持的动作有关,如播放、暂停、前进、后退这些。

MediaMetadataSanitizer:功能性的类,MediaMetadataSanitizer检查与处理元数据格式的合理性,调用了Sanitize()。

AudioFocusDelegateAndroid:RequestAudioFocus()和AbandonAudioFocus()分别为通过JNI获取与丢失焦点。当系统要求MediaSession进行暂停、继续等操作的时候,从Java端发送消息给MediaSession,如电话(系统级别),上面给出OnSuspend()的例子。AudioFocus相关简介下面提到一些。

MediaSessionAndroid:MediaSession通过JNI主要向Java端发送的是三个状态变化,即MediaSessionStateChanged、MediaSessionMetadataChanged和MediaSessionActionsChanged。用户在通知栏进行操作时消息会从Java端传过来(UI级别),如上面例子给出的Suspend()。

Audio Focus

  1. Audio Focus 是用来处理多处音频同时出现的情况。
  2. 音频焦点类型有persistent和transient,长音频为persistent,会停止所有其他音频;短音频(如短信音效)为transient,只会降低其他音频的声音。
  3. 音频都需与MediaSession交互,且MediaSession状态(ACTIVE, SUSPENDED, INACTIVE)代表当前是否获取到焦点与是否有音频。
  4. AudioFocusManager提供焦点支持。音频需要播放时通知MediaSession,MediaSession向AudioFocusManager请求获取焦点,成功获取焦点则播放,同时通知其他MediaSession焦点变化。
  5. 音频停止播放则从MediaSession移除,同时丢弃焦点,AudioFocusManager通知其他MediaSession焦点变化。
  6. 焦点的控制是通过一个栈来实现。(实际为一个list容器,除了出入栈还用到了remove)

三、Java端整体逻辑

AudioFocusDelegate.java:主要有requestAudioFocus()和abandonAudioFocus(),分别用来获取与丢弃焦点。这一部分通过SDK里面的AudioManager,最终调用了API来获取与丢弃系统的音频焦点。

MediaSessionImpl.java:主要有mediaSessionStateChanged(), mediaSessionMetadataChanged(), mediaSessionActionsChanged()。都是native端传给Java端的消息,分别表示媒体会话的状态、元数据、动作的改变。此处动作表示网页支持的操作集合。

MediaSessionTabHelper.java :一方面处理native端传过来的信息,令一方面对各种操作都基本调用MediaNotificationManager来处理,相当于传递了控制信息。

到这里整个MediaSession的整个流程就走完了,MediaSession从播放器创建的时候创建出来, 并沟通了浏览器与通知栏,同时对媒体焦点的支持,让其成为一个非常好的特性。

相关推荐

得物可观测平台架构升级:基于GreptimeDB的全新监控体系实践

一、摘要在前端可观测分析场景中,需要实时观测并处理多地、多环境的运行情况,以保障Web应用和移动端的可用性与性能。传统方案往往依赖代理Agent→消息队列→流计算引擎→OLAP存储...

warm-flow新春版:网关直连和流程图重构

本期主要解决了网关直连和流程图重构,可以自此之后可支持各种复杂的网关混合、多网关直连使用。-新增Ruoyi-Vue-Plus优秀开源集成案例更新日志[feat]导入、导出和保存等新增json格式支持...

扣子空间体验报告

在数字化时代,智能工具的应用正不断拓展到我们工作和生活的各个角落。从任务规划到项目执行,再到任务管理,作者深入探讨了这款工具在不同场景下的表现和潜力。通过具体的应用实例,文章展示了扣子空间如何帮助用户...

spider-flow:开源的可视化方式定义爬虫方案

spider-flow简介spider-flow是一个爬虫平台,以可视化推拽方式定义爬取流程,无需代码即可实现一个爬虫服务。spider-flow特性支持css选择器、正则提取支持JSON/XML格式...

solon-flow 你好世界!

solon-flow是一个基础级的流处理引擎(可用于业务规则、决策处理、计算编排、流程审批等......)。提供有“开放式”驱动定制支持,像jdbc有mysql或pgsql等驱动,可...

新一代开源爬虫平台:SpiderFlow

SpiderFlow:新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。-精选真开源,释放新价值。概览Spider-Flow是一个开源的、面向所有用户的Web端爬虫构建平台,它使用Ja...

通过 SQL 训练机器学习模型的引擎

关注薪资待遇的同学应该知道,机器学习相关的岗位工资普遍偏高啊。同时随着各种通用机器学习框架的出现,机器学习的门槛也在逐渐降低,训练一个简单的机器学习模型变得不那么难。但是不得不承认对于一些数据相关的工...

鼠须管输入法rime for Mac

鼠须管输入法forMac是一款十分新颖的跨平台输入法软件,全名是中州韵输入法引擎,鼠须管输入法mac版不仅仅是一个输入法,而是一个输入法算法框架。Rime的基础架构十分精良,一套算法支持了拼音、...

Go语言 1.20 版本正式发布:新版详细介绍

Go1.20简介最新的Go版本1.20在Go1.19发布六个月后发布。它的大部分更改都在工具链、运行时和库的实现中。一如既往,该版本保持了Go1的兼容性承诺。我们期望几乎所...

iOS 10平台SpriteKit新特性之Tile Maps(上)

简介苹果公司在WWDC2016大会上向人们展示了一大批新的好东西。其中之一就是SpriteKitTileEditor。这款工具易于上手,而且看起来速度特别快。在本教程中,你将了解关于TileE...

程序员简历例句—范例Java、Python、C++模板

个人简介通用简介:有良好的代码风格,通过添加注释提高代码可读性,注重代码质量,研读过XXX,XXX等多个开源项目源码从而学习增强代码的健壮性与扩展性。具备良好的代码编程习惯及文档编写能力,参与多个高...

Telerik UI for iOS Q3 2015正式发布

近日,TelerikUIforiOS正式发布了Q32015。新版本新增对XCode7、Swift2.0和iOS9的支持,同时还新增了对数轴、不连续的日期时间轴等;改进TKDataPoin...

ios使用ijkplayer+nginx进行视频直播

上两节,我们讲到使用nginx和ngixn的rtmp模块搭建直播的服务器,接着我们讲解了在Android使用ijkplayer来作为我们的视频直播播放器,整个过程中,需要注意的就是ijlplayer编...

IOS技术分享|iOS快速生成开发文档(一)

前言对于开发人员而言,文档的作用不言而喻。文档不仅可以提高软件开发效率,还能便于以后的软件开发、使用和维护。本文主要讲述Objective-C快速生成开发文档工具appledoc。简介apple...

macOS下配置VS Code C++开发环境

本文介绍在苹果macOS操作系统下,配置VisualStudioCode的C/C++开发环境的过程,本环境使用Clang/LLVM编译器和调试器。一、前置条件本文默认前置条件是,您的开发设备已...