百度360必应搜狗淘宝本站头条
mqtt服务器xftp6vscode使用技巧mybatiscollectionkeyerror
当前位置：网站首页 > 热门文章 > 正文

WebRTC实时音视频技术基础:基本架构和协议栈

bigegpt 2024-09-25 14:29 3 浏览

概述

本文主要介绍WebRTC的架构和协议栈。

最基本的三角形WebRTC架构

为了便于理解，我们来看一个最基本的三角形WebRTC架构（见下图）：

在这个架构中，移动电话用“浏览器M”表示，笔记本电脑用“浏览器L”表示，通过Web服务器将它们连接起来。要建立一个实时媒体通讯，两台设备需要了解彼此的媒体功能，通过交换呼叫信令控制协议实现。

诸如这样的信令协议在WebRTC标准中并非事先规定，而是由开发者自行制定。在浏览器RTC会话的步骤如下：

  • 首先，两个浏览器都从Web服务器下载了WebRTC程序（HTML5/JavaScript）；
  • 其次，两个浏览器通过Web服务器交换控制信令信息（使用嵌入式信令服务器），建立媒体功能功能互通。
  • 最后，两个浏览器直接建立RTC媒体的音频、视频和数据通道。

    • 真正实用的基于P2P的WebRTC架构

    WebRTC使用P2P媒体流，音频、视频和数据的连接直接通过浏览器实现。但是，浏览器却隐藏在NAT（网络地址翻译）和防火墙的后面，这增加了建立P2P媒体会话的难度。这些流程和协议，如ICE或Trickle ICE，STUN和TURN，在建立P2P媒体流都是必不可少的。

    如何使用STUN协议建立一个P2P RTC媒体（如图5所示），简化版的ICE流程如下：

  • 1.两个浏览器通过自己的公网IP地址，使用STUN协议信息和STUN服务器建立联系；
  • 2.两个浏览器通过SDP提供/应答机制，使用呼叫控制信令消息交换它们已发现的公共IP地址（ICE候选）；
  • 3.两个浏览器执行连接检查（ICE冲孔），确保P2P可以连接；
  • 4.建立连接后，RTC媒体会话和媒体交换就可以实现了。
  • 5.但是，假如在一个高度限制的NAT或防火墙，这种直接的路径将无法建立，只能到达TURN服务器。结果是媒体通过TURN服务器分程传递（如下图所示）。

    • WebRTC的协议栈

    由互联网工程任务组（IETF）基于标准的可互操作的通信模型和协议栈详细地定义了WebRTC技术（参见图7），如下：

    如前所述的信令栈，并非由WebRTC实现规定，而是由开发者自行决定。在这个例子中，我们将使用SIP-over-WebSocket（SIPoWS）作为信令栈。HTTP协议用于浏览器下载HTML5/JavaScript程序内容；NAT栈解决P2P连接问题；媒体栈用于发送和接收RTC的音频和视频。

    LETF标准规定G.711和Opus作为音频/视频解码器。视频解码器尚未授权，但是H.248和VP8已经获得授权。媒体栈也用于交换RTC数据。本例中，实时信息采用消息会话中继协议（MSRP），实时会议采用二层控制协议（BFCP），实时文本服务采用T.140。


    专注于技术热点大数据，人工智能，JAVA、Python、 C 、GO、Javascript等语言最新前言技术，及业务痛点问题分析，请关注【编程我最懂】共同交流学习。

    相关推荐

    C#.NET Autofac 详解（c# autoit）

    简介Autofac是一个成熟的、功能丰富的.NET依赖注入（DI）容器。相比于内置容器，它额外提供：模块化注册、装饰器（Decorator）、拦截器（Interceptor）、强o的属性/方法注...

    webapi 全流程（webapi怎么部署）

    C#中的WebAPIMinimalApi没有控制器，普通api有控制器，MinimalApi是直达型，精简了很多中间代码，广泛适用于微服务架构MinimalApi一切都在组控制台应用程序类【Progr...

    .NET外挂系列:3. 了解 harmony 中灵活的纯手工注入方式

    一：背景1.讲故事上一篇我们讲到了注解特性，harmony在内部提供了20个HarmonyPatch重载方法尽可能的让大家满足业务开发，那时候我也说了，特性虽然简单粗暴，但只能解决95%...

    C# 使用SemanticKernel调用本地大模型deepseek

    一、先使用ollama部署好deepseek大模型。具体部署请看前面的头条使用ollama进行本地化部署deepseek大模型二、创建一个空的控制台dotnetnewconsole//添加依赖...

    C#.NET 中间件详解（.net core中间件use和run）

    简介中间件（Middleware）是ASP.NETCore的核心组件，用于处理HTTP请求和响应的管道机制。它是基于管道模型的轻量级、模块化设计，允许开发者在请求处理过程中插入自定义逻辑。...

    IoC 自动注入:让依赖注册不再重复劳动

    在ASP.NETCore中，IoC（控制反转）功能通过依赖注入（DI）实现。ASP.NETCore有一个内置的依赖注入容器，可以自动完成依赖注入。我们可以结合反射、特性或程序集扫描来实现自动...

    C#.NET 依赖注入详解（c#依赖注入的三种方式）

    简介在C#.NET中，依赖注入（DependencyInjection，简称DI）是一种设计模式，用于实现控制反转（InversionofControl，IoC），以降低代码耦合、提高可...

    C#从零开始实现一个特性的自动注入功能

    在现代软件开发中，依赖注入（DependencyInjection,DI）是实现松耦合、模块化和可测试代码的一个重要实践。C#提供了优秀的DI容器，如ASP.NETCore中自带的Micr...

    C#.NET 仓储模式详解（c#仓库货物管理系统）

    简介仓储模式（RepositoryPattern）是一种数据访问抽象模式，它在领域模型和数据访问层之间创建了一个隔离层，使得领域模型无需直接与数据访问逻辑交互。仓储模式的核心思想是将数据访问逻辑封装...

    C#.NET 泛型详解（c# 泛型 滥用）

    简介泛型（Generics）是指在类型或方法定义时使用类型参数，以实现类型安全、可重用和高性能的数据结构与算法为什么需要泛型类型安全防止“装箱／拆箱”带来的性能损耗，并在编译时检测类型错误。可重用同一...

    数据分析-相关性分析（相关性 分析）

    相关性分析是一种统计方法，用于衡量两个或多个变量之间的关系强度和方向。它通过计算相关系数来量化变量间的线性关系，从而帮助理解变量之间的相互影响。相关性分析常用于数据探索和假设检验，是数据分析和统计建模...

    geom_smooth()函数-R语言ggplot2快速入门18

    在每节，先运行以下这几行程序。library(ggplot2)library(ggpubr)library(ggtext)#用于个性化图表library(dplyr)#用于数据处理p...

    规范申报易错要素解析（规范申报易错要素解析）

    为什么要规范申报？规范申报是以满足海关监管、征税、统计等工作为目的，纳税义务人及其代理人依法向海关如实申报的行为，也是海关审接单环节依法监管的重要工作。企业申报的内容须符合《中华人民共和国海关进出口货...

    「Eurora」海关编码归类 全球海关编码查询 关务服务

    　　海关编码是什么?　　海关编码即HS编码，为编码协调制度的简称。　　其全称为《商品名称及编码协调制度的国际公约》(InternationalConventionforHarmonizedCo...

    9月1日起，河南省税务部门对豆制品加工业试行新政7类豆制品均适用投入产出法

    全媒体记者杨晓川报道9月2日，记者从税务部门获悉，为减轻纳税人税收负担，完善农产品增值税进项税额抵扣机制，根据相关规定，结合我省实际情况，经广泛调查研究和征求意见，从9月1日起，我省税务部门对豆制品...

    一周热门
    最近发表
    标签列表