【mediasoup-sfu-cpp】0：学习笔记：闫华：c++ mediasoup设计与实现

本文深入解析了WebRTC SFU服务器Mediasoup的核心架构与部署实践。Mediasoup采用Node.js控制平面+C++数据平面的分离架构，支持超低延迟（<200ms）和大规模并发（单机数千连接），是构建实时音视频系统的理想选择。文章详细介绍了其核心组件（Worker、Router、Transport等）、部署环境要求、安装方式，并通过代码示例演示了如何搭建最小化视频会议系统。此外还提供了动态带宽估计、负载均衡、协议转换等高级优化策略，强调Mediasoup通过高度可定制化设计，将媒体层做

流媒体学习之路(mediasoup)——simulcast 与 svc（7） 文章目录流媒体学习之路(mediasoup)——simulcast 与 svc（7）

流媒体服务器Mediasoup】 源码中重要类基本概念 、上层代码作用详解、底层C++类关系详解(四) Guo_IT 2020-02-24 17:02:24 1673 收藏 6 版权 目录 前言 MediaSoup的特性 特性一 特性二 特性三 MediaSoup SFU简单的架构说明 MediaSoup库中Lib目录下的JS作用 MediaSoup-JS类的关系图 MediaSoup js部分起到的作用 MediaSoup C++ 库类关系图 ...

本文详细描述了 mediasoup 对 libuv 的封装，覆盖了 pipe、socket、signal 等几种通信方式，重点分析了 Socket 通信的静态结构和数据流，并着重分析了 UDP 报文的异步发送机制。熟悉 mediasoup 的底层通信机制，是深入阅读 mediasoup 源码的基础。另外，mediasoup 对 libuv 的封装方案简洁清晰，值得大家借鉴。

​​​​mediasoup学习与实践

mediasoup基本介绍 Ubuntu环境mediasoup-demo安装部署 Docker环境mediasoup-demo安装部署

本文分析了 mediasoup 报文转发框架，以及报文流转过程中的相关处理逻辑。其中，simulcast 和 SVC 的分层切换逻辑稍微复杂一些，切换条件涉及到伸缩编码的背景知识。最复杂的是 simulcast 时间戳转换，除了计算基于 NTP 时间戳的基础偏移，还需要计算额外偏移，然后再进行调整，本文没有展开分析。

如果只是完成基本的媒体通信，相比基于 SDP 的 WebRTC 协商，使用 mediasoup的 WebRTC 协商看起来更加复杂，这种感觉是正常的。这是因为 mediasoup 使用 ORTC 接口规范，ORTC 旨在简化 WebRTC 的 API，提供更加模块化和面向对象的接口，它把 WebRTC 的一整坨 API 进行了面向对象的细粒度模块划分，能够实现更灵活的控制。

目录 前言 MediaSoup的特性 特性一 特性二 特性三 MediaSoup SFU简单的架构说明 MediaSoup库中Lib目录下的JS作用 MediaSoup-JS类的关系图 MediaSoup js部分起到的作用 MediaSoup C++ 库类关系图 核心类图 C++类图 小结 前言 上篇文章对MediaS...

在音视频通话中，我们常常使用 RTP 协议包荷载音视频数据，底层经常使用 UDP 作为其传输层协议，而 UDP 并不保证数据可靠性，因此当 RTP 产生丢包时，接收端需要告知源端哪些序号的包认为丢失了，请重传一遍过来。

当丢包或者解码错误导致无法正确解码视频流，或者当一个新的接收者加入到视频通话时，需要一个关键帧来恢复和开始正常解码。关键帧请求机制是确保视频流在不可靠网络环境下能够恢复和维持高质量播放的关键技术之一，mediasoup 支持关键帧请求。

在mediasoup上行中引入了RED编码来抵抗音频丢包造成的质量下降，将RED解码部分放置于Consumer中，实现尾端解码。

首先，升级mediasoup 至3.10.8. 为保证效果，mediasoup-worker需要合理分配，分离出一个单独的ms-worker作为pipe-worker来使用，而其它的ms-worker组成pool给user使用。故障发生时，观察到推流器obs的码率发生了严重下降，由正常的1.5Mbps下降到约400kbps，显然，这个encoding码率就会导致严重的画质问题。Action: 统计出ms-worker的数量，每个ms-worker上承载的room数量。

Worker：mediasoup 流媒体处理进程Router：路由对象，类似于房间的功能，保存了流之间的订阅关系，它接收 Producer 的数据并转发给订阅该 Producer 的 ConsumerProducer：音视频流生产者，一路音频就算一个单独的生产者，一路视频也算一个单独的生产者Consumer：音视频流消费者Transport：传输通道，有 WebRtcTransport，PlainRtpTransport 以及 PipeTransport。