webRTC-端到端加密
概述
Insertable Stream 可插入流是新的 WebRTC API,,可用来操作通过 RTCPeerConnection 传送的 MediaStreamTracks 中的每一个字节。它让上层应用能对 WebRTC 底层媒体进行访问,让以往 WebRTC 应用中许多不可能做的情况都成为可能了, 比如替换视频聊天时的背景,实时进行音视频处理(降噪,美颜,打水印,加特效等)。
最新的规范在这里 https://w3c.github.io/webrtc-encoded-transform/。
webRTC 音视频处理流程
发送流程
- 从媒体设备/其他采集源中获得一帧一帧的数据
- 对原始数据进行编码
- <- 在这里插入自定义逻辑
- SRTP 加密
- 发送
接收流程
- 接收网络 RTP 包
- SRTP 解密
- RTP 组包
- <- 在这里插入自定义逻辑
- 解码数据
- 渲染数据