音视频高手突围课-欧洲杯足彩官网

地址1：https://pan.baidu.com/s/13nbzaz8uftxelagi8wqyhq 提取码：2o5i
地址2：https://pan.baidu.com/s/1vr_kcjkdz0qmvlufrwbtsq 提取码：tylx


本文以共享桌面项目为驱动，以渐进迭代的授课方式，遵循rfc标准，深入解析stun/turn/dtls/ice/rtp/rtcp/srtp/srtcp等网络传输协议栈，手把手带你实现webrtc p2p通信核心技术和ice网络框架。教学过程中还会设计针对性实验，验证效果，让你学习顺畅，收获满满。希望通过本文的学习，你能先人一步，突破瓶颈，顺利跨入音视频领域高手行列。

音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。


一、编码格式
视频
h.264：压缩率约250: 1倍；有损编码，压缩率根据场景不定、变化的；
h.265：压缩率约300: 1倍；有损编码，压缩率根据场景不定、变化的；

图片
jpeg：压缩率在10: 1到40：1之间；有损编码，压缩率根据场景不定、变化的；
png：压缩率在2：1到8：1之间；无损编码；

音频
g711u：压缩率固定为57%，一般用于北美和日本；
g711a: 压缩率固定为62%，一般用于欧洲和世界其他地区。一般采样率为8k，基于查表、位运算等操作进行编码，编码速度快，但是失真度较大。
g726：g726编码的输入一般是g711编码的输出，其实质就是一个adpcm算法(自适应插值脉冲调制)，编码效率高，压缩率比g711大，压缩率为8：1、16：3、4：1、16：5几种。
aac：一般采样率为16k属于感知音频编码，利用人耳听觉的掩蔽效应，在时域和频域进行编码，编码效果较好，压缩率在20:1左右。

二、视频帧率：
测量显示帧数的量度，单位为每秒显示帧数(fps，全称为frame per second)。一般视频帧率为24fps，p制(pal，德国提出，中国、印度、巴基斯坦等国家使用)为25fps，也就是每帧显示40ms，n制(ntsc，美国标准委员会提出，美国、日本、韩国等国家使用)为30fps。有些超高帧率的视频达到60fps。

三、显示帧率：
以帧为单位的位图图像连续出现在显示器的频率，也称为刷新速率。android设备刷新率一般为60hz，也就是帧率为60fps，每帧为16ms，超过16ms能给人的肉眼带来延迟卡顿的感觉。做性能优化方面，也就是保证从测量、布局、绘制、上传指令、与gpu交换缓冲区等一系列动作在16ms完成。android11支持120hz的更高帧率，一般为对帧率要求极高的应用场景，比如互动游戏。

四、yuv
yuv则是一种基于亮度和色差的颜色编码方式，采用亮度（y）和两个色差（u、v）分量来表示色彩信息。其中，亮度（y）代表黑白灰调，色差（u、v）代表绿色和蓝色相对于红色的偏差。yuv模式下，色彩分量被分开表示，人眼感知亮度和颜色不同，yuv模式将图像的亮度和颜色分开处理，不仅可以节省存储空间，而且适合人眼的视觉特性，优化了图像的压缩，常用于数字电视、dvd、视频编码等应用中。

对于yuv格式，每个像素通常由1个亮度分量（即y）和2个色度分量（即u和v）组成。通常为了保证兼容性和采样精度，yuv格式通常进行压缩。对于4:2:0压缩方式的yuv，每4个像素共用2个uv分量，因此每个像素由1.5个分量组成。因此，对于yuv 4:2:0格式，每个像素通常占用1.5个字节。

五、rgb
rgb即红绿蓝三个通道的颜色模型，每个像素由三个颜色通道的取值组成，代表了像素的红、绿、蓝三个基本颜色成分的浓度，rgb模式下每个像素需要占用三个字节的存储空间，而且强调颜色分量之间的独立性，对于色调、亮度、色彩鲜艳、清晰度要求高的场合使用比较多，如显示器、电视、摄像机等。

r:red——红色分量；
g:green——绿色分量；
b:blue——蓝色分量；
对于rgb格式，每个像素通常由3个8位（即24位）的分量组成，即红（r）、绿（g）和蓝（b）三原色。因此，对于rgb格式，每个像素通常占用3个字节。

六、网络视频服务平台对比
目前网络音视频服务主要有2种，一种就是直播平台，比如网络电视台、各种直播app等，还有就是点播平台，可以根据用户的需要播放相应的视频节目，比如视频网站等。
其中直播平台主要架构就是rtmp flv h.264 aac这个技术方案，而点播平台一般都是http flv h.264 aac这个架构，这些知识点到后面更深入的学习我们将进一步了解。