音視頻開發(fā)：碼率、延時(shí)、花屏、卡頓

1. 視頻碼率一般設(shè)多大？

對(duì)于1080P的視頻而言，藍(lán)光視頻的碼率是20Mb/s，一般下載的視頻碼率大都是10Mb/s，一些IPCamera/無人機(jī)的碼率是2～8Mb/s，而很多視頻網(wǎng)站的碼率甚至低于5M/s。

同等分辨率的情況下，碼率越大，清晰度越大，但同時(shí)對(duì)網(wǎng)絡(luò)帶寬的占用也越大，具體碼率該設(shè)置為多少，需要看應(yīng)用的具體場(chǎng)景了。

2. 播放中出現(xiàn)“跳躍”和“花屏”現(xiàn)象？

“跳躍”和“花屏”現(xiàn)象絕大多數(shù)原因是網(wǎng)絡(luò)傳輸過程中由于信號(hào)不好導(dǎo)致丟失了“關(guān)鍵幀”/“參考幀” 引起的，下面來進(jìn)一步解釋。

視頻在網(wǎng)上傳播之前是需要壓縮的，而簡(jiǎn)單來解釋視頻壓縮的核心思想就是：每隔10~50幀取視頻中的一幀圖像作為“關(guān)鍵幀”，而隨后的幾幀圖像由于時(shí)間/空間的冗余和相關(guān)性，我們只需記錄其與關(guān)鍵幀的“差異”信息即可，這樣視頻文件就可以不用把每一幀完整的圖像數(shù)據(jù)全部保存下來，從而起到了節(jié)省空間的效果。

由此可見，如果丟失掉了“關(guān)鍵幀”，隨后的幾幀圖像自然就無法正常地解碼了，因此產(chǎn)生了“花屏”現(xiàn)象。

從技術(shù)的角度，怎么解決“花屏”現(xiàn)象呢？——當(dāng)我們?cè)谝曨l傳輸過程中，通過幀序號(hào)發(fā)現(xiàn)丟幀后，可以跳過隨后的非“關(guān)鍵幀”，直到遇到下一個(gè)關(guān)鍵幀再送入解碼。這樣的確可以解決“花屏”現(xiàn)象，但是由于跳躍了很多幀，因此會(huì)出現(xiàn)視頻圖像的不連續(xù)情況（即“跳躍”現(xiàn)象）。

3. 播放過程中出現(xiàn)“卡頓”現(xiàn)象？

由于網(wǎng)絡(luò)是很不穩(wěn)定的，因此，音視頻數(shù)據(jù)的傳輸也是時(shí)快時(shí)慢的，在播放網(wǎng)絡(luò)視頻流的過程中，一定要根據(jù)時(shí)間戳來決定何時(shí)解碼何時(shí)顯示，而不是來一幀就播放一幀，另外，添加一定數(shù)量的“幀緩沖區(qū)”可以有效地降低由于網(wǎng)絡(luò)抖動(dòng)帶來的“卡頓”現(xiàn)象。

4. 音視頻實(shí)時(shí)傳輸?shù)难訒r(shí)主要來自哪里 ？

（1） 編碼器/×××一般需要緩沖2～4幀

（2） 編碼/解碼的耗時(shí)

（3） 業(yè)務(wù)代碼中的幀緩沖區(qū)

（4） 網(wǎng)絡(luò)傳輸延時(shí)

（5） 代碼中的數(shù)據(jù)拷貝

一般情況下，幀率為30f/s的視頻，每緩沖n幀，就會(huì)增加1000/30*n毫秒的延時(shí)。因此，要想減少延時(shí)，則必須通過分析和測(cè)試找到上述每一部分的延時(shí)，盡量減少數(shù)據(jù)的拷貝和緩沖。

5. 邊下邊播的原理 ？

邊下邊播與播放本地文件其實(shí)差不多，只不過是文件數(shù)據(jù)不在本地，在播放器播放到指定位置之前，后臺(tái)線程把需要的數(shù)據(jù)提前下載下來而已。

關(guān)于Android中使用開發(fā)HTTP邊下邊播的功能，可以參考我的這篇文章：《Android HTTP邊下邊播》

6. 小結(jié)

關(guān)于音視頻開發(fā)中的幾個(gè)常見問題 就解釋到這兒了，有任何疑問或者建議歡迎留言或者來信lujun.hust@gmail.com交流，或者關(guān)注我的新浪微博 @盧_俊 或者關(guān)注我的微信公眾號(hào)（@Jhuster）獲取最新的文章和資訊。