WebRTC的Audio在進(jìn)入Encoder之前的處理流程是什么

這篇文章主要講解了“WebRTC的Audio在進(jìn)入Encoder之前的處理流程是什么”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“WebRTC的Audio在進(jìn)入Encoder之前的處理流程是什么”吧！

在 WebRTC 中，Audio 數(shù)據(jù)在被送入編碼器之前，有 2 大部分需要特別關(guān)注，一是數(shù)據(jù)采集，二是 Audio Processing。

數(shù)據(jù)采集

數(shù)據(jù)采集主要由 Audio Device 模塊進(jìn)行處理，而且是平臺和配置相關(guān)。例如：

1. Mac 電腦，使用的是 CoreAudio API，一般情況下使用默認(rèn)內(nèi)置的聲卡參數(shù) fs=48kHz，stero。

2. Windows 電腦，WebRTC 中用的是 WASAPI。根據(jù)聲卡參數(shù)不同，采樣率等參數(shù)可選的比較多，例如有的電腦 builtInAEC 打開后，fs=16kHz，Mono，如果把聲卡的 Audio Enhancement 關(guān)閉，則輸出 fs=48kHz，stero。

3. Android 一般使用 java 層的 AudioRecord 框架。

4. iOS 一般使用 AudioUnit 框架。

另外，數(shù)據(jù)采集部分，還涉及到 USB 耳機(jī)，3.5mm 耳機(jī)，藍(lán)牙耳機(jī)等外設(shè)，這些設(shè)備對音頻鏈路上后續(xù)的 Audio Processing 也是有影響的，比如增加了 Audio 采集的delay，有 Speech Enhancement 處理的耳機(jī)會修改音頻頻譜，有的耳機(jī)外設(shè)使用不當(dāng)可能會導(dǎo)致音頻鏈路沒有聲音。

Audio Processing

Audio Processing 主要包括 AEC，AGC，NS 等等：

• AEC----Acoustic Echo Cancellation，即回音消除。

• AGC----Automatic Gain Control，即自動增益，用來調(diào)整輸入信號的音量大小。

• NS----Noise Suppression，即噪音抑制。

從 Audio Devices 輸出的數(shù)據(jù)依次經(jīng)過 AEC，NS，AGC 等音頻處理模塊。

1.AEC

AEC 算法選擇

在 WebRTC 中，AEC 有 4 個可選的算法：

1. builtInAEC，一般情況下 Windows，Android 系統(tǒng)，builtInAEC 默認(rèn)會開啟。

2. AECM，移動端的回音消除算法，適用于 Android和 iOS。

3. AEC 算法，適用于 Windows/Mac Desktop 的回音消除算法。當(dāng)然 AEC 也可以用在移動端，某些情況下，回聲泄露的性能比 AECM 好。不過最新的 WebRTC 已經(jīng)把老的 AEC 的 code 移除了。

4. AEC3 算法，Google 對老的 AEC 算法的改版，目前 AEC3 已經(jīng)全面替代老的 AEC 算法。

一般情況下這 4 種 AEC 算法只能選擇一種，否則會做多次 AEC，對聲音的損傷也會增加。在不得已的情況下，可能會用到 2 個 AEC，例如 Windows 電腦，buildInAEC 關(guān)不掉且效果差的情況下，就必須打開 AEC3，這時是用到 2 個 AEC。

aec_dump

在一次通話中，使用 StartAecDump 開啟 aec_dump 功能，aec_dump 將錄制 3 個文件，一個是未進(jìn)入 Audio Processing 模塊的 input.wav，一個是 Speaker Render 的輸出文件 reverse.wav，一個是經(jīng)過 Audio Processing 處理過的 ref_out.wav。

正常情況下，input.wav - reverse.wav = ref_out.wav。

通過這 3 個文件可以分析回音消除算法是否有問題。

2.AGC

WebRTC 的 AGC 有 2 種算法：

1. Legacy AGC

2. AGC2

下面簡單展示一下 Legacy AGC 的性能。 原始語音

AGC 后的語音，Legacy AGC 本身沒有降噪功能，噪音和語音同時放大的。

3.NS

目前 WebRTC 的 Noise Suppression 模塊，能夠過濾掉比較平穩(wěn)的背景噪音，例如 white nosise，空調(diào)聲等。但是 NS 模塊對音量非常大的背景噪音，還有 babble noise 都是失效的，這也是我們客戶端在 Microphone 功放的情況下的“嘈雜不清”的因素之一（當(dāng)然導(dǎo)致嘈雜還有其他的原因，例如 AEC 的性能等等)。

夾雜 white noise 的錄音

white noise 被過濾掉

4.其他增強(qiáng)算法

1. High Pass Filter，用來過濾低頻噪音，比如我們可以把 100Hz 甚至 200Hz 以下的低頻噪音過濾掉。

2. Typing Detector，可以過濾掉鍵盤打字的聲音。

3. Residual Echo Detector，殘留回音探測。

優(yōu)化點(diǎn)

1. 采集（當(dāng)然也包括播放）容易出現(xiàn)沒有聲音問題，所以必須對采集（聲卡驅(qū)動）端進(jìn)行聲卡適配優(yōu)化。

2. AEC 區(qū)分平臺： A. Windows 平臺，一般 Windows 的聲卡面板里面有一個“Audio Enhancement”，這個里面有的含有 builtInAEC，默認(rèn)是打開的，通過 Windows API 關(guān)閉這個 Audio Enhancement 的幾乎不可行。有的 builtInAEC 效果比較差，這時 AEC3 必須打開。通常情況下，builtInAEC 和 AEC3 同時打開，以便最大程度減少回聲。 B. Mac 電腦，默認(rèn)沒有 buildInAEC，通常就直接使用 AEC3。

3. 在 AEC 算法中增加“near talk”，“far talk”，“double talk”， “no talk”狀態(tài)，結(jié)合這幾種狀態(tài)，采取不同的操作，例如在只有 far talk 的時候，不做 AGC，能夠起到減少近端噪音的作用。

感謝各位的閱讀，以上就是“WebRTC的Audio在進(jìn)入Encoder之前的處理流程是什么”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對WebRTC的Audio在進(jìn)入Encoder之前的處理流程是什么這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！