如何使用FEC解決網(wǎng)絡(luò)丟包

本文在介紹關(guān)于FEC的基礎(chǔ)上，重點(diǎn)探討了使用FEC解決網(wǎng)絡(luò)丟包的具體步驟，步驟簡單易上手操作，文章內(nèi)容步步緊湊，希望大家根據(jù)這篇文章可以有所收獲。

FEC：Forward Error Correction，前向糾錯(cuò)

FEC 是一種通過在網(wǎng)絡(luò)傳輸中增加數(shù)據(jù)包的冗余信息，使得接收端能夠在網(wǎng)絡(luò)發(fā)生丟包后利用這些冗余信息直接恢復(fù)出丟失的數(shù)據(jù)包的一種方法。

FEC 的基礎(chǔ)理論：異或

異或的規(guī)則

兩個(gè)值不相等則為 1，相等則為 0；

0 ^ 0 = 0
1 ^ 1 = 0
0 ^ 1 = 1
1 ^ 0 = 1

注：按位異或 ^，則是把兩個(gè)數(shù)轉(zhuǎn)換為二進(jìn)制，按位進(jìn)行異或運(yùn)算。

異或的特性

恒等律：X ^ 0 = X
歸零律：X ^ X = 0
交換律：A ^ B = B ^ A
結(jié)合律：A ^ (B ^ C) = (A ^ B) ^ C

注：可以通過數(shù)學(xué)方法推導(dǎo)證明，我們這里只需要記住這些規(guī)則即可，后面有大量的應(yīng)用。

XOR 的應(yīng)用案例

有了這些 XOR 的基礎(chǔ)理論，我們看看它是怎么應(yīng)用到實(shí)際中的 “校驗(yàn)” 和 “糾錯(cuò)” 的。

奇偶校驗(yàn)（Parity Check）

判斷一個(gè)二進(jìn)制數(shù)中 1 的數(shù)量是奇數(shù)還是偶數(shù)（應(yīng)用了異或的 恒等律 和  歸零律）：

// 例如：求 10100001 中 1 的數(shù)量是奇數(shù)還是偶數(shù)
// 結(jié)果為 1 就是奇數(shù)個(gè) 1，結(jié)果為 0 就是偶數(shù)個(gè) 1
1 ^ 0 ^ 1 ^ 0 ^ 0 ^ 0 ^ 0 ^ 1 = 1

這條性質(zhì)可用于奇偶校驗(yàn)（Parity Check），每個(gè)字節(jié)的數(shù)據(jù)都計(jì)算一個(gè)校驗(yàn)位，數(shù)據(jù)和校驗(yàn)位一起發(fā)送出去，這樣接收方可以根據(jù)校驗(yàn)位粗略地判斷接收到的數(shù)據(jù)是否有誤。

磁盤陣列-RAID5

使用 3 塊磁盤（A、B、C）組成RAID5 陣列來存儲用戶的數(shù)據(jù)，把每份數(shù)據(jù)切分為 A、B 兩部分，然后把 A xor B 的結(jié)果作為 C ，分別寫入 A、B、C 三塊磁盤。最終，任意一塊磁盤出錯(cuò)，都是可以通過另外兩塊磁盤的數(shù)據(jù)進(jìn)行恢復(fù)的。

實(shí)現(xiàn)原理：應(yīng)用了異或的 恒等律 和  結(jié)合律

c = a ^ b
a = a ^ (b ^ b) = (a ^ b) ^ b = c ^ b
b = (a ^ a) ^ b = a ^ c

基于 XOR 的 FEC

假設(shè)網(wǎng)絡(luò)通信有 N 個(gè) packet 需要發(fā)送，那么，可以類似上述 RAID5 的策略，每 2 個(gè) packet 生成一個(gè) FEC packet，這樣，連續(xù)的 3 個(gè) packet 的任意一個(gè) packet 丟失，都能通過另外 2 個(gè)恢復(fù)出來的。

但考慮到每 2 個(gè) packet 就產(chǎn)生 1 個(gè) fec packet，冗余度可能有點(diǎn)高（比較浪費(fèi)帶寬），我們能否每 3 個(gè)或者每 N 個(gè) packet 再產(chǎn)生一個(gè) fec packet 呢？當(dāng)然可以，我們以每 3 個(gè) packet（A、B、C） 產(chǎn)生 1 個(gè) fec packet（D）為例來推導(dǎo)一下：

d = a ^ b ^ c
a = a ^ (b ^ b) ^ (c ^ c) = (b ^ c) ^ (a ^ b ^ c) = b ^ c ^ d
b = (a ^ a) ^ b ^ (c ^ c) = (a ^ c) ^ (a ^ b ^ c) = a ^ c ^ d
c = (a ^ a) ^ (b ^ b) ^ c = (a ^ b) ^ (a ^ b ^ c) = a ^ b ^ d

由上述公式推導(dǎo)即可知道，這 4 個(gè) packet，任意丟失 1 個(gè) packet，均可以由其他 3 個(gè) packet 恢復(fù)出來。

對象存儲-EC糾刪碼

一些互聯(lián)網(wǎng)云計(jì)算公司提供的對象存儲服務(wù)，都會宣稱自己具有極高的數(shù)據(jù)可靠性，使用了如三副本技術(shù)、EC 糾刪碼技術(shù)等等，后者大致方案如圖所示：

圖中采用的是 8+4 的糾刪碼策略（即：原始數(shù)據(jù)切割為 8 份，計(jì)算出 4 份冗余信息），將這 12 份分別存儲在 不同機(jī)柜的 12 臺不同節(jié)點(diǎn)上，即使同一時(shí)刻出現(xiàn)多臺節(jié)點(diǎn)（至多 4 臺）損壞或不可訪問，只要有不少于 8 個(gè)節(jié)點(diǎn)可用，數(shù)據(jù)即可恢復(fù)。

不知道大家看出來點(diǎn)什么沒有？相比于上面基于 N 個(gè) packet 產(chǎn)生 1 個(gè) FEC packet 的方案，這種 K + M 的糾刪碼策略具有更好的扛丟失能力，總結(jié)下來就是：

通過 K個(gè)有效數(shù)據(jù)，產(chǎn)生 M 個(gè) FEC 冗余包，這 K + M 個(gè)數(shù)據(jù)，任意丟失 M 個(gè)數(shù)據(jù)，都能把 K 個(gè)有效數(shù)據(jù)恢復(fù)出來。

其實(shí)這種方案，最早也是應(yīng)用于網(wǎng)絡(luò)傳輸領(lǐng)域的，只不過被借用到存儲領(lǐng)域來提高磁盤的利用率。要實(shí)現(xiàn)這種 K + M 的 FEC 策略，使用簡單的 XOR 異或來推導(dǎo)比較難，需要借助矩陣相關(guān)的計(jì)算，實(shí)現(xiàn)方案有很多種，下面簡單介紹下最著名和常用的 Reed-solomon codes。

Reed-Solomon Codes

里德-所羅門碼（Reed-solomon codes，簡稱 RS codes），利用該原理實(shí)現(xiàn)的 FEC 策略，通常也叫做 RS-FEC。網(wǎng)上關(guān)于它的介紹特別多，本文就不詳細(xì)展開了，僅簡單以示意圖的形式給出大致的原理：

RS codes 編碼過程

大致原理如下：假設(shè)有效數(shù)據(jù)有 K 個(gè)，期望生成 M 個(gè) FEC 數(shù)據(jù)

    1.  把 K 個(gè)有效數(shù)據(jù)組成一個(gè)單位向量 D

   2.  生成一個(gè)變換矩陣 B：由一個(gè) K 階的單位矩陣 和一個(gè) K * M 的范德蒙特 矩陣（Vandemode）組成

   3.  兩個(gè)矩陣相乘得到的矩陣 G，即包含了 M 個(gè)冗余的 FEC 數(shù)據(jù)

RS codes 解碼過程

假設(shè)數(shù)據(jù) D1，D4，C2 丟失了，則取對應(yīng)行的范德蒙矩陣的逆 * 沒有丟失的數(shù)據(jù)矩陣，則可以恢復(fù)出原始的數(shù)據(jù)矩陣。

大致原理如下：假設(shè)數(shù)據(jù) D1，D4，C2 丟失了

   1.  對矩陣 B 和 D，分別取沒有丟失的行構(gòu)成 B‘ 和 G’

   2.  根據(jù)如下公式，即可計(jì)算恢復(fù)出有效數(shù)據(jù)向量 D

B' x D = G'  ->>>  D = B' 的逆 x G'

關(guān)于使用FEC解決網(wǎng)絡(luò)丟包就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果喜歡這篇文章，不如把它分享出去讓更多的人看到。