dpvs部署

安裝dpdk

官方URL https://github.com/iqiyi/dpvs

dpdk-17.05.2可以兼容dpvs
wget https://fast.dpdk.org/rel/dpdk-17.05.2.tar.xz
tar vxf dpdk-17.05.2.tar.xz

下載dpvs
git clone https://github.com/iqiyi/dpvs.git

給dpdk打補丁，加入kni驅(qū)動
cd <path-of-dpvs>
cp patch/dpdk-stable-17.05.2/*.patch dpdk-stable-17.05.2/
cd dpdk-stable-17.05.2/
patch -p 1 < 0001-PATCH-kni-use-netlink-event-for-multicast-driver-par.patch

另一個補丁，uoa模塊
patch -p1 < 0002-net-support-variable-IP-header-len-for-checksum-API.patch

編譯dpdk并安裝
cd dpdk-stable-17.05.2/
make config T=x86_64-native-linuxapp-gcc
make
export RTE_SDK=$PWD

啟動hugepage
服務器是numa系統(tǒng)（centos）
echo 8192 > /sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages
echo 8192 > /sys/devices/system/node/node1/hugepages/hugepages-2048kB/nr_hugepages

mkdir /mnt/huge
mount -t hugetlbfs nodev /mnt/huge

注：這個操作是臨時的，如果服務器有別的應用再跑，可能已經(jīng)占用hugepage了，后面給出另外的方法

安裝uio驅(qū)動，并綁定網(wǎng)卡
modprobe uio
cd dpdk-stable-17.05.2
insmod build/kmod/igb_uio.ko
insmod build/kmod/rte_kni.ko

查看網(wǎng)卡狀態(tài) ./usertools/dpdk-devbind.py --status

Network devices using kernel driver

===================================

0000:01:00.0 'I350 Gigabit Network Connection 1521' if=eth0 drv=igb unused=

0000:01:00.1 'I350 Gigabit Network Connection 1521' if=eth2 drv=igb unused=

0000:01:00.2 'I350 Gigabit Network Connection 1521' if=eth3 drv=igb unused=

0000:01:00.3 'I350 Gigabit Network Connection 1521' if=eth4 drv=igb unused=

綁定eth3
./usertools/dpdk-devbind.py -b igb_uio 0000:01:00.2

注：這里綁定的網(wǎng)卡，最好是沒有使用的，因為網(wǎng)卡需要down 掉才能綁

編譯dpvs
cd dpdk-stable-17.05.2/
export RTE_SDK=$PWD
cd <path-of-dpvs>
make

make install

注：安裝的時候 可能有依賴包報錯，提示哪個，yum安裝就可以了

編譯后的文件
ls bin/
dpip dpvs ipvsadm keepalived

啟動dpvs
cp conf/dpvs.conf.single-nic.sample /etc/dpvs.conf
cd <path-of-dpvs>/bin
./dpvs &

查看是否啟動正常
./dpip link show
1: dpdk0: socket 0 mtu 1500 rx-queue 8 tx-queue 8
UP 10000 Mbps full-duplex fixed-nego promisc-off
addr A0:36:9F:9D:61:F4 OF_RX_IP_CSUM OF_TX_IP_CSUM OF_TX_TCP_CSUM OF_TX_UDP_CSUM

以DR模式舉例

官方URL https://github.com/iqiyi/dpvs/blob/master/doc/tutorial.md ，各種lvs模式配置

給dpvs添加lan ip 37,這個步驟必須在添加vip之前

./dpip addr add 192.168.1.37/24 dev dpdk0

給dpvs添加vip 57

./dpip addr add 192.168.1.57/32 dev dpdk0

設置算法為rr，vip為57

./ipvsadm -A -t 192.168.1.57:80 -s rr

添加后端機器11

./ipvsadm -a -t 192.168.1.57:80 -r 192.168.1.11 -g

在11機器執(zhí)行
ip addr add 192.168.1.11/32 dev lo
sysctl -w net.ipv4.conf.lo.arp_ignore=1

dpvs在啟動的時候，有時候 會報錯,罪魁禍首是內(nèi)存碎片，app無法申請到足夠多的連續(xù)大塊內(nèi)存，只能申請到很多小塊內(nèi)存。以至于內(nèi)存塊數(shù)目超過了系統(tǒng)設置的256個。

解決方式 就是申請大頁內(nèi)存應該在系統(tǒng)啟動時，或系統(tǒng)啟動后盡快申請，避免內(nèi)存被割裂

https://www.cnblogs.com/cobbliu/p/6603391.html

為了省事 可以加入到kernel參數(shù) /etc/boot/grub2.cfg

default_hugepagesz=1G hugepagesz=1G hugepages=8G

引用別人的結(jié)論：
結(jié)論：DPDK 再快也是收包到送給應用層的時間短，而不是“轉(zhuǎn)發(fā)”快。收到包后，各類檢查跟查表（一般都是并發(fā)環(huán)境，加鎖啊什么的，無鎖？……哈哈）處理的時間，基本上都是要遠遠超過 DPDK 的自身開銷的。

想要快過 Linux，要明白為什么 Linux 網(wǎng)絡協(xié)議棧會“慢”，這個慢是相比 DPDK 的處理而言的，對大部分應用而言，上層的業(yè)務延遲已經(jīng)沒多大必要在網(wǎng)絡方面下功夫?？傊?，能否降低路有延遲，要看應用環(huán)境（買得起那么多物理機么？有相應的穩(wěn)定可靠人才支撐么？），然后再做 profiling，看瓶頸在哪里。不要想當然的 DPDK。

舉例來說吧，做 UDP 的 DNS，就可以用 DPDK，繞過 Linux 協(xié)議棧提升 QPS. 如果做路由，我覺得拼不過硬件，我是不贊同這種做法的。為了低延遲，沒有包的時候，DPDK 都要讓 CPU 滿載跑著，這時如果想提升吞吐量，延遲也會跟著上去。如果系統(tǒng)里邊是多個干活程序一起跑的，老板窮或者不舍得買好機器，開發(fā)運維技能沒跟著上去，DPDK 也會被用殘的。

硬件差不多，網(wǎng)絡 IO+內(nèi)存類的程序，Linux 跑萬兆是沒問題的。

如果做包轉(zhuǎn)發(fā)，相比 x86 linux 肯定會大大提升性能，其實大部分瓶頸不在 dpdk 處理的網(wǎng)絡這塊