聊聊云网络性能测试

聊聊云网络性能测试

作者：扎波特的网线钳 2021-06-02 10:00:30

云计算 有几个云上的小伙伴想测测VPC网络性能，于是写了一些dpdk代码在阿里云上做了一个实验，也适用于其它云。

创新互联公司专业为企业提供荷塘网站建设、荷塘做网站、荷塘网站设计、荷塘网站制作等企业网站建设、网页设计与制作、荷塘企业网站模板建站服务，10余年荷塘做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

本文转载自微信公众号「zartbot」，作者扎波特的网线钳。转载本文请联系zartbot公众号。

有几个云上的小伙伴想测测VPC网络性能，于是写了一些dpdk代码在阿里云上做了一个实验，也适用于其它云

安装相关的库

使用root登录,更新一下源

  
 
 
 
    
   
  
  
  
  1. #备份原有的配置文件
    2. 
   
  
  
  
  2.  mkdir /etc/yum.repos.d/bak
    3. 
   
  
  
  
  3.  mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/bak/
    4. 
   
  
  
  
  4. #使用阿里云的源覆盖
    5. 
   
  
  
  
  5. wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-8.repo
    6. 
   
  
  
  
  6. yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm
    7. 
   
  
  
  
  7. sed -i 's|^#baseurl=https://download.fedoraproject.org/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
    8. 
   
  
  
  
  8. sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
    9. 
   
  
  
  
  9. sudo dnf config-manager --set-enabled PowerTools
    10. 
   
  
  
  
  10. 
   
  
  
  
  11. yum makecache
    12. 
   
  
  
  
  12. yum update
    13. 
   
  
  
  
  13. 
   
  
  
  
  14. yum groupinstall "Development tools"
    15. 
   
  
  
  
  15. yum install gcc-gfortran kernel-modules-extra tcl tk tcsh terminator tmux kernel-rpm-macros elfutils-libelf-devel libnl3-devel meson createrepo numactl-devel
    16. 
   
  
  
  
  16. pip3 install pyelftools
    17.

启用iommu

  
 
 
 
    
   
  
  
  
  1. sudo vi /etc/default/grub
    2. 
   
  
  
  
  2. 
   
  
  
  
  3. //在 GRUB_CMDLINE_LINUX 行添加"intel_iommu=on iommu=pt" 
    4. 
   
  
  
  
  4. //保存退出
    5.

然后更新grub并重启系统

  
 
 
 
    
   
  
  
  
  1. sudo grub2-mkconfig -o /boot/grub2/grub.cfg
    2. 
   
  
  
  
  2. sudo grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
    3. 
   
  
  
  
  3. sudo reboot
    4.

安装DPDK

CentOS上需要添加/usr/local路径, 主要是LD_LIBRARY_PATH PATH 和 PKG_CONFIG_PATH 以及sudo的path

  
 
 
 
    
   
  
  
  
  1. sudo vi /etc/ld.so.conf.d/dpdk.conf
    2. 
   
  
  
  
  2. 
   
  
  
  
  3. >>添加如下path
    4. 
   
  
  
  
  4. /usr/local/lib64
    5. 
   
  
  
  
  5. >>退出
    6. 
   
  
  
  
  6. 
   
  
  
  
  7. sudo ldconfig
    8. 
   
  
  
  
  8. 
   
  
  
  
  9. vim ~/.bashrc
    10. 
   
  
  
  
  10. >>添加如下path
    11. 
   
  
  
  
  11. 
   
  
  
  
  12. export PATH=/usr/local/bin:$PATH
    13. 
   
  
  
  
  13. export PKG_CONFIG_PATH=/usr/local/lib64/pkgconfig:${PKG_CONFIG_PATH}
    14. 
   
  
  
  
  14. 
   
  
  
  
  15. 
   
  
  
  
  16. 保存后source
    17. 
   
  
  
  
  17. source ~/.bashrc
    18. 
   
  
  
  
  18. sudo vim  /etc/sudoers
    19. 
   
  
  
  
  19. 
   
  
  
  
  20. >>将secure_path添加/usr/local/bin
    21. 
   
  
  
  
  21. Defaults    secure_path = /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin
    22.

然后解压dpdk，并编译安装

  
 
 
 
    
   
  
  
  
  1. wget http://fast.dpdk.org/rel/dpdk-21.05.tar.xz
    2. 
   
  
  
  
  2. tar xf dpdk-21.05.tar.xz
    3. 
   
  
  
  
  3. 
   
  
  
  
  4. cd dpdk-21.05
    5. 
   
  
  
  
  5. meson build -D examples=all 
    6. 
   
  
  
  
  6. 
   
  
  
  
  7. cd build
    8. 
   
  
  
  
  8. ninja
    9. 
   
  
  
  
  9. sudo ninja install
    10. 
   
  
  
  
  10. sudo ldconfig
    11.

设置Hugepage和bind接口

  
 
 
 
    
   
  
  
  
  1. dpdk-hugepages.py --setup 4G
    2. 
   
  
  
  
  2.  modprobe vfio-pci
    3. 
   
  
  
  
  3.  dpdk-devbind.py -s
    4. 
   
  
  
  
  4. 
   
  
  
  
  5. Network devices using kernel driver
    6. 
   
  
  
  
  6. ===================================
    7. 
   
  
  
  
  7. 0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active*
    8. 
   
  
  
  
  8. 0000:00:06.0 'Virtio network device 1000' if=eth1 drv=virtio-pci unused=vfio-pci *Active*
    9.

注意虚拟机环境需要noniommu_mode

  
 
 
 
    
   
  
  
  
  1. ifconfig eth1 down
    2. 
   
  
  
  
  2. echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
    3. 
   
  
  
  
  3. dpdk-devbind.py -b vfio-pci 0000:00:06.0
    4.

验证

  
 
 
 
    
   
  
  
  
  1. dpdk-devbind.py -s
    2. 
   
  
  
  
  2. 
   
  
  
  
  3. Network devices using DPDK-compatible driver
    4. 
   
  
  
  
  4. ============================================
    5. 
   
  
  
  
  5. 0000:00:06.0 'Virtio network device 1000' drv=vfio-pci unused=
    6. 
   
  
  
  
  6. 
   
  
  
  
  7. Network devices using kernel driver
    8. 
   
  
  
  
  8. ===================================
    9. 
   
  
  
  
  9. 0000:00:05.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active*
    10.

检查接口支持情况

下载代码

  
 
 
 
    
   
  
  
  
  1. cd ~
    2. 
   
  
  
  
  2. wget https://github.com/zartbot/learn_dpdk/archive/refs/heads/main.zip
    3. 
   
  
  
  
  3. unzip main.zip
    4. 
   
  
  
  
  4.  cd learn_dpdk-main/
    5.

编译

  
 
 
 
    
   
  
  
  
  1. cd 01_port_init/devinfo/
    2. 
   
  
  
  
  2. make clean;make
    3.

检查接口支持情况

  
 
 
 
    
   
  
  
  
  1. ./build/devinfo
    2. 
   
  
  
  
  2. 
   
  
  
  
  3. EAL: Detected 24 lcore(s)
    4. 
   
  
  
  
  4. EAL: Detected 1 NUMA nodes
    5. 
   
  
  
  
  5. EAL: Detected shared linkage of DPDK
    6. 
   
  
  
  
  6. EAL: Multi-process socket /var/run/dpdk/rte/mp_socket
    7. 
   
  
  
  
  7. EAL: Selected IOVA mode 'PA'
    8. 
   
  
  
  
  8. EAL: No available 1048576 kB hugepages reported
    9. 
   
  
  
  
  9. EAL: VFIO support initialized
    10. 
   
  
  
  
  10. EAL:   Invalid NUMA socket, default to 0
    11. 
   
  
  
  
  11. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:05.0 (socket 0)
    12. 
   
  
  
  
  12. eth_virtio_pci_init(): Failed to init PCI device
    13. 
   
  
  
  
  13. 
   
  
  
  
  14. EAL: Requested device 0000:00:05.0 cannot be used
    15. 
   
  
  
  
  15. EAL:   Invalid NUMA socket, default to 0
    16. 
   
  
  
  
  16. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:06.0 (socket 0)
    17. 
   
  
  
  
  17. EAL: Using IOMMU type 8 (No-IOMMU)
    18. 
   
  
  
  
  18. TELEMETRY: No legacy callbacks, legacy socket not created
    19. 
   
  
  
  
  19. 
   
  
  
  
  20. 
   
  
  
  
  21. 
   
  
  
  
  22. *****************************************
    23. 
   
  
  
  
  23. number of available port: 1
    24. 
   
  
  
  
  24. =========================================
    25. 
   
  
  
  
  25. port: 0         Driver:net_virtio
    26. 
   
  
  
  
  26. Link down
    27. 
   
  
  
  
  27. MAC address: 00:16:3E:25:3F:0A
    28. 
   
  
  
  
  28. PCIe:0000:00:06.0
    29. 
   
  
  
  
  29. Max RX Queue:   12      Desc:   65535
    30. 
   
  
  
  
  30. Max TX Queue:   12      Desc:   65535
    31. 
   
  
  
  
  31. Offload Capability:
    32. 
   
  
  
  
  32.   DEV_RX_OFFLOAD_VLAN_STRIP
    33. 
   
  
  
  
  33.   DEV_RX_OFFLOAD_UDP_CKSUM
    34. 
   
  
  
  
  34.   DEV_RX_OFFLOAD_TCP_CKSUM
    35. 
   
  
  
  
  35.   DEV_RX_OFFLOAD_TCP_LRO
    36. 
   
  
  
  
  36.   DEV_RX_OFFLOAD_JUMBO_FRAME
    37. 
   
  
  
  
  37. -----------------------------------------
    38. 
   
  
  
  
  38.   DEV_TX_OFFLOAD_VLAN_INSERT
    39. 
   
  
  
  
  39.   DEV_TX_OFFLOAD_UDP_CKSUM
    40. 
   
  
  
  
  40.   DEV_TX_OFFLOAD_TCP_CKSUM
    41. 
   
  
  
  
  41.   DEV_TX_OFFLOAD_TCP_TSO
    42. 
   
  
  
  
  42.   DEV_TX_OFFLOAD_MULTI_SEGS
    43. 
   
  
  
  
  43. =========================================
    44.

测速

  
 
 
 
    
   
  
  
  
  1. cd ~/learn_dpdk-main/02_send_recv/traffic_gen/
    2.

修改send_pkt.c的源目的地址，注意目的MAC在阿里云上要为eeff.ffff.ffff

  
 
 
 
    
   
  
  
  
  1. //init mac
    2. 
   
  
  
  
  2. struct rte_ether_addr s_addr = {{0x00, 0x16, 0x3e, 0x25, 0x0b, 0xe3}};
    3. 
   
  
  
  
  3. struct rte_ether_addr d_addr = {{0xee, 0xff, 0xff, 0xff, 0xff, 0xff}};
    4. 
   
  
  
  
  4. 
   
  
  
  
  5. //init IP header
    6. 
   
  
  
  
  6. rte_be32_t s_ip_addr = string_to_ip("10.66.1.220");
    7. 
   
  
  
  
  7. rte_be32_t d_ip_addr = string_to_ip("10.66.1.219");
    8.

由于接口支持有限，修改 common.h

  
 
 
 
    
   
  
  
  
  1. #define NUM_RX_QUEUE 1
    2. 
   
  
  
  
  2. #define NUM_TX_QUEUE 1
    3. 
   
  
  
  
  3. 
   
  
  
  
  4. static const struct rte_eth_conf port_conf_default = {
    5. 
   
  
  
  
  5.     .rxmode = {
    6. 
   
  
  
  
  6.         .max_rx_pkt_len = RTE_ETHER_MAX_LEN,
    7. 
   
  
  
  
  7.     .mq_mode = ETH_MQ_RX_NONE,
    8. 
   
  
  
  
  8.     },
    9. 
   
  
  
  
  9.     .txmode = {
    10. 
   
  
  
  
  10.         .mq_mode = ETH_MQ_TX_NONE,
    11. 
   
  
  
  
  11.     }
    12. 
   
  
  
  
  12. };
    13.

修改portinit.c 关闭RX-CHECKSUM OFFLOAD, 注释掉下面这段：

  
 
 
 
    
   
  
  
  
  1. if (dev_info.rx_offload_capa & DEV_RX_OFFLOAD_CHECKSUM)
    2. 
   
  
  
  
  2.  {
    3. 
   
  
  
  
  3.      printf("port[%u] support RX cheksum offload.\n", port);
    4. 
   
  
  
  
  4.      port_conf.rxmode.offloads |= DEV_RX_OFFLOAD_CHECKSUM;
    5. 
   
  
  
  
  5.  }
    6.

最后测速大概3.3Mpps左右，接近官方售卖时的4Mpps

  
 
 
 
    
   
  
  
  
  1. [root@iZuf64vmgrtj12kczyslhdZ traffic_gen]# ./build/run
    2. 
   
  
  
  
  2. EAL: Detected 24 lcore(s)
    3. 
   
  
  
  
  3. EAL: Detected 1 NUMA nodes
    4. 
   
  
  
  
  4. EAL: Detected shared linkage of DPDK
    5. 
   
  
  
  
  5. EAL: Multi-process socket /var/run/dpdk/rte/mp_socket
    6. 
   
  
  
  
  6. EAL: Selected IOVA mode 'PA'
    7. 
   
  
  
  
  7. EAL: No available 1048576 kB hugepages reported
    8. 
   
  
  
  
  8. EAL: VFIO support initialized
    9. 
   
  
  
  
  9. EAL:   Invalid NUMA socket, default to 0
    10. 
   
  
  
  
  10. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:05.0 (socket 0)
    11. 
   
  
  
  
  11. eth_virtio_pci_init(): Failed to init PCI device
    12. 
   
  
  
  
  12. 
   
  
  
  
  13. EAL: Requested device 0000:00:05.0 cannot be used
    14. 
   
  
  
  
  14. EAL:   Invalid NUMA socket, default to 0
    15. 
   
  
  
  
  15. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:00:06.0 (socket 0)
    16. 
   
  
  
  
  16. EAL: Using IOMMU type 8 (No-IOMMU)
    17. 
   
  
  
  
  17. TELEMETRY: No legacy callbacks, legacy socket not created
    18. 
   
  
  
  
  18. 
   
  
  
  
  19. 
   
  
  
  
  20. initializing port 0...
    21. 
   
  
  
  
  21. port[0] support TX UDP checksum offload.
    22. 
   
  
  
  
  22. port[0] support TX TCP checksum offload.
    23. 
   
  
  
  
  23. Port[0] MAC: 00:16:3e:25:0b:e3
    24. 
   
  
  
  
  24. Core 1 doing RX dequeue.
    25. 
   
  
  
  
  25. Core 2 doing packet enqueue.
    26. 
   
  
  
  
  26. 
   
  
  
  
  27. RX-Queue[0] PPS: 3280464
    28. 
   
  
  
  
  28. RX-Queue[0] PPS: 3277792
    29. 
   
  
  
  
  29. RX-Queue[0] PPS: 3303116
    30. 
   
  
  
  
  30. RX-Queue[0] PPS: 3307443
    31. 
   
  
  
  
  31. RX-Queue[0] PPS: 3296451
    32. 
   
  
  
  
  32. RX-Queue[0] PPS: 3294396
    33. 
   
  
  
  
  33. RX-Queue[0] PPS: 3297737
    34. 
   
  
  
  
  34. RX-Queue[0] PPS: 3290069
    35. 
   
  
  
  
  35. RX-Queue[0] PPS: 3279720
    36. 
   
  
  
  
  36. RX-Queue[0] PPS: 3285987
    37. 
   
  
  
  
  37. RX-Queue[0] PPS: 3279424
    38.

然后把common.h 中收发都改为4个线程

  
 
 
 
    
   
  
  
  
  1. #define NUM_RX_QUEUE 1
    2. 
   
  
  
  
  2. #define NUM_TX_QUEUE 1
    3.

测试结果和官方售卖的4Mpps一致了。

  
 
 
 
    
   
  
  
  
  1. RX-Queue[0] PPS: 578918
    2. 
   
  
  
  
  2. RX-Queue[1] PPS: 866823
    3. 
   
  
  
  
  3. RX-Queue[2] PPS: 2288950
    4. 
   
  
  
  
  4. RX-Queue[3] PPS: 865335
    5.

CPU Info

  
 
 
 
    
   
  
  
  
  1. [root@iZuf64vmgrtj12kczyslhdZ traffic_gen]# cat /proc/cpuinfo | grep Xeon
    2. 
   
  
  
  
  2. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    3. 
   
  
  
  
  3. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    4. 
   
  
  
  
  4. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    5. 
   
  
  
  
  5. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    6. 
   
  
  
  
  6. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    7. 
   
  
  
  
  7. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    8. 
   
  
  
  
  8. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    9. 
   
  
  
  
  9. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    10. 
   
  
  
  
  10. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    11. 
   
  
  
  
  11. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    12. 
   
  
  
  
  12. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    13. 
   
  
  
  
  13. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    14. 
   
  
  
  
  14. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    15. 
   
  
  
  
  15. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    16. 
   
  
  
  
  16. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    17. 
   
  
  
  
  17. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    18. 
   
  
  
  
  18. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    19. 
   
  
  
  
  19. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    20. 
   
  
  
  
  20. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    21. 
   
  
  
  
  21. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    22. 
   
  
  
  
  22. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    23. 
   
  
  
  
  23. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    24. 
   
  
  
  
  24. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    25. 
   
  
  
  
  25. model name      : Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz
    26.

名称栏目：聊聊云网络性能测试
本文网址：http://www.csdahua.cn/qtweb/news15/46615.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

网站营销知识

分类信息网

网站推广公司　　 　重庆电商网站建设　　 　攀枝花SEO　　 　大英泰恒网站　　 　广安网站建设　　 　橡塑板　　 　深圳纱窗安装　　 　西信服务器托管　　 　网站域名　　 　复盛机电设备安装　　 　成都全网营销　　 　成都网站建设　　 　平昌做网站　　 　平武做网站　　 　Google外贸推广　　 　边坡防护网　　 　标志设计　　 　成都茶叶销售　　 　成都移动机房　　 　网站优化排名