聊聊KubernetesWithoutKube-Proxy

本文转载自微信公众号「运维开发故事」，作者夕阳西下。转载本文请联系运维开发故事公众号。

创新互联建站专注于丰台网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供丰台营销型网站建设，丰台网站制作、丰台网页设计、丰台网站官网定制、重庆小程序开发公司服务，打造丰台网络公司原创品牌,更为您提供丰台网站排名全网营销落地服务。

引言

最近听好多朋友说，cilium很强，势必将成为主流。因其使用了ebpf，性能好，而且支持网络策略。于是，决定花点时间学习一下。在通过官网文档学习过程中，发现使用cilium作为CNI，居然可以不用安装kube-proxy了。这让我想起来，之前在面试中被问到的一个问题，面试官问我:kube-proxy是否可以不用安装，是否有其他替代品。这下不就有答案了嘛。

顺便吐槽一下，看官方文档学习，是真的有点难(毕竟全英文);不过还是建议大家看官方文档学习，不要翻译成中文哦。那么接下来，就由我来实操一下。

环境说明

序号 事项 说明
1 kubernetes version v1.21.3
2 cilium version v1.10.3
3 kubernetes安装方式 kubeadm
4 cilium组网模式 vxlan
5 os ubuntu 18.04
6 kubernetes集群规模 1master、2node

正文

在master上初始化集群，并通过添加--skip-phases=addon/kube-proxy参数忽略kube-proxy的安装

 
 
 
 
    
  
  
  
  
  1. kubeadm init   --apiserver-advertise-address=10.211.55.50   --image-repository registry.aliyuncs.com/google_containers   --kubernetes-version v1.21.3   --service-cidr=10.96.0.0/12   --pod-network-cidr=10.244.0.0/16   --ignore-preflight-errors=all --skip-phases=addon/kube-proxy
    2.

在两个node上执行kubeadm join，加入集群

 
 
 
 
    
  
  
  
  
  1. kubeadm join 10.211.55.50:6443 --token ouez6j.02ms269v8i4psl7p --discovery-token-ca-cert-hash sha256:5fdafe0fe1adb3b60cd7bc33f033f028279a94a3944816424cc7f5bb498f6868
    2.

使用helm(v3)来安装cilium。先添加cilium库

 
 
 
 
    
  
  
  
  
  1. helm repo add cilium https://helm.cilium.io/
    2.

使用如下命令安装cilium，添加kubeProxyReplacement=strict参数

 
 
 
 
    
  
  
  
  
  1. helm install cilium cilium/cilium --version 1.10.3     --namespace kube-system     --set kubeProxyReplacement=strict     --set k8sServiceHost=10.211.55.50     --set k8sServicePort=6443
    2.

检查cilium安装结果

 
 
 
 
    
  
  
  
  
  1. # 查看cilium agent,以daemonset方式部署在每个node节点上
    2. 
  
  
  
  
  2. root@cilium1:/# kubectl -n kube-system get pods -l k8s-app=cilium
    3. 
  
  
  
  
  3. NAME           READY   STATUS    RESTARTS   AGE
    4. 
  
  
  
  
  4. cilium-8gwg2   1/1     Running   0          8m4s
    5. 
  
  
  
  
  5. cilium-t9ffc   1/1     Running   0          8m39s
    6. 
  
  
  
  
  6. cilium-x42r6   1/1     Running   0          8m16s
    7. 
  
  
  
  
  7. 
  
  
  
  
  8. # 查看cilum operator
    9. 
  
  
  
  
  9. root@cilium1:~# kubectl get po -A -o wide |grep cilium-operator
    10. 
  
  
  
  
  10. kube-system   cilium-operator-5df88875-867hd    1/1     Running   5          41h   172.16.88.47    cilium3              
    11. 
  
  
  
  
  11. kube-system   cilium-operator-5df88875-9kx8c    1/1     Running   5          41h   172.16.88.253   cilium2              
    12.

检查是否有kube-proxy组件。可以发现并没有该组件

 
 
 
 
    
  
  
  
  
  1. root@cilium1:/# kubectl get po -n kube-system
    2. 
  
  
  
  
  2. NAME                              READY   STATUS    RESTARTS   AGE
    3. 
  
  
  
  
  3. cilium-8gwg2                      1/1     Running   0          10m
    4. 
  
  
  
  
  4. cilium-operator-5df88875-867hd    1/1     Running   5          27h
    5. 
  
  
  
  
  5. cilium-operator-5df88875-9kx8c    1/1     Running   5          27h
    6. 
  
  
  
  
  6. cilium-t9ffc                      1/1     Running   0          11m
    7. 
  
  
  
  
  7. cilium-x42r6                      1/1     Running   0          10m
    8. 
  
  
  
  
  8. coredns-59d64cd4d4-hbwg4          1/1     Running   1          27h
    9. 
  
  
  
  
  9. coredns-59d64cd4d4-l2pmt          1/1     Running   1          27h
    10. 
  
  
  
  
  10. etcd-cilium1                      1/1     Running   2          27h
    11. 
  
  
  
  
  11. kube-apiserver-cilium1            1/1     Running   2          27h
    12. 
  
  
  
  
  12. kube-controller-manager-cilium1   1/1     Running   2          27h
    13. 
  
  
  
  
  13. kube-scheduler-cilium1            1/1     Running   2          27h
    14.

检查cilium状态，确保安装正确

 
 
 
 
    
  
  
  
  
  1. root@cilium1:/# kubectl exec -n kube-system  cilium-t9ffc  -- cilium status
    2. 
  
  
  
  
  2. Defaulted container "cilium-agent" out of: cilium-agent, mount-cgroup (init), clean-cilium-state (init)
    3. 
  
  
  
  
  3. KVStore:                Ok   Disabled
    4. 
  
  
  
  
  4. Kubernetes:             Ok   1.21 (v1.21.3) [linux/amd64]
    5. 
  
  
  
  
  5. Kubernetes APIs:        ["cilium/v2::CiliumClusterwideNetworkPolicy", "cilium/v2::CiliumEndpoint", "cilium/v2::CiliumNetworkPolicy", "cilium/v2::CiliumNode", "core/v1::Namespace", "core/v1::Node", "core/v1::Pods", "core/v1::Service", "discovery/v1::EndpointSlice", "networking.k8s.io/v1::NetworkPolicy"]
    6. 
  
  
  
  
  6. KubeProxyReplacement:   Strict   [eth0 10.211.55.50 (Direct Routing)]
    7. 
  
  
  
  
  7. Cilium:                 Ok   1.10.3 (v1.10.3-4145278)
    8. 
  
  
  
  
  8. NodeMonitor:            Listening for events on 8 CPUs with 64x4096 of shared memory
    9. 
  
  
  
  
  9. Cilium health daemon:   Ok   
    10. 
  
  
  
  
  10. IPAM:                   IPv4: 2/254 allocated from 10.0.0.0/24, 
    11. 
  
  
  
  
  11. BandwidthManager:       Disabled
    12. 
  
  
  
  
  12. Host Routing:           Legacy
    13. 
  
  
  
  
  13. Masquerading:           BPF   [eth0]   10.0.0.0/24 [IPv4: Enabled, IPv6: Disabled]
    14. 
  
  
  
  
  14. Controller Status:      20/20 healthy
    15. 
  
  
  
  
  15. Proxy Status:           OK, ip 10.0.0.41, 0 redirects active on ports 10000-20000
    16. 
  
  
  
  
  16. Hubble:                 Ok   Current/Max Flows: 817/4095 (19.95%), Flows/s: 0.95   Metrics: Disabled
    17. 
  
  
  
  
  17. Encryption:             Disabled
    18. 
  
  
  
  
  18. Cluster health:         3/3 reachable   (2021-08-07T15:29:05Z)
    19.

部署nginx来测试一下网络联通性

 
 
 
 
    
  
  
  
  
  1. # nginx deployment yaml文件
    2. 
  
  
  
  
  2. cat deployment-nginx.yaml
    3. 
  
  
  
  
  3. apiVersion: apps/v1
    4. 
  
  
  
  
  4. kind: Deployment
    5. 
  
  
  
  
  5. metadata:
    6. 
  
  
  
  
  6.   name: nginx
    7. 
  
  
  
  
  7. spec:
    8. 
  
  
  
  
  8.   selector:
    9. 
  
  
  
  
  9.     matchLabels:
    10. 
  
  
  
  
  10.       run: nginx
    11. 
  
  
  
  
  11.   replicas: 4
    12. 
  
  
  
  
  12.   template:
    13. 
  
  
  
  
  13.     metadata:
    14. 
  
  
  
  
  14.       labels:
    15. 
  
  
  
  
  15.         run: nginx
    16. 
  
  
  
  
  16.     spec:
    17. 
  
  
  
  
  17.       containers:
    18. 
  
  
  
  
  18.       - name: nginx
    19. 
  
  
  
  
  19.         image: nginx
    20. 
  
  
  
  
  20.         ports:
    21. 
  
  
  
  
  21.         - containerPort: 80
    22. 
  
  
  
  
  22.        
    23. 
  
  
  
  
  23. # 创建nginx deployment
    24. 
  
  
  
  
  24. kubectl create -f deployment-nginx.yaml
    25. 
  
  
  
  
  25. 
  
  
  
  
  26. # 查看部署结果
    27. 
  
  
  
  
  27. root@cilium1:/# kubectl get po -o wide
    28. 
  
  
  
  
  28. NAME                     READY   STATUS    RESTARTS   AGE   IP           NODE      NOMINATED NODE   READINESS GATES
    29. 
  
  
  
  
  29. nginx-649c4b9857-8f2v5   1/1     Running   1          26h   10.0.2.212   cilium2              
    30. 
  
  
  
  
  30. nginx-649c4b9857-mhsxs   1/1     Running   1          26h   10.0.1.23    cilium3              
    31. 
  
  
  
  
  31. nginx-649c4b9857-qw2jj   1/1     Running   1          26h   10.0.2.69    cilium2              
    32. 
  
  
  
  
  32. nginx-649c4b9857-vj9w2   1/1     Running   1          26h   10.0.1.126   cilium3
    33.

创建一个nodeport service来验证service的可访问

 
 
 
 
    
  
  
  
  
  1. # 创建service
    2. 
  
  
  
  
  2. kubectl expose deployment nginx --type=NodePort --port=80
    3. 
  
  
  
  
  3. 
  
  
  
  
  4. # 查看service
    5. 
  
  
  
  
  5. root@cilium1:/# kubectl get svc nginx
    6. 
  
  
  
  
  6. NAME    TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
    7. 
  
  
  
  
  7. nginx   NodePort   10.97.209.103           80:31126/TCP   26h
    8.

验证nodeport、cluster可访问

 
 
 
 
    
  
  
  
  
  1. # 通过nodeport
    2. 
  
  
  
  
  2. root@cilium1:/# curl 127.0.0.1:31126
    3. 
  
  
  
  
  3. 
  
  
  
  
  4. 
  
  
  
  
  5. 
  
  
  
  
  6. Welcome to nginx!
    7. 
  
  
  
  
  7. 
  
  
  
  
  8. # 通过service:port
    9. 
  
  
  
  
  9. root@cilium1:/# curl 10.97.209.103
    10. 
  
  
  
  
  10. 
  
  
  
  
  11. 
  
  
  
  
  12. 
  
  
  
  
  13. Welcome to nginx!
    14. 
  
  
  
  
  14. 
  
  
  
  
  15. # 检查iptables 发现为空
    16. 
  
  
  
  
  16. root@cilium1:/# iptables-save | grep KUBE-SVC
    17. 
  
  
  
  
  17. root@cilium1:/# 
    18. 
  
  
  
  
  18. 
  
  
  
  
  19. # 检查ciliun service
    20. 
  
  
  
  
  20. root@cilium1:/# kubectl exec -n kube-system  cilium-t9ffc  -- cilium service list
    21. 
  
  
  
  
  21. Defaulted container "cilium-agent" out of: cilium-agent, mount-cgroup (init), clean-cilium-state (init)
    22. 
  
  
  
  
  22. ID   Frontend             Service Type   Backend                  
    23. 
  
  
  
  
  23. 1    10.96.0.1:443        ClusterIP      1 => 172.16.88.57:6443   
    24. 
  
  
  
  
  24. 2    10.96.0.10:9153      ClusterIP      1 => 10.0.2.229:9153     
    25. 
  
  
  
  
  25.                                          2 => 10.0.2.80:9153      
    26. 
  
  
  
  
  26. 3    10.96.0.10:53        ClusterIP      1 => 10.0.2.229:53       
    27. 
  
  
  
  
  27.                                          2 => 10.0.2.80:53        
    28. 
  
  
  
  
  28. 4    10.97.209.103:80     ClusterIP      1 => 10.0.2.69:80        
    29. 
  
  
  
  
  29.                                          2 => 10.0.1.23:80        
    30. 
  
  
  
  
  30.                                          3 => 10.0.1.126:80       
    31. 
  
  
  
  
  31.                                          4 => 10.0.2.212:80       
    32. 
  
  
  
  
  32. 5    172.16.88.57:31126   NodePort       1 => 10.0.2.69:80        
    33. 
  
  
  
  
  33.                                          2 => 10.0.1.23:80        
    34. 
  
  
  
  
  34.                                          3 => 10.0.1.126:80       
    35. 
  
  
  
  
  35.                                          4 => 10.0.2.212:80       
    36. 
  
  
  
  
  36. 6    0.0.0.0:31126        NodePort       1 => 10.0.2.69:80        
    37. 
  
  
  
  
  37.                                          2 => 10.0.1.23:80        
    38. 
  
  
  
  
  38.                                          3 => 10.0.1.126:80       
    39. 
  
  
  
  
  39.                                          4 => 10.0.2.212:80       
    40.

从上面的安装和测试结果来，虽然我们没有安装k8s的kube-proxy组件，但是集群依然正常。说明kube-proxy组件确实是可以被替代的。

总结

以上虽然完成了kubernetes without kube-proxy的搭建和测试工作，但还是有很多事情没说明。比如使用cilium的系统要求、cilium是什么、有几种组网模式、网络策略。不过请不要着急，期待我后续的文章。

参考

https://docs.cilium.io/en/v1.10/gettingstarted/kubeproxy-free/#kubernetes-without-kube-proxy

https://kubernetes.io/docs/concepts/cluster-administration/addons/

https://helm.sh/docs/intro/install/

网页名称：聊聊KubernetesWithoutKube-Proxy
链接URL：http://www.csdahua.cn/qtweb/news43/123643.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

网站维护知识

同城分类信息

手机网站制作　　 　力比特工程　　 　app开发公司　　 　成都微信开发　　 　成都网站设计　　 　成都机柜租用　　 　企业网站改版　　 　绵阳电信服务器托管　　 　虚拟主机购买　　 　重庆网站建设公司　　 　成都二枢机房　　 　域名申请　　 　佑馨产后护理　　 　丹棱网站建设　　 　成都网站建设　　 　微商城开发　　 　彩乐斯贸易　　 　SSL认证　　 　成都娃娃鱼　　 　温岭熙道网站