Cloud/AZURE2020. 5. 15. 22:01

Today Keys :AKS, network, kubenetes, kubenet, CNI, vnet, cluster, 네트워크, 쿠버네티스, cloud


  Azure의 Managed Kubernetes 서비스인 AKS의 네트워크에 대한 첫 번째 포스팅입니다. 

  2가지 네트워크 모든 Kubenet 네트워킹, Azure CNI 네트워킹과 Load Balancer에 대한 정리입니다.   


 

Kubenet 네트워킹

  ▪  AKS 클러스터에서의 기본 네트워킹 방식
  ▪  Node는 VNet 서브넷 IP를 할당받고, Pod는 별도의 IP Address에서 할당
  ▪  Node만 라우팅이 가능한 대역을 할당받고, Pod는 NAT를 이용해서 외부와 통신
  ▪  IP 주소 공간을 절약
  ▪  Kubernets 내부 또는 외부 부하분산 장치를 사용하여 클러스터 외부에서 Pod에 연결
  ▪  Pod에 대한 네트워크  대역을 Node Subnet의 라우팅 테이블에서 UDR로 관리해야 함. (Dst : Pod 대역 / N.H. : Node IP)
  ▪  Azure CLI로 생성해야 함.

Azure CNI 네트워킹
  ▪  모든 Pod가 VNet 서브넷 IP를 사용
       - VNet에서 필요한 IP 주소 수량이 많기 때문에 IP 관리 필요 
  ▪  AKS에서 사용하는 VNet의  IP address 설계 시, Cluster의 node 수와 함께 실행할 Pod 수를 함께 고려해야 함.
  ▪  AKS 클러스터 업그레이드 시에 대한 부분도 클러스터에서 사용하는 VNet(Subnet) Sizing에 반영 필요
       - (노드 수 + 1) + ((노드 수 + 1) * 노드당 최대 Pod)
  ▪  AKS 클러스터에 대한 가상 네트워크는 아웃바운드 인터넷 연결이 필요
  ▪  클러스터 서브넷에는 VM 배포 불가


Max Pod
  ▪ AKS Cluster Node에서 생성되는 Pod의 최대 값
  ▪ kubenet 네트워킹과 Azure CNI 네트워킹에 따라서 최대 값이 다름
      - Kubenet :  Node당 기본 Pod 110 (최소 10 / 최대 110)
      - Azure CNI :  Node당 기본 Pod 30 (최소 10 / 최대 250)
  ▪ Cluster 생성 시에 Max Pod 설정은 Azure Cli에서 --max-pods 인수를 지정하거나, Resource Manager 템플릿에서 ManagedClusterAgentPoolProfile 개체에서 maxPods 속성을 지정할 수 있음 (Azure Portal에서는 지정 불가)
  ▪ Cluster 운영 중에서 최대 값 변경 시에는 새로운 maxPod수로 새 Node Pool을 생성한 후, 기존 Pod를 신규 Node Pool로 마이그레이션 후, 기존 클러스터를 삭제해야 함. 


Load Balancer
  ▪ Azure Load Balancer 배포 시, 클러스터 서브넷에서 할당됨
  ▪ 기본(Basic)과 표준(Standard) SKU 로드밸런서를 모두 사용 가능하지만,  클러스터에서 서로 다른 SKU의 로드밸런서는 지원하지 않음.
      - 표준 SKU 사용 시에는 Kubernetes 1.13이상을 사용해야 함.
  ▪ Cluster 생성 시 만들어지는 Load Balancer는 표준 SKU이며(default) internet facing임.
       - SKU를 변경하려면, az create 명령으로 Cluster 생성 시, --load-balancer-sku 매개 변수에서 지정 가능
  ▪ Cluster 생성 시에 만들어진 Load Balancer은 송신을 목적으로 사용되록 프로비저닝 된 것임.   
  ▪ Load Balancer를 Cluster 서브넷이 아닌 다른 서브넷에 구성 할 경우 
azure-load-balancer-internal-subnet 값을 annotations에 추가
      - 단, 해당 서브넷도 동일한 VNet 내에 속해 있어야 함. 
apiVersion: v1
kind: Service
metadata:
  name: internal-app
  annotations:
    service.beta.kubernetes.io/azure-load-balancer-internal: "true"               // Internal LB 속성
    service.beta.kubernetes.io/azure-load-balancer-internal-subnet: "zigi-subnet"      // 서브넷 설정
spec:
  type: LoadBalancer
  ports:
  - port: 80
  selector:
    app: internal-app
  ▪ 표준 SKT 로드밸런서 사용 시, load-balancer-managed-outbound-ip-count 매개변수를 사용하여, 아웃바운드 공용 IP 수 조정 가능
   (default 1)
az aks update \
    --resource-group myResourceGroup \
    --name myAKSCluster \
    --load-balancer-managed-outbound-ip-count 2
  ▪ 아웃바운드로 로드밸런서를 이용했을 때, SNAT(PAT:NAPT)이 수행되는 데 다수의 통신 시에 소스 포트 고갈이 발생 가능
       - load-balancer-outbound-ports [포트수] 매개변 수와 load-balancer-idle-timeout [time] 옵션을 사용하여 이를 변경 가능
       - load-balancer-outbound-ports 의 경우 백엔드 Poll 크기에 따라서 아웃바운드 포트 수
             - 이 때, 값을 '0'을 주면 전체 사용 가능한 포트 수를 node 수로 나눠서 적정하게 노드별 사용 가능한 포트 수를 자동으로 배분
             - 만약 로드밸런서에 추가적인 Outbound용 IP가 추가될 경우에 최대 사용 가능한 포트 수가 증가하나,
               설정 값이 자동으로 반영되지 않기 때문에 aks update에서 재설정 필요
Posted by 지기 네떡지기

댓글을 달아 주세요