Today Keys : 배치그룹, placement groups, 클러스터, 파티션, 분산, cluser, partition, spread, ec2, instance, 워드로드
이번 포스팅은 AWS EC2 인스턴스를 워크로드에 맞춰서 최적의 배치를 할 수 있도록 도와주는 배치그룹(Placement Groups)에 대한 정리 포스팅입니다.
Placement Groups(배치 그룹)
▪ 새로운 EC2 인스턴스를 시작하면, 인스턴스는 기본 하드웨어 전반에 분산되도록 하여 장애 시의 영향도를 줄임.
▪ 하지만, 워크로드에 따라서 인스턴스의 배치를 조정하는 것이 더 유리한 경우가 있음
▪ 배치 그룹을 사용하여, 인스턴스의 배치 전략을 선택하여, 워크로드에 따른 최적의 배치를 할 수 있도록 할 수 있음.
▪ 배치 그룹을 사용하는 것에 따른 별도의 비용은 발생하지 않음.
배치 그룹 방식
▪ 클러스터(Cluster)
- 인스턴스를 가용 영역 내에 서로 근접하게 위치
- HPC와 같이 노드 간의 통신 시 Latency를 낮도록 구성이 필요한 경우에 사용
- 높은 네트워크 처리량에 유리
- 클러스터 배치 그룹의 경우 동일한 인스턴스 유형을 사용하는 것을 권고.
- 배치 그룹 내의 인스턴스를 중지 후, 다시 실행하는 경우 동일 배치 그룹에서 시작하며, 이 때 용량 부족으로 실행이 불가할 수도 있음
이 경우 해당 배치 그룹을 모두 정지하여 재 시작 시, 배치 그룹 내의 인스턴스를 수용 가능한 하드웨어에서 시작될 수 있음
이 경우 해당 배치 그룹을 모두 정지하여 재 시작 시, 배치 그룹 내의 인스턴스를 수용 가능한 하드웨어에서 시작될 수 있음
- 여러 가용 용역을 포괄 할 수 없음 (가용 영역에 종속)
- 클러스터 배치 그룹 내부에서는 인스턴스가 최대 10Gbps, 외부와는 최대 5Gbps 사용 가능
- 인터넷 및 DX를 통한 연결은 각각 최대 5Gbps로 제한
▪ 파티션(Partition)
- 논리적 파티션 분리를 통해, 한 파티션에 있는 인스턴스 그룹이 다른 파티션의 인스턴스 그룹과 기본 하드웨어를 공유하지 않도록 함.
- Hadoop, Cassandra, Kafkka 등 대규모 분산 및 복제 워크로드에 필요
- 파티션 배치 그룹 사용하여 인스턴스 생성 시에는 파티션에 인스턴스를 균일하게 배포
- 파티션 배치 그룹에서 실행할 수 있는 인스턴스 숫자는 계정에 제한
- 가용 영역당 최대 7개의 파티션 배치영역 가능
- 전용 인스턴스가 있는 파티션 배치 그룹은 최대 2개만 가능
- 전용 호스트에서는 사용 불가
▪ 분산(Spread)
- 인스턴스 그룹을 다른 하드웨어로 분산하여 인스턴스 간의 장애 시 영향을 최소화 함.
- 분산형 배치 그룹은 별개의 랙에 배치.
- 분산 그룹당 가용 영역별 최대 7개의 실행 중인 인스턴스 보유 가능
- 7개 이상의 인스턴스가 필요한 경우 다수의 분산형 배치 그룹 사용
- 서로 다른 분형 배치 그룹 간에는 동일한 하드웨어를 사용하게 될 수도 있음.
- 전용 인스턴스 및 전용 호스트에서는 사용 불가
배치 그룹 규칙 및 제한 사항(공통)
▪ 배치 그룹의 이름은 AWS계정&리전에서 고유해야 함.
▪ 배치 그룹 병항 불가
▪ 인스턴스는 하나의 배치 그룹에만 속할 수 있음.
▪ 테넌시를 host로 지정된 경우 배치 그룹 불가
클러스터 배치 그룹을 지원하는 인스턴스 타입
▪ General purpose: A1, M4, M5, M5a, M5ad, M5d, M5dn, M5n, M6g
▪ Compute optimized: C3, C4, C5, C5a, C5d, C5n, C6g, cc2.8xlarge
▪ Memory optimized: cr1.8xlarge, R3, R4, R5, R5a, R5ad, R5d, R5dn, R5n, R6g, X1, X1e, z1d
▪ Storage optimized: D2, H1, hs1.8xlarge, I2, I3, I3en
▪ Accelerated computing: F1, G2, G3, G4dn, Inf1, P2, P3, P3dn
Cluster 배치 그룹의 경우에는 클러스터 배치 그룹의 이름만 정하고, 배치 전략(Placement strategy)를 Cluster로만 설정
Parttition 배치 그룹의 경우 배치 전략을 Partition으로 설정하고, 파티션 수량을 설정합니다. (2~7개)
Spread 배치그룹은 Cluster 배치 그룹과 동일하게 배치 그룹 이름과 배치 전략만 선택합니다.
만들어진 배치 전략은 EC2 생성 시에 배치 그룹을 사용할 것인지를 선택해서 기존에 만들어진 배치 그룹을 선택하거나,
혹은 새로운 배치 그룹을 생성해서 선택할 수 있음.
배치 전략이 파티션인 경우 자동으로 분배하는 것이 기본 설정이지만, 특정 파티션에 위치시킬 수도 있음.
Spread는 Cluster와 동일하게 배치 그룹 선택만 하고, 별다른 설정은 하지 않음
단, Spread 배치 전략으로 설정 시 아ㅐ에 해당 배치 그룹에 최대 7개의 인스턴스를 Launch up 할 수 있다고 안내가 뜨는 것을 확인 가능.
