Last Update : 2014.05.14 [Fabric Interface Update]
원래 조금 묶혀놓은 것들이 있어서, 빠르게 업데이트 하려했으나,
지난 주에 진행된 넥서스 기초따라잡기 관게로~ 조금 편집이 늦어져서 지난 포스팅과 텀이 좀 있었네요 ^^;
FabricPath Design이 순서였으나, 잠시 순서를 바꾸어서 FabricExtender로 진행해봅니다.
물론 FabricPath Design에 대한 부분도 추후 포스팅 될 예정이오니 기다려주세요~ ^^
FEX 이해하기
•전형적인 Components.
- Supervisor Module들은 Control / Management plane 기능을 담당
- Linecard 또는 I/O 모듈은 Forwarding Plane 기능을 한다.
- Supervisor과 Linecard간의 Frame 전송은 Fabric card 혹은 Backplane으로 연결된다.
•대부분의 Linecard는 local hardware forwarding을 위해 전용 ASIC을 가진다.
•이러한 Linecard를 다른 장소에 설치하도록 하는 것, 즉 Remote linecard의 개념이 바로 Fabric Extender
라고 볼 수 있다.
- 일반적으로는 Port Extender라고 한다. ( IEEE 802.1Qbh [Bridge Port Extension] )
•VN-TAG : FEX와 Controlling Bridge간의 Encapsulation mechanism.
- Controlling Bridge는 IEEE용어이며, Cisco 용어로는 Parent Switch
즉, FEX가 연결되는 상단 장비인 Nexus 7000, 5000을 뜻한다.
※ Nexus 9000과의 FEX 구성은 2014년 중반쯤 지원될 예정이다.
FEX Protocol / Service
•SDP (Satellite Discovery Protocol) : FEX의 Fabric port가 Nexus 7000/5000에 연결되었을 때, FEX를 찾기 위한 Protocol
•SMP (Satellite Management Protocol) : Loop를 피하기 위해 FEX를 제어하는 Protocol
•MTS (Message and Transmission Service) : 이벤트 통지, 동기화와 같은 내부 프로세스간의 통신과 시스템 서비스,
시스템 Component와 Controlling Bridge간의 Message persistence를 하도록 해주는 서비스
FEX
• 802.1BR Virtual Bridge Port Extension = Cisco FEX (Fabric Extender)
• Fabric Extender를 Nexus 7000에 연결하고자 할 때 에는 N7K-M132XP-12, N7K-M132XP-12L , M2, F2 모듈에 연결해야 한다.
• Fabric Extender는 별도의 Software를 포함하고 있지 않으며, 자동으로 Parent Device(N7K / N5K)에서 자동으로 Down 및
Upgrade 된다.
•Fabric Extender를 사용하기 위해서는 별도의 license package가 필요로 하지 않는다.
•Nexus 2000은 다른 Switch와는 달리 모든 Front-panel port에 BPDU-Guard가 활성화되어 있다.
Parent Switch와 Fabric Extender간의 Port-channel의 Load-Balancing은 다음과 같다.
- Layer 2 : Source / Destination MAC Address - Layer 3 : Source / Destination MAC & Source / Destination
FEX Interface
• Fabric Interface : Nexus 2000 Series Port와 연결된 상단 장비의 Port.
※ switchport mode fex-fabric 명령으로 설정
•HIF (Host Interface)
- FEX단에서 End User Host와 연결되는 Interface.
VN-Tag Header로 캡슐화되기 전의 일반 Ethernet Traffic을 수신 받는다.
•NIF (Network Interface )
- FEX에 있는 물리적 Uplink Interface. Parent switch와 연결되어, 오직 VN-Tagged된 Traffic만 전송한다
•LIF (Logical Interface)
- HIF의 Logical Interface로, 이 interface의 설정은 Parent Switch에서 한다.
•VIF (Virtual Interface)
- FEX에 있는 논리적 Interface.
Management
• Nexus 2000은 상단의 관리 스위치(Parent switch)와 연결된 Fabric Interface를 통해서 관리 된다.
• FEX의 Fabric Interface를 통해, 상단의 관리 스위치와 연관되어 있을 경우 Discovery되고 그 이후에는 다음과 같은 동작을 한다
|
1. Software Image의 호환성을 확인하고 Upgrade가 필요한지 확인한다. 2. 상단 관리 Switch와 Fabric Extender는 in-Band IP를 통해서 연결되는 데, 이 IP는 상단 관리 Switch에서 127.15.1.0/24의 Loopback 범위 내에서 충돌하지 않는 IP를 Fabric Extender로 할당한다. 3. 상단 관리 Switch는 Fabric Extender로 Configuration으로 넣는다. (Fabric Extender는 Local에 어떠한 Configuration도 저장하지 않는다) 4. Parent switch는 Fabric Extender는 운영상태를 Update하며, 모니터링 및 트러블슈팅을 위해 Switch command들을 사용하여 모든 정보는 볼 수 있다. |
FEX Fabric Interface
•Fabric Extender가 상단의 parent switch와 연결하기 위한 10G Uplink.
•Fabric Interface는 다른 용도로는 사용할 수 없으면 오직 parent switch를 연결하기 위한 용도로만 사용.
•switchport mode fex-fabric 으로 FEX Fabric mode를 설정을 하면, 해당 mode와 관련이 없는 모든 기능은 비활성화 된다.
FEX Fabric mode를 제거하면 기존의 비활성화 된 기능은 다시 활성화 된다.
FEX Host Interface
•Host Interface는 NX-OS 5.2 이전에는 Default Layer 2이며, NX-OS 5.2부터는 Default Layer 3이다.
•Layer 3 Host Interface
- sub-interface를 지원하며 최대 32개까지 만들 수 있다.
•Layer 2 Host interface
- BPDU-Guard가 활성화 된 Spanning tree Edge port로서 동작하며, 이를 변경할 수는 없다.
- 서버를 Active/Standby 구조의 Teamming, 802.3ad port channel, 다른 Host기반의 Link redundancy 매커니즘으로
연결할 수 없다.
- Spanning Tree가 동작하는 어떠한 Device라도 연결하여, BPDU를 수신하게 되면 host interface는 Error-disabled 상태가 된다.
- Spanning Tree에 의존하지 않으면서, Link Redundancy 매커니즘이 동작하는 Cisco FlexLink 또는 vPC(BPDU Filter가 활성화된)
Edge Switch 는 Host Interface에 연결이 가능하다.
- 각 Host Interface의 Ingress와 Egress Packet counter를 제공한다.
FEX Port Channel
• 공통 사항
- FEX는 Host Interface에 대해서 Port-channel을 지원한다.
- Standard Mode에서는 최대 8개의 Interface로 구성할 수 있으며, LACP를 통해서는 최대 16개의 Interface로
구성할 수 있다.
• Layer 3 Port Channel
- Port-Channel의 모든 모든 Member는 동일한 FEX의 Host Interface로 구성되어야 하며, FEX와 Parent Switch를 혼합하여
구성할 수 없다.
- Sub-interface를 지원하며, 최대 1000개의 Sub-interface를 생성 가능하다.
•Layer 2 Port Channel
- Access와 Trunk mode로 구성 가능하다.
- NX-OS 5.2(1)부터 FEX에서는 host vPC Feature를 지원하는 데, 이는 서버가 서로 다른 2대의 FEX에 Dual-attach된 경우에
Port-Channel로 구성할 수 있으며, 이 경우에 vPC Domain으로 구성된 각 Parent Switch에 설정을 해야한다.
(하나의 FEX에 하나의 Parent Switch 연결)
FEX Forwarding
•NEXUS 2000은 Remote Linecard로 동작하지만, Local Switching은 지원하지 않고, 모든 forwarding은 Parent Switch에서
수행한다.
•FEX는 Network에서 Host로 전송되는 Multicast 복제를 Fabric Extender ASIC을 통해서 지원하여 host들로 전송하게 된다.
