분류없음2016.12.23 08:50

 

안녕하세요.

네떡지기입니다.


본 블로그에서 나름 오랜(?)기간 포스팅 했었던.. 시리즈인..

Nexus 기초 따라잡기에 대한 PDF판을 공개합니다.


아무래도 시간이 좀 지난거라서 달라진 부분들도  있을꺼고,

미처 잘못 작성된 것을 수정하지 못한 부분들도 있을 수 있습니다.


하지만, 커다란 맥락에서는 큰 부분이 달라지지는 않았으리라.. 생각하고..

달라지는 부분들도 기존의 것들을 알고 있어야 할 것이라고 생각하기 때문에...


2016년 크리스마스를 앞두고... PDF판으로 공개를 합니다.

표지,간지를 포함하여.. 무려. 192페이지에 달하는...


누군가에게는... 도움이 되기를 바라며... ^^

 

p.s. 2016년에는.. 기존의 포스팅과 더불어... 또 다른.. 장기 시리즈가 시작되지 않을까? 싶습니다..

 

 

 

 

Nexus_기초따라잡기(공개).z01

Nexus_기초따라잡기(공개).z02

Nexus_기초따라잡기(공개).zip


Posted by 네떡지기

 

이번에는 FEX에 대한 실제 설정과 관련한 부분입니다.

 

 

설정과 관련한 부분도 우선 현재 계획은 이번 포스팅과 다음 포스팅으로 나눠서 진행될 예정이긴 하나,

 

 

더 나눠질지는 아직 모르겠습니다.

 

 

 

 

 

 

 

 


 

FEX 설정 [Static Pinning]

-   Fabric Interface로 사용하게된 Parent Switch에서 Switchport mode를 Fex-fabric 설정을 하고, Fex를 Associate한다.

 

5K-1(config)# install feature-set fex                                                                              fex feature-set 설치

5K-1(config)# feature-set fex                                                                                        fex feature-set 활성화

 

5K-1(config)# int e2/3 

5K-1(config-if)# switchport mode fex-fabric                                                                InterfaceFex Mode 설정

5K-1(config-if)# fex associate 101                                                                                Fex  번호 설정(가상 슬롯 형태)

 

5K-1(config)# int e101/1/1                                                                                           Fex Interface 설정

5K-1(config-if)# switchport mode access                      

5K-1(config-if)# switchport access vlan 10 

 

 

-   Static pinning으로 연결된 포트의 상태 정보이다.

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  

  Pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth2/3

   ...

  Fabric interface state:

    Eth2/3 - Interface Up. State: Active

Fex Port        State  Fabric Port

       Eth101/1/1    Up      Eth2/3

       Eth101/1/2  Down      Eth2/3

       Eth101/1/3  Down      Eth2/3

       

      Eth101/1/47  Down      Eth2/3

      Eth101/1/48  Down      Eth2/3 

 

 

-   Static Pinning 시에 상단 Parent Switch와 구성하는 Fabric Interface의 개수를 지정할 수 있는다.

    이 때 해당 FEX 설정 모드에 들어가서 pinning max-link 명령으로 설정을하게 된다. 

5K-1(config)# fex 101

5K-1(config-fex)# pinning max-links  2                                                           [Static Pinning Max Up Link]

 

5K-1(config)# int e2/4                                                                                       2번째 Uplink 설정

5K-1(config-if)# switchport mode fex-fabric                                                     - fabric interface

5K-1(config-if)# fex associate 101 

 

 

-  Mac-link로 설정 후에, 현재의 Fex 상태 정보를 보면 max-link로 설정된 Interface 수에 따라서 Fabric Extender의 포트 구성이

  되어 있음을 볼 수 있다. 아래의 예에서는 2개의 Max-link로 48Port의 Fabric Extender에서 1~24, 25~48 나뉘어서 Fabric Inteface

  가 지정된 것을 확인할 수 있다.

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 2                                                                              Max Uplink 개수

  Fabric port for control traffic: Eth2/3                                                                            FEX Control Traffic 관리 포트

  

  Fabric interface state:  현재 Static PinningPort

    Eth2/3 - Interface Up. State: Active

    Eth2/4 - Interface Up. State: Active

  Fex Port  State  Fabric Port

       Eth101/1/1  Up  Eth2/3

     

      Eth101/1/24  Down   Eth2/3

      Eth101/1/25  Down  Eth2/4

     

      Eth101/1/48  Down  Eth2/4

 

 

-   Static Pinning 상태에서 1개의 Uplink가 Down되었을 때의 상태정보이다.

    Static Pinning 상태에서 Fabric Interface Down시에 각 Port별 재할당에 관련한 내용은 다음 포스팅에서 다뤄질 예정이다.

 

 

 

 

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 2                                                                     Max Uplink 개수

  Fabric port for control traffic: Eth2/4                                                                   FEX Control Traffic 관리 포트

  

  Fabric interface state:                                                                                             현재 Static PinningPort

    Eth2/3 - Interface Down. State: Configured

    Eth2/4 - Interface Up. State: Active

  Fex Port  State  Fabric Port

       Eth101/1/1  Down  Eth2/3

     

      Eth101/1/24  Down   Eth2/3

      Eth101/1/25  Down  Eth2/4

     

      Eth101/1/48  Down  Eth2/4

 

 

 

 

FEX 설정 [Port-Channel]

-  Port-Channel로  FEX 설정은 Static Pinning과 거의 동일하나 Fabric Interface를 Port-channel로 만들고,

   해당 Port-Channel에서 Switchport mode를 Fex-fabric 설정을 하게 된다.

 

5K-1(config)# install feature-set fex                                                                  fex feature-set 설치

5K-1(config)# feature-set fex                                                                             fex feature-set 활성화

 

5K-1(config)# int e2/3-4

5K-1(config-if)# channel-group 52

5K-1(config-if)# no shutdown

 

5K-1(config)# int port 52

5K-1(config-if)# switchport mode fex-fabric                                                     InterfaceFex Mode 설정

5K-1(config-if)# fex associate 101                                                                     Fex  번호 설정(가상 슬롯 형태)

 

5K-1(config)# int e101/1/1                                                                                Fex Interface 설정

5K-1(config-if)# switchport mode access                      

5K-1(config-if)# switchport access vlan 10

    

 

 

 

 -  Port-Channel로 설정된 Fabric Interface의 정보

 

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Online

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  ..

  pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth1/7

   ..

  Fabric interface state:

    Po10 - Interface Up. State: Active  Port-Channel

    Eth1/7 - Interface Up. State: Active

    Eth1/8 - Interface Up. State: Active

  Fex Port        State  Fabric Port

       Eth100/1/1    Up        Po10

       Eth100/1/2    Up        Po10

       Eth100/1/3  Down        Po10

 

 

 

 

 

-  Port-Channel로 설정된 FEX에서 Fabric Interface가 Down된 경우, 전체적은 Port-Channel은 Up을 유지하고

   실제 Down된 Interface만 Down으로 체크된다. 하지만 각 Fabric Interface의 Port는 Port-channel로 연결되어 있기 때문에

   전체적인 하단 Interface는 기존 상태를 유지하게 된다.

 

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 1  Max Uplink 개수

  Fabric port for control traffic: Eth2/4  FEX Control Traffic 관리 포트

  

  Fabric interface state:  현재 Static PinningPort

   Po10 - Interface Up. State: Active  Port-Channel

    Eth2/3 - Interface Down. State: Configured

    Eth2/4 - Interface Up. State: Active 

Fex Port  State  Fabric Port

 Eth100/1/1      Up  Po10

 Eth100/1/2    Up  Po10

 Eth100/1/3    Down  Po10

 

 

 

 

FEX 설정 [Fabric Extender Type 설정]

   - Fabric Extender를 구성하기 전에, Pre-Provision 기능을 이용하여 아래와 같이 설정을 하게 되면 Fabric Extender를 연결하기 전에

     Fabric Extender Port 설정을 할 수 있다. .

   - , 사전에 설정한 Type과 맞지 않는 TypeFabric Extender를 연결 시에는 Type Mismatch로 사용할 수 없게 된다

 

5K-1(config)# fex 101

5K-1(config-fex)# type N2232TP                                                                           // FEX Type 사전에 설정하기

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Fex Type Mismatch 

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  Extender Serial: SSI14280VS8

  Extender Model: N2K-C2248TP-1GE,  Part No: 73-12748-05                          // 실제 FEX Model

  Card Id: 99, Mac Addr: 58:8d:09:c9:41:02, Num Macs: 64

  Module Sw Gen: 12594  [Switch Sw Gen: 21]

  post level: complete

 pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth1/7

  FCoE Admin: false

  FCoE Oper: true

  FCoE FEX AA Configured: false

  Fabric interface state:

    Po10 - Interface Up. State: Active

    Eth1/7 - Interface Up. State: Active

    Eth1/8 - Interface Up. State: Active

   ...

 

 

 

 

FEX 설정 [Fabric Extender Serial 설정]

   - FEX 연결 전에 연결할 Fabric Extender Serial을 지정하여 사전 설정을 할 수 있다.

   - , 사전에 설정한 Serial과 맞지 않는 TypeFabric Extender를 연결 시에는 Identity Mismatch로 사용할 수 없게 된다.

 

5K-1(config)# fex 101

5K-1(config-fex)# serial SSI14280VX  // FEX Serial 사전에 설정하기

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Discovered

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  Extender Serial: SSI14280VS8

  Extender Model: N2K-C2248TP-1GE,  Part No: 73-12748-05

  Card Id: 99, Mac Addr: 58:8d:09:c9:41:02, Num Macs: 64

  Module Sw Gen: 12594  [Switch Sw Gen: 21]

  post level: complete

 pinning-mode: static    Max-links: 1

  Fabric port for control traffic:

  FCoE Admin: false

  FCoE Oper: true

  FCoE FEX AA Configured: false

  Fabric interface state:

    Po10 - Interface Down. State: Configured

    Eth1/7 - Interface Up. State: Identity-Mismatch

    Eth1/8 - Interface Up. State: Identity-Mismatch

  Fex Port        State  Fabric Port

       Eth100/1/1  Down        Po10

       Eth100/1/2  Down        Po10   ...

 

 

 

Posted by 네떡지기

 

○ Last Updated : 2014.05.22

○ Update History

     * NX-OS 6.2(2)의 변경 가이드라인 추가


이번 포스팅은 최근 포스팅 중에 제일 짧게 끊어가는 내용인 듯 싶습니다.

좀 더 이어서, FEX Configuration을 하려고 했으나 Configuration은 개별 포스팅을 가져가는 게 나을 듯 싶어서..

주중에 추가 포스팅을 약속하며~ 이번 포스팅은 짧게 끊어가겠습니다.


FEX Port Numbering

 

interface ethernet chassis/slot/port

•chassis ID 는 관리자에 설정된다.

•chassis ID 101 ~ 199까지 설정 가능하다.

chassic ID Fabric Extenderhost interface로 접근할 때만 필요하다.  101 이하의 값은 Parent Switch Slot을 나타낸다.

•slotFabric Extender Slot 번호이며, portslotchassis ID의 구체적인 Port 번호이다.

 

 

 

ACL & IGMP Snooping

•Fabric Extender ingress access control list를 지원한다. (Parent Switch에서 설정)

•Fabric Extender는 모든 Host Interface에서 IGMP Snooping을 지원하는 데, Destination multicast MAC Address 기반의  IGMPv2IGMPv3

   지원하며, Source MAC Addressprexy reports 기반의 snooping은 지원하지 않는다.

 

 

 

FEX 가이드라인 & 제약사항

• NX-OS 5.2 이후의 Default Port modeLayer 3이며, 그 이전에는 Layer 2이다.

          - 만약 5.2 이전 버전에서 OSUp-grade하게 될 경우에는 기존 Layer 2 설정을 유지하게 된다.

• Default VDC에서 먼저 Fabric Extender feature set Install 하여야 하며,

  이후에는 Default VDC를 포함한 모든 VDC에서  활성화하여 사용 가능하다.

• Fabric Extender를 Nexus 7000에 연결 시에는 Fabric ExtenderUplink / Host Port는 하나의 VDC에 속해있어야 한다.

   (하나의 Fabric Extender Port를 서로 다른 VDC에 할당할 수 없다.

• Fabric ExtenderNexus 7000에 연결 시에 다음 모듈에 연결해야 한다.

    -  32-port 10-Gigabit M1 module (N7K-M132XP-12)  

    -  32-port, 10-Gigabit M1-XL module (N7K-M132XP-12L

    -  M2 or  F2 module.

•Fabric Extender Feature 설정 시에, Standby Supervisorunstable state인 경우에 Reload 될 수 있다.  

   show module 명령을 통해서, Standby SupervisorStable 상태인지 체크할 수 있다. 정상인 경우에 ha-standby로 표시된다.

• Fabric Extender Interface는 오직 Edge Port로만 동작가능하며, 만약 Switch 연결이 감지되면 Error-disable 상태로 변경된다.

Fabric ExtenderHost InterfaceSpanning Tree Edge Port로만 동작하며, Network port로 설정할 수 없다.

   또한, BPDU Guard가 활성화되어 BPDU가 수신되는 Switch 연결 시에 Error-Disable 상태로 변하게 된다.

  Nexus 7000시리즈에 FEX를 연결 할 경우에 FEX host interfaceQueuing 기능이 제한된다. 

     SVI Interface를 사용한 Layer 2 혹은 Layer 3 FEX Interface로 연결된 RouterRouting Protocol Adjacency에 참여할 수 없다. 

     FEX Host Interface에서 혼잡이 발생한 경우에 Control plane Traffic이 우선순위가 아니기 때문에 FEX peer로써 사용될 수 없다.

     이러한 제약은 다른 Layer 3 Device(ASA, ACE, 기타 Dynamic Routing Protocol이 동작하는 Device)와 연결 시 동일하게 적용된다.

     , Static RouteRouterASA, ACE, 기타 Layer  3 Device로의 설정은 지원한다.

     → NX-OS 6.2(2)부터 Routing Peer 지원 (아래 참조)

• Fabric Extender PVLAN을 지원하지 않는다.

 

FEX 가이드라인 & 제약사항 (NX-OS 6.2(2) 이후 변경)

• Queuing을 지원하여, Layer 3와 Layer 2(SVI를 사용한) FEX Interface를 사용하여 Router와 연결 할 수 있다.

•  아래의 가이드 라인은 SVI를 사용한 FEX의 Layer 2 Interface를 사용한 경우이다.

       - Layer 3와 Layer 2(SVI를 사용하여 access 혹은 trunk interface 모드)의 Peer Device와 Routing Adjacency를 구성할 수 있다.

   ※ FEX Interface는 Spanning Tree Protocol을 지원하지 않기 때문에, Loop가 발생하지 않도록 네트워크를 구성해야 한다.

• CoS와 DSCP 값을 기반으로 한 Ethernet Frame Queuing과 FCoE Frame의 Queuing을 지원한다.

• FEX Port에서 Optimized Multicast Flooding(OMF)를 지원한다.

 

F2 시리즈 모듈 관련

•F2 Module은 다음 FEX Device만 지원한다.  [ 2248TP / 2248TP-E / 2232TP / 2232PP / 2232TM / 2224TP ]

•ASIC의 모든 PortIndex를 가지며, 다른 ASIC간의 Port Channel 구성 시에는 해당 Index가 동일해야 구성이 가능하다.

   예를 들어, Port 1Index 1을 갖고, Port 2 Index 2를 가질 때,

    - Supported : ASIC 1 Port 1 ASIC 2Port 1Port Channel로 구성.

    - Not Supported : ASIC 1Port 1ASIC 2 Port 2를 Port Channel로 구성 불가.

 

 

Posted by 네떡지기

Fabric Extender의 2번째 정리입니다.

지난 주부터 포스팅 주제를 좀 다양하게 하려다보니 기존 NX-OS 정리도 포스팅 텀이 생기지 않을까 싶네요. ^^;

(사실 기반 지식도 바닥(?)이 나는 것이기 때문이겠지만요. ^^;)

다음 NX-OS 포스팅은... Fabric Extender 3이 될지.. FabricPath를 이어서 할지.. ^^ 아직은 미정이지만..

곧 다시 또 올리도록 하겠습니다.

 


 

FEX 구성 방법

Nexus 2000은 개별 PortPinning을 하는 방법과 Port-Channel을 사용하는 2가지 Load-Balancing 방법이 있다

 

• Static Pinning

     - Front-panel PortUplink를 직접 구성하는 방법

     - Uplink의 구성 가능한 수를 기반으로 Pinning을 구성할 수 있다.

     - 모든 Host Interface는 하나의 Uplink에 할당이 되어야 한다.   

     - pinning max-links 명령을 통해서 각 Host Interface와 구성하는 Uplink의 수를 지정할 수 있다. [max-link : 1 ~ 4]

     - BandwidthOversubscription를 제어하는 데 있어서 좋은 구성 모드이다.

     - UplinkDown 경우에 DownLink에서 사용 가능한 Link로 자동 전환되지 않으며,

       삭제된 Uplink를 다시 추가하는 경우에도 재할당이 순서대로 되지는 않기 때문에 통신 상에 문제가 발생 할 수 있게 된다.

     - 재할당을 위해 DownUplink(Parent Switch Interface)에서 ‘no fex associate fex_nofex연결을 해제해주어야 한다

     - Fex 2148-T, 2148TP의 경우에는 1~4개의 Upstream Fabric Interface를 사용하며,

       Fex 2224TP1~2개의 Fabric Interface, Fex 2232PP1~8개의 Fabric Interface를 지원한다.

     -  해당 FEX와 연결된 Front-panel Port 확인 : show interface ethernet 1/17 fex-intf        

 

 

 

 

 

 

 

Ether-channel

     - Uplink Port가 하나의 논리적인 Interface로 구성(Port-channel)되어서, 모든 Front-panel portMapping 된다.

     - Uplink가 추가되거나 삭제될 때에도 Host Port는 그대로 Up 상태를 유지할 수 있다.

     - 모든 TrafficL2/L3 정보에 따라 Hash되어 Load Balancing되며, 하나의 UplinkFail된 경우에는 나머지 Link로 계속

       Load Balancing된다.

     - Host Interface에 대해서 L2 / L3 모두 각각 Standard Mode일 때에는 최대 8Interface, LACP Mode일 때에는 최대 16개의

       Interface 묶어서 구성할 수 있다

     - vPC를 이용하여 Uplink Port-channel을 구성할 수 있다.

 

 

 

 

FEX Static / Port Channel 차이

• StaticPortChannel의 차이를 이해하기 위해서는 Fabric Extender에 대한 컨셉의 기본 구조에 대해서 이해해야 한다.

     1. Fabric Extender는 중앙 SupervisorLine card를 연결하는 것과 유사한 방법이다.

     2. Fabric ExtenderLocal Switching을 하지 않고, 모든 SwitchingSupervisor에서 발생하게 된다.

• Static Pinning을 사용하는 경우에는 혼잡에 의해 영향을 받는 Server Port에 대해서 제어를 더 잘할 수 있다.

     Port ChannelTrafficHash에 의해서 Uplink로 보내지기 때문에 제어가 불가능하고,

     그래서 혼잡에 의해서 Host에 영향을 어떻게 받을지에 대해서 예측이 어렵다.

• Static PinningHost별로 직접 Port 지정이 가능하기 때문에 사용량에 따라 혼잡이 발생하지 않도록 Port 구성을 분배할 수 있으나,

     PortChannel의 경우에는 Hash 함수에 의해 자동지정이기 때문에 Port 구성 분배를 지정할 수 없기 때문에 특정 Port에 혼잡이 발생

    하면서 다른 Port는 여유대역폭이 남을 수 있다.

 • Static Pinning의 경우에는 Fabric Link중에 하나가 문제가 발생할 경우를 대비하기 위해서, Host 단에서 이중화(NIC Teaming같은)

    해두어야  하지만, Port-channelFabric Link중에 하나가 문제가 발생하더라도 나머지 Link로 전송이 가능하기 때문에 별도의 Host

    이중화를 하지 않더라도 통신이 가능하다.

    * Host단을 이중화로 구성한 경우,  상단 Static PinningUplink Down 시에 해당 Host InterfaceDown되어 Host단의 Fail-over

       된다.

 

 

 

FEX 구성 Topology

 

 

 

 

Enhanced Virtual PortChannel

• NX-OS 5.2(1)부터 Fabric Extender에서 host vPC를 서로 다른 FEX 통해 vPC 설정이 가능하다.

• Enhanced vPCHost에서 FEX FEX에서 Nexus 5500으로의 모든 구간을 Active 구간으로 만들어서,

   사용 가능한 Bandwidth를 효율화 한다.

지원 가능 플랫폼 (NX-OS 5.1.(3)N1(1))

     - Nexus 5548P / 5548UP / 5596UP (지원)

     - Nexus 5010 / 5020 (지원 불가)

Single Homed 구성은 Host802.3ad(LACP) 지원 가능 시, Dual-Homed802.3ad(LACP) 지원 불가능 시에 A/S 구조로 사용한다

 

 

Posted by 네떡지기

Last Update : 2014.05.14 [Fabric Interface Update]


원래 조금 묶혀놓은 것들이 있어서, 빠르게 업데이트 하려했으나,

지난 주에 진행된 넥서스 기초따라잡기 관게로~ 조금 편집이 늦어져서 지난 포스팅과 텀이 좀 있었네요 ^^;

FabricPath Design이 순서였으나, 잠시 순서를 바꾸어서 FabricExtender로 진행해봅니다.

물론 FabricPath Design에 대한 부분도 추후 포스팅 될 예정이오니 기다려주세요~ ^^


FEX 이해하기

•전형적인 Components.

- Supervisor Module들은 Control / Management plane 기능을 담당

- Linecard 또는 I/O 모듈은 Forwarding Plane 기능을 한다.

- Supervisor과 Linecard간의 Frame 전송은 Fabric card 혹은 Backplane으로 연결된다.

•대부분의 Linecard는 local hardware forwarding을 위해 전용 ASIC을 가진다.

•이러한 Linecard를 다른 장소에 설치하도록 하는 것, 즉 Remote linecard의 개념이 바로 Fabric Extender

라고 볼 수 있다.

- 일반적으로는 Port Extender라고 한다. ( IEEE 802.1Qbh [Bridge Port Extension] )

•VN-TAG : FEX와 Controlling Bridge간의 Encapsulation mechanism.

- Controlling Bridge는 IEEE용어이며, Cisco 용어로는 Parent Switch

즉, FEX가 연결되는 상단 장비인 Nexus 7000, 5000을 뜻한다.

※ Nexus 9000과의 FEX 구성은 2014년 중쯤 지원될 예정이다.

   

 

FEX Protocol / Service

•SDP (Satellite Discovery Protocol) : FEX의 Fabric port가 Nexus 7000/5000에 연결되었을 때, FEX를 찾기 위한 Protocol

•SMP (Satellite Management Protocol) : Loop를 피하기 위해 FEX를 제어하는 Protocol

•MTS (Message and Transmission Service) : 이벤트 통지, 동기화와 같은 내부 프로세스간의 통신과 시스템 서비스,

시스템 Component와 Controlling Bridge간의 Message persistence를 하도록 해주는 서비스

    

FEX

• 802.1BR Virtual Bridge Port Extension = Cisco FEX (Fabric Extender)

• Fabric Extender를 Nexus 7000에 연결하고자 할 때 에는 N7K-M132XP-12, N7K-M132XP-12L , M2, F2 모듈에 연결해야 한다.

• Fabric Extender는 별도의 Software를 포함하고 있지 않으며, 자동으로 Parent Device(N7K / N5K)에서 자동으로 Down 및

Upgrade 된다.

•Fabric Extender를 사용하기 위해서는 별도의 license package가 필요로 하지 않는다.

•Nexus 2000은 다른 Switch와는 달리 모든 Front-panel port에 BPDU-Guard가 활성화되어 있다.

Parent Switch와 Fabric Extender간의 Port-channel의 Load-Balancing은 다음과 같다.

- Layer 2 : Source / Destination MAC Address - Layer 3 : Source / Destination MAC & Source / Destination

   

 FEX Interface

• Fabric Interface : Nexus 2000 Series Port와 연결된 상단 장비의 Port.

switchport mode fex-fabric 명령으로 설정

•HIF (Host Interface)

- FEX단에서 End User Host와 연결되는 Interface.

VN-Tag Header로 캡슐화되기 전의 일반 Ethernet Traffic을 수신 받는다.

•NIF (Network Interface )

- FEX에 있는 물리적 Uplink Interface. Parent switch와 연결되어, 오직 VN-Tagged된 Traffic만 전송한다

•LIF (Logical Interface)

- HIF의 Logical Interface로, 이 interface의 설정은 Parent Switch에서 한다.

•VIF (Virtual Interface)

- FEX에 있는 논리적 Interface.

   

   

Management

• Nexus 2000은 상단의 관리 스위치(Parent switch)와 연결된 Fabric Interface를 통해서 관리 된다.

FEX의 Fabric Interface를 통해, 상단의 관리 스위치와 연관되어 있을 경우 Discovery되고 그 이후에는 다음과 같은 동작을 한다

   

1. Software Image의 호환성을 확인하고 Upgrade가 필요한지 확인한다.

2. 상단 관리 Switch와 Fabric Extender는 in-Band IP를 통해서 연결되는 데, 이 IP는 상단 관리 Switch에서 127.15.1.0/24의

Loopback 범위 내에서 충돌하지 않는 IP를 Fabric Extender로 할당한다.

3. 상단 관리 Switch는 Fabric Extender로 Configuration으로 넣는다.

(Fabric Extender는 Local에 어떠한 Configuration도 저장하지 않는다)

4. Parent switch는 Fabric Extender는 운영상태를 Update하며, 모니터링 및 트러블슈팅을 위해 Switch command들을 사용하여

모든 정보는 볼 수 있다.

FEX Fabric Interface

•Fabric Extender가 상단의 parent switch와 연결하기 위한 10G Uplink.

Fabric Interface는 다른 용도로는 사용할 수 없으면 오직 parent switch를 연결하기 위한 용도로만 사용.

switchport mode fex-fabric 으로 FEX Fabric mode를 설정을 하면, 해당 mode와 관련이 없는 모든 기능은 비활성화 된다.

   FEX Fabric mode를 제거하면 기존의 비활성화 된 기능은 다시 활성화 된다.

   

FEX Host Interface

•Host Interface는 NX-OS 5.2 이전에는 Default Layer 2이며, NX-OS 5.2부터는 Default Layer 3이다.

•Layer 3 Host Interface

- sub-interface를 지원하며 최대 32개까지 만들 수 있다.

•Layer 2 Host interface

- BPDU-Guard가 활성화 된 Spanning tree Edge port로서 동작하며, 이를 변경할 수는 없다.

- 서버를 Active/Standby 구조의 Teamming, 802.3ad port channel, 다른 Host기반의 Link redundancy 매커니즘으로

연결할 수 없다.

- Spanning Tree가 동작하는 어떠한 Device라도 연결하여, BPDU를 수신하게 되면 host interface는 Error-disabled 상태가 된다.

- Spanning Tree에 의존하지 않으면서, Link Redundancy 매커니즘이 동작하는 Cisco FlexLink 또는 vPC(BPDU Filter가 활성화된)

Edge Switch 는 Host Interface에 연결이 가능하다.

- 각 Host Interface의 Ingress와 Egress Packet counter를 제공한다.

   

   

FEX Port Channel

• 공통 사항

- FEX는 Host Interface에 대해서 Port-channel을 지원한다.

- Standard Mode에서는 최대 8개의 Interface로 구성할 수 있으며, LACP를 통해서는 최대 16개의 Interface로

구성할 수 있다.

• Layer 3 Port Channel

- Port-Channel의 모든 모든 Member는 동일한 FEX의 Host Interface로 구성되어야 하며, FEX와 Parent Switch를 혼합하여

구성할 수 없다.

- Sub-interface를 지원하며, 최대 1000개의 Sub-interface를 생성 가능하다.

•Layer 2 Port Channel

- Access와 Trunk mode로 구성 가능하다.

- NX-OS 5.2(1)부터 FEX에서는 host vPC Feature를 지원하는 데, 이는 서버가 서로 다른 2대의 FEX에 Dual-attach된 경우에

Port-Channel로 구성할 수 있으며, 이 경우에 vPC Domain으로 구성된 각 Parent Switch에 설정을 해야한다.

(하나의 FEX에 하나의 Parent Switch 연결)

 

FEX Forwarding

•NEXUS 2000은 Remote Linecard로 동작하지만, Local Switching은 지원하지 않고, 모든 forwarding은 Parent Switch에서

수행한다.

•FEX는 Network에서 Host로 전송되는 Multicast 복제를 Fabric Extender ASIC을 통해서 지원하여 host들로 전송하게 된다.

  

Posted by 네떡지기

티스토리 툴바