본문 바로가기

네트워크/Network 가상화

Nexus : NX-OS Part32(FabricExtender-4)

 

이번에는 FEX에 대한 실제 설정과 관련한 부분입니다.

 

 

설정과 관련한 부분도 우선 현재 계획은 이번 포스팅과 다음 포스팅으로 나눠서 진행될 예정이긴 하나,

 

 

더 나눠질지는 아직 모르겠습니다.

 

 

 

 

 

 

 

 


 

FEX 설정 [Static Pinning]

-   Fabric Interface로 사용하게된 Parent Switch에서 Switchport mode를 Fex-fabric 설정을 하고, Fex를 Associate한다.

 

5K-1(config)# install feature-set fex                                                                              fex feature-set 설치

5K-1(config)# feature-set fex                                                                                        fex feature-set 활성화

 

5K-1(config)# int e2/3 

5K-1(config-if)# switchport mode fex-fabric                                                                InterfaceFex Mode 설정

5K-1(config-if)# fex associate 101                                                                                Fex  번호 설정(가상 슬롯 형태)

 

5K-1(config)# int e101/1/1                                                                                           Fex Interface 설정

5K-1(config-if)# switchport mode access                      

5K-1(config-if)# switchport access vlan 10 

 

 

-   Static pinning으로 연결된 포트의 상태 정보이다.

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  

  Pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth2/3

   ...

  Fabric interface state:

    Eth2/3 - Interface Up. State: Active

Fex Port        State  Fabric Port

       Eth101/1/1    Up      Eth2/3

       Eth101/1/2  Down      Eth2/3

       Eth101/1/3  Down      Eth2/3

       

      Eth101/1/47  Down      Eth2/3

      Eth101/1/48  Down      Eth2/3 

 

 

-   Static Pinning 시에 상단 Parent Switch와 구성하는 Fabric Interface의 개수를 지정할 수 있는다.

    이 때 해당 FEX 설정 모드에 들어가서 pinning max-link 명령으로 설정을하게 된다. 

5K-1(config)# fex 101

5K-1(config-fex)# pinning max-links  2                                                           [Static Pinning Max Up Link]

 

5K-1(config)# int e2/4                                                                                       2번째 Uplink 설정

5K-1(config-if)# switchport mode fex-fabric                                                     - fabric interface

5K-1(config-if)# fex associate 101 

 

 

-  Mac-link로 설정 후에, 현재의 Fex 상태 정보를 보면 max-link로 설정된 Interface 수에 따라서 Fabric Extender의 포트 구성이

  되어 있음을 볼 수 있다. 아래의 예에서는 2개의 Max-link로 48Port의 Fabric Extender에서 1~24, 25~48 나뉘어서 Fabric Inteface

  가 지정된 것을 확인할 수 있다.

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 2                                                                              Max Uplink 개수

  Fabric port for control traffic: Eth2/3                                                                            FEX Control Traffic 관리 포트

  

  Fabric interface state:  현재 Static PinningPort

    Eth2/3 - Interface Up. State: Active

    Eth2/4 - Interface Up. State: Active

  Fex Port  State  Fabric Port

       Eth101/1/1  Up  Eth2/3

     

      Eth101/1/24  Down   Eth2/3

      Eth101/1/25  Down  Eth2/4

     

      Eth101/1/48  Down  Eth2/4

 

 

-   Static Pinning 상태에서 1개의 Uplink가 Down되었을 때의 상태정보이다.

    Static Pinning 상태에서 Fabric Interface Down시에 각 Port별 재할당에 관련한 내용은 다음 포스팅에서 다뤄질 예정이다.

 

 

 

 

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 2                                                                     Max Uplink 개수

  Fabric port for control traffic: Eth2/4                                                                   FEX Control Traffic 관리 포트

  

  Fabric interface state:                                                                                             현재 Static PinningPort

    Eth2/3 - Interface Down. State: Configured

    Eth2/4 - Interface Up. State: Active

  Fex Port  State  Fabric Port

       Eth101/1/1  Down  Eth2/3

     

      Eth101/1/24  Down   Eth2/3

      Eth101/1/25  Down  Eth2/4

     

      Eth101/1/48  Down  Eth2/4

 

 

 

 

FEX 설정 [Port-Channel]

-  Port-Channel로  FEX 설정은 Static Pinning과 거의 동일하나 Fabric Interface를 Port-channel로 만들고,

   해당 Port-Channel에서 Switchport mode를 Fex-fabric 설정을 하게 된다.

 

5K-1(config)# install feature-set fex                                                                  fex feature-set 설치

5K-1(config)# feature-set fex                                                                             fex feature-set 활성화

 

5K-1(config)# int e2/3-4

5K-1(config-if)# channel-group 52

5K-1(config-if)# no shutdown

 

5K-1(config)# int port 52

5K-1(config-if)# switchport mode fex-fabric                                                     InterfaceFex Mode 설정

5K-1(config-if)# fex associate 101                                                                     Fex  번호 설정(가상 슬롯 형태)

 

5K-1(config)# int e101/1/1                                                                                Fex Interface 설정

5K-1(config-if)# switchport mode access                      

5K-1(config-if)# switchport access vlan 10

    

 

 

 

 -  Port-Channel로 설정된 Fabric Interface의 정보

 

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Online

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  ..

  pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth1/7

   ..

  Fabric interface state:

    Po10 - Interface Up. State: Active  Port-Channel

    Eth1/7 - Interface Up. State: Active

    Eth1/8 - Interface Up. State: Active

  Fex Port        State  Fabric Port

       Eth100/1/1    Up        Po10

       Eth100/1/2    Up        Po10

       Eth100/1/3  Down        Po10

 

 

 

 

 

-  Port-Channel로 설정된 FEX에서 Fabric Interface가 Down된 경우, 전체적은 Port-Channel은 Up을 유지하고

   실제 Down된 Interface만 Down으로 체크된다. 하지만 각 Fabric Interface의 Port는 Port-channel로 연결되어 있기 때문에

   전체적인 하단 Interface는 기존 상태를 유지하게 된다.

 

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 1  Max Uplink 개수

  Fabric port for control traffic: Eth2/4  FEX Control Traffic 관리 포트

  

  Fabric interface state:  현재 Static PinningPort

   Po10 - Interface Up. State: Active  Port-Channel

    Eth2/3 - Interface Down. State: Configured

    Eth2/4 - Interface Up. State: Active 

Fex Port  State  Fabric Port

 Eth100/1/1      Up  Po10

 Eth100/1/2    Up  Po10

 Eth100/1/3    Down  Po10

 

 

 

 

FEX 설정 [Fabric Extender Type 설정]

   - Fabric Extender를 구성하기 전에, Pre-Provision 기능을 이용하여 아래와 같이 설정을 하게 되면 Fabric Extender를 연결하기 전에

     Fabric Extender Port 설정을 할 수 있다. .

   - , 사전에 설정한 Type과 맞지 않는 TypeFabric Extender를 연결 시에는 Type Mismatch로 사용할 수 없게 된다

 

5K-1(config)# fex 101

5K-1(config-fex)# type N2232TP                                                                           // FEX Type 사전에 설정하기

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Fex Type Mismatch 

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  Extender Serial: SSI14280VS8

  Extender Model: N2K-C2248TP-1GE,  Part No: 73-12748-05                          // 실제 FEX Model

  Card Id: 99, Mac Addr: 58:8d:09:c9:41:02, Num Macs: 64

  Module Sw Gen: 12594  [Switch Sw Gen: 21]

  post level: complete

 pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth1/7

  FCoE Admin: false

  FCoE Oper: true

  FCoE FEX AA Configured: false

  Fabric interface state:

    Po10 - Interface Up. State: Active

    Eth1/7 - Interface Up. State: Active

    Eth1/8 - Interface Up. State: Active

   ...

 

 

 

 

FEX 설정 [Fabric Extender Serial 설정]

   - FEX 연결 전에 연결할 Fabric Extender Serial을 지정하여 사전 설정을 할 수 있다.

   - , 사전에 설정한 Serial과 맞지 않는 TypeFabric Extender를 연결 시에는 Identity Mismatch로 사용할 수 없게 된다.

 

5K-1(config)# fex 101

5K-1(config-fex)# serial SSI14280VX  // FEX Serial 사전에 설정하기

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Discovered

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  Extender Serial: SSI14280VS8

  Extender Model: N2K-C2248TP-1GE,  Part No: 73-12748-05

  Card Id: 99, Mac Addr: 58:8d:09:c9:41:02, Num Macs: 64

  Module Sw Gen: 12594  [Switch Sw Gen: 21]

  post level: complete

 pinning-mode: static    Max-links: 1

  Fabric port for control traffic:

  FCoE Admin: false

  FCoE Oper: true

  FCoE FEX AA Configured: false

  Fabric interface state:

    Po10 - Interface Down. State: Configured

    Eth1/7 - Interface Up. State: Identity-Mismatch

    Eth1/8 - Interface Up. State: Identity-Mismatch

  Fex Port        State  Fabric Port

       Eth100/1/1  Down        Po10

       Eth100/1/2  Down        Po10   ...