이번에는 FEX에 대한 실제 설정과 관련한 부분입니다.

 

 

설정과 관련한 부분도 우선 현재 계획은 이번 포스팅과 다음 포스팅으로 나눠서 진행될 예정이긴 하나,

 

 

더 나눠질지는 아직 모르겠습니다.

 

 

 

 

 

 

 

 


 

FEX 설정 [Static Pinning]

-   Fabric Interface로 사용하게된 Parent Switch에서 Switchport mode를 Fex-fabric 설정을 하고, Fex를 Associate한다.

 

5K-1(config)# install feature-set fex                                                                              fex feature-set 설치

5K-1(config)# feature-set fex                                                                                        fex feature-set 활성화

 

5K-1(config)# int e2/3 

5K-1(config-if)# switchport mode fex-fabric                                                                InterfaceFex Mode 설정

5K-1(config-if)# fex associate 101                                                                                Fex  번호 설정(가상 슬롯 형태)

 

5K-1(config)# int e101/1/1                                                                                           Fex Interface 설정

5K-1(config-if)# switchport mode access                      

5K-1(config-if)# switchport access vlan 10 

 

 

-   Static pinning으로 연결된 포트의 상태 정보이다.

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  

  Pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth2/3

   ...

  Fabric interface state:

    Eth2/3 - Interface Up. State: Active

Fex Port        State  Fabric Port

       Eth101/1/1    Up      Eth2/3

       Eth101/1/2  Down      Eth2/3

       Eth101/1/3  Down      Eth2/3

       

      Eth101/1/47  Down      Eth2/3

      Eth101/1/48  Down      Eth2/3 

 

 

-   Static Pinning 시에 상단 Parent Switch와 구성하는 Fabric Interface의 개수를 지정할 수 있는다.

    이 때 해당 FEX 설정 모드에 들어가서 pinning max-link 명령으로 설정을하게 된다. 

5K-1(config)# fex 101

5K-1(config-fex)# pinning max-links  2                                                           [Static Pinning Max Up Link]

 

5K-1(config)# int e2/4                                                                                       2번째 Uplink 설정

5K-1(config-if)# switchport mode fex-fabric                                                     - fabric interface

5K-1(config-if)# fex associate 101 

 

 

-  Mac-link로 설정 후에, 현재의 Fex 상태 정보를 보면 max-link로 설정된 Interface 수에 따라서 Fabric Extender의 포트 구성이

  되어 있음을 볼 수 있다. 아래의 예에서는 2개의 Max-link로 48Port의 Fabric Extender에서 1~24, 25~48 나뉘어서 Fabric Inteface

  가 지정된 것을 확인할 수 있다.

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 2                                                                              Max Uplink 개수

  Fabric port for control traffic: Eth2/3                                                                            FEX Control Traffic 관리 포트

  

  Fabric interface state:  현재 Static PinningPort

    Eth2/3 - Interface Up. State: Active

    Eth2/4 - Interface Up. State: Active

  Fex Port  State  Fabric Port

       Eth101/1/1  Up  Eth2/3

     

      Eth101/1/24  Down   Eth2/3

      Eth101/1/25  Down  Eth2/4

     

      Eth101/1/48  Down  Eth2/4

 

 

-   Static Pinning 상태에서 1개의 Uplink가 Down되었을 때의 상태정보이다.

    Static Pinning 상태에서 Fabric Interface Down시에 각 Port별 재할당에 관련한 내용은 다음 포스팅에서 다뤄질 예정이다.

 

 

 

 

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 2                                                                     Max Uplink 개수

  Fabric port for control traffic: Eth2/4                                                                   FEX Control Traffic 관리 포트

  

  Fabric interface state:                                                                                             현재 Static PinningPort

    Eth2/3 - Interface Down. State: Configured

    Eth2/4 - Interface Up. State: Active

  Fex Port  State  Fabric Port

       Eth101/1/1  Down  Eth2/3

     

      Eth101/1/24  Down   Eth2/3

      Eth101/1/25  Down  Eth2/4

     

      Eth101/1/48  Down  Eth2/4

 

 

 

 

FEX 설정 [Port-Channel]

-  Port-Channel로  FEX 설정은 Static Pinning과 거의 동일하나 Fabric Interface를 Port-channel로 만들고,

   해당 Port-Channel에서 Switchport mode를 Fex-fabric 설정을 하게 된다.

 

5K-1(config)# install feature-set fex                                                                  fex feature-set 설치

5K-1(config)# feature-set fex                                                                             fex feature-set 활성화

 

5K-1(config)# int e2/3-4

5K-1(config-if)# channel-group 52

5K-1(config-if)# no shutdown

 

5K-1(config)# int port 52

5K-1(config-if)# switchport mode fex-fabric                                                     InterfaceFex Mode 설정

5K-1(config-if)# fex associate 101                                                                     Fex  번호 설정(가상 슬롯 형태)

 

5K-1(config)# int e101/1/1                                                                                Fex Interface 설정

5K-1(config-if)# switchport mode access                      

5K-1(config-if)# switchport access vlan 10

    

 

 

 

 -  Port-Channel로 설정된 Fabric Interface의 정보

 

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Online

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  ..

  pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth1/7

   ..

  Fabric interface state:

    Po10 - Interface Up. State: Active  Port-Channel

    Eth1/7 - Interface Up. State: Active

    Eth1/8 - Interface Up. State: Active

  Fex Port        State  Fabric Port

       Eth100/1/1    Up        Po10

       Eth100/1/2    Up        Po10

       Eth100/1/3  Down        Po10

 

 

 

 

 

-  Port-Channel로 설정된 FEX에서 Fabric Interface가 Down된 경우, 전체적은 Port-Channel은 Up을 유지하고

   실제 Down된 Interface만 Down으로 체크된다. 하지만 각 Fabric Interface의 Port는 Port-channel로 연결되어 있기 때문에

   전체적인 하단 Interface는 기존 상태를 유지하게 된다.

 

5K-1(config)# sh fex 101 detail

FEX: 101 Description: FEX0101   state: Online

  Pinning-mode: static    Max-links: 1  Max Uplink 개수

  Fabric port for control traffic: Eth2/4  FEX Control Traffic 관리 포트

  

  Fabric interface state:  현재 Static PinningPort

   Po10 - Interface Up. State: Active  Port-Channel

    Eth2/3 - Interface Down. State: Configured

    Eth2/4 - Interface Up. State: Active 

Fex Port  State  Fabric Port

 Eth100/1/1      Up  Po10

 Eth100/1/2    Up  Po10

 Eth100/1/3    Down  Po10

 

 

 

 

FEX 설정 [Fabric Extender Type 설정]

   - Fabric Extender를 구성하기 전에, Pre-Provision 기능을 이용하여 아래와 같이 설정을 하게 되면 Fabric Extender를 연결하기 전에

     Fabric Extender Port 설정을 할 수 있다. .

   - , 사전에 설정한 Type과 맞지 않는 TypeFabric Extender를 연결 시에는 Type Mismatch로 사용할 수 없게 된다

 

5K-1(config)# fex 101

5K-1(config-fex)# type N2232TP                                                                           // FEX Type 사전에 설정하기

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Fex Type Mismatch 

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  Extender Serial: SSI14280VS8

  Extender Model: N2K-C2248TP-1GE,  Part No: 73-12748-05                          // 실제 FEX Model

  Card Id: 99, Mac Addr: 58:8d:09:c9:41:02, Num Macs: 64

  Module Sw Gen: 12594  [Switch Sw Gen: 21]

  post level: complete

 pinning-mode: static    Max-links: 1

  Fabric port for control traffic: Eth1/7

  FCoE Admin: false

  FCoE Oper: true

  FCoE FEX AA Configured: false

  Fabric interface state:

    Po10 - Interface Up. State: Active

    Eth1/7 - Interface Up. State: Active

    Eth1/8 - Interface Up. State: Active

   ...

 

 

 

 

FEX 설정 [Fabric Extender Serial 설정]

   - FEX 연결 전에 연결할 Fabric Extender Serial을 지정하여 사전 설정을 할 수 있다.

   - , 사전에 설정한 Serial과 맞지 않는 TypeFabric Extender를 연결 시에는 Identity Mismatch로 사용할 수 없게 된다.

 

5K-1(config)# fex 101

5K-1(config-fex)# serial SSI14280VX  // FEX Serial 사전에 설정하기

5K-1(config-if)# sh fex detail

FEX: 100 Description: FEX0100   state: Discovered

  FEX version: 5.2(1)N1(4) [Switch version: 5.2(1)N1(4)]

  FEX Interim version: 5.2(1)N1(4)

  Switch Interim version: 5.2(1)N1(4)

  Extender Serial: SSI14280VS8

  Extender Model: N2K-C2248TP-1GE,  Part No: 73-12748-05

  Card Id: 99, Mac Addr: 58:8d:09:c9:41:02, Num Macs: 64

  Module Sw Gen: 12594  [Switch Sw Gen: 21]

  post level: complete

 pinning-mode: static    Max-links: 1

  Fabric port for control traffic:

  FCoE Admin: false

  FCoE Oper: true

  FCoE FEX AA Configured: false

  Fabric interface state:

    Po10 - Interface Down. State: Configured

    Eth1/7 - Interface Up. State: Identity-Mismatch

    Eth1/8 - Interface Up. State: Identity-Mismatch

  Fex Port        State  Fabric Port

       Eth100/1/1  Down        Po10

       Eth100/1/2  Down        Po10   ...

 

 

 

Posted by 네떡지기

Fabric Extender의 2번째 정리입니다.

지난 주부터 포스팅 주제를 좀 다양하게 하려다보니 기존 NX-OS 정리도 포스팅 텀이 생기지 않을까 싶네요. ^^;

(사실 기반 지식도 바닥(?)이 나는 것이기 때문이겠지만요. ^^;)

다음 NX-OS 포스팅은... Fabric Extender 3이 될지.. FabricPath를 이어서 할지.. ^^ 아직은 미정이지만..

곧 다시 또 올리도록 하겠습니다.

 


 

FEX 구성 방법

Nexus 2000은 개별 PortPinning을 하는 방법과 Port-Channel을 사용하는 2가지 Load-Balancing 방법이 있다

 

• Static Pinning

     - Front-panel PortUplink를 직접 구성하는 방법

     - Uplink의 구성 가능한 수를 기반으로 Pinning을 구성할 수 있다.

     - 모든 Host Interface는 하나의 Uplink에 할당이 되어야 한다.   

     - pinning max-links 명령을 통해서 각 Host Interface와 구성하는 Uplink의 수를 지정할 수 있다. [max-link : 1 ~ 4]

     - BandwidthOversubscription를 제어하는 데 있어서 좋은 구성 모드이다.

     - UplinkDown 경우에 DownLink에서 사용 가능한 Link로 자동 전환되지 않으며,

       삭제된 Uplink를 다시 추가하는 경우에도 재할당이 순서대로 되지는 않기 때문에 통신 상에 문제가 발생 할 수 있게 된다.

     - 재할당을 위해 DownUplink(Parent Switch Interface)에서 ‘no fex associate fex_nofex연결을 해제해주어야 한다

     - Fex 2148-T, 2148TP의 경우에는 1~4개의 Upstream Fabric Interface를 사용하며,

       Fex 2224TP1~2개의 Fabric Interface, Fex 2232PP1~8개의 Fabric Interface를 지원한다.

     -  해당 FEX와 연결된 Front-panel Port 확인 : show interface ethernet 1/17 fex-intf        

 

 

 

 

 

 

 

Ether-channel

     - Uplink Port가 하나의 논리적인 Interface로 구성(Port-channel)되어서, 모든 Front-panel portMapping 된다.

     - Uplink가 추가되거나 삭제될 때에도 Host Port는 그대로 Up 상태를 유지할 수 있다.

     - 모든 TrafficL2/L3 정보에 따라 Hash되어 Load Balancing되며, 하나의 UplinkFail된 경우에는 나머지 Link로 계속

       Load Balancing된다.

     - Host Interface에 대해서 L2 / L3 모두 각각 Standard Mode일 때에는 최대 8Interface, LACP Mode일 때에는 최대 16개의

       Interface 묶어서 구성할 수 있다

     - vPC를 이용하여 Uplink Port-channel을 구성할 수 있다.

 

 

 

 

FEX Static / Port Channel 차이

• StaticPortChannel의 차이를 이해하기 위해서는 Fabric Extender에 대한 컨셉의 기본 구조에 대해서 이해해야 한다.

     1. Fabric Extender는 중앙 SupervisorLine card를 연결하는 것과 유사한 방법이다.

     2. Fabric ExtenderLocal Switching을 하지 않고, 모든 SwitchingSupervisor에서 발생하게 된다.

• Static Pinning을 사용하는 경우에는 혼잡에 의해 영향을 받는 Server Port에 대해서 제어를 더 잘할 수 있다.

     Port ChannelTrafficHash에 의해서 Uplink로 보내지기 때문에 제어가 불가능하고,

     그래서 혼잡에 의해서 Host에 영향을 어떻게 받을지에 대해서 예측이 어렵다.

• Static PinningHost별로 직접 Port 지정이 가능하기 때문에 사용량에 따라 혼잡이 발생하지 않도록 Port 구성을 분배할 수 있으나,

     PortChannel의 경우에는 Hash 함수에 의해 자동지정이기 때문에 Port 구성 분배를 지정할 수 없기 때문에 특정 Port에 혼잡이 발생

    하면서 다른 Port는 여유대역폭이 남을 수 있다.

 • Static Pinning의 경우에는 Fabric Link중에 하나가 문제가 발생할 경우를 대비하기 위해서, Host 단에서 이중화(NIC Teaming같은)

    해두어야  하지만, Port-channelFabric Link중에 하나가 문제가 발생하더라도 나머지 Link로 전송이 가능하기 때문에 별도의 Host

    이중화를 하지 않더라도 통신이 가능하다.

    * Host단을 이중화로 구성한 경우,  상단 Static PinningUplink Down 시에 해당 Host InterfaceDown되어 Host단의 Fail-over

       된다.

 

 

 

FEX 구성 Topology

 

 

 

 

Enhanced Virtual PortChannel

• NX-OS 5.2(1)부터 Fabric Extender에서 host vPC를 서로 다른 FEX 통해 vPC 설정이 가능하다.

• Enhanced vPCHost에서 FEX FEX에서 Nexus 5500으로의 모든 구간을 Active 구간으로 만들어서,

   사용 가능한 Bandwidth를 효율화 한다.

지원 가능 플랫폼 (NX-OS 5.1.(3)N1(1))

     - Nexus 5548P / 5548UP / 5596UP (지원)

     - Nexus 5010 / 5020 (지원 불가)

Single Homed 구성은 Host802.3ad(LACP) 지원 가능 시, Dual-Homed802.3ad(LACP) 지원 불가능 시에 A/S 구조로 사용한다

 

 

Posted by 네떡지기

FabricPath에 대한 5번째 정리입니다.

오늘 정리까지로 보면, 대략적인 부분은 정리가 끝난 듯 싶습니다.

다음 포스팅은 FEX 혹은 그 전에 vPC 구성과 관련한 구성 가능한 디자인과 불가능한 디자인에 대해서 하게 될 듯 싶습니다.

그리고, 네트워크 전문가 따라잡기 카페에 게시글을 올렸던 내용이지만..

현재 정리 중인 Nexus에 대한 내용으로 공부할 수 있는 자리를 2~3회 분량으로... 해보려고 하는데.. 어떻게 될지 잘 모르겠네요.. ^^;

제 머리속에도 한 번 더 정리하는 기회가 될 수 있을 듯 싶고.. 오프라인에서도 함께 나눌 수 있는 자리를 마련해보려고 합니다..

물론 참여하실 분들이 있으셔야 하고.. 저도 정리가 되어야 하겠죠..

그럼 다음 포스팅에서 뵙겠습니다.


 

 

FabricPath – vPC+

• FabricPath networkedge switcheshostFabricPath가 활성화되지 않은 legacy Ethernet switchPort channel을 통해서

  연결할  있는 데, 이를 vPC+라고 한다. , 기존 Ethernet 환경의 Nexus Device가 사용하는 것이 vPC이고, FabricPathEnable

  Nexus  Device 사용하는 것을 vPC+라고 한다.

vPC+가 동작하는 switch는 가상화 된 switch에서 발생한 Packet은 가상화 된 switch(Emulated Switch 라고 함)의 정보,

   switch-id를  Source로 하여서 FabricPath network로 보내진다.

vPC peer switch들은 가상의 FabricPath switch-id공유하며, 이는 vPC Domain에서 관리자가 설정해주어야 한다.

  만약 이 설정이 되어 있지 않을 경우에는 Peer-Link는 정상적으로 살지 않고 vPC+SwitchIDNotCfgd 상태가 되면서 동작하지 않는다.  

   [ FabricpathvPC+에서의 switch-idvPC peer 간의 동일하며, Peer mac 정보는 그대로 유지한다. ]

• vPC+ switch-ID를 설정 시에는 vPC Domain Configuration 모드에서 fabricpath switch-id 명령으로 설정할 수 있다.

FabricPath의 다른 Switch들은 이 Emulated switch의 동작을 별도로 인식하지 않고, FabricPath 내에서 동일하게 접근이 가능한

    Switch로만 인지한다. (switch-id 값으로만 인지)

 vPC+FabricPath가 활성화된 VDCF module이나 Nexus 5500 Series가 필요 하다.

vPC+Peer-linkswitchport modeFabricPath 로 설정해야 한다.

vPC+의 모든 VLAN들은 반드시 FabricPath VLAN이어야 한다.

• vPC+Peer-linkDown될 경우에는 vPC와 유사하게 동작한다.

    * Primary switch는 아무런 동작을 하지 않으며, Secondary switch는 모든 vPC Linkdown된다.

    * 또한, vPC+ 에서는 Secondary switchTraffic이 유입되지 않도록 개입하게 되는 데, 이는 Secondary Switchemulated

      switch에 대한  정보를 FabricPath쪽으로 광고하지 않도록 하기 위해 IS-IS에서 제공되는 기능이다.

      이 기능은 Emulated Switch로 향하는 TrafficSecondary쪽으로 가지 않도록 하기 위한 필수적인 기능이다.

vPC+가 동작중인 FabricPath Edge Switch들은 Mac-address 광고 시, 각자의 switch-id가 아닌 emulated switch-id로 광고된다.,

 이는 vPC+와 연결된  Orphan port의 단말기도 마찬가지이며, 이로 인해 Orphan port 단말의 경우에는 Peer-link를 통해서 통신을

 할 수도 있게 된다. (기존 vPC의 경우에는 Orphan port의 단말의 경우에는 vPC Peer DeviceLocal Mac을 사용)

 

 

◈ vPC+ 구성 설정

    - vPC+ 에 대한 간략한 구성을 통해서 설정방법을 다음과 같이 알아보겠습니다.

    - 본 예제서는 N7K2의 대부분의 설정은 생략하지만, N7K1과 거의 동일하기 때문에 이해하는 데 큰 문제는 없습니다.

 

.

 

1. fabricpath로 동작할 vlan에 대해서 mode을 fabricpath로 변경하고, fabric-switch를 지정해준다.

    그리고 일반적인 vpc를 구성한다. 

 

2. 현재 Keep-alive만 구성하였기 떄문에 peer keep-alive만 alive 상태가 됨을 확인할 수 있다.   

 

3. vPC+ 동작을 위해서, vPC 도메인에 fabricpath switch-id를 지정한다.

    이 때에 vPC Peer간에는 반드시 동일한 fabricpath switch-id를 지정해 주어야 한다.

    fabricpath switch-id를 설정한 이후에 vPC정보를 보면, 기존의 vPC정보에서 vPC+에 대한 정보도 확인할 수 있다.

 

4. vPC간의 peer-link를 구성한다. 이 때에 peer-link의 mode  또한 fabricpath로 변경해주어야 한다.

 

5. vPC+를 위한 peer-link 설정 이후에 vPC 정보를 보면, vPC fabricpath statue가 fabricpath를 통해서 맺어진게 확인된다.

 

6. vPC+에서 설정한 switch-ID 정보도 한 번 살펴보면, 아래와 같이 70이라는 가상의 switch-id가 각각의 peer의 System-ID값으로

    동일하게 설정된 것을 볼 수 있다. 그리고 이 switch-id는 가상으로 설정된 것이기 때문에  Emulated가 Yes로 보인다.

 

 

 

7. 이번엔 vPC를 통해서 연결된 하단의 interface 설정을 한다. vPC+와 연결되는 장비는 fabricpath mode는 아니다.

    하단의 장비는 일반 Port-channel 설정을 그대로 하면 된다.

 

8. 모든 설정 이후에 vPC의 정보를 아래와 같이 모두 정상적으로 올라온 것을 볼 수 있다.

 

 

※ 만약 Peer간의 가상의 switch-id를 서로 동일하게 설정하지 않으면, 아래와 같이 vPC 구성이 되지 않음을 확인 할 수 있다.

 

 

 

 

Posted by 네떡지기

대부분 정리가 되어 있던 부분이라, 지난 번 포스팅 이후에 거의 바로 포스팅하려고 했으나..

포스팅하기에 부족한 부분이 있다고 느껴져서, 하루 하루 미루면서.. 다른 일들도 처리하다보니..

또 포스팅을 하지않고 있게 되버려서.. 우선 먼저 포스팅~ 나중에 필요한 건 수정 보완~ 하기로 합니다.

원래 vPC에서의 Layer 3 사용 가능한 Design과 사용 불가능한 Design을 하나의 포스팅으로 올리려고 했으나,

나눠서 올리게 됩니다.  요즘에 개인사도 있고.. 이래저래.. 정리 시간이 줄어드는 듯하네요..

 


vPC Layer 3 간의 사용 가능 Design.

• vPC 구간은 순수 Layer 2로만 사용되는 Design.

 

 

 

 

 

별도의 Layer 3 Link 통해 vPC DomainLayer 3 Device를 연결하는 Deisgn으로 vPC Domain 연결 시, 가장 권고되는 방법

 

 

 

 

• vPC Devices 간의 Peer를 맺는 Design.으로  Layer 3 Backup routing 경로를 위해 사용된다.

   Peer 중의 하나의 Peer Deviceuplink Down될 경우에 연결된 Peer link를 통해 통신 이 가능하다.

   Layer 3 Backup Routing 경로는 vPC Peer-link를 통해 전용 interface VLAN(SVI)를 사용하거나, vPC Peer device간의 전용

   Laver 2 또는 Layer 3 Link를 통해서 구성할 수 있다.

 

 

vPC를 사용하지 않는 VLAN Link를 사용하여 STP가 운용 중인 Link를 통해서 연결된 Design.

  Peer Device 간에도 Peer-link가 아닌 별도 Link를 구성하고, Layer 3 장비와 동일한 VLAN을 사용하는 별도 Link 연결이 필요.

 

 

 

 

기존 vPC 구성에 Layer 3 Peer를 맺기 위한 별도의 Layer 3 LinkLayer 3 DevicePeer Device 간에 구성을 한 Design.

  Design에서 Layer 3 DeviceLayer2 LinkLayer 3 Link가 동시에 존재하게 된다.

  Layer 2 Linkbridged traffic 또는 Inter-VLAN traffic(vPC DomainHSRP 설정이 있을 경우) 용도로 사용한다.

  Layer 3 LinkvPC peer들과 각각 peer를 맺기 위해 사용되고, Layer 3 Device에서 vPC Domain으로 Routed Traffic으로도

  사용된다 

 

 

 

• vPC를 사용하지 않는 별도의 VLANLayer 3 Device Peer Device, Peer Device Peer Device 간의 구성을 하는 Design.

 

 

 

• Layer 3 장비가 vPC Device들을 통해서 Peer를 맺는 Design으로 두 vPC Domain간은 Layer 2로 연결이 된다.

  DCI(DataCenter Interconnect) 시에 사용되는 Design으로, vPC Domain은 단순한 Layer 2 transit path로서만 사용이 된다.

 

 

 

 

• DCI 구성을 위해서 사용하는 Design으로 Data Center 사이에 Routing-Protocol peering adjaceny를 위해 전용 Layer 3 Link

  추가로 구성하도록 권고한다. Layer 3 Link를 통해서 Routed Traffic을 전송을 하고 기존 vPC Link를 통해서는 Bridge Traffic

  나, Inter-VLAN Traffic이 통신을 하게 된다.

 

 

 

 

 

 

Posted by 네떡지기

지난 번, Proxy-arp에 이어서 이번 포스팅도 기존 6500 스위치에서 Nexus로 변경 후에 발생했었던 이슈에 대한 정리입니다.

이번 정리 내용은 Routing 프로토콜에 관한 부분입니다.

 

 먼저 전체적인 간략한 구성을 보면 다음과 같습니다. 지난 번 구성과 거의 같지만, 다른 이슈이기 때문에 하단 구성이 다릅니다.

 

 

 

작업 전, 구성은 이렇습니다.

간략하게 OSPF 설정도 포함했습니다. 동일 네트워크 대역에 대해서 단순히 network 선언해서 현재 통신 중인 상태입니다.

그 상태에서 아래와 같이 6500스위치의 전원을 내리고 나니 아래와 같은 로그가 3750 스위치에서 발생을 하기 시작합니다.

 

 

저런 식의 로그가 지속적으로 올라오면서, 정상적으로 Neighbor를 맺지 못하고 있었습니다.

 

6500장비의 전원을 내리자마자, 바로 왜 저런 문제가 발생을 했을까요?

 

 그것은 vPC 구성 시에, Routing Protocol에 의한 Neighbr 맺는 부분에 대해서 구성이 가능한 Design과 구성이 불가능한 Design이 존재하기 때문입니다. 이전 포스팅에서 간략하게 그 부분에 대해서도 정리가 되어 있긴 하지만, 전체적으로 다시 좀 더 자세하게 정리해서 포스팅 할 예정입니다.

 

여기서 간략하게 2줄로 정리를 하면,

 

• vPC Domain상에서 Layer 2 Port-channel을 통해서 RouterRouting 연결을 하려고 할 경우에 neighbor를 맺을 때 vPC

 Peer들과의  neighbor를 직접 맺지 못하고, 각각의 Peer와 연결된 vPC Port로 분산되서 통신을 하기 때문에 정상적인 neighbor

 을 맺을 수 없다.

 

그렇다면, 6500을 끄기 전에는 왜 저런 문제가 발생하지 않았을까요?

이미 기존 OSPF 구성에서는 DR, BDR이 6500 스위치였기 때문입니다. OSPF 구성 시에, DR과 BDR이 이미 존재할 경우에는 그보다 우선순위가 높은 스위치가 추가되더라도, DR과 BDR이 바뀌지 않기 떄문입니다. (OSPF Process를 재기동하지 않는 이상)

 작업 시에, 전원을 내리면서 새롭게 DR과 BDR이 Nexus 스위치로 변경이 되면서 위와 같이 vPC에서 지원이 되지 않는 Layer 3 Design이 만들어 지면서 이상 로그가 발생을 한 것이었습니다.

 

 그럼 저 문제점을 어떻게 해결을 해야 할 것인지요..

Cisco의 vPC관련 문서에서 vPC에서 Routing Protocol과 관련해서 지원되는 Design 중에 가장 권고하는 Design으로 변경을 했습니다. 그래서 구성은 아래와의 구성과 같이 변경 작업을 했습니다.

 

 

 

  Nexus 스위치와 3750 스위치 간의 Link를 Layer 3 Interface로 변경을 하고, ospf를 point-to-point 직접 연결해서 Neighbor을 맺었습니다. 기타 다른 방식으로도 물론 연결이 가능하긴 합니다만, 이러한 Design을 가장 권고하고 있습니다.

  기타 다른 구성 방식에 대한 부분은 위에서도 언급했지만, 다시 포스팅 할 예정입니다.

 

구성을 위와 같이 바꾸고 나서는 물론 지금 정상적으로 잘 운영되고 있습니다.

이 이슈는 Nexus로 전환하는 경우 이외에도 기존 Nexus 운용 중인 상황에서 Routing Protocol을 운영하는 장비를 추가로 붙이게 될 때도 고려해야 하는 이슈이기 때문에 구성을 잘 고려해서 선택해야 할 것 같습니다.

Posted by 네떡지기

이번에 포스팅을 하면서... 이번에 올려야 하나.. 또 좀 더 정리를 해야 하나... 하다가..

쪼개더라도.. 역시.. 그냥 올리는게 나을 거 같다는 생각으로 올려봅니다..

요즘 조금 몸과 마음이 힘든 상태인지라.. 더 정리가 잘 안되는듯.. 한건.. 아마도 핑계겠지요... ^^;


vPC check (Loop Prevention)

• vPC 에서 vPC Member Port로 들어온 PacketPeer-link를 통해서 다시 vPC Member Port로 전송이 될 경우에, 동일한 Packet이 중복되어서 목적지에 도달하고, 동일한 Source Mac-Address에 대해서 서로 다른 Port에서 Learning하게 되어 Loop가 발생할 수 있다.

이처럼 Peer-link를 통해서 들어온 PacketvPC Member Port를 통해서 나가는 경우에 발생할 수 있는 문제점들로 인해서,

  vPCControl Plane 대신에 Data Plane을 통해서 Loop를 회피한다. CPU를 사용하지 않고, vPC Peer-link port가 있는 Hardware

  모든 Logic이 구현되어 있어서 Peer-link들어오는 PacketvPC가 동작 중인 Port를 통해서 나가지 않도록 Egress Port ASICs

  서 모두 Drop 시킨다.  이것을 VPC check’라고 하며, 모든 Traffic(Layer 2, Layer 3, Unicast, multicast, broadcast, flooded )에 대

  해서 적용된다.  물론, Peer-link를 통하더라도 vPC가 동작하지 않는 Port로는 정상적으로 Packet이 전송 된다

 , vPC Member PortDown될 경우 예외적으로 vPC peer DeviceMember Port상태와 vPC Loop avoidance logic을 재 프로그

  램하여 peer-link가 최적의 복구를 위한 백업 경로로써 사용이 된다

 

 

 

 

 

 

vPC Layer 3 Designs

• Layer 3 DevicevPC를 사용하여, vPC Domain에 연결하는 것은 구성은  vPC loop avoidance rule 때문에 지원되지 않는다.

• Laver 3 DevicevPCDomain에 연결하고자 할 때에는 Layer 3 link로 각각의 vPC Peer Device에 연결해야 합니다.

vPC Domain상에서 Layer 2 Port-channel을 통해서 RouterRouting 연결을 하려고 할 경우에 neighbor를 맺을 때 vPCPeer