Login 
ACI expanding apic cluster da tre a sei server (n° 5 active + n° 1 standby)
26.11 2022 | by massimilianoACI expanding apic cluster da tre a sei server (n° 5 active + n° 1 standby) Il presente documento […]
https://www.ingegnerianetworking.com/wp-content/uploads/2022/11/apic-asis-4c9.png
ACI expanding apic cluster da tre a sei server (n° 5 active + n° 1 standby)
Il presente documento di progetto fa riferimento all’ampliamento di n° 3 nuovi server APIC per la Fabric ACI, portando il cluster da tre a sei elementi Controller di cui cinque in modalita active ed uno in standby mode.
STEP1: verificare architettura ASIS e collegamento server apic da inserire in cluster:
La verifica rigurda sia la parte fisica di collegamento che le release software dei server APIC
|
ID |
Name |
Role |
Model |
Current Firmware |
|
1 |
APIC-01 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
|
2 |
APIC-02 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
|
3 |
APIC-03 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
Pertanto abbiamo un cluster con server APIC release software 4.2.(3l); gli altri tre server debbono avere la stessa release software per essere integrati nel cluster.
Considerare la seguente Release Notes Cisco per verifica compatibilità matrix e caveats:
Release Notes for Cisco UCS Manager, Release 4.2 – Cisco
Collegamento fisico dei tre nuovi server apic secondo procedura e schema:
Poiché i modelli delle Leaf visti sopra sono di due tipi è bene precisare che:
-
N9K-C9348GC-FXP la VIC di riferimento è la 1225 optical module
N9K-C93180YC-FX la VIC di riferimento è la 1455 optical module
Entrambe le VIC utilizzano i seguenti transceiver e cavi:
Cisco 10Base-LR SFP-10G per lunghe distanze (10Km);
Cisco 10Base-SR SFP-10G per brevi distanze:
2000 MHz MMF (OM3) per circa 300 mt
4700 MHz MMF (OM4) per circa 400 mt
Cisco SFP + Active Optical Cables SFP-10G AOCxM (dove x = 1.2.3.5.7,10 metri)
Cisco SFP + Twinax Cables SFP-H10GB CUxM (dove x = 1,2,3,5,7,10 metri)
Collegare i link tra APIC e switch Leaf come in figura
L’architettura di cluster apic con l’inserimento dei nuovi tre server diventa:
Per la quale abbiamo le seguenti configurazioni:
|
ID |
Name |
Role |
Model |
Firmware |
APIC Port |
Switch Leaf |
Switch Port |
|
1 |
APIC-01 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/1 |
L101 |
eth 1/49 |
|
1 |
APIC-01 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/2 |
L102 |
eth 1/49 |
|
2 |
APIC-02 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/1 |
L103 |
eth1/47 |
|
2 |
APIC-02 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/2 |
L104 |
eth1/47 |
|
3 |
APIC-03 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/1 |
L105 |
eth1/45 |
|
3 |
APIC-03 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/2 |
L106 |
eth1/45 |
|
4 |
APIC-04 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/1 |
L201 |
eth1/49 |
|
4 |
APIC-04 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/2 |
L202 |
eth1/49 |
|
5 |
APIC-05 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/1 |
L203 |
eth1/49 |
|
5 |
APIC-05 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/2 |
L204 |
eth1/49 |
|
6 |
APIC-06 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/1 |
L205 |
eth1/49 |
|
6 |
APIC-06 |
Controller |
APIC-SERVER-L3 |
4.2(3I) |
eth 2/2 |
L206 |
eth1/49 |
Con i seguenti indirizzi di management:
|
ID |
Name |
POD |
Address |
OOB IPv4 CIMC |
OOG GW |
Flags |
Health |
|
1 |
APIC-01 |
1 |
17.0.64.1 |
192.168.92.229 |
172.31.92.1 |
crva |
fully-fit |
|
2 |
APIC-02 |
1 |
17.0.64.2 |
192.168.92.227 |
172.31.92.1 |
crva |
fully-fit |
|
3 |
APIC-03 |
1 |
17.0.64.3 |
192.169.92.225 |
172.31.92.1 |
crva |
fully-fit |
|
4 |
APIC-04 |
2 |
dynamic |
192.168.92.223 |
172.31.92.1 |
crva |
fully-fit |
|
5 |
APIC-05 |
2 |
dynamic |
192.168.92.221 |
172.31.92.1 |
crva |
fully-fit |
|
6 |
APIC-06 |
2 |
dynamic |
192.168.92.117 |
172.31.92.1 |
crva |
fully-fit |
Flags – c:Commissioned | r:Registered | v:Valid Certificate | a:Approved | f/s:Failover fail/success
(*)Current (~)Standby (+)AS
APIC-01# show controller
Fabric Name : ACI-RM
Operational Size : 3
Cluster Size : 5
Time Difference : -7537
Fabric Security Mode : PERMISSIVE
Third-Generation APIC server
Un server APIC di terza-generazione è un appliance da integrare all’interno di un cluster di APIC M3/L3 con una image secured TPM (Trusted Platform Module), certificates ed un product-ID.
Per il collegamento di riporta il design di un APIC di terza-generazione:
|
INDICE |
DESCRIPTION |
|
1 |
USB 3.0 (two port) |
|
2 |
Dual 1GB or 10GB Ethernet ports (LAN 1 – LAN 2) |
|
3 |
VGA video port (DB-15 connector) |
|
4 |
1GB Ethernet to Management port |
|
5 |
Serial port (RJ45 connector) |
|
6 |
Rear unit identification button/led |
|
7 |
Power supplies (two, redundand as 1+1) |
|
8 |
PCle riser 1/slot 1 (x16 lane) |
|
9 |
VIC 1455 (Virtual Interface Card) with external 10/25 GBE 4xports |
|
10 |
Threaded holes for dual-hole grounding lug |
|
11 |
Drive bays 1-10 support SAS/SATA hard disk drivers HDDs and solid SSDs |
|
12 |
APIC Server M3/L3: drive bays 1 and 2 support NVMe LCle SSDs |
|
13 |
KVM connector (used with KVM cable 1xDB-15 VGA, 1xDB-9 Serial, 2xUSB connector) |
NOTE:
VIC1455 supporta 10/25 Gigabit con le seguenti restrizioni:
- Le porte debbono avere tutte la stessa velocità
- port-1 e port-2 corrispondono alla eth2/1, mentre port-3 e port-4 corrispondono alle eth2/2; solo una connessione è permessa per ogni coppia di porte.
STEP-2: Setup server APIC
APIC server M3/L3 opera via CIMC (Cisco Integrated Management Controller) per il setting-up iniziale attraverso tre metodi:
KVM cable (Cisco PID N20-BKVM) per la connessione con tastiera e monitor al connettore front panel (local setup)
USB tastiera e VGA monitor da collegare al corrispondente connettore rear panel (local setup)
Serial connection mediante:
DB9 connector del KVM cable
RJ45 console port (dopo averla abilitata in CIMC)
Serial-over-Lan (dopo averla abilitata in CIMC) con baud rate 115200
Versione con Connectivity to local server:
Questa procedura è prevista con VGA monitor, USB tastiera ed infine il cavo Cisco KVM (Cisco PID N20-BKVM) oppure un cavo USB e VGA DB-15.
1 – Accendere l’alimentazione elettrica mediante power supply
2 – Collegare il cavo USB keyboard e VGA monitor utilizzando:
KVM Cisco cable to KVM connector on front-panel;
USB keyboard and VGA monitor to KVM cable
3 – Aprire Cisco CIMC Configuration:
Premere per circa 4 secondi il bottone di boot server
Durante il boot premere F8 to enter in CIMC config
APIC Username default = admin
APIC controller utilizza una password di bios; la password di default = password.
Cisco Best-Practices raccomanda di cambiare la password di default la prima volta che si entra nella CIMC Configuration Utility.
La procedura di cambio password prevede:
4 – durante il bios boot process, press F2
5 – Enter Password: password (quella di default)
6 – Setup Utility -> Security -> Set Administrator Password
7 – Enter Current Password: password (quella di default)
8 – Create New Password: pippo123!
9 – Confirm New Password: pippo123!
10 – Save & Exit: YES
11 – attendere la fine del processo di reboot per la conferma di cambio password
13 – settare i corretti valori di CIMC IP, Subnet/Mask e Gateway
Press F10 per salvare la configurazione eppoi ESC
A questo punto UCS reboot e CIMC è disponibile per una remota connessione via OOB management
NOTA:
In caso di collegamento via RJ45 console port collegata to CIMC via SSH, utilizzare i seguenti comandi per abilitare SoL (Serial-over-Lan):
scope sol
set enable yes
set baud-rate 115200
commit
exit
Dopo aver abilitato SoL, set il comando connect hosts per avere accesso alla APIC console.
Versione con Connectivity to server remotely:
Questa procedura è prevista con RJ45 ethernet cable collegato alla rete di management.
NOTA:
Per la configurazione remota è richiesto un DHCP server nella stessa rete del sistema; il server DHCP deve essere pre-configurato con un range di MAC addresses per questo nodo APIC.
I MAC address sono stampati attraverso una label che è prevista on pull-out asset tag front panel; il nodo ha un range di sei MAC address assegnati al Cisco IMC.
1 – Accendere l’alimentazione elettrica mediante power supply;
2 – Collegare il cavo RJ45 ethernet nella porta di management OOB (rear panel)
3 – Permettere al server DHCP di assegnare un indirizzo IP al nodo APIC
4 – Utilizzare questo IP address per accedere all’interno CIMC node APIC
APIC Username default = admin
APIC controller utilizza una password di bios; la password di default = password.
5 – Da CIMC summary page, click Launch KVM Console; una finestra di console separata si apre;
6 – Da CIMC summary page, click Power Cycle Server; il sistema reboot
7 – Seleziona KVM console window
8 – Premere F8 per entrare nella CIMC Configuration Utility; questa azione permette di aprire la KVM console window
NOTA: per eseguire la console KVM occorre la versione 1.6 di Java o superiore (altrimenti utilizzare HTML).
Confermare o settare i seguenti parametri:
9 – Set NIC mode = Dedicated
10 – Set NIC redundancy = None
È importante verificare (via CIMC GUI) che i seguenti parametri siano corrispondenti come in tabella:
|
PARAMETERS |
SETTINGS |
|
LLDP |
Disabled on the VIC |
|
TPM SUPPORT |
Enabled on the BIOS |
|
tPM ENABLED STATUS |
Enabled |
|
TPM OWNERSHIP |
Owned |
Scegliere queste due seguenti possibilità
Enable DHCP per dynamic network settings
Static Network settings
in caso di static network setting, proseguire nel seguente modo:
NOTA:
premere F1 per andare dalla prima alla seconda settings window
premere F2 per tornare indietro dalla seconda alla prima settings window
premere F5 per il refresh della configurazione
premere F10 per salvare e reboot node
Tabelle di Initial Setup Dialog visto da console:
# APIC-04
Cluster configuration
Enter the fabric name [ACI Fabric1 #1]: ACI-Fabric
Enter the fabric ID (1-128) [1]: 3
Enter the number of active controllers in the fabric (1-9) [1]: 5
Enter the POD ID (1-9) [ ]: 2
Is this a standby controller? [NO]:
Enter the controller ID (1-5) [1]: 4
Enter the controller name [apic1]: APIC-04
Enter address pool for TEP address [10.0.0.0/16]: 17.0.64.0/19
Enter the VLAN ID for infra network (1-4094)[ : 986
Enter address pool for BD multicast addresses (GIPO) [255.0.0.0/15]: 225.6.0.0/15
Out-of-Band management configuration
Enable IPv6 for Out of Band Mgmt Interfaces? [N]:
Enter the IP address for out-of-band management: 192.168.92.223
Enter the IP address of the default gateway [none]: 192.168.92.1
Enter the interface speed/duplex mode [auto]:
Administrator user configuration
Enter strong passwords? [NO]
Enter the password for admin: pippo123!
Reenter the password for admin: pippo123!
Would you like to edit the configuration? (y/n) [n]:
Per la connettività di infrastruttura ACI Fabric APIC, è sempre utilizzata la interface bond0 alla quale appartengono le interface fisiche eth2/1 e eth2/2.
Per verifica seguire il Menu: System –> Controller–> <name_APIC> — > Interfaces
# APIC-05
Cluster configuration
Enter the fabric name [ACI Fabric1 #1]: ACI-Fabric
Enter the fabric ID (1-128) [ ]: 3
Enter the number of active controllers in the fabric (1-9) [1]:5
Enter the POD ID (1-9) [1]: 2
Is this a standby controller? [NO]:
Enter the controller ID (1-5) [1]: 5
Enter the controller name [apic1]: APIC-05
Enter address pool for TEP address [10.0.0.0/16]: 17.0.64.0/19
Enter the VLAN ID for infra network (1-4094)[ ]: 986
Enter address pool for BD multicast addresses (GIPO) [255.0.0.0/15]: 225.6.0.0/15
Out-of-Band management configuration
Enable IPv6 for Out of Band Mgmt Interfaces? [N]:
Enter the IP address for out-of-band management: 192.168.92.221
Enter the IP address of the default gateway [none]: 192.168.92.1
Enter the interface speed/duplex mode [auto]:
Administrator user configuration
Enter strong passwords? [NO]
Enter the password for admin: pippo123!
Reenter the password for admin: pippo123!
Would you like to edit the configuration? (y/n) [n]:
# APIC-06
Cluster configuration
Enter the fabric name [ACI Fabric1 #1]: ACI-Fabric
Enter the fabric ID (1-128) [ ]: 3
Enter the number of active controllers in the fabric (1-9) [1]:5
Enter the POD ID (1-9) [1]: 2
Is this a standby controller? [NO]: YES
Enter the controller ID (1-5) [1]: 6
Enter the controller name [apic1]: APIC-06
Enter address pool for TEP address [10.0.0.0/16]: 17.0.64.0/19
Enter the VLAN ID for infra network (1-4094)[ ]: 986
Enter address pool for BD multicast addresses (GIPO) [255.0.0.0/15]: 225.6.0.0/15
Out-of-Band management configuration
Enable IPv6 for Out of Band Mgmt Interfaces? [N]:
Enter the IP address for out-of-band management: 192.168.92.217
Enter the IP address of the default gateway [none]: 192.168.92.1
Enter the interface speed/duplex mode [auto]:
Administrator user configuration
Enter strong passwords? [NO]
Enter the password for admin: pippo123!
Reenter the password for admin: pippo123!
Would you like to edit the configuration? (y/n) [n]:
Per completezza si riporta una tabella che evidenzia i valori di default setup APIC
|
Name |
Description |
Default Value |
Note |
|
Fabric Name |
Fabric domain name |
ACI Fabric 1 |
|
|
Fabric ID |
Fabric ID |
1 |
|
|
Number of active controllers |
Cluster Size |
3 |
In modalità active standby il cluster deve essere di n° 3 elementi minimo |
|
POD ID |
Pod ID |
1 |
|
|
Standby Controller |
Unico ID number for APIC active instance |
Range: 1-19 |
|
|
Controller name |
Active controller name |
apic1 |
|
|
IP address pool TEP |
Tunnel Endpoint Address |
10.0.0.0/16 |
Valido solo per infrastruttura virtual routing e forwarding (VRF). Questo valore non deve essere in overlapping con altre subnet di rete; in caso di overlapping cambiare il valore di default |
|
VLAN-ID for infra network |
Vl per la comunicazione APIC to swith e virtual switch di infrastruttura |
3967 |
Cisco Best Practices consiglia questo valore. Riservare questo valore solo per la comunicazione APIC e non deve mai essere in overlap con altri valori di range VL riservati ad altri scopi. |
|
IP address pool GIPO |
IP address utilizzato per fabric bridge domain multicast |
225.0.0.0/15 |
Valid range = 225.0.0.0/15 – 231.254.0.0/15 |
|
IPv4/IPv6 address MGMT |
IP address di management scope |
Dependent from oob client |
|
|
IPv4/IPv6 address Gateway |
IP address gateway per la comunicazione to external network via oob management |
Dependent from oob client |
|
|
Management interface speed/duplex mode |
Interface speed and duplex mode per la management interface |
auto |
|
|
Strong password check |
Password per l’amministratore di rete |
Password composta da almeno 8 caratteri con almeno un carattere speciale |
Fabric Initialization and troubleshooting wiring issue:
Una volta eseguito il setup APIC CIMC Configuration Utility (bootstrap config), la fabric ACI inizializza un processo di discovery attraverso LLDP e CDP Protocols evidenziato dalla figura seguente:
APIC Cluster troubleshhoting:
Verifica APIC bond interface via GUI
Menu: Menu: System –> Controller–> <name_APIC> — > Interfaces
Verifica APIC bond interface via CLI
APIC# cat /proc/net/bonding/bond0
Verifica LLDP frames sent from APIC
APIC# acidiag run lldptool out eth2-1
Verifica LLDP Objects on Leaf for all interfaces with wiring issue
Leaf# moquery – c lldpIf –f ‘lldp.If.wiringIssues!=”0”’
NOTA: le ragioni per le quali possono verificarsi problemi sono diversi e generalmente sono indicati nella seguente tabella:
|
Wiring Issue Error Message |
Cause |
Remediation |
|
pod-id-mismatch |
POD-ID configurato su APIC non incontra (mismatch) il corretto POD ID configurato su corrispondete switch Leaf dove esso è collegato |
Ritornare alla parte di APIC setup iniziale per correggere il POD ID value |
|
Fabric-domain-mismatch |
Il nome della Fabric su APIC non incontra (mismatch) il nome assegnato sul corrispondente switch Leaf come pure sugli altri APIC node del cluster |
Ritornare alla parte di APIC setup iniziale per correggere il Fabric Name |
|
ctrl-uuid-mismatch |
UUID ricevuto via LLDP protocol da APIC non incontra (mismatch) l’attuale database |
Questa situazione accade in caso di sostituzione o re-installazione di un APIC ma non de-commissionato dal cluster prima di questa azione (in caso de-commissiona l’APIC, attendere cinque minuti eppoi re-commissionare APIC) |
|
wiring-mismatch |
Connessione Leaf-to-Leaf oppure Spine-to-Spine |
LLDO disabled |
|
infra-vlan-mismatch |
La Vlan di infrastruttura configurata su APIC non incontra (mismatch) il valore di Vlan configurata a livello di Leaf switches e/o gli altri nodi APIC del cluster |
Ritornare alla parte di APIC setup iniziale per correggere la Vlan di Infrastruttura configuration |
|
Infra-ip-mismatch |
Il valore di address TEP pool configurato su APIC non incontra mis(match) lo stesso valore di address TEP pool configurati a livello di Leaf switches e/o gli altri nodi APIC del cluster |
Ritornare alla parte di APIC setup iniziale per correggere il TEP pool address |
|
unapproved-ctrlr |
ACI fabric internode secure authentication mode è settato su Strict, ed il controller APIC non è permesso all’interno della fabric |
È possibile permettere il nodo APIC all’interno della fabric cambiando il mode in Permissive opure attraverso l’operazione di commissioning via Unauthorized Controllers |
|
unapproved-serial-number |
Il serial number utilizzato da APIC non è un trusted serial number |
È ovviamente sconsigliato utilizzare un APIC con un serial number non sicuro o incorretto |
|
adjacency-not-detected |
Uplink interface Leaf or Spine non vedono più adiacenze |
Questo può accadere perche la interfaccia è down oppure LLDP packets non sono ricevuti dal peer. |