Knowledge base

Kinamo onderhoudt meerdere VMware vSphere-clusters voor onze klanten en voor Kinamo. Een van de cruciale taken bij het onderhouden van een gezond en goed presterende vSphere-cluster, is het bijhouden van updates. In deze blogpost beschrijven we één aanpak om problemen drivers op te lossen bij het upgraden van een VMware Esxi 7.0 Update 2 naar WMware ESXI Update 2a.

Onlangs bevonden we ons in een situatie waarbij op één van onze vSphere-clusters de ESXi 7.0 Update 2 Build 17630552 draaide. Een build die op 12 maart 2021 door VMware offline is gehaald vanwege problemen met de upgrade. Bij het updaten van deze servers naar de ESXi 7.0 Update 2a (Build 17867351), zijn we een aantal errors tegengekomen.

Houd er rekening mee dat, afgezien van de Dell EMC-leveranciersadd-ons voor PowerEdge-servers die door Lifecycle Manager zelf worden geleverd, deze images verder niet zijn gecustomized.

Het probleem hier was een downgrade van een add-oncomponent, namelijk "Mellanox Native OFED ConnectX-3 Drivers" (versie 3.19.70.1). De downgrade wordt niet ondersteund waardoor dit een blokkerend probleem stelde in het vSphere-cluster omdat de hosts konden niet verder konden geüpgraded.

Aangezien deze driver niet door onze host systemen wordt gebruikt, kan het probleem worden opgelost door de driver uit het ESXi-hostbesturingssysteem te verwijderen. De rest van dit artikel bevat een stap voor stap uitleg voor het verwijderen van een driver van de ESXi.

Hoe een driver verwijderen van de ESXi?

Schakel eerst SSH-toegang tot de host in en log vervolgens in met de “root”-inloggegevens via SSH.
Ga vervolgens over tot het verwijderen van de Mellanox-drivers met het volgende command:

esxcli software vib remove -n nmlx5-core -n nmlx5-rdma -n nmlx4-core -n nmlx4-fr -n nmlx4-rdma

Dit zal de volgende output genereren:

Removal Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.

Reboot Required: true

VIBs Installed:
VIBs Removed: MEL_bootbank_nmlx4-core_3.19.70.1-1OEM.670.0.0.8169922, MEL_bootbank_nmlx4-en_3.19.70.1-1OEM.670.0.0.8169922, MEL_bootbank_nmlx4-rdma_3.19.70.1-1OEM.670.0.0.8169922, MEL_bootbank_nmlx5-core_4.19.70.1-1OEM.700.1.0.15525992, MEL_bootbank_nmlx5-rdma_4.19.70.1-1OEM.700.1.0.15525992

VIBs Skipped:

De volgende en laatste stap is de host opnieuw opstarten. Ofwel vanaf de SSH-command line met het commando “reboot” of vanuit de GUI.

Na het volgen van de voorgaande stappen zou deze drive de upgrade van Lifecycle Manager niet meer mogen blokkeren.

Over het algemeen raden we af om wijzigingen aan te brengen aan uw hosts met SSH en esxcli, maar in dit geval biedt het wel een oplossing. De handmatige wijziging aan de host wordt ongedaan gemaakt door het upgradeproces dat we direct na deze wijziging uitvoeren, waardoor ze weer in overeenstemming zijn.

Houd er rekening mee dat het uitvoeren van esxcli-commands vanuit SSH een systeem in een unsupported state kan brengen volgens VMware Support.
Zoals met alle commands die men van internet kopieert en plakt, raden we aan om ze zorgvuldig en verstandig te gebruiken.
Vergeet niet om deze acties uit te voeren terwijl uw host zich in de onderhoudsmodus bevindt en er geen virtuele machines draaien.

VMware & Kinamo

Kinamo heeft meer dan 20 jaar ervaring in cloud hosting, managed services, DevOps en development. Heb je een vraag over dit artikel? Of wil je ook samenwerken met ons? Neem contact en kom eens langs voor een koffietje.