RDMA (accès direct à la mémoire à distance) pour les périphériques Ethernet Intel®

L’accès direct à la mémoire à distance (Remote Direct Memory Access, ou RDMA) permet à un périphérique réseau de transférer des données directement depuis et vers une mémoire d’application sur un autre système, ce qui augmente le débit tout en réduisant la latence dans certains environnements réseau.

• Les périphériques basés sur le contrôleur Ethernet Intel® série 800 prennent en charge iWARP et RoCEv2.
• Les périphériques basés sur le contrôleur Ethernet Intel® série X722 prennent uniquement en charge iWARP.

Pour éviter une dégradation des performances due aux pertes de paquets, activez le contrôle de flux au niveau du lien ou le contrôle de flux prioritaire sur tous les commutateurs et interfaces réseau.

REMARQUES : REMARQUE : sur les systèmes utilisant un système d'exploitation Microsoft Windows Server, l'activation du *QoS/contrôle de flux prioritaire désactivera le contrôle de flux au niveau du lien. Les périphériques basés sur le contrôleur Intel® Ethernet série 800 ne prennent pas en charge RDMA lorsqu’ils fonctionnent en mode multiport avec plus de quatre ports. Sur les systèmes Linux, RDMA et la liaison ne sont pas compatibles. Si la fonctionnalité RDMA est activée, la liaison ne sera pas fonctionnelle.

RDMA sur Linux

RDMA sur FreeBSD

Ces instructions d'installation de base de RDMA FreeBSD sont valables pour les appareils suivants :

• Contrôleur Ethernet Intel® série X722 (prise en charge iWARP uniquement)

1. Désarchivez le pilote de base et le pilote RDMA. Par exemple :
# tar -xf ixl-<version>.tar.gz
# tar -xf iw_ixl-<version>.tar.gz
2. Installez le pilote de base. Par exemple :
   # cd ixl-<version>/src directory
# make
# make install
3. Installez le pilote RDMA. Par exemple :
   # cd iw_ixl-<version>/src
# make clean
# make IXL_DIR=$PATH_TO_IXL/ixl-<version>/src
# make install
4. Activez le contrôle de flux.
   # sysctl dev.ixl.<interface_num>.fc=3
5. Activez le contrôle de flux sur le commutateur auquel votre système est connecté. Consultez la documentation de votre commutateur pour obtenir davantage de détails.

Des informations concernant l'installation et la configuration sont fournies dans le fichier README (Lisez-moi) du pilote RDMA FreeBSD qui se trouve dans l'archive .tar du pilote pour les périphériques Ethernet Intel® prenant RDMA en charge.

RDMA pour les applications Windows Network Direct (ND) en mode utilisateur

Network Direct (ND) permet aux applications en mode utilisateur d’utiliser les fonctionnalités RDMA.

REMARQUE : les applications en mode utilisateur peuvent avoir des conditions requises telles que Microsoft HPC Pack ou la bibliothèque Intel MPI. Reportez vous à la documentation de votre application pour plus de détails.

Installation du mode utilisateur RDMA

Intel® Ethernet User Mode RDMA Provider est pris en charge sur Microsoft* Windows Server* 2012 R2 (ou une version ultérieure).

Suivez les étapes ci-dessous pour installer les fonctionnalités Network Direct (ND) en mode utilisateur.

1. Exécutez Autorun.exe depuis le support d’installation pour lancer le programme d’installation, puis choisissez « Installer les pilotes et le logiciel » et acceptez le contrat de licence.
2. Dans l’écran des options d’installation, sélectionnez « Intel® Ethernet User Mode RDMA Provider ».
3. Dans l’écran des options de configuration RDMA, sélectionnez « Activer le routage RDMA sur les sous-réseaux IP » si vous le souhaitez. Notez que cette option s’affiche lors de l’installation des pilotes de base même si l’option RDMA en mode utilisateur n’a pas été sélectionnée, car cette option s’applique également à la fonctionnalité Network Direct Kernel.
4. Si le Pare-feu Windows est installé et activé, sélectionnez « Créer une règle de service de mappage de port RDMA Ethernet Intel® dans le Pare-feu Windows » et les réseaux auxquels appliquer la règle.

   REMARQUE : si le Pare-feu Windows est désactivé ou que vous utilisez un pare-feu tiers, vous devrez ajouter cette règle manuellement.

5. Poursuivez l’installation des pilotes et logiciels.

RDMA Network Direct Kernel (NDK)

La fonctionnalité RDMA Network Direct Kernel (NDK) est incluse dans les pilotes réseau de base Intel et aucune autre fonctionnalité ne doit être installée.

Routage RDMA sur les sous-réseaux IP

Si vous souhaitez autoriser la fonctionnalité RDMA de NDK sur les sous-réseaux, vous devez sélectionner « Activer le routage RDMA sur les sous-réseaux IP » dans l’écran des options de configuration RDMA lors de l’installation des pilotes de base.

Activation du contrôle de flux prioritaire (PFC) sur un système d'exploitation Microsoft Windows Server

Pour éviter une dégradation des performances due aux pertes de paquets, activez le contrôle de flux prioritaire (PFC) ou le contrôle de flux au niveau du lien sur tous les commutateurs et interfaces réseau.

REMARQUE : sur les systèmes utilisant un système d'exploitation Microsoft Windows Server, l'activation du *QoS/contrôle de flux prioritaire désactivera le contrôle de flux au niveau du lien.

Utilisez les commandes PowerShell suivantes pour activer le PFC sur un système d'exploitation Microsoft Windows Server :

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Vérification du fonctionnement de RDMA avec Microsoft* PowerShell*

Vous pouvez confirmer l'activation de RDMA sur toutes les interfaces réseau en utilisant la commande Microsoft* PowerShell* suivante :

Get-NetAdapterRDMA

Utilisez la commande PowerShell suivante pour confirmer que les interfaces réseau sont compatibles avec RDMA et que la fonctionnalité multicanale est activée :

Get-SmbClientNetworkInterface

Utilisez la commande PowerShell suivante pour confirmer que la fonctionnalité Network Direct est activée dans le système d'exploitation :

Get-NetOffloadGlobalSetting | Select NetworkDirect

Utilisez netstat pour confirmer que chaque interface réseau compatible avec RDMA a un écouteur sur le port 445 (les SE des clients Windows prenant en charge l’accès RDMA ne doivent pas configurer d’écouteur). Par exemple :

netstat.exe -xan | ? {$_ -match "445"}

RDMA pour les environnements virtualisés

Pour activer la fonctionnalité RDMA sur une carte réseau virtuelle connectée à un commutateur VMSwitch, les propriétés avancées SRIOV (Single Root IO Virtualization) et VMQ (Virtual Machine Queues) doivent être activées sur chaque port. Dans certaines circonstances, ces paramètres peuvent être désactivés par défaut. Ces options peuvent être configurées manuellement sous l’onglet Avancé de la boîte de dialogue des propriétés de la carte réseau, et vous pouvez également utiliser les commandes Powershell suivantes :

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *VMQ -RegistryValue 1

Configuration de RDMA pour la prise en charge d'invités (mode NDK 3)

Le mode NDK 3 permet aux composants Windows en mode noyau d'utiliser les fonctionnalités RDMA dans les partitions invitées Hyper-V. Pour activer le mode NDK 3 sur un périphérique Ethernet Intel, procédez comme suit :

1. Activez SR-IOV dans le BIOS/UEFI de votre système.
2. Activez le paramètre avancé SR-IOV sur le périphérique.
3. Activez SR-IOV sur le commutateur VMSwitch lié au périphérique en exécutant la commande suivante pour toutes les fonctions physiques de ce même périphérique :
   New-VMSwitch -Name <switch_name> -NetAdapterName <device_name>
-EnableIov $true
4. Configurez le nombre de fonctions virtuelles (FV) RDMA sur le périphérique en définissant le paramètre avancé « RdmaMaxVfsEnabled ». Toutes les fonctions physiques doivent avoir la même valeur. La valeur est le nombre maximum de FV compatibles RDMA en une fois pour le périphérique tout entier. L’activation d’un plus grand nombre de FV va limiter les ressources RDMA au niveau des fonctions physiques (FP) et d’autres FV.
   Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <Value: 0 - 32>
5. Désactivez toutes les cartes FP sur l’hôte et réactivez-les. Cette opération est exigée lorsque la clé de registre « RdmaMaxVfsEnabled » est modifiée ou lors de la destruction d’un VMSwitch.
   Get-NetAdapterRdma | Disable-NetAdapter
Get-NetAdapterRdma | Enable-NetAdapter
6. Créez les cartes réseau MV pour les machines virtuelles qui requièrent la prise en charge des FV RDMA.
   Add-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -SwitchName <switch_name>
7. Si vous comptez utiliser la mise à jour Microsoft Windows 10 Creators (RS2) ou une version ultérieure sur une partition invitée, configurez la pondération RDMA sur la carte réseau MV en saisissant la commande suivante sur l’hôte :
   Set-VMNetworkAdapterRdma -VMName <vm_name> -VMNetworkAdapterName <device_name> -RdmaWeight 100
8. Définissez le poids SR-IOV sur la carte réseau MV (remarque : le poids SR-IOV doit être défini sur 0 avant de définir RdmaWeight sur 0) :
   Set-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -IovWeight 100
9. Installez la carte réseau FV avec le programme d’installation PROSET sur la MV.
10. Activez RDMA sur le pilote FV et la carte réseau Hyper-V en utilisant PowerShell sur la MV :
    Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
Get-NetAdapterRdma | Enable-NetAdapterRdma

Accès RDMA pour les fonctionnalités NDK telles que SMB Direct (Server Message Block)

NDK permet aux composants Windows (le stockage SMB Direct, par exemple) d’utiliser les fonctionnalités RDMA.

Test NDK : Microsoft* Windows* SMB Direct avec DiskSPD

Cette section recommande une méthode pour tester l’accès RDMA pour la fonctionnalité Intel Ethernet et les performances sur les systèmes d’exploitation Microsoft* Windows*.

Remarque : SMB Direct étant une charge de travail de stockage, les performances du banc d’essai peuvent être limitées à la vitesse du périphérique de stockage plutôt qu’à l’interface réseau testée. Intel recommande d’utiliser le stockage le plus rapide possible afin de tester les vraies capacités du ou des périphériques réseau testés.

Instructions de test :

1. Configurer et connectez au moins deux serveurs exécutant un système d'exploitation Microsoft* Windows* Server pris en charge, avec au moins un périphérique Intel® Ethernet compatible avec RDMA par serveur.
2. Sur le système désigné comme étant le serveur SMB, configurez un partage SMB. Remarque : les performances du banc d’essai peuvent être limitées à la vitesse du périphérique de stockage plutôt qu’à l’interface réseau testée. La configuration du stockage n'entre pas dans le cadre de ce document. Vous pouvez utiliser la commande PowerShell suivante :
   New-SmbShare -Name <nom_du_partage_SMB> -Path <chemin_du_fichier_de_partage_SMB> -FullAccess <nom_du_domaine>\Administrator,Everyone
   
   Par exemple :
   New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone
   
   
3. Téléchargez et installez l’utilitaire Diskspd Microsoft à l’adresse suivante : https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. En utilisant CMD ou Powershell, exécutez la commande cd dans le dossier DiskSpd et lancez les tests. (Reportez-vous à la documentation de Diskspd pour plus de détails sur les paramètres.)
   
   Par exemple : configurer la taille de bloc sur 4K, exécuter le test pendant 60 secondes, désactiver toutes les mises en cache matérielles et logicielles, mesurer et afficher les statistiques de latence, exploiter 16 E/S se chevauchant et 16 threads par cible, 0 % d’écritures et 100 % de lectures aléatoires, et créer un fichier test de 10 Go sous « \\<SMBserverX722IP>\<SMBsharename>\test.dat » :
   .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverX722IP>\<SMBsharename>\test.dat
   
   
5. Vérifiez que le trafic RDMA est exécuté à l’aide de compteurs perfmon tels que « RDMA Activity » et « SMB Direct Connection ». Reportez-vous à la documentation pour plus de détails.