Accès direct à la mémoire à distance (RDMA) pour les périphériques Ethernet Intel®

L’accès direct à la mémoire à distance, ou RDMA (Remote Direct Memory Access), permet à un périphérique réseau de transférer des données directement depuis et vers une mémoire d’application sur un autre système, ce qui augmente le débit tout en réduisant la latence dans certains environnements réseau.

La principale différence est que le protocole iWARP exécute RDMA sur TCP, alors que le protocole RoCEv2 utilise UDP.

Sur les périphériques dotés de capacités RDMA, le RDMA est pris en charge sur les systèmes d'exploitation suivants :

Pour éviter une dégradation des performances due aux pertes de paquets, activez le contrôle de flux au niveau du lien ou le contrôle de flux prioritaire (PFC) sur tous les commutateurs et interfaces réseau.

REMARQUES :

  • Sur les systèmes utilisant un système d'exploitation Microsoft Windows Server, l'activation du *QoS/contrôle de flux prioritaire désactivera le contrôle de flux au niveau du lien.
  • Les périphériques basés sur Ethernet Intel® série 800 ne prennent pas en charge RDMA lorsqu’ils fonctionnent en mode multiport avec plus de quatre ports.
  • Sur les systèmes Linux, RDMA et la liaison ne sont pas compatibles. Si la fonctionnalité RDMA est activée, la liaison ne sera pas fonctionnelle.

RDMA sur Linux ou FreeBSD

Pour les périphériques Ethernet Intel® qui prennent en charge le RDMA sur Linux ou FreeBSD, utilisez les pilotes indiqués dans le tableau suivant.

Périphérique Linux FreeBSD Protocoles pris en charge
Pilote de base Pilote RDMA Pilote de base Pilote RDMA
Ethernet Intel® série 800 ice irdma ice irdma RoCEv2, iWARP
Ethernet Intel® série X722 i40e irdma ixl iw_ixl iWARP
Instructions d'installation de base

À un niveau élevé, voici les étapes suivantes pour l'installation et la configuration de RDMA sur Linux ou FreeBSD. Consultez le fichier README dans le fichier .tar du pilote RDMA approprié pour plus d'informations.

  1. Installez le pilote de base.
  2. Installez le pilote RDMA.
  3. Installez et corrigez n'importe quelle bibliothèque RDMA pour mode utilisateur. Les étapes précises varient selon le système d'exploitation ; reportez-vous au fichier Readme du pilote RDMA pour plus détails.
  4. Activez le contrôle de flux sur votre appareil. Reportez-vous au fichier README du pilote de base pour plus d'informations et pour les modes pris en charge.
  5. Si vous utilisez un RoCe, activez le contrôle de flux (PFC ou LFC) sur l'appareil et le point de terminaison auquel votre système est connecté. Consultez la documentation de votre commutateur et, pour Linux, le guide Intel® Ethernet 800 Series Linux Flow Control Configuration Guide for RDMA Use Cases pour plus d'informations.

RDMA pour les environnements virtualisés sous Linux

Les périphériques basés sur la gamme Intel Ethernet série 800 prennent en charge le RDMA sous une FV Linux sur les hôtes Windows ou Linux pris en charge. Reportez-vous au fichier README contenu dans l'archive tar du pilote RDMA Linux pour en savoir plus sur le chargement et la configuration de RDMA sous une FV Linux.

RDMA sur Microsoft Windows

RDMA pour les applications Network Direct (ND) en mode utilisateur

Network Direct (ND) permet aux applications en mode utilisateur d’utiliser les fonctionnalités RDMA.

REMARQUE : les applications en mode utilisateur peuvent avoir des conditions requises telles que Microsoft HPC Pack ou la bibliothèque Intel MPI. Reportez-vous à la documentation de votre application pour plus de détails.

Installation du mode utilisateur RDMA

Intel® Ethernet User Mode RDMA Provider est pris en charge sur Microsoft Windows Server 2012 R2 et versions ultérieures.

Suivez les étapes ci-dessous pour installer les fonctionnalités Network Direct (ND) en mode utilisateur.

  1. Exécutez Autorun.exe depuis le support d’installation pour lancer le programme d’installation, puis choisissez « Installer les pilotes et le logiciel » et acceptez le contrat de licence.
  2. Dans l’écran des options d’installation, sélectionnez « Intel® Ethernet User Mode RDMA Provider ».
  3. Dans l’écran des options de configuration RDMA, sélectionnez « Activer le routage RDMA sur les sous-réseaux IP » si vous le souhaitez. Notez que cette option s’affiche lors de l’installation du pilote de base même si l’option RDMA en mode utilisateur (User Mode) n’a pas été sélectionnée, car cette option s’applique également à la fonctionnalité Network Direct Kernel.
  4. Si le Pare-feu Windows est installé et activé, sélectionnez « Créer une règle de service de mappage de port RDMA Ethernet Intel® dans le Pare-feu Windows » et les réseaux auxquels appliquer la règle.

    REMARQUE : si le Pare-feu Windows est désactivé ou que vous utilisez un pare-feu tiers, vous devrez ajouter cette règle manuellement.

  5. Poursuivez l’installation des pilotes et logiciels.

RDMA Network Direct Kernel (NDK)

La fonctionnalité RDMA Network Direct Kernel (NDK) est incluse dans les pilotes réseau de base Intel et aucune autre fonctionnalité ne doit être installée.

Routage RDMA sur les sous-réseaux IP

Si vous souhaitez autoriser la fonctionnalité RDMA NDK sur les sous-réseaux, vous devez sélectionner « Activer le routage RDMA sur les sous-réseaux IP » dans l’écran des options de configuration RDMA lors de l’installation des pilotes de base.

Activation du contrôle de flux prioritaire (PFC) sur un système d'exploitation Microsoft Windows Server

Pour éviter une dégradation des performances due aux pertes de paquets, activez le contrôle de flux prioritaire (PFC) ou le contrôle de flux au niveau du lien sur tous les commutateurs et interfaces réseau.

REMARQUE : sur les systèmes utilisant un système d'exploitation Microsoft Windows Server, l'activation du *QoS/contrôle de flux prioritaire désactivera le contrôle de flux au niveau du lien.

Utilisez les commandes PowerShell* suivantes pour activer le contrôle de flux prioritaire (PFC) sur Microsoft Windows Server :

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Vérification du fonctionnement de RDMA avec Microsoft PowerShell

Vous pouvez confirmer l'activation du RDMA sur toutes les interfaces réseau en utilisant la commande Microsoft PowerShell suivante :

Get-NetAdapterRDMA

Utilisez la commande PowerShell suivante pour confirmer que les interfaces réseau sont compatibles avec RDMA et que la fonctionnalité multicanale est activée :

Get-SmbClientNetworkInterface

Utilisez la commande PowerShell suivante pour confirmer que la fonctionnalité Network Direct est activée dans le système d'exploitation :

Get-NetOffloadGlobalSetting | Sélectionnez NetworkDirect

Utilisez netstat pour confirmer que chaque interface réseau compatible avec RDMA a un écouteur sur le port 445 (les SE des clients Windows prenant en charge l’accès RDMA ne doivent pas configurer d’écouteur). Par exemple :

netstat.exe -xan | ? {$_ -match "445"}

RDMA pour les environnements virtualisés sous Windows

Pour activer la fonctionnalité RDMA sur l'/les adaptateur(s) virtuel(s) connecté(s) à un commutateur VMSwitch, vous devez :

Dans certaines circonstances, vous pouvez désactiver ces paramètres par défaut. Vous pouvez configurer manuellement ces options dans le volet Paramètres de la carte de l'ACU Intel PROset dans l'onglet Avancé de la boîte de dialogue des propriétés de la carte, ou à l'aide des commandes PowerShell suivantes :

Set-NetAdapterAdvancedProperty -Name <nom_carte_interface_réseau> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nom_carte_interface_réseau> -RegistryKeyword *VMQ -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <1-32>

Configuration de RDMA pour la prise en charge d'invités (mode NDK 3)

Le mode NDK 3 permet aux composants Windows en mode noyau d'utiliser les fonctionnalités RDMA dans les partitions invitées Hyper-V. Pour activer le mode NDK 3 sur un périphérique Ethernet Intel, procédez comme suit :

  1. Activez SR-IOV dans le BIOS/UEFI de votre système.
  2. Activez le paramètre avancé SR-IOV sur le périphérique.
  3. Activez SR-IOV sur le commutateur VMSwitch lié au périphérique en exécutant la commande suivante pour toutes les fonctions physiques de ce même périphérique :
    New-VMSwitch -Name <nom_du_commutateur> -NetAdapterName <nom_du_périphérique>
    -EnableIov $true
  4. Configurez le nombre de fonctions virtuelles (FV) RDMA sur le périphérique en définissant le paramètre avancé « RdmaMaxVfsEnabled ». Toutes les fonctions physiques doivent avoir la même valeur. La valeur est le nombre maximum de FV compatibles RDMA en une fois pour le périphérique tout entier. L’activation d’un plus grand nombre de FV va limiter les ressources RDMA au niveau des fonctions physiques (FP) et d’autres FV.
    Set-NetAdapterAdvancedProperty -Name <nom_du_périphérique> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <valeur : 0 - 32>
  5. Désactivez toutes les cartes FP sur l’hôte et réactivez-les. Cette opération est exigée lorsque la clé de registre « RdmaMaxVfsEnabled » est modifiée ou lors de la destruction d’un VMSwitch.
    Get-NetAdapterRdma | Disable-NetAdapter
    Get-NetAdapterRdma | Enable-NetAdapter
  6. Créez les cartes réseau MV pour les machines virtuelles qui requièrent la prise en charge des FV RDMA.
    Add-VMNetworkAdapter -VMName <nom_de_la_MV> -VMNetworkAdapterName <nom_du_périphérique> -SwitchName <nom_du_commutateur>
  7. Si vous comptez utiliser la mise à jour Microsoft Windows 10 Creators (RS2) ou une version ultérieure sur une partition invitée, configurez la pondération RDMA sur la carte réseau MV en saisissant la commande suivante sur l’hôte :
    Set-VMNetworkAdapterRdma -VMName <nom_de_la_MV> -VMNetworkAdapterName <nom_du_périphérique> -RdmaWeight 100
  8. Définissez le poids SR-IOV sur la carte réseau MV (remarque : le poids SR-IOV doit être défini sur 0 avant de définir RdmaWeight sur 0) :
    Set-VMNetworkAdapter -VMName <nom_de_la_MV> -VMNetworkAdapterName <nom_du_périphérique> -IovWeight 100
  9. Installez la carte réseau FV avec le programme d’installation PROSET sur la MV.
  10. Activez RDMA sur le pilote FV et la carte réseau Hyper-V en utilisant PowerShell sur la MV :
    Set-NetAdapterAdvancedProperty -Name <nom_du_périphérique> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
    Get-NetAdapterRdma | Enable-NetAdapterRdma

Accès RDMA pour les fonctionnalités NDK telles que SMB Direct (Server Message Block)

NDK permet aux composants Windows (le stockage SMB Direct, par exemple) d’utiliser les fonctionnalités RDMA.

Test NDK : Microsoft Windows SMB Direct avec DiskSPD

Cette section recommande une méthode pour tester l’accès RDMA pour la fonctionnalité Ethernet Intel® et les performances sur les systèmes d’exploitation Microsoft Windows.

Remarque : SMB Direct étant une charge de travail de stockage, les performances du banc d’essai peuvent être limitées à la vitesse du périphérique de stockage plutôt qu’à l’interface réseau testée. Intel recommande d’utiliser le stockage le plus rapide possible afin de tester les vraies capacités du ou des périphériques réseau testés.

Instructions de test :

  1. Configurez et connectez au moins deux serveurs exécutant un système d'exploitation Microsoft Windows Server pris en charge, avec au moins un périphérique Ethernet Intel® compatible avec RDMA par serveur.
  2. Sur le système désigné comme étant le serveur SMB, configurez un partage SMB. Remarque : les performances du banc d’essai peuvent être limitées à la vitesse du périphérique de stockage plutôt qu’à l’interface réseau testée. La configuration du stockage n'entre pas dans le cadre de ce document. Vous pouvez utiliser la commande PowerShell suivante :
    New-SmbShare -Name <nom_du_partage_SMB> -Path <chemin_du_fichier_de_partage_SMB> -FullAccess <nom_du_domaine>\Administrator,Everyone

    Par exemple :
    New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone

  3. Téléchargez et installez l’utilitaire Diskspd Microsoft à l’adresse suivante : https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
  4. En utilisant CMD ou Powershell, exécutez la commande cd dans le dossier DiskSpd et lancez les tests. (Reportez-vous à la documentation de Diskspd pour plus de détails sur les paramètres.)

    Par exemple : configurer la taille de bloc sur 4K, exécuter le test pendant 60 secondes, désactiver toutes les mises en cache matérielles et logicielles, mesurer et afficher les statistiques de latence, exploiter 16 E/S se chevauchant et 16 threads par cible, 0 % d’écritures et 100 % de lectures aléatoires, et créer un fichier test de 10 Go sous « \\<SMBserverTestIP>\<SMBsharename>\test.dat » :
    .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverTestIP>\<SMBsharename>\test.dat

  5. Vérifiez que le trafic RDMA est exécuté à l’aide de compteurs perfmon tels que « RDMA Activity » et « SMB Direct Connection ». Reportez-vous à la documentation pour plus de détails.

Assistance à la clientèle

Mentions légales / Exclusions de responsabilité

Copyright (C) 2019 - 2022, Intel Corporation. Tous droits réservés.

Intel Corporation décline toute responsabilité pour toute erreur ou omission dans ce document. Intel ne s'engage aucunement à mettre à jour les informations contenues dans ce document.

Intel est une marque de commerce d’Intel Corporation aux États-Unis et/ou dans d’autres pays.

*Les autres marques et noms de produits sont des marques commerciales appartenant à leurs propriétaires respectifs.

Ce logiciel est fourni sous licence et ne peut être utilisé ou copié que conformément aux termes de cette licence. Les informations contenues dans ce manuel sont fournies à titre de référence uniquement et peuvent être modifiées sans préavis. Elles ne constituent en aucun cas un engagement de la part d'Intel Corporation. Intel Corporation n'accepte aucune responsabilité pour d'éventuelles erreurs ou inexactitudes figurant dans ce document ou dans aucun logiciel susceptible d'être fourni en association avec ce document. Sauf autorisation figurant dans cette licence, aucune partie de ce document ne peut être reproduite, stockée dans un système de récupération ou transmise, sous quelque forme ou par quelque moyen que ce soit, sans l'autorisation écrite explicite d'Intel Corporation.