Acesso Remoto Direto à Memória (RDMA) para dispositivos Ethernet Intel®

O Acesso Remoto Direto à Memória (RDMA — Remote Direct Memory Access) permite que um dispositivo de rede transfira dados diretamente para e da memória de aplicativos existentes em outro sistema, aumentando a taxa de transferência e reduzindo a latência em determinados ambientes em rede.

• Os dispositivos Ethernet Intel® série 800 são compatíveis com iWARP e RoCEv2.
• Os dispositivos Ethernet Intel® série X722 são compatíveis apenas com iWARP.

A grande diferença é que o iWARP executa o RDMA via TCP, enquanto o RoCEv2 utiliza o UDP.

Para evitar degradação do desempenho por perda de pacotes, ative o controle de fluxo no nível do link ou o controle de fluxo prioritário em todas as interfaces e comutadores de rede.

NOTAS: Em sistemas executando o sistema operacional Microsoft* Windows Server*, habilitar o *QoS/controle de fluxo de prioridade desabilitará o controle de fluxo no nível do link. Os dispositivos baseados no Controlador Intel® Ethernet série 800 não suportam RDMA quando operando no modo multiporta com mais de 4 portas. Em sistemas Linux*, RDMA e vinculação não são compatíveis. Se o RDMA for habilitado, o bonding não funcionará.

RDMA no Linux

Estas instruções básicas para instalação de RDMA no Linux são aplicáveis para os seguintes dispositivos:

• Ethernet Intel® série 800
• Ethernet Intel® série X722

Para obter informações detalhadas sobre instalação e configuração, consulte o arquivo README (leiame) do driver do RDMA para Linux, no tarball do driver para dispositivos Intel® Ethernet compatíveis com RDMA.

Este exemplo é específico para o Red Hat* Enterprise Linux*. As especificações do sistema operacional podem ser diferentes.

1. Descompacte o tarball do driver RDMA. Por exemplo:
   # tar zxf irdma-<x.x.x>.tar.gz
2. Instale o driver RDMA PF. Por exemplo:
   # cd irdma-<x.x.x>
# ./build.sh
# modprobe irdma

   NOTA: Por padrão, o driver irdma é carregado no modo iWARP. Ele utiliza a interface devlink para habilitar RoCEv2 por porta. Para carregar todas as portas do irdma no modo RoCEv2, utilize o seguinte: # modprobe irdma roce_ena=1

3. Desinstale qualquer versão instalada anteriormente do rdma-core.
   # yum erase rdma-core
4. Baixe o tarball da biblioteca do rdma-core do GitHub. Por exemplo:
   # wget https://github.com/linux-rdma/rdma-core/releases/download/v27.0/rdma-core-27.0.tar.gz

   NOTA: Baixe a versão do rdma-core que corresponde à versão do arquivo de patch da libirdma incluído com o driver. Por exemplo, libirdma-27.0.patch requer rdma-core-27.0.tar.gz.

5. Descompacte o tarball do rdma-core, aplique o patch e mude o grupo do arquivo de especificação. Por exemplo:
   # tar -xzvf rdma-core-<version>.tar.gz
# cd rdma-core-<version>
# patch -p2 <<caminho até o build do componente>/libirdma-<version>.patch
# cd ..
# chgrp -R root <caminho até o rdma-core>/redhat
# tar -zcvf rdma-core-<version>.tgz rdma-core-<version>
6. Instale as bibliotecas de espaço do usuário do rdma-core-intel. Por exemplo:
   # mkdir -p ~/rpmbuild/SOURCES
# mkdir -p ~/rpmbuild/SPECS
# cp rdma-core-<version>.tgz ~/rpmbuild/SOURCES/
# cd ~/rpmbuild/SOURCES
# tar -xzvf rdma-core-<version>.tgz
# cp ~/rpmbuild/SOURCES/rdma-core-<version>/redhat/rdma-core.spec ~/rpmbuild/SPECS/
# cd ~/rpmbuild/SPECS/
# rpmbuild -ba rdma-core.spec
# cd ~/rpmbuild/RPMS/x86_64
# yum install *<version>*.rpm
7. Habilitar controle de fluxo no seu adaptador. É possível habilitar controle de fluxo prioritário ou no nível do link; nós recomendamos utilizar o controle de fluxo prioritário. Consulte o arquivo README (leiame) do driver do RDMA para obter mais informações sobre controle de fluxo.
   
8. Habilite o controle de fluxo no comutador ao qual seu sistema estiver conectado. Consulte a documentação do comutador para obter detalhes.

RDMA para ambientes virtualizados no Linux

Os dispositivos baseados no Ethernet Intel® série 800 suportam RDMA em uma VF no Linux em hosts do Windows ou Linux compatíveis. Consulte o arquivo README (leiame) no tarball do driver RDMA no Linux para obter mais informações sobre como carregar e configurar o RDMA em uma VF no Linux.

RDMA no Microsoft Windows*

RDMA (Remote Direct Memory Access — Acesso Remoto Direto à Memória) para Aplicativos Network Direct (ND) no Modo Usuário

O Network Direct (ND) permite que aplicativos no Modo Usuário utilizem recursos de RDMA.

NOTA: os aplicativos no Modo Usuário podem ter pré-requisitos, como o Microsoft HPC Pack ou a Intel® MPI Library — consulte a documentação de seu aplicativo para obter mais detalhes.

Instalação do RDMA no Modo Usuário

O recurso Provedor de RDMA em Modo de Usuário Ethernet Intel® é compatível com o Microsoft* Windows Server* 2012 R2 e posterior.

Para instalar os recursos do Network Direct (ND) do Modo Usuário, siga as etapas abaixo.

1. Na mídia de instalação, execute o Autorun.exe para iniciar o instalador, selecione "Instalar drivers e software" e aceite o contrato de licença.
2. Na tela Opções de instalação, selecione "Provedor de RDMA em Modo Usuário Intel® Ethernet".
3. Na tela Opções de configuração do RDMA, selecione "Habilitar o roteamento de RDMA através das sub-redes de IP", se necessário. Convém observar que essa opção é exibida durante a instalação do driver básico, mesmo que o RDMA do Modo Usuário não esteja selecionado, porque esta opção também se aplica à funcionalidade Network Direct Kernel.
4. Se o Firewall do Windows estiver instalado e ativo, selecione "Criar uma regra de serviço de mapeamento de portas do RDMA Intel® Ethernet no Windows Firewall" e as redes às quais a regra será aplicada.

   NOTA: se o Firewall do Windows estiver desabilitado ou se você estiver usando um firewall de terceiros, será necessário adicionar manualmente esta regra.

5. Continue a instalação do driver e software.

RDMA Network Direct Kernel (NDK)

A funcionalidade RDMA Network Direct Kernel (NDK) está incluída nos drivers de rede básicos da Intel e não exige instalação de quaisquer recursos adicionais.

Roteamento do RDMA através das sub-redes de IP

Para permitir a funcionalidade RDMA do NDK através das sub-redes, selecione "Habilitar o roteamento do RDMA através das sub-redes de IP" na tela Opções de configuração do RDMA, durante a instalação do driver básico.

Habilitando o controle de fluxo prioritário (PFC) em um sistema operacional Microsoft Windows Server

Para evitar a queda do desempenho com perda de pacotes, habilite o controle de fluxo prioritário (PFC) ou o controle de fluxo no nível do link em todas as interfaces e comutadores de rede.

NOTA: Em sistemas executando o sistema operacional Microsoft* Windows Server*, habilitar o *QoS/controle de fluxo de prioridade desabilitará o controle de fluxo no nível do link.

Use os seguintes comandos do PowerShell* para habilitar o PFC no Microsoft Windows Server:

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Verificação da operação do RDMA com o Microsoft PowerShell

Para verificar se o RDMA está habilitado nas interfaces de rede, emita o seguinte comando do Microsoft PowerShell:

Get-NetAdapterRDMA

Para saber se as interfaces de rede indicam capacidade para RDMA e se o multicanal está habilitado, emita o seguinte comando do PowerShell:

Get-SmbClientNetworkInterface

Para verificar se o Network Direct (ND) está habilitado no sistema operacional, emita o seguinte comando do PowerShell:

Get-NetOffloadGlobalSetting | Selecione NetworkDirect

Use netstat para se certificar de que cada interface de rede com capacidade para o RDMA tem um ouvinte na porta 445 (os SOs Cliente Windows compatíveis com RDMA podem não postar ouvintes). Por exemplo:

netstat.exe -xan | ? {$_ -match "445"}

RDMA para ambientes virtualizados no Windows

Para habilitar a funcionalidade RDMA em adaptador(es) virtual(is) conectado(s) a um VMSwitch (comutador de máquina virtual), as propriedades avançadas de SRIOV (Single Root IO Virtualization — Virtualização de E/S de raiz única) e de VMQ (Virtual Machine Queues - Filas de Máquina Virtual) devem estar habilitadas em cada porta. Em certas circunstâncias, essas configurações podem ser desabilitadas, como padrão. Essas opções podem ser definidas manualmente no Painel de configurações do adaptador do Intel PROSet ACU, na guia Avançado da caixa de diálogo de propriedades do adaptador ou com os seguintes comandos do PowerShell:

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *VMQ -RegistryValue 1

Configurando o suporte para convidados do RDMA (Modo NDK 3)

O Modo NDK 3 permite que os componentes do Windows no modo kernel usem os recursos do RDMA dentro das partições convidadas do Hyper-V. Para habilitar o Modo NDK 3 em um dispositivo Intel Ethernet, faça o seguinte:

1. Habilite o SR-IOV no BIOS de seu sistema ou no UEFI.
2. Habilite a configuração avançada SR-IOV no dispositivo.
3. Habilite a SR-IOV no VMSwitch vinculado ao dispositivo, executando o seguinte para todas as funções físicas no mesmo dispositivo:
   New-VMSwitch -Name <switch_name> -NetAdapterName <device_name>
-EnableIov $true
4. Configure o número de funções virtuais (VFs — Virtual Functions) do RDMA no dispositivo, definindo a opção avançada "RdmaMaxVfsEnabled". Todas as funções físicas devem ser definidas com o mesmo valor. O valor é o número máximo de VFs com capacidade de RDMA, de uma só vez, para o dispositivo inteiro. Habilitar mais VFs restringirá recursos do RDMA das funções físicas (PFs — Physical Functions) e outras VFs.
   Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <Value: 0 - 32>
5. Desabilite todos os adaptadores de PF no host e reabilite-os. Isso é necessário quando a palavra-chave do registro “RdmaMaxVfsEnabled” é alterada ou ao criar ou destruir um VMSwitch.
   Get-NetAdapterRdma | Disable-NetAdapter
Get-NetAdapterRdma | Enable-NetAdapter
6. Crie adaptadores de rede de VM para as VMs que exigem suporte para VFs do RDMA.
   Add-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -SwitchName <switch_name>
7. Para utilizar o Microsoft Windows 10 Creators Update (RS2) ou posterior em uma partição convidada, defina o peso do RDMA em um adaptador de rede de VM, inserindo o seguinte comando no host:
   Set-VMNetworkAdapterRdma -VMName <vm_name> -VMNetworkAdapterName <device_name> -RdmaWeight 100
8. Defina o peso do SR-IOV no adaptador de rede VM (Nota: o peso do SR-IOV deve ser definido como 0 antes de definir o RdmaWeight como 0):
   Set-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -IovWeight 100
9. Instale o adaptador de rede de VF com o Instalador PROSET na VM.
10. Habilite o RDMA no driver de VF e o adaptador de rede do Hyper-V, usando o PowerShell na VM:
    Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
Get-NetAdapterRdma | Enable-NetAdapterRdma

RDMA para recursos do NDK, como SMB Direct (Server Message Block)

O NDK permite que componentes do Windows (como o armazenamento do SMB Direct) utilizem recursos do RDMA.

Testando o NDK: SMB Direct do Microsoft Windows com DiskSPD

Esta seção descreve uma recomendação para testar a funcionalidade e o desempenho do RDMA para Intel® Ethernet nos sistemas operacionais Microsoft Windows.

Convém observar que, como o SMB Direct é uma carga de trabalho de armazenamento, o desempenho do parâmetro de comparação pode estar limitado à velocidade do dispositivo de armazenamento, em vez da interface de rede submetida ao teste. A Intel recomenda usar o armazenamento mais veloz possível para testar as reais capacidades do(s) dispositivo(s) de rede sob teste.

Instruções do teste:

1. Configure e conecte pelo menos dois servidores executando um sistema operacional Microsoft Windows Server compatível, com, no mínimo, um dispositivo Ethernet Intel® por servidor, com capacidade para RDMA.
2. No sistema designado como servidor SMB, configure um compartilhamento SMB. Convém observar que o desempenho do parâmetro de comparação pode estar limitado à velocidade do dispositivo de armazenamento, em vez da interface de rede submetida ao teste. A instalação do armazenamento está fora do âmbito deste documento. Você pode emitir o seguinte comando do PowerShell:
   New-SmbShare -Name <SMBsharename> -Path <SMBsharefilepath> -FullAccess <domainname>\Administrator,Everyone
   
   Por exemplo:
   New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone
   
   
3. Baixe e instale o utilitário Diskspd da Microsoft a partir daqui: https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. Usando o CMD ou Powershell, passe para o diretório da pasta DiskSpd e execute os testes. (Consulte a documentação do Diskspd para obter mais detalhes sobre os parâmetros)
   
   Por exemplo: defina o tamanho do bloco em 4 K, execute o teste durante 60 segundos, desabilite todo o cache do hardware e software, avalie e exiba os dados estatísticos da latência, utilize 16 E/Ss sobrepostas e 16 threads por destino, gravações de 0% aleatórias e leituras de 100%, e crie um arquivo de teste de 10 GB em "\\<SMBserverTestIP>\<SMBsharename>\test.dat" :
   .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverTestIP>\<SMBsharename>\test.dat
   
   
5. Verifique se o tráfego do RDMA está operando, usando contadores perfmon, como “RDMA Activity” e “SMB Direct Connection”. Consulte a documentação da Microsoft para obter mais detalhes.