Acesso Remoto Direto à Memória (RDMA) para dispositivos Ethernet Intel®

O Acesso Remoto Direto à Memória (RDMA — Remote Direct Memory Access) permite que um dispositivo de rede transfira dados diretamente para e da memória de aplicativos existentes em outro sistema, aumentando a taxa de transferência e reduzindo a latência em determinados ambientes em rede.

• Os dispositivos Ethernet Intel® série 800 são compatíveis com iWARP e RoCEv2.
• Os dispositivos Ethernet Intel® série X722 são compatíveis apenas com iWARP.

A grande diferença é que o iWARP executa o RDMA via TCP, enquanto o RoCEv2 utiliza o UDP.

Nos dispositivos com recursos RDMA, o RDMA é compatível com os seguintes sistemas operacionais:

• Linux*
• FreeBSD*
• VMware* ESXi*
• Microsoft* Windows Server*

Para evitar degradação do desempenho por perda de pacotes, ative o controle de fluxo no nível do link ou o controle de fluxo prioritário em todas as interfaces e comutadores de rede.

NOTAS: Em sistemas executando o sistema operacional Microsoft Windows Server, habilitar o *QoS/controle de fluxo de prioridade desabilitará o controle de fluxo no nível do link. Os dispositivos baseados no Controlador Intel® Ethernet série 800 não suportam RDMA quando operando no modo multiporta com mais de 4 portas. Em sistemas Linux, RDMA e vinculação não são compatíveis. Se o RDMA for habilitado, o bonding não funcionará.

RDMA no Linux ou FreeBSD

Para dispositivos Ethernet Intel compatíveis com RDMA no Linux ou FreeBSD, use os drivers exibidos na tabela a seguir.

Instruções básicas de instalação

Em um alto nível, instalar e configurar o RDMA no Linux ou FreeBSD consiste nas seguintes etapas. Consulte o arquivo README dentro do tarball do driver RDMA apropriado para obter mais detalhes.

1. Instale o driver básico.
2. Instale o driver RDMA.
3. Instale e corrija qualquer biblioteca RDMA no modo usuário. As etapas exatas variam por sistema operacional; consulte o arquivo readme do driver RDMA para mais detalhes.
4. Habilite o controle de fluxo em seu dispositivo. Consulte o README do driver de base para obter detalhes e modos compatíveis.
5. Caso esteja usando RoCE, habilite o controle de fluxo (PFC ou LFC) no dispositivo e no terminal ao qual seu sistema está conectado. Para mais detalhes, veja a documentação de seu comutador e, para Linux, o Guia de configuração de controle de fluxo Linux Intel® Ethernet Série 800 para casos de uso RDMA.

RDMA para ambientes virtualizados no Linux

Os dispositivos baseados no Ethernet Intel® série 800 suportam RDMA em uma VF no Linux em hosts do Windows ou Linux compatíveis. Consulte o arquivo README (leiame) no tarball do driver RDMA no Linux para obter mais informações sobre como carregar e configurar o RDMA em uma VF no Linux.

RDMA no Microsoft Windows

RDMA (Remote Direct Memory Access — Acesso Remoto Direto à Memória) para Aplicativos Network Direct (ND) no Modo Usuário

O Network Direct (ND) permite que aplicativos no Modo Usuário utilizem recursos de RDMA.

NOTA: os aplicativos no Modo Usuário podem ter pré-requisitos, como o Microsoft HPC Pack ou a Intel® MPI Library — consulte a documentação de seu aplicativo para obter mais detalhes.

Instalação do RDMA no Modo Usuário

O recurso Provedor de RDMA em Modo de Usuário Ethernet Intel® é compatível com o Microsoft* Windows Server* 2012 R2 e posterior.

Para instalar os recursos do Network Direct (ND) do Modo Usuário, siga as etapas abaixo.

1. Na mídia de instalação, execute o Autorun.exe para iniciar o instalador, selecione "Instalar drivers e software" e aceite o contrato de licença.
2. Na tela Opções de instalação, selecione "Provedor de RDMA em Modo Usuário Intel® Ethernet".
3. Na tela Opções de configuração do RDMA, selecione "Habilitar o roteamento de RDMA através das sub-redes de IP", se necessário. Convém observar que essa opção é exibida durante a instalação do driver básico, mesmo que o RDMA do Modo Usuário não esteja selecionado, porque esta opção também se aplica à funcionalidade Network Direct Kernel.
4. Se o Firewall do Windows estiver instalado e ativo, selecione "Criar uma regra de serviço de mapeamento de portas do RDMA Intel® Ethernet no Windows Firewall" e as redes às quais a regra será aplicada.

   NOTA: se o Firewall do Windows estiver desabilitado ou se você estiver usando um firewall de terceiros, será necessário adicionar manualmente esta regra.

5. Continue a instalação do driver e software.

RDMA Network Direct Kernel (NDK)

A funcionalidade RDMA Network Direct Kernel (NDK) está incluída nos drivers de rede básicos da Intel e não exige instalação de quaisquer recursos adicionais.

Roteamento do RDMA através das sub-redes de IP

Para permitir a funcionalidade RDMA do NDK através das sub-redes, selecione "Habilitar o roteamento do RDMA através das sub-redes de IP" na tela Opções de configuração do RDMA, durante a instalação do driver básico.

Habilitando o controle de fluxo prioritário (PFC) em um sistema operacional Microsoft Windows Server

Para evitar a queda do desempenho com perda de pacotes, habilite o controle de fluxo prioritário (PFC) ou o controle de fluxo no nível do link em todas as interfaces e comutadores de rede.

NOTA: em sistemas executando um sistema operacional Microsoft Windows Server, habilitar *QoS/controle de fluxo prioritário desabilitará o controle de fluxo no nível do link.

Use os seguintes comandos do PowerShell* para habilitar o PFC no Microsoft Windows Server:

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Verificação da operação do RDMA com o Microsoft PowerShell

Para verificar se o RDMA está habilitado nas interfaces de rede, emita o seguinte comando do Microsoft PowerShell:

Get-NetAdapterRDMA

Para saber se as interfaces de rede indicam capacidade para RDMA e se o multicanal está habilitado, emita o seguinte comando do PowerShell:

Get-SmbClientNetworkInterface

Para verificar se o Network Direct (ND) está habilitado no sistema operacional, emita o seguinte comando do PowerShell:

Get-NetOffloadGlobalSetting | Selecione NetworkDirect

Use netstat para se certificar de que cada interface de rede com capacidade para o RDMA tem um ouvinte na porta 445 (os SOs Cliente Windows compatíveis com RDMA podem não postar ouvintes). Por exemplo:

netstat.exe -xan | ? {$_ -match "445"}

RDMA para ambientes virtualizados no Windows

Para habilitar a funcionalidade RDMA em adaptador(es) virtual(is) conectado(s) a um VMSwitch, você deve:

• Habilitar as propriedades avançadas SR-IOV (Single Root IO Virtualization) e VMQ (Virtual Machine Queues) em cada uma das portas.
• Definir o número de VFs a serem habilitadas com capacidades RDMA. Você pode habilitar até 32 VFs com recursos RDMA.

Em determinadas circunstâncias, é possível desabilitar essas configurações por padrão. Você definir essas opções manualmente no Painel de configurações do adaptador do Intel PROSet ACU, na guia Avançado da caixa de diálogo de propriedades do adaptador ou com os seguintes comandos do PowerShell:

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *VMQ -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <1-32>

Configurando o suporte para convidados do RDMA (Modo NDK 3)

O Modo NDK 3 permite que os componentes do Windows no modo kernel usem os recursos do RDMA dentro das partições convidadas do Hyper-V. Para habilitar o Modo NDK 3 em um dispositivo Intel Ethernet, faça o seguinte:

1. Habilite o SR-IOV no BIOS de seu sistema ou no UEFI.
2. Habilite a configuração avançada SR-IOV no dispositivo.
3. Habilite a SR-IOV no VMSwitch vinculado ao dispositivo, executando o seguinte para todas as funções físicas no mesmo dispositivo:
   New-VMSwitch -Name <switch_name> -NetAdapterName <device_name>
-EnableIov $true
4. Configure o número de funções virtuais (VFs — Virtual Functions) do RDMA no dispositivo, definindo a opção avançada "RdmaMaxVfsEnabled". Todas as funções físicas devem ser definidas com o mesmo valor. O valor é o número máximo de VFs com capacidade de RDMA, de uma só vez, para o dispositivo inteiro. Habilitar mais VFs restringirá recursos do RDMA das funções físicas (PFs — Physical Functions) e outras VFs.
   Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <Value: 0 - 32>
5. Desabilite todos os adaptadores de PF no host e reabilite-os. Isso é necessário quando a palavra-chave do registro “RdmaMaxVfsEnabled” é alterada ou ao criar ou destruir um VMSwitch.
   Get-NetAdapterRdma | Disable-NetAdapter
Get-NetAdapterRdma | Enable-NetAdapter
6. Crie adaptadores de rede de VM para as VMs que exigem suporte para VFs do RDMA.
   Add-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -SwitchName <switch_name>
7. Para utilizar o Microsoft Windows 10 Creators Update (RS2) ou posterior em uma partição convidada, defina o peso do RDMA em um adaptador de rede de VM, inserindo o seguinte comando no host:
   Set-VMNetworkAdapterRdma -VMName <vm_name> -VMNetworkAdapterName <device_name> -RdmaWeight 100
8. Defina o peso do SR-IOV no adaptador de rede VM (Nota: o peso do SR-IOV deve ser definido como 0 antes de definir o RdmaWeight como 0):
   Set-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -IovWeight 100
9. Instale o adaptador de rede de VF com o Instalador PROSET na VM.
10. Habilite o RDMA no driver de VF e o adaptador de rede do Hyper-V, usando o PowerShell na VM:
    Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
Get-NetAdapterRdma | Enable-NetAdapterRdma

RDMA para recursos do NDK, como SMB Direct (Server Message Block)

O NDK permite que componentes do Windows (como o armazenamento do SMB Direct) utilizem recursos do RDMA.

Testando o NDK: SMB Direct do Microsoft Windows com DiskSPD

Esta seção descreve uma recomendação para testar a funcionalidade e o desempenho do RDMA para Intel® Ethernet nos sistemas operacionais Microsoft Windows.

Convém observar que, como o SMB Direct é uma carga de trabalho de armazenamento, o desempenho do parâmetro de comparação pode estar limitado à velocidade do dispositivo de armazenamento, em vez da interface de rede submetida ao teste. A Intel recomenda usar o armazenamento mais veloz possível para testar as reais capacidades do(s) dispositivo(s) de rede sob teste.

Instruções do teste:

1. Configure e conecte pelo menos dois servidores executando um sistema operacional Microsoft Windows Server compatível, com, no mínimo, um dispositivo Ethernet Intel® por servidor, com capacidade para RDMA.
2. No sistema designado como servidor SMB, configure um compartilhamento SMB. Convém observar que o desempenho do parâmetro de comparação pode estar limitado à velocidade do dispositivo de armazenamento, em vez da interface de rede submetida ao teste. A instalação do armazenamento está fora do âmbito deste documento. Você pode emitir o seguinte comando do PowerShell:
   New-SmbShare -Name <SMBsharename> -Path <SMBsharefilepath> -FullAccess <domainname>\Administrator,Everyone
   
   Por exemplo:
   New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone
   
   
3. Baixe e instale o utilitário Diskspd da Microsoft a partir daqui: https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. Usando o CMD ou Powershell, passe para o diretório da pasta DiskSpd e execute os testes. (Consulte a documentação do Diskspd para obter mais detalhes sobre os parâmetros)
   
   Por exemplo: defina o tamanho do bloco em 4 K, execute o teste durante 60 segundos, desabilite todo o cache do hardware e software, avalie e exiba os dados estatísticos da latência, utilize 16 E/Ss sobrepostas e 16 threads por destino, gravações de 0% aleatórias e leituras de 100%, e crie um arquivo de teste de 10 GB em "\\<SMBserverTestIP>\<SMBsharename>\test.dat" :
   .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverTestIP>\<SMBsharename>\test.dat
   
   
5. Verifique se o tráfego do RDMA está operando, usando contadores perfmon, como “RDMA Activity” e “SMB Direct Connection”. Consulte a documentação da Microsoft para obter mais detalhes.