RDMA (Acesso Remoto Direto à Memória) para dispositivos Ethernet da Intel

O Acesso Remoto Direto à Memória (RDMA — Remote Direct Memory Access) permite que um dispositivo de rede transfira dados diretamente para e da memória de aplicativos existentes em outro sistema, aumentando a taxa de transferência e reduzindo a latência em determinados ambientes em rede.

• Os dispositivos da série 800 do Intel® Ethernet Controller são compatíveis com iWARP e RoCEv2.
• Os dispositivos da série X722 do Intel® Ethernet Controller são compatíveis apenas com iWARP.

Para evitar degradação do desempenho por perda de pacotes, ative o controle de fluxo no nível do link ou o controle de fluxo prioritário em todas as interfaces e comutadores de rede.

NOTAS: Em sistemas executando o sistema operacional Microsoft Windows Server, habilitar o *QoS/controle de fluxo de prioridade desabilitará o controle de fluxo no nível do link. Os dispositivos baseados na série 800 do Intel® Ethernet Controller não aceitam RDMA, ao operarem no modo multiporta com mais de 4 portas. Em sistemas Linux, RDMA e vinculação não são compatíveis. Se o RDMA for habilitado, o bonding não funcionará.

RDMA no Linux

RDMA em FreeBSD

Estas instruções básicas de instalação do RDMA para FreeBSD são aplicáveis para os seguintes dispositivos:

• Série X722 do Intel® Ethernet Controller (compatível apenas com iWARP)

1. Descompacte o driver básico e o driver RDMA. Por exemplo:
# tar -xf ixl-<version>.tar.gz
# tar -xf iw_ixl-<version>.tar.gz
2. Instale o driver básico. Por exemplo:
   # cd ixl-<version>/src directory
# make
# make install
3. Instale o driver RDMA. Por exemplo:
   # cd iw_ixl-<version>/src
# make clean
# make IXL_DIR=$PATH_TO_IXL/ixl-<version>/src
# make install
4. Habilitar o controle de fluxo.
   # sysctl dev.ixl.<interface_num>.fc=3
5. Habilite o controle de fluxo no comutador ao qual seu sistema estiver conectado. Consulte a documentação do comutador para obter detalhes.

Para obter informações detalhadas sobre instalação e configuração, consulte o arquivo README (leiame) do driver do RDMA para FreeBSD, no tarball do driver para dispositivos Intel® Ethernet compatíveis com RDMA.

RDMA para Aplicativos Network Direct (ND) no Modo Usuário do Microsoft Windows

O Network Direct (ND) permite que aplicativos no Modo Usuário utilizem recursos de RDMA.

NOTA: os aplicativos no modo usuário podem ter pré-requisitos, como o Microsoft HPC Pack ou a Intel® MPI Library — consulte a documentação de seu aplicativo para obter mais detalhes.

Instalação do RDMA no Modo Usuário

O recurso Provedor de RDMA em Modo Usuário Ethernet Intel® é compatível com o Microsoft* Windows Server* 2012 R2 e posterior.

Para instalar os recursos do Network Direct (ND) do modo usuário, siga as etapas abaixo.

1. Na mídia de instalação, execute o Autorun.exe para iniciar o instalador, selecione "Instalar drivers e software" e aceite o contrato de licença.
2. Na tela Opções de instalação, selecione "Provedor de RDMA em modo usuário Intel® Ethernet".
3. Na tela Opções de configuração do RDMA, selecione "Habilitar o roteamento de RDMA através das sub-redes de IP", se necessário. Convém observar que essa opção é exibida durante a instalação do driver básico, mesmo que o RDMA do modo usuário não esteja selecionado, porque esta opção também se aplica à funcionalidade Network Direct Kernel.
4. Se o Firewall do Windows estiver instalado e ativo, selecione "Criar uma regra de serviço de mapeamento de portas do RDMA Intel® Ethernet no Windows Firewall" e as redes às quais a regra será aplicada.

   NOTA: se o Firewall do Windows estiver desabilitado ou se você estiver usando um firewall de terceiros, será necessário adicionar manualmente esta regra.

5. Continue a instalação do driver e software.

RDMA Network Direct Kernel (NDK)

A funcionalidade RDMA Network Direct Kernel (NDK) está incluída nos drivers de rede básicos da Intel e não exige instalação de quaisquer recursos adicionais.

Roteamento do RDMA através das sub-redes de IP

Para permitir a funcionalidade RDMA do NDK através das sub-redes, selecione "Habilitar o roteamento do RDMA através das sub-redes de IP" na tela Opções de configuração do RDMA, durante a instalação do driver básico.

Habilitando o controle de fluxo prioritário (PFC) em um sistema operacional Microsoft Windows Server

Para evitar a queda do desempenho com perda de pacotes, ative o controle de fluxo prioritário (PFC) ou o controle de fluxo no nível do link em todas as interfaces e comutadores de rede.

NOTA: em sistemas executando um sistema operacional Microsoft Windows Server, habilitar *QoS/controle de fluxo prioritário desabilitará o controle de fluxo no nível do link.

Use os seguintes comandos do PowerShell para habilitar o PFC em um sistema operacional Microsoft Windows Server:

Install-WindowsFeature -Name Data-Center-Bridging -IncludeManagementTools
New-NetQoSPolicy "SMB" -NetDirectPortMatchCondition 445 -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7
New-NetQosTrafficClass -Name "SMB" -Priority 3 -BandwidthPercentage 60 -Algorithm ETS
Set-NetQosDcbxSetting -Willing $FALSE
Enable-NetAdapterQos -Name "Slot1 4 2 Port 1"

Verificação da operação do RDMA com o Microsoft* PowerShell*

Para verificar se o RDMA está habilitado nas interfaces de rede, emita o seguinte comando do Microsoft* PowerShell*:

Get-NetAdapterRDMA

Para saber se as interfaces de rede indicam capacidade para RDMA e se o multicanal está habilitado, emita o seguinte comando do PowerShell:

Get-SmbClientNetworkInterface

Para verificar se o Network Direct (ND) está habilitado no sistema operacional, emita o seguinte comando do PowerShell:

Get-NetOffloadGlobalSetting | Select NetworkDirect

Use netstat para se certificar de que cada interface de rede com capacidade para o RDMA tem um ouvinte na porta 445 (os SOs Cliente Windows compatíveis com RDMA podem não postar ouvintes). Por exemplo:

netstat.exe -xan | ? {$_ -match "445"}

RDMA para ambientes virtualizados

Para habilitar a funcionalidade RDMA em adaptador(es) virtual(is) conectado(s) a um VMSwitch (comutador de máquina virtual), as propriedades avançadas de SRIOV (Single Root IO Virtualization — Virtualização de E/S de raiz única) e de VMQ (Virtual Machine Queues - Filas de Máquina Virtual) devem estar habilitadas em cada porta. Em certas circunstâncias, essas configurações podem ser desabilitadas, como padrão. É possível definir essas opções manualmente na guia Avançado, da caixa de diálogo de Propriedades do adaptador, ou emitir os seguintes comandos do Powershell:

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *SRIOV -RegistryValue 1

Set-NetAdapterAdvancedProperty -Name <nic_name> -RegistryKeyword *VMQ -RegistryValue 1

Configurando o suporte para convidados do RDMA (Modo NDK 3)

O Modo NDK 3 permite que os componentes do Windows no modo kernel usem os recursos do RDMA dentro das partições convidadas do Hyper-V. Para habilitar o Modo NDK 3 em um dispositivo Intel Ethernet, faça o seguinte:

1. Habilite o SR-IOV no BIOS de seu sistema ou no UEFI.
2. Habilite a configuração avançada SR-IOV no dispositivo.
3. Habilite a SR-IOV no VMSwitch vinculado ao dispositivo, executando o seguinte para todas as funções físicas no mesmo dispositivo:
   New-VMSwitch -Name <switch_name> -NetAdapterName <device_name>
-EnableIov $true
4. Configure o número de funções virtuais (VFs — Virtual Functions) do RDMA no dispositivo, definindo a opção avançada "RdmaMaxVfsEnabled". Todas as funções físicas devem ser definidas com o mesmo valor. O valor é o número máximo de VFs com capacidade de RDMA, de uma só vez, para o dispositivo inteiro. Habilitar mais VFs restringirá recursos do RDMA das funções físicas (PFs — Physical Functions) e outras VFs.
   Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaMaxVfsEnabled -RegistryValue <Value: 0 - 32>
5. Desabilite todos os adaptadores de PF no host e reabilite-os. Isso é necessário quando a palavra-chave do registro “RdmaMaxVfsEnabled” é alterada ou ao criar ou destruir um VMSwitch.
   Get-NetAdapterRdma | Disable-NetAdapter
Get-NetAdapterRdma | Enable-NetAdapter
6. Crie adaptadores de rede de VM para as VMs que exigem suporte para VFs do RDMA.
   Add-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -SwitchName <switch_name>
7. Para utilizar o Microsoft Windows 10 Creators Update (RS2) ou posterior em uma partição convidada, defina o peso do RDMA em um adaptador de rede de VM, inserindo o seguinte comando no host:
   Set-VMNetworkAdapterRdma -VMName <vm_name> -VMNetworkAdapterName <device_name> -RdmaWeight 100
8. Defina o peso do SR-IOV no adaptador de rede VM (Nota: o peso do SR-IOV deve ser definido como 0 antes de definir o RdmaWeight como 0):
   Set-VMNetworkAdapter -VMName <vm_name> -VMNetworkAdapterName <device_name> -IovWeight 100
9. Instale o adaptador de rede de VF com o Instalador PROSET na VM.
10. Habilite o RDMA no driver de VF e o adaptador de rede do Hyper-V, usando o PowerShell na VM:
    Set-NetAdapterAdvancedProperty -Name <device_name> -RegistryKeyword RdmaVfEnabled -RegistryValue 1
Get-NetAdapterRdma | Enable-NetAdapterRdma

RDMA para recursos do NDK, como SMB Direct (Server Message Block)

O NDK permite que componentes do Windows (como o armazenamento do SMB Direct) utilizem recursos do RDMA.

Testando o NDK: SMB Direct do Microsoft* Windows* com DiskSPD

Esta seção descreve uma recomendação para testar a funcionalidade e o desempenho do RDMA para Intel® Ethernet, nos sistemas operacionais Microsoft* Windows*.

Convém observar que, como o SMB Direct é uma carga de trabalho de armazenamento, o desempenho do parâmetro de comparação pode estar limitado à velocidade do dispositivo de armazenamento, em vez da interface de rede submetida ao teste. A Intel recomenda usar o armazenamento mais veloz possível para testar as reais capacidades do(s) dispositivo(s) de rede sob teste.

Instruções do teste:

1. Configure e conecte pelo menos dois servidores executando um sistema operacional Microsoft* Windows* Server compatível, com, no mínimo, um dispositivo Intel® Ethernet por servidor, com capacidade para RDMA.
2. No sistema designado como servidor SMB, configure um compartilhamento SMB. Convém observar que o desempenho do parâmetro de comparação pode estar limitado à velocidade do dispositivo de armazenamento, em vez da interface de rede submetida ao teste. A instalação do armazenamento está fora do âmbito deste documento. Você pode emitir o seguinte comando do PowerShell:
   New-SmbShare -Name <SMBsharename> -Path <SMBsharefilepath> -FullAccess <domainname>\Administrator,Everyone
   
   Por exemplo:
   New-SmbShare -Name RAMDISKShare -Path R:\RAMDISK -FullAccess group\Administrator,Everyone
   
   
3. Baixe e instale o utilitário Diskspd da Microsoft, a partir daqui: https://gallery.technet.microsoft.com/DiskSpd-a-robust-storage-6cd2f223
4. Usando o CMD ou Powershell, passe para o diretório da pasta DiskSpd e execute os testes. (Consulte a documentação do Diskspd para obter mais detalhes sobre os parâmetros)
   
   Por exemplo: defina o tamanho do bloco em 4K, execute o teste durante 60 segundos, desabilite todo o cache do hardware e software, avalie e exiba os dados estatísticos da latência, utilize 16 E/Ss sobrepostas e 16 threads por destino, gravações de 0% aleatórias e leituras de 100%, e crie um arquivo de teste de 10 GB em "\\<SMBserverX722IP>\<SMBsharename>\test.dat" :
   .\diskspd.exe -b4K -d60 -h -L -o16 -t16 -r -w0 -c10G \\<SMBserverX722IP>\<SMBsharename>\test.dat
   
   
5. Verifique se o tráfego do RDMA está operando, usando contadores perfmon, como “RDMA Activity” e “SMB Direct Connection”. Consulte a documentação da Microsoft para obter mais detalhes.