AOC-S100GC-i2C

February 18, 2022

Na dzisiejszy warsztat obierzemy Supermicro AOC-S100GC-i2C.

W tym artykule przyjrzymy się modelowi AOC-S100GC-i2C i omówimy co sprawia, że jest on dostosowany do potrzeb Supermicro.

Zaczynając od portów, do dyspozycji mamy dwa porty QSFP28, z których każdy obsługuje sieci o przepustowości do 100Gb/s. Prawdopodobnie największą zaletą tych kart sieciowych jest obsługa magistrali PCIe Gen4 x16. W przypadku poprzednich generacji kart w wariancie 100GbE opartym na PCIe Gen3 x16 nie było wystarczającej przepustowości po stronie PCIe, aby w pełni obsłużyć dwa porty sieciowe 100GbE z 16 pasmami lub pojedynczym portem z 8 pasmami. Serię Intel Ethernet 800, Intel uznaje za część swojej serii kart „foundational” co czyni tę serię duchowym spadkobiercą serii Intel Ethernet 500 oraz Intel Ethernet 700.

Intel Ethernet Serii 500

Intel Ethernet Serii 700

Intel Ethernet Serii 800

Stały Pipeline

Częściowo programowalny Pipeline

  • Modyfikacje definicji tabel za pomocą pakietów profilu
     

Urządzenia wspomagające kolejkowanie i zarządzanie

  • ADQ (Application Device Queues)
 SR-IOV i VMDq Intel Ethernet AVF (Adaptive Virtual Function)

W pełni programowalny Pipeline

  • Definicja tabel z pakietami DDP
   

Magazyn

  • RDMA (iWARP & RoCEv2)
  • NVMe over Fabric (RDMA, TCP)
10GbE 25/40GbE  100GbE

Funkcjonalność serii Intel Ethernet 800

W miarę zbliżania się do premiery generacji o przepustowości 100GbE, karty sieciowe będą wymagać coraz to większej ilości funkcji odciążających. Funkcje, które przy przepustowości 10GbE lub 25GbE były możliwe do obsłużenia przez poszczególne rdzenie CPU, przy przepustowości 100GbE będą powodować po prostu zbyt duże obciążenie.

Wraz z premierą serii Ethernet 800, Intel musiał zwiększyć zakres możliwości, aby nie dać się pokonać konkurencji. Aby to osiągnąć, wykorzystali przede wszystkim trzy nowe technologie: ADQ, NVMeoF i DDP. Omówimy każdą z nich.

Cecha Funkcjonalność Zalety
Zaawansowane sterowanie ruchem za pomocą technologii ADQ (Application Device Queues) Dedykowane kolejki sprzętowe dla poszczególnych aplikacji. Poprawia zdolność do prognozowania czasu reakcji aplikacji, jej opóźnienia i przepustowości, aby przyspieszyć wydajność pracy sieci.
Transport oparty na sieci Ethernet NVMe-oF Jednoczesne wsparcie dla wszystkich protokołów transportowych: iWARP, RoCEv2, TCP Obsługa wszystkich protokołów pamięci masowej opartych na sieci Ethernet zapewnia elastyczność i szeroki wybór w zakresie skalowalnej pamięci masowej o wysokiej wydajności
Technologia DDP (Enchanced Dynamic Device Personalization) Możliwość zdefiniowania określonych protokołów dla poszczególnych segmentów w celu zwiększenia wydajności przetwarzania pakietów Umożliwia obsługę na żądanie nowych i bardziej zaawansowanych protokołów sieciowych w celu zmniejszenia obciążenia procesora serwerowego, zwiększenia przepustowości i zmniejszenia opóźnień.

ADQ (Application Device Queues)

Po przyjrzeniu się ADQ, jednym z najważniejszych aspektów była możliwość zdefiniowania odpowiednich priorytetów.  Na szczęście Intel umożliwia to relatywnie łatwo.

 ADQ działa poprzez:

  • Filtrowanie ruchu związanego z aplikacjami do dedykowanego zestawu kolejek
  • Wątki wykonawcze aplikacji są podłączone do określonych kolejek w ramach zestawu kolejek ADQ
  • Kontrola ruchu sieciowego aplikacji przy wyjściu (Tx)

 W efekcie, z pomocą ADQ, karty sieciowe Intela są w stanie nadać pierwszeństwo ruchowi sieciowemu w oparciu o zastosowania.

NVMeoF

NVMeoF to kolejny obszar, w którym nastąpiła ogromna modernizacja. W przypadku serii kart Intel Ethernet 700, Intel skupił się na technologii iWARP dla działań związanych z NVMeoF. W tym samym czasie, część konkurencji postawiła na RoCE. Obecnie popularność RoCEv2 jest ogromna. Intel zapewnia zarówno wsparcie dla iWARP jak i RoCEv2 w serii Ethernet 800.

 Seria Intel Ethernet 800 obsługuje wszystkie transporty Ethernet NVMe-oF:

  • NVMe/RDMA
    • Wsparcie RoCEv2 RDMA
    • Wsparcie iWARP RDMA
    • Niskie wykorzystanie CPU, niskie opóźnienia i niskie zakłócenia opóźnień
  • NVMe/TCP
    • Technologia ADQ (Application Device Queues) zmniejsza opóźnienia i zakłócenia oraz zwiększa ogólną przepustowość sieci NVMe-oF
    • Poprawia wydajność poprzez zastosowanie wielu rodzajów technik odciążania TCP
  • Wszechstronne technologie kontroli przeciążeń zapewniają wydajność w przypadku dużych wdrożeń o natężonym ruchu
Kontrola przeciążenia iWARP RoCEv2 TCP
TCP Default TAK   TAK
ECN TAK TAK TAK
DCQCN   TAK  
DCTCP TAK TAK TAK
TIMELY TAK TAK TAK

 Należy dodać, że można łączyć z sobą NVMe/TCP i ADQ, aby zbliżyć się do niektórych parametrów osiągalnych przez iWARP i RoCEv2.

DDP (Dynamic Device Personalization)

Dynamic Device Personalization lub DDP to kolejna duża cecha opisywanych kart sieciowych. Zgodnie z wizją Intela dla serii kart foundational , koszty produkcji są relatywnie niskie. W związku z tym istnieje tylko tak rozbudowany ASIC, jaki można zbudować, aby utrzymać koszty na rozsądnym poziomie. Podczas gdy Mellanox ma tendencję do dodawania coraz to większej akceleracji/obciążenia w każdej generacji, Intel zbudował układ logiczny, który jest konfigurowalny.

Główne różnice pomiędzy możliwościami DDP w obecnej i poprzedniej generacji kart sieciowych:

Pakiety DDP dla serii Intel Ethernet 700

  • Większość protokołów jest częścią obrazu NVM
  • Ograniczona liczba dodatkowych protokołów włączonych na jedno urządzenie.
  • Użytkownik musi po restarcie wybrać i załadować określone protokoły DDP dla każdego urządzenia w systemie

 Pakiety DDP dla serii Intel Ethernet 800

  • Wiele protokołów na jeden pakiet DDP
  • Nowy Pakiet DDP zastępuje dotychczasowy załadowany Pakiet DDP
  • Użytkownik może wybrać, który pakiet DDP ładuje się automatycznie dla każdego urządzenia w systemie

 Z serią Intel Ethernet 800, dostajemy jeszcze większe możliwości umieszczania niestandardowych pakietów protokołów w kartach sieciowych.

Poniżej znajduje się tabela przedstawiająca protokoły i typy pakietów zarówno domyślne, jak i dodane przez pakiet Comms DDP(Kolor zielony oznacza, że pakiet Comms DDP jest charakterystyczny dla tego pakietu, natomiast brak koloru oznacza, że jest on obsługiwany przez domyślny pakiet systemu operacyjnego.):

 Protokoły
MAC ICMP NVGRE
 ETYPE  ICMPv6  RoCEv2
 VLAN  CTRL  GTPv1-C, GTPv1-U + GTP extension headers
 IPv4  LLDP GTPv2-C 
 IPv6  ARP PPPoE
 TCP  VXLAN-GPE  ESP/AH
 UDP  VXLAN (non-GPE)  L2TPv3
 SCTP  GRE  PFCP
     MPLS

Jak widać, wraz z pakietem Comms otrzymujemy funkcje takie jak przetwarzanie MPLS. Te elementy DDP mogą być również w pełni spersonalizowane, zatem użytkownicy mogą korzystać z zestawu protokołów, które mają dla nich największe znaczenie i które mają być ładowane przy starcie systemu, jednocześnie odcinając zbędne funkcje.

Podsumowanie

Supermicro AOC-S100GC-i2C jest naprawdę intrygująca kartą. Wyposażona jest ona w procesor Intel® E810-CAM2 z obsługą PCI-E Gen 4 i wsteczną kompatybilność z PCI-E Gen 3. Ponadto jest to adapter bogaty w funkcje, które zapewniają wsparcie dla RoCE, iWarp, DCDB, VXLAN, NVGRE i Geneve. Obsługa RoCE i iWarp zapewnia niskie opóźnienia i wysoką wydajność w sieciach Ethernet. Zdolność do integracji z funkcjami zarządzania serwerem Supermicro poprzez nagłówek NC-SI czyni ją szczególnie interesującą, dla użytkowników poszukujących Intel Ethernet 800 seriach NIC w swoim serwerze Supermicro. Jest doskonałym rozwiązaniem dla sieci w chmurze, pamięci masowej, machine learningu, analityki danych oraz HPC.