InfiniBand vs RoCE untuk Jaringan Inferensi AI

MemilihInfiniBandketika beban kerja inferensi Anda hidup atau mati berdasarkan latensi ekor yang dapat diprediksi, lalu pilihRoCE(RDMA melalui Converged Ethernet) bila Anda menginginkan-kinerja kelas RDMA pada fabric Ethernet, Anda dapat menskalakan, berbagi, dan mengoperasikan dengan tim yang sudah Anda miliki. Tidak ada pilihan yang menang di semua tempat. Panggilan yang tepat bergantung pada pola inferensi Anda, target latensi p99 dan p999, skala GPU, anggaran, dan seberapa banyak keahlian-penyetelan Ethernet lossless yang ada di tim Anda.

Mengapa Jaringan Lebih Penting dari yang Diharapkan Tim Inferensi

Selama bertahun-tahun, inferensi dianggap sebagai bagian mudah dari kisah GPU: model dimuat pada satu node, permintaan dilayani secara independen, lalu lintas timur{0}barat sangat sedikit. Gambaran itu sekarang sudah ketinggalan zaman. Inferensi modern semakin tersebar luas, dan beberapa pola memberikan tekanan nyata pada strukturnya.

• Paralelisme tensormembagi satu lapisan di seluruh GPU, sehingga setiap langkah token memicu semua operasi-pengurangan atau semua-pengumpulan di antara keduanya. Ini adalah lalu lintas lintas-GPU yang sering-sensitif terhadap latensi,-yang diblokir oleh GPU saat menunggu.
• Paralelisme saluran pipaaktivasi tangan dari satu tahap ke tahap berikutnya, sering kali antar node, menambahkan dependensi lintas-node ke setiap penerusan.
• Pra-pengisian dan dekode terpilahmemisahkan fase-pengisian awal yang berat dari fase dekode-sensitif latensi, lalu memindahkan cache KV di antara keduanya. Transfer tersebut besar dan bersifat bursty, dan penundaan apa pun langsung ditampilkan sebagai latensi-waktu-pertama-token dan antar-token yang lebih lambat.
• Pengambilan-generasi tambahan (RAG)menambahkan lalu lintas timur{0}}barat ke layanan vektor dan penelusuran. Biasanya latensinya lebih kecil-penting dibandingkan operasi kolektif, namun tetap memuat fabric, terutama pada volume kueri yang tinggi.
• Pelayanan multi{0}}penyewamenempatkan banyak model dan pengguna pada struktur yang sama, dengan ledakan mikro dan-efek tetangga yang bising menjadi risiko yang dominan.

Saat jaringan mengalami hambatan, gejalanya akan sangat merugikan: waktu-untuk-pertama-token yang lebih lama, GPU terhenti saat menunggu data, throughput yang menurun saat terjadi burst, dan p95 dan p99 yang tidak stabil. Dan inilah bagian yang menaikkan tolok ukur: latensi rata-rata menyembunyikan semuanya. Inferensi produksi dinilai berdasarkan ekornya, bukan meannya.

InfiniBand vs RoCE: Tabel Ringkasan untuk Inferensi AI

Apa itu InfiniBand?

InfiniBand adalah struktur jaringan{0}}yang dibuat khusus dan dirancang sejak awal untuk latensi rendah, throughput tinggi, dan komunikasi lossless. Ini bukan jenis Ethernet yang lebih cepat. Ia dilengkapi dengan adaptor saluran host, sakelar, pengelola subnet, ekosistem pengkabelan, dan model-kontrol kemacetan. Nilai penentunya adalah perilaku deterministik: banyak GPU dapat berkomunikasi dengan persyaratan waktu yang ketat, dan fabric tetap berperilaku konsisten bahkan ketika lalu lintas kolektif sedang padat.

Platform InfiniBand modern yang berorientasi AI{0}}memperluas basis tersebut dengan kemampuan yang ditujukan langsung pada cluster GPU besar. Jajaran Quantum InfiniBand NVIDIA, misalnya, menambahkanperutean adaptif, dalam-komputasi jaringan, dan kontrol kemacetan berbasis telemetri-, yang membantu fabric menyebarkan lalu lintas secara cerdas dan mengisolasi muatan satu penyewa dari muatan penyewa lainnya. Sebagai kesimpulan, InfiniBand mendapatkan tempatnya ketika beban kerja tidak dapat mentoleransi jitter atau ketika beberapa node GPU harus bertukar data dengan cepat dan konsisten.

Pengorbanannya{0}}adalah biaya, konsentrasi ekosistem, dan spesialisasi operasional. Fabric InfiniBand khusus berarti sakelar, adaptor, kabel, atau modul optik khusus, dan para insinyur merasa nyaman dengan manajemen fabric InfiniBand. Untuk organisasi yang sudah menjalankan proyek Ethernet yang besar, pemasangan pada fabric terpisah akan menambah kerumitan pengadaan,-perencanaan suku cadang, dan overhead pemantauan.

Apa itu RoCE (RDMA melalui Converged Ethernet)?

RoCE menghadirkan RDMA, mengarahkan pergerakan data-ke-memori dengan overhead CPU yang rendah, ke jaringan Ethernet. RoCEv2, versi yang digunakan di pusat data modern, dapat dirutekan di seluruh jaringan IP Layer 3 dan distandarisasi olehAsosiasi Perdagangan InfiniBand. Routabilitas itulah yang membuat RoCE cocok secara alami ke dalam desain-tulang belakang Ethernet sambil menggunakan kembali NIC, sakelar, optik, dan alat pemantauan yang sudah dikenal.

Masalahnya adalah transportasi RDMA mengasumsikan jaringan yang hampir{0}}lossless. Jatuhkan paket dan transport kembali ke perilaku transmisi ulang yang merusak latensi ekor. Jadi RoCE membutuhkan Ethernet di bawahnya agar berperilaku seperti fabric lossless, dan itu bergantung pada konfigurasi dua mekanisme yang cermat pada khususnya:Kontrol Aliran Prioritas (IEEE 802.1Qbb), yang menjeda satu kelas lalu lintas untuk mencegah penurunan, danPemberitahuan Kemacetan Eksplisit (ECN), yang menandakan kemacetan lebih awal sehingga pengirim melambat sebelum buffer meluap. Tambahkan ke manajemen antrean, alokasi buffer, dan pemetaan QoS, dan menjadi jelas bahwa-RoCE berperforma tinggi bukanlah Ethernet biasa.

Jika dilakukan dengan baik, RoCE memberikan latensi dan throughput yang cukup untuk berbagai layanan inferensi produksi, dan banyak beban kerja inferensi yang kurang tersinkronisasi dibandingkan pelatihan terdistribusi, sehingga menguntungkan RoCE. Jika dilakukan dengan buruk, hal ini akan menyebabkan hilangnya paket, pemblokiran head-line, penyebaran kemacetan, dan tail yang tidak stabil, yang semuanya menyebabkan penurunan kualitas layanan.

Latensi InfiniBand vs RoCE: Mana yang Lebih Baik untuk Inferensi p99?

Kedua fabric tersebut dapat menghadirkan jaringan-bandwidth tinggi,-latensi rendah. Mereka berbeda dalam cara mereka sampai di sana. InfiniBand bersifat deterministik berdasarkan konstruksinya, sehingga jitter tetap rendah bahkan di bawah beban campuran. RoCE dapat mencocokkannya untuk banyak beban kerja, namun hasilnya bergantung pada jaringan Ethernet dan seberapa baik penyetelannya.

Dari sudut pandang penerapan, masalah sebenarnya dalam produksi jarang sekali terjadi pada bandwidth puncak. Ini adalah jitter pada lalu lintas campuran, bursty, dan multi-penyewa. Fabric RoCE yang berhasil dalam pengujian throughput gaya iperf-yang bersih masih dapat meleset dari target p99 saat ledakan mikro dan pertentangan mulai terlihat. Kesenjangan antara tolok ukur laboratorium dan SLA produksi adalah tempat terjadinya sebagian besar kejutan.

InfiniBand cenderung memiliki keunggulan ketika:

• Layanan ini memiliki target latensi p99 atau p999 yang ketat.
• Inferensi mencakup beberapa node GPU dengan paralelisme tensor atau pipeline, atau menggunakan pra-pengisian dan dekode terpilah.
• Pemanfaatan GPU sangat sensitif terhadap penundaan jaringan, sehingga penghentian memerlukan biaya yang mahal.
• Cluster ini menjalankan sejumlah kecil-beban kerja prioritas tinggi yang prediktabilitasnya melebihi fleksibilitas.

RoCE biasanya cukup baik ketika:

• Permintaan sebagian besar bersifat independen, atau sambungannya longgar.
• Pekerjaan berjalan dalam satu node atau sejumlah kecil node.
• Throughput batch lebih penting daripada-latensi ultra rendah.
• Tim sudah mengoperasikan Ethernet, dan fleksibilitas biaya atau vendor adalah prioritasnya.
• Kluster ini mendukung banyak penyewa atau beban kerja campuran.

Biaya RoCE vs InfiniBand: Apa yang Sebenarnya Mendorong TCO?

RoCE sering disebut sebagai opsi yang lebih murah, namun harga peralihan hanyalah sebagian kecil dari gambarannya. Perbandingan realistis melihat keseluruhan tumpukan: adaptor jaringan atau HCA, sakelar, modul optik, DAC, AOC, dan kabel serat, topologi rak, daya dan pendinginan, sistem operasi jaringan, pemantauan dan telemetri, waktu teknis, suku cadang, dukungan vendor, dan jalur menuju 400G atau 800G.

InfiniBand biasanya memiliki biaya awal yang lebih tinggi karena memerlukan bahan khusus dan komponen khusus. Dalam lingkungan di mana perilaku deterministik adalah prioritas utama, hal ini dapat mengurangi upaya penyetelan dan pemecahan masalah yang dibutuhkan oleh jaringan Ethernet lossless. RoCE menurunkan biaya perangkat keras ketika jaringan Ethernet yang ada, dengan dukungan Data Center Bridging yang tepat, dapat digunakan kembali, namun RoCE mengalihkan upaya ke dalam perancangan, validasi, pemantauan, dan pemecahan masalah struktur lossless. Desain RoCE-yang berbiaya rendah akan cepat berubah menjadi mahal jika menyebabkan latensi tidak stabil dan pemadaman kebakaran berulang kali.

Biaya dan risiko terkonsentrasi pada lapisan fisik seiring dengan meningkatnya kecepatan. Pada 400G dan 800G, optik mendominasi mode tagihan dan kegagalan. Sebagian besar-port berkecepatan tinggi terpasangQSFP-DD atau faktor bentuk yang sebanding, dan cocok dengan yang kananoptik-mode tunggal atau multimodejangkauan Anda yang sebenarnya adalah salah satu cara paling sederhana untuk menghindari pengeluaran berlebihan pada fabric yang tidak memerlukan{0}}modul jarak jauh.

Terus terang: RoCE bukanlah pilihan yang lebih murah jika tim Anda tidak memiliki keahlian{0}}Ethernet yang lossless. Penghematan pada perangkat keras dapat dikurangi dengan cepat oleh biaya teknis untuk menjaga kestabilan kain.

Skalabilitas dan Operasi

Skalabilitas lebih dari sekedar jumlah port. Ini mencakup seberapa mudah fabric disebarkan, dipantau, diperluas, dan dipulihkan ketika terjadi kegagalan.

InfiniBand menjadi kuat ketika cluster dirancang sebagai fabric khusus-berperforma tinggi sejak hari pertama. Ini memberikan perilaku yang konsisten dalam skala besar, namun mengharapkan alat khusus InfiniBand, seperti manajer subnet dan manajemen fabric terpadu, serta staf yang memahami konsep InfiniBand. Hal ini membuatnya cocok untuk cluster AI terpusat yang dibangun berdasarkan beban kerja GPU.

RoCE dimasukkan ke dalam desain pusat data Ethernet: topologi-leaf, perutean IP, ECMP, dan praktik pemantauan yang lazim. Itulah sebabnya mengapa ini menarik bagi-gaya cloud dan infrastruktur GPU multi-penyewa. Disiplin yang dituntutnya adalah konsistensi. PFC, ECN, QoS, manajemen buffer, dan kontrol kemacetan harus dirancang secara koheren di seluruh jalur, karena kesalahan konfigurasi kecil di salah satu sudut fabric dapat menyebar dan menurunkan banyak beban kerja sekaligus. Lapisan fisik juga harus diskalakan dengan rapi; kepadatan-tinggiKabel trunk dan breakout MPO dan MTPmenjaga agar tulang-tulang daun yang sedang tumbuh dapat dikelola alih-alih mengubah setiap perluasan menjadi teka-teki pemasangan kabel.

Poin gambaran cerminnya patut disebutkan: InfiniBand sulit untuk dibenarkan jika inferensi sebagian besar tetap berada dalam satu node dan strukturnya hampir tidak diterapkan.

Jaringan Mana untuk Setiap Beban Kerja Inferensi

Saat RoCE Cukup Baik, dan Saat Menjadi Berisiko

RoCE cukup baik untuk permintaan independen atau yang digabungkan secara longgar, pekerjaan batch yang berorientasi pada throughput, dan cluster multi-penyewa tempat Anda dapat menyesuaikan isolasi, terutama ketika tim fasih dalam Data Center Bridging Ethernet. Hal ini menjadi berisiko dalam cara yang spesifik dan dapat dikenali:

• badai PFC.Jeda frame merambat ke hulu dan membekukan lalu lintas yang tidak ada hubungannya dengan kemacetan awal.
• Pemblokiran-kepala-jalur.Pemetaan prioritas kasar memungkinkan satu kelas yang padat menghentikan kelas lain yang berbagi antrian.
• ECN salah penyesuaian.Tandai terlambat dan Anda mendapat hadiah; tandai terlalu agresif dan Anda membatasi throughput secara tidak perlu.
• Kemacetan ledakan mikro.Sub-detik melontarkan buffer yang meluap namun tetap tidak terlihat untuk memantau sampel tersebut pada resolusi satu-detik.
• Konfigurasi tidak konsisten.Pengaturan yang tidak sesuai pada daun dan tulang belakang menyebabkan kemacetan menyebar dan bukannya bersifat lokal.

Tak satu pun dari hal ini yang menjadi alasan untuk menghindari RoCE. Hal ini merupakan alasan untuk mendesain struktur lossless secara koheren dari ujung ke ujung dan berinvestasi dalam telemetri-yang berbutir halus dan peka terhadap ledakan mikro-sebelum Anda melakukan penskalaan.

Saat InfiniBand Layak, dan Saat Anda Membeli Berlebihan

InfiniBand bernilai premium untuk target p99 dan p999 yang ketat, pelayanan multi-node yang digabungkan secara ketat, dan beban kerja-penting dengan penalti SLA yang tinggi, terutama pada cluster GPU khusus yang dirancang sesuai dengan fabric. Anda mungkin akan melakukan pembelian berlebih jika inferensi tetap berada dalam satu node, saat pekerjaan berorientasi batch-throughput, saat Anda memerlukan fabric yang sama untuk juga membawa penyimpanan, pengelolaan, dan lalu lintas cloud multi-penyewa, atau saat Anda tidak memiliki kapasitas operasional untuk menjalankan InfiniBand dengan baik.

Biaya yang tidak tercantum dalam kutipan saklar adalah nyata: konsentrasi ekosistem, biaya overhead untuk menjalankan fabric kedua secara paralel dengan jaringan Ethernet Anda, dan perencanaan terpisah untuk suku cadang, optik, dan pemantauan.

Cara Menguji InfiniBand vs RoCE Sebelum Anda Memilih

Jangan memutuskan reputasi protokol atau lembar spesifikasi. Tentukan patokan yang menyerupai produksi. Urutan praktis:

• Tentukan SLA di bagian ekor.Tetapkan p50, p95, p99, dan p999 untuk latensi waktu-ke-token-pertama dan antar-token, bukan hanya rata-rata.
• Putar ulang lalu lintas yang realistis.Gunakan model bursty, ukuran model campuran, dan konkurensi multi{0}}penyewa, bukan aliran tunggal yang bersih.
• Muat ke kemacetan.Dorong fabric hingga benar-benar terisi, lalu ukur pemanfaatan GPU. Jika GPU terhenti di jaringan, jaringanlah yang menjadi penghambat Anda.
• Perhatikan penghitung yang tepat.Lacak bingkai jeda, tanda ECN, penurunan paket, transmisi ulang, penghitung kesalahan port, dan, pada 400G dan 800G, kesalahan FEC.
• Validasi lapisan fisik.Pentingnya serat yang bersih dan terpasang dengan benar;pemasangan fiber secara hati-hatimencegah kesalahan yang terputus-putus dan sulit-didiagnosis-yang rentan terjadi pada-tautan berkecepatan tinggi.

Jika RoCE mempertahankan target p99 di bawah beban multi-penyewa yang realistis, bersaing, dengan penghitung yang stabil, ini adalah pilihan yang kuat dan-hemat biaya. Jika hanya lolos pengujian-aliran tunggal yang bersih, Anda belum menguji hal yang menentukan SLA Anda.

Kesalahan Umum yang Harus Dihindari

• Dengan asumsi semua inferensi adalah jaringan ringan.Beberapa kesimpulan sederhana dan independen; beberapa terdistribusi,-sensitif terhadap latensi, dan membutuhkan-bandwidth. Menganggap semuanya sebagai hal yang mudah menyebabkan infrastruktur tidak dibangun.
• Hanya membandingkan latensi rata-rata.Inferensi produksi bergantung pada ekornya. Selalu evaluasi p95, p99, dan p999 berdasarkan lalu lintas yang realistis.
• Memperlakukan RoCE sebagai Ethernet plug{0}}and-play.RoCE{0}}berperforma tinggi memerlukan desain fabrik-lossless, kontrol kemacetan, dan kemampuan pengamatan yang berkelanjutan.
• Memilih InfiniBand hanya karena lebih cepat.Pilihan kinerja terbaik tidak selalu merupakan pilihan bisnis terbaik. Jika beban kerja tidak memerlukan perilaku deterministik, RoCE mungkin memberikan nilai yang lebih baik.
• Mengabaikan lapisan fisik.Pada 400G dan 800G, kebersihan kabel, optik, konektor, dan serat menciptakan kesalahan intermiten yang sulit ditemukan dan mahal untuk diperbaiki.

Intinya

Untuk inferensi AI, InfiniBand dan RoCE keduanya valid, dan memiliki prioritas yang berbeda. Pilih InfiniBand bila Anda membutuhkan jaringan-latensi rendah yang paling konsisten untuk inferensi-waktu nyata, sensitif terhadap SLA,-atau yang digabungkan erat. Pilih RoCE saat Anda memerlukan fabric yang skalabel, berbasis Ethernet,-efisien untuk inferensi batch, layanan GPU multi-penyewa, beban kerja RAG, dan infrastruktur fleksibel.

Keputusan harus dimulai dengan beban kerja, target latensi, skala klaster, kemampuan operasi Anda, dan peta jalan peningkatan, bukan dengan protokol. Jika cluster Anda harus menahan p99 yang ketat di bawah beban berat, InfiniBand layak mendapat pertimbangan serius. Jika tujuan Anda adalah untuk menskalakan inferensi secara ekonomis di seluruh pusat data Ethernet, RoCE biasanya merupakan jalur yang lebih praktis. Apa pun pilihannya, lakukan benchmark pada beban-seperti produksi sebelum Anda melakukan commit.