QSFP-DD untuk Klaster AI: Cara Memilih Antara 400G dan 800G Tanpa Menebak

Aug 03, 2026

Tinggalkan pesan

QSFP-DD cocok untuk kluster AI ketika sakelar atau titik akhir sudah menggunakan sangkar QSFP-DD asli, ketika basis besar modul keluarga QSFP-dan fiber yang memenuhi syarat harus tetap beroperasi, dan ketika platform dapat mendinginkan modul yang dipilih dengan setiap port yang terisi. Ini adalah titik awal yang salah ketika server dan switch GPU dibangun di sekitar kandang OSFP asli, atau ketika optik yang sebenarnya Anda perlukan memerlukan lebih banyak ruang kepala termal daripada yang dapat diberikan oleh host.

Faktor bentuk bukanlah keputusan pertama. Ini kira-kira yang keempat. Desain jaringan yang bertahan dalam pelatihan produksi pertamanya dimulai dengan antarmuka server, jumlah rel, topologi target, rasio kelebihan permintaan yang dapat diterima, dan rute kabel yang diukur. Hanya dengan demikian bentuk modul menjadi penting.

Panduan ini menjelaskan urutan tersebut secara menyeluruh, dengan penghitungan kapasitas kerja, tabel-pemilihan tautan, dan urutan validasi yang dapat Anda serahkan ke tim lab.

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

Faktor Bentuk Mana yang Harus Anda Pilih?

Kondisi titik akhir Pilihan pertama untuk dievaluasi
Keduanya diakhiri secara asli QSFP-DD / QSFP-DD800 QSFP-DD
Keduanya berakhir secara asli OSFP OSFP
Bermigrasi dari basis QSFP 400G yang terinstal QSFP-DD, asalkan host mendukung mode port yang diperlukan
Optik-berkekuatan tinggi pada platform yang kandang aslinya adalah OSFP OSFP
OSFP satu ujung, QSFP lainnya-DD DAC/AEC faktor{0}}bentuk{1}}silang yang memenuhi syarat, atau tautan optik dengan PMD, kecepatan lajur, dan mode FEC yang cocok di kedua ujungnya

Aturan dasarnya singkat:pilih sangkar yang asli dari titik akhir, lalu verifikasi laju jalur listrik, antarmuka optik, mode FEC, kelas daya, dan firmware untuk nomor komponen yang tepat tersebut.Segala sesuatu di bawah ini adalah upaya yang diperlukan untuk menerapkan aturan itu dengan jujur.

Lima Keputusan, Secara Berurutan

Kebanyakan pembangunan jaringan AI yang buruk disebabkan oleh pengambilan keputusan yang tidak berurutan - memilih modul terlebih dahulu dan kemudian menemukan batasannya. Setiap langkah di bawah memberi masukan ke langkah berikutnya, dan masing-masing langkah mengubah apa yang dapat Anda beli di langkah berikutnya.

  1. Konfirmasikan titik akhir.Tipe sangkar asli dan mode protokol di kedua ujung setiap tautan.
  2. Hitung kapasitas.Port per node, per rel, lalu pertahankan kapasitas downlink dan uplink sesuai target rasio kelebihan permintaan Anda.
  3. Pilih tautan fisik.Panjang rute yang diukur, pabrik serat, konektor, kebutuhan breakout.
  4. Validasi nomor bagian.FEC, laju jalur, kelas daya, firmware, revisi CMIS, kualifikasi vendor.
  5. Terapkan berdasarkan domain kegagalan.Lab terlebih dahulu, lalu satu rak, rel, atau unit yang dapat diskalakan dalam satu waktu.

Langkah 1: Pisahkan Faktor Bentuk, Protokol, dan Antarmuka Optik

Ketiga hal ini terus-menerus digabungkan menjadi satu keputusan, dan keruntuhan itulah yang menjadi asal mula sebagian besar kejutan kompatibilitas. Mereka adalah lapisan terpisah dengan dokumen pemerintahan terpisah.

Faktor bentukmendefinisikan dimensi mekanis, konektor host, jalur listrik, perilaku manajemen, dan desain termal. ItuQSFP-Spesifikasi perangkat keras MSA DDmencakup persyaratan mekanis, kelistrikan, dan termal, dan revisi selanjutnya memperluas port host delapan{0}}jalur yang sama ke varian 800G dan 1,6T sekaligus menjaga kompatibilitas dengan rangkaian QSFP. Jika Anda menginginkan latar belakang mekanik dan manajemen sebelum melangkah lebih jauh, kamiQSFP-Ikhtisar teknis DDmencakup faktor bentuk itu sendiri secara rinci.

Protokol- Ethernet, RoCEv2 atau InfiniBand - ditentukan oleh NIC, switch ASIC, firmware dan konfigurasi port, bukan oleh bentuk sangkar. Modul QSFP-DD tidak boleh digambarkan sebagai "mendukung Ethernet dan InfiniBand" sebagai properti faktor bentuk. Kemampuan itu dimiliki oleh host dan harus dikonfirmasi di port tertentu.

Antarmuka optik- DR8, FR4, SR8, LR - menjelaskan pengaturan jalur, jangkauan, dan aplikasi. Ini tidak menjelaskan konektor, jumlah serat, pemetaan breakout, atau laju jalur listrik. Dua modul yang membawa label optik yang sama dapat berbeda di setiap modulnya. Pensinyalannya sendiri ditentukan oleh IEEE, bukan oleh MSA:IEEE Std 802.3df-2024menambahkan parameter MAC dan lapisan fisik untuk operasi 800 Gb/s dan PHY tambahan 400 Gb/s.

Perilaku manajemen merupakan lapisan keempat yang lebih tenang. Modul QSFP-DD dan OSFP dikelola melalui CMIS, dan revisinya penting untuk perilaku pembaruan firmware, pemilihan aplikasi, dan pengaturan waktu modul-host. Revisi yang diterbitkan tercantum dalamPerjanjian implementasi OIF.

Langkah 2: Ukur Jaringan Dari Port Server, Bukan Jumlah GPU

Jumlah GPU memberi tahu Anda seberapa besar sebuah cluster. Itu tidak memberi tahu Anda apa yang harus dibawa oleh jaringan, karena jaringan hanya melihat antarmuka server.

Ada dua contoh yang menjelaskan hal ini. Sistem NVIDIA DGX H100/H200 menampilkan delapan antarmuka fabric ConnectX-7 komputasi-yang masing-masing memiliki kecepatan hingga 400 Gb/s - namun hal tersebut bukanlah delapan sangkar fisik. Arsitektur referensi SuperPOD menunjukkan struktur komputasi yang disajikanempat dua{0}}transceiver port yang menjangkau kedelapan GPU. Sebaliknya, DGX B300 hadirdelapan port jaringan pada baki GPUmelayani delapan antarmuka ConnectX-8 dengan kecepatan hingga 800 Gb/s. Jumlah GPU yang sama, inventaris port, jumlah kabel, dan tagihan optik yang sangat berbeda.

Jadi sebelum Anda melihat satu lembar data switch, dokumentasikan setiap jenis node: komputasi-port fabric, kecepatan port, pemetaan NIC-ke-GPU atau rel, jenis sangkar asli, mode protokol yang didukung, ditambah antarmuka penyimpanan dan pengelolaan terpisah. Inventaris tersebut, bukan nomor GPU, yang menjadi masukan untuk setiap penghitungan selanjutnya.

Perhitungan Kapasitas Kerja

Ambil unit skalabel yang terdiri dari 32 node, masing-masing dengan delapan port fabric-komputasi 400G, satu port per rel, dalam desain-rel yang dioptimalkan. Kerjakan satu rel pada satu waktu:

  • Kapasitas downlink per daun rel= 32 node × 1 port × 400G =12,8 TB/dtk
  • Pada 1:1 (tanpa-pemblokiran), kapasitas uplink yang diperlukan=12.8 Tb/s → 12.800 800 =Tautan ke atas 16 × 800G
  • Pada 2:1, diperlukan kapasitas uplink=6.4 Tb/s →Tautan ke atas 8 × 800G

Kemudian periksa hasilnya terhadap switch radix: 32 downlink ditambah 16 uplink memerlukan 48 port yang dapat digunakan pada daun tersebut, yang langsung membatasi pilihan switch Anda. Tambahkan tautan untuk redundansi dan pemeliharaan, dan ulangi per rel - delapan rel, delapan grup daun, bukan satu nomor agregat. Di sinilah 800G mendapatkan tempatnya atau tidak: di sini ia membagi dua jumlah port uplink, yang merupakan argumen radix, bukan argumen bandwidth.

Struktur pohon yang-dioptimalkan dan seimbang-adalah pola dokumen NVIDIA untuk kluster pelatihan besar -Arsitektur referensi SuperPOD DGX H100menggunakan pohon-penuh dengan delapan koneksi komputasi per-sistem. Apakah pola tersebut sesuai dengan beban kerja Anda merupakan penilaian desain, namun metode perhitungan di atas berlaku terlepas dari topologinya.

Langkah 3: Rencanakan Keempat Kain, Lalu Kembali ke Modul

Cluster AI bukanlah satu jaringan. Arsitektur referensi DGX SuperPOD terpisahkomputasi, penyimpanan, pengelolaan-dalam pita, dan pengelolaan-di luar-bandkain, dan masing-masing memproduksi port dan kebutuhan optiknya sendiri.

Itumenghitung kainmembawa pertukaran gradien, sinkronisasi parameter, operasi memori kolektif dan jarak jauh. Ini memiliki persyaratan latensi, kemacetan, dan simetri jalur yang paling ketat, dan di sinilah argumen 800G versus 400G benar-benar diselesaikan.

Itukain penyimpananmembawa data pelatihan, pos pemeriksaan, dan artefak model. Kapasitasnya bergantung pada format kumpulan data, laju cache hit,-paralelisme pemuat data, frekuensi pos pemeriksaan, dan intensitas metadata - itulah sebabnya "400G cukup untuk penyimpanan" bukan merupakan default yang aman. Arsitektur referensi menentukan kinerja penyimpanan di tingkat sistem dan menjauhkannya dari jaringan komputasi secara tepat sehingga kedua beban kerja tidak dapat saling merusak.

Itudi-jaringan pengelolaan pitamembawa penyediaan, lalu lintas penjadwal, pendaftar, repositori, dan pemantauan. Itujaringan-di luar-jaringan pitamenjangkau BMC, port manajemen sakelar, dan daya rak, dan harus tetap dapat dijangkau saat struktur produksi rusak. Perlakukan itu sebagai jalur pemulihan dan keamanan dengan uplink-nya sendiri, bukan sebagai sisa lalu lintas-berkecepatan rendah.

Untuk pemilihan modul, konsekuensi praktisnya adalah ini: setiap fabric menyumbangkan jumlah portnya sendiri, profil jaraknya sendiri, dan jenis sangkarnya sendiri, dan keduanya sering kali berbeda. Sebuah cluster dapat berupa OSFP pada komputasi dan QSFP-DD pada penyimpanan dan pengelolaan tanpa ada yang salah.

Langkah 4: Pilih 400G atau 800G Berdasarkan Kendala, Bukan Tren

Port 800G menggandakan kapasitas nominal. Itu tidak mengurangi lalu lintas yang dihasilkan aplikasi Anda. Nilainya hampir selalu berupa tautan struktural - lebih sedikit, efisiensi radix lebih baik, atau titik akhir asli 800G.

400G tetap menjadi pilihan yang lebih baikketika titik akhir komputasi aslinya adalah 400G, fabric saat ini sudah memenuhi target pemblokirannya, cluster berkembang di dalam radix yang tersedia, modul 400G dan basis kabel yang memenuhi syarat sudah ada, atau kendala daya dan pendinginan membuat 800G tidak menarik. Menggunakan 800Guplinkserver di atas 400G masih masuk akal - tetapi dibenarkan dari aritmatika port di atas, bukan dari label.

800G meningkatkan desainsaat server mengekspos antarmuka 800G asli, saat banyak aliran 400G harus digabungkan menjadi lebih sedikit tautan tulang belakang, saat jumlah port sakelar menjadi batasan yang mengikat, atau saat terobosan dari 800G ke antarmuka anak-berkecepatan lebih rendah menyederhanakan migrasi. Dinyatakan dengan tepat: 800G dapat mengurangi jumlah tautan fisik atau port switchdalam desain di mana agregasi dan radix adalah batasan pembatas. Hal ini tidak berlaku sebagai hukum alam.

Comparison of 400G and 800G AI cluster network architectures

Campuran-Migrasi Kecepatan Membutuhkan Dokumentasi Eksplisit

Breakout adalah saat{0}}desain kecepatan campuran gagal secara diam-diam. NIC modern membuat ini dapat dikonfigurasi daripada memperbaiki - NVIDIA's ConnectX-8port-membagi dokumentasimenunjukkan satu sangkar OSFP 800G yang dikonfigurasi ulang menjadi dua port 400GbE atau delapan port 100GbE, masing-masing memerlukan perubahan konfigurasi tingkat firmware dan siklus daya. Fleksibilitas itu hanya ada jika vendor telah menguji dan menerbitkannya.

Jadi rencana migrasi harus menyatakan, per port: port mana yang berjalan pada kecepatan berapa, apakah host mendukung mode breakout yang dimaksud, kecepatan jalur listrik di kedua ujungnya, apakah breakout itu logis, berbasis optik, atau berbasis kabel, mode FEC yang dibutuhkan setiap antarmuka anak, apakah jumlah serat dan jenis konektor yang ada dapat digunakan kembali, dan bagaimana pemantauan akan mengidentifikasi setiap port anak. Memasukkan modul berkecepatan-lebih rendah tidak membuat setiap mode host tersedia.

QSFP-DD vs OSFP

Faktor keputusan QSFP-DD OSFP
QSFP-kompatibilitas keluarga Asli, di mana host mendukung mode tersebut Memungkinkan untuk beberapa modul melalui-adaptor yang dibuat khusus
Ukuran modul Lebih kecil Lebih besar
Desain termal Berkendara-desain heatsink; verifikasi pada populasi penuh Heatsink terintegrasi atau berkuda; MSA mendefinisikan kelas daya yang lebih tinggi
Penggunaan sistem AI-umumnya Switch Ethernet,-platform kecepatan campuran Beberapa platform GPU dan InfiniBand berperforma tinggi
Aturan pengambilan keputusan Lebih suka jika endpoint adalah QSFP asli-DD dan penggunaan kembali QSFP itu penting Lebih suka jika titik akhir adalah OSFP asli atau optik memerlukan cakupan dayanya

Ada dua klaim yang perlu dibatasi. Pertama, "OSFP tidak memiliki kompatibilitas ke belakang" terlalu luas - tersebutOSFP MSAmendokumentasikan kompatibilitas QSFP melalui adaptor khusus, dan spesifikasi modulnya menentukan kelas daya yang lebih tinggi dan opsi heatsink{0}}terintegrasi yang memberikan reputasi termal pada OSFP. Kedua, reputasi itu adalah batas spesifikasi, bukan jaminan. Apakah sasis tertentu benar-benar dapat menjalankan modul kelas-30W di setiap sangkar bergantung pada desain sangkar, arah aliran udara, suhu masuk, kebijakan kipas, penurunan daya-port yang berdekatan, dan batasan vendor sistem itu sendiri.

Itulah sebabnya-validasi termal populasi penuh tidak-dapat dinegosiasikan: modul yang lolos dalam satu port dapat melebihi batas suhu-kasusnya ketika semua 32 atau 64 port menyala, dan lagi ketika kipas atau catu daya mati. Uji sistem yang terisi, pada suhu masuk Anda yang sebenarnya.

Jika servernya adalah OSFP dan saklarnya adalah QSFP-DD, tahan refleks untuk melakukan standarisasi. Adaptor menambah pertimbangan izin mekanis, aliran udara, daya,-integritas sinyal, inventaris, dan dukungan. Kabel faktor bentuk-silang yang memenuhi syarat, atau tautan optik dengan PMD dan FEC yang cocok di setiap ujungnya, sering kali lebih bersih daripada mengganti perangkat keras agar bentuknya cocok.

QSFP-DD and OSFP transceivers compared by size and thermal design

Langkah 5: Pilih Tautan berdasarkan Jarak Terukur dan Serat yang Ada

Kapasitas dan titik akhir kini telah memperbaiki kecepatan port dan sangkar. Jarak dan pabrik fiber yang terpasang memperbaiki segalanya. Sebagai pedoman teknik dan bukan sebagai aturan, tautan terpendek yang valid secara teknis biasanya merupakan tautan yang paling sederhana untuk dioperasikan - namun fleksibilitas, diameter kabel, kemudahan servis, dan persyaratan breakout semuanya bertentangan dengan hal tersebut.

Rute Pilihan khas Apa yang harus dikonfirmasi
Rak-intra, sangat singkat DAC pasif Panjang dan jenis kabel yang tepat didukung di kedua ujungnya; radius tikungan; berat
Pendek tapi melampaui tembaga pasif MEA / ACC Penarikan daya, latensi tambahan, penyumbatan aliran udara, kualifikasi vendor, dukungan mode port
Optik pendek, panjang tetap dapat diterima AOC Kemudahan servis - kegagalan menggantikan seluruh rakitan
Multimode, di-baris ke baris-yang berdekatan Optik paralel kelas SR- Tingkat serat dan batas jangkauan; lihat kamiPanduan batas jarak OM1–OM5
Mode-tunggal, sub-kilometer, breakout diinginkan Optik paralel kelas DR- Ukuran MPO, polaritas, polesan APC/UPC, pemetaan breakout
Mode-tunggal, skala kilometer Dupleks kelas-FR atau paralel, bergantung pada produk Jenis konektor bervariasi berdasarkan nomor komponen; tingkat serat - bandingkanSerat mode tunggal OS1 dan OS2-

Implementasi konektor adalah jebakan di sini, karena tidak tersirat dalam label optik. Vendor mengirimkan produk 800G DR8 dengan konektivitas MPO-12 ganda atau MPO tunggal-16 ganda, dan produk kelas FR sepanjang 2 km dengan MPO paralel atau LC dupleks ganda. Kedua varian tersebut sah; mereka membutuhkan kabel yang sama sekali berbeda. Sebelum memesan batang, selesaikan pertanyaan konektor dengan sengaja - milik kitaPanduan pemilihan MTP vs MPOmencakup perbedaan mekanis dan polaritas, danPanduan kabel pelarian MPOmencakup pemetaan{0}out penyebaran yang bergantung pada port breakout.

Dua item lagi termasuk dalam percakapan yang sama. Hilangnya saluran harus dianggarkan berdasarkan spesifikasi modul dengan konektor dan sambungan dihitung, bukan diasumsikan - lihatbagaimana insertion loss terakumulasi dalam jaringan fiber. Dan pemasangan kabel terstruktur antar baris lebih mudah dipelihara bila dibangun di atas-yang sudah diakhiriKabel batang MPO/MTPdengan metode polaritas yang terdokumentasi, bukan proses yang-dirakit di lapangan. Jika tautan FR dupleks digunakan, penggerak kualitas permukaan ujung konektor mengembalikan kehilangan secara langsung; ituPanduan konektor LCmencakup apa yang harus diperiksa.

Untuk setiap tautan, catat: sangkar host, kecepatan jalur host, kecepatan port yang dikonfigurasi, PMD atau jenis kabel, konektor, jenis dan jumlah serat, kehilangan saluran maksimum, mode FEC, pemetaan breakout, kode aplikasi modul, persyaratan CMIS dan firmware, daya maksimum, dan status kualifikasi. Catatan per-tautan tersebut bernilai lebih dari aturan umum apa pun tentang optik mana yang digunakan.

AI network interconnect options from DAC cables to duplex optics

RoCEv2 atau InfiniBand: Putuskan Ini Secara Independen

Pilihan protokol bersifat ortogonal terhadap faktor bentuk, dan harus dibuat berdasarkan alasan operasional.

RoCEv2cocok untuk organisasi yang sudah menjalankan Ethernet dalam skala besar, dengan fitur RoCE yang tervalidasi pada platform switching dan tim yang mampu memiliki QoS, kontrol kemacetan, telemetri, dan konfigurasi host. Peringatannya adalah "mengaktifkan PFC dan ECN" bukanlah rencana penerapan. Dokumentasi Cumulus Linux NVIDIA menjelaskanRoCE sebagai konfigurasi yang kompleksmencakup kumpulan buffer, klasifikasi lalu lintas, pemetaan prioritas, ambang batas dan penjadwalan PFC dan ECN, dengan mode lossless menggunakan PFC dan ECN secara bersamaan dan mode lossy hanya menggunakan ECN - dan mencatat bahwa konfigurasi yang dihasilkan untuk satu generasi switch ASIC tidak terbawa ke generasi lainnya.

InfiniBandcocok untuk penerapan mengikuti arsitektur vendor yang tervalidasi, di mana manajemen fabric terintegrasi sangat berharga dan tim telah memiliki peralatan dan keahlian.

Dasarkan pilihan pada perilaku aplikasi yang diuji, keterampilan operasional, batasan dukungan, dan desain sistem total. Persentase kinerja pemasaran bergantung pada topologi, versi perangkat lunak, ukuran pesan, status kemacetan dan konfigurasi NIC, dan jarang ditransfer ke cluster lain.

Validasi: Apa yang Harus Diuji Sebelum Anda Membeli dalam Volume

Uji lab yang representatif mencakup empat area, dan prioritasnya adalah - stabilitas tautan, karena angka kinerja dari tautan yang tidak stabil tidak ada artinya.

Memunculkan-:boot dingin, reboot hangat, penyisipan dan penghapusan modul, penonaktifan/pengaktifan port, pembuatan dan penghapusan breakout, dan kedua ujungnya di-boot ulang dalam urutan yang berbeda.Integritas sinyal:pra-FEC BER, jumlah FEC yang dikoreksi dan tidak dapat dikoreksi, kesalahan-tingkat jalur, PRBS atau BERT jika didukung, daya transmisi dan penerimaan optik, suhu kotak modul, dan jumlah penutup-tautan di bawah beban termal.Pertunjukan:throughput yang berkelanjutan, kolektif dan ukuran pesan yang sebenarnya digunakan oleh pekerjaan Anda, lalu lintas multi-kereta api secara simultan, incast, penyimpanan-plus-pertentangan komputasi, dan waktu rendam yang lama.Kegagalan:tautan tunggal, saklar daun, tautan tulang belakang,-pemulihan siklus daya, penggantian kabel dan modul, manajemen-kehilangan jalur.

Catat ambang batas, bukan sekadar lulus/gagal. Kesalahan FEC yang tidak dapat diperbaiki harus bernilai nol pada tautan yang sehat; tingkat kesalahan pra-FEC harus berada di dalam margin yang ditentukan modul dan tetap di sana seiring meningkatnya suhu wadah selama perendaman. Tautan yang trennya meningkat selama perendaman 48 jam adalah tautan yang akan gagal dalam produksi.

Kemudian luncurkan menurut domain kegagalan - satu rak, satu rel, satu pasang daun, atau satu unit yang dapat diskalakan pada satu waktu - dan pantau perubahan status tautan, jumlah FEC yang terkoreksi dan tidak dapat diperbaiki, suhu modul, daya optik, aktivitas jeda PFC, penandaan ECN, tingkat hunian antrean, dan-waktu komunikasi tingkat pekerjaan. Tautan yang masih aktif masih dapat mengalami degradasi; kenaikan terkoreksi-kesalahan dan tren suhu adalah peringatan paling awal yang Anda dapatkan.

Tiga Skenario Desain

Memperluas jaringan Ethernet 400G yang sudah ada.QSFP yang memenuhi syarat-Sakelar DD 400G dan pemasangan kabel terstruktur sudah tersedia; node baru mengekspos 400G. Pertahankan tautan-yang menghadap server pada 400G, jalankan perhitungan uplink di atas untuk menguji rasio pemblokiran, dan perkenalkan 800G hanya jika ia membeli efisiensi port tulang belakang. Gunakan kembali optik dan serat berkualitas jika anggaran kerugian memungkinkan, dan validasi setiap-konfigurasi terobosan kecepatan campuran sebelum membeli. Switch radix mendorong keputusan ini, bukan jumlah GPU.

Membangun kluster asli 800G-.Server mengekspos 800G asli. Ikuti topologi vendor server yang divalidasi, pilih sakelar dengan sangkar asli yang cocok, verifikasi kapasitas termal populasi-penuh pada suhu masuk Anda, pilih interkoneksi dari panjang rute yang diukur, dan validasi setiap breakout dan kombinasi FEC sebelum melakukan. Di sini 800G dibenarkan oleh titik akhir itu sendiri.

Hidup dengan dua faktor bentuk.Servernya adalah OSFP; bagian dari peralihan Ethernet adalah QSFP-DD. Bandingkan rakitan DAC atau AOC lintas-bentuk-faktor yang memenuhi syarat, interoperabilitas optik dengan sangkar berbeda di setiap ujungnya, adaptor yang disetujui, implikasi daya dan termal, inventaris cadangan, dan kepemilikan dukungan. Mengganti satu sisi semata-mata untuk membakukan bentuk modul seringkali lebih mahal daripada mengoperasikan lingkungan campuran yang terdokumentasi.

Tujuh Kesalahan Yang Menyebabkan Pengerjaan Ulang

  • Mulai dari hitungan GPU.Ini tidak menjelaskan jumlah NIC, pemetaan rel, laju port, atau kelebihan permintaan. Hitung dari antarmuka server.
  • Dengan asumsi 800G lebih cepat untuk setiap pekerjaan.Ini hanya membantu jika titik akhir, topologi, dan pola lalu lintas dapat menggunakannya. Tolok ukur kolektif yang sebenarnya Anda jalankan.
  • Memperlakukan QSFP-DD sebagai protokol.Itu adalah sangkar. Validasi sangkar, protokol, mode kelistrikan, optik, dan FEC secara terpisah.
  • Mengabaikan bahan penyimpanan dan pengelolaan.Fabric komputasi yang cepat tidak dapat mengimbangi pengiriman pos pemeriksaan yang lambat atau BMC yang tidak dapat dijangkau.
  • Membaca label optik sebagai spesifikasi kabel.DR8 dan FR4 tidak menentukan konektor, jumlah serat, atau desain breakout. Gunakan nomor komponen yang tepat dan diagram pengkabelan.
  • Menguji satu port.Aliran udara-populasi penuh dan suhu masuk adalah ujian sesungguhnya.
  • Mengutip persentase kinerja tanpa metode.Publikasikan topologi dan metode pengujian, atau hapus nomornya.

Membangun Model TCO yang Dapat Anda Pertahankan

Biaya modal mencakup NIC atau DPU, saklar daun dan tulang belakang, transceiver, DAC, AEC dan AOC, saluran fiber dan patching, manajemen rak dan kabel, peralatan pengujian dan suku cadang. Biaya operasional mencakup modul dan saklar daya, pendinginan, pemantauan, kualifikasi firmware, pelatihan, tenaga kerja pengganti, dan dukungan vendor. Biaya risiko - yang biasanya dihilangkan - mencakup kegagalan kompatibilitas, penundaan penerapan, penurunan suhu termal, ketidakstabilan tautan, pemasangan ulang kabel, pekerjaan pelatihan yang terganggu, dan waktu pemulihan yang lama.

Kompatibilitas mundur benar-benar mengurangi biaya, namun penghematan harus dihitung dari peralatan spesifik yang dapat digunakan kembali pada kecepatan dan mode yang diperlukan. Kompatibilitas-faktor bentuk saja tidak menjamin bahwa ASIC, PCB, sangkar, sistem pendingin, firmware, atau anggaran daya saat ini dapat menjalankan generasi berikutnya. Perlakukan migrasi kecepatan di masa depan sebagai pertanyaan platform, bukan pertanyaan penghubung.

Pertanyaan yang Sering Diajukan

Apakah QSFP-DD cocok untuk kluster pelatihan AI?

Ya, jika merupakan produk asli dari switch atau titik akhir yang dipilih, memenuhi persyaratan termal pada populasi port penuh, dan mendukung mode port dan antarmuka optik yang diperlukan. Kecepatan data nominal saja bukanlah alasan untuk memilihnya.

Berapa banyak GPU yang memerlukan jaringan 800G?

Tidak ada ambang batas GPU. Hitung dari port jaringan per server, kecepatan port, pemetaan rel, topologi, target kelebihan permintaan, dan lalu lintas aplikasi - metode pada Langkah 2 di atas.

Apakah QSFP-DD lebih baik daripada OSFP?

Tidak ada yang lebih baik secara universal. QSFP-DD menawarkan kompatibilitas keluarga QSFP-asli dan ukuran yang lebih kecil; Spesifikasi OSFP menentukan kelas daya yang lebih tinggi dan-opsi heatsink terintegrasi, dan merupakan bawaan dari beberapa-platform AI berperforma tinggi. Titik akhir memutuskan.

Bisakah port OSFP menggunakan modul QSFP?

Beberapa implementasi OSFP mendukung modul QSFP melalui adaptor yang disetujui, namun kompatibilitas, daya, mode port, dan dukungan vendor semuanya memerlukan verifikasi untuk platform tertentu.

Bisakah QSFP-DD digunakan untuk Ethernet dan InfiniBand?

Faktor bentuk tidak menentukan protokol. Port host, NIC, switch, firmware, kabel dan transceiver semuanya harus mendukung mode operasi yang diinginkan.

Transceiver 800G mana yang harus saya gunakan?

Mulai dari jarak terukur, endpoint cage, breakout yang dibutuhkan, jenis fiber, konektor, laju jalur, mode FEC, kelas daya, dan kualifikasi vendor. Nama antarmuka optik saja tidak cukup.

Apakah kompatibilitas mundur QSFP-DD menjamin kemudahan peningkatan versi 1,6T?

Tidak. Port host dapat menerima modul secara mekanis sedangkan ASIC, PCB, cage, pendingin, atau anggaran daya tidak dapat mendukung laju jalur baru. Verifikasi di tingkat platform.

Sebelum Anda Menandatangani Pesanan Pembelian

Konfirmasikan sangkar titik akhir di kedua ujung setiap jenis tautan; jumlah dan kecepatan port fabric{0}}komputasi per node; pemetaan kereta api dan target rasio kelebihan permintaan; jumlah port daun dan tulang belakang termasuk redundansi; persyaratan keempat bahan; mode pengoperasian dan, untuk RoCE, desain-kontrol kemacetan penuh; rute kabel yang diukur dan pilihan interkoneksi yang dihasilkan; konektor, polaritas dan anggaran kerugian; FEC dan mode terobosan; daya modul terhadap-batas termal populasi penuh; kompatibilitas firmware dan CMIS; status kualifikasi vendor; dan hasil lab untuk pengujian BER, kinerja, kemacetan, kegagalan dan rendam.

QSFP-DD mendukung AI fabric 400G atau 800G yang dapat diskalakan. Ini masih hanya satu komponen desain. Mulailah dengan titik akhir dan model lalu lintas, hitung topologi, pilih tautan fisik dari jarak yang diukur, dan validasi sistem yang dirakit sebelum menjalankan tugas pelatihan.

Metodologi dan Ruang Lingkup

Panduan ini mengacu pada tiga jenis sumber, dan ketiganya sengaja dipisahkan dalam teks di atas.Standar dan dokumen MSA- IEEE 802.3df, spesifikasi perangkat keras QSFP-DD dan OSFP MSA, serta perjanjian implementasi OIF CMIS - menentukan faktor bentuk, sinyal, dan perilaku manajemen.Dokumentasi vendor- Panduan sistem NVIDIA DGX, arsitektur referensi DGX SuperPOD, catatan konfigurasi port ConnectX-8 dan dokumentasi Cumulus Linux RoCE - dikutip sebagai contoh khusus vendor, bukan sebagai perilaku universal; platform lain berbeda.Pedoman teknik- saran pengurutan, preferensi untuk tautan yang lebih pendek, ambang validasi - adalah rekomendasi operasional yang diambil dari praktik penerapan, dan diberi label seperti itu, bukan disajikan sebagai spesifikasi.

 

Kirim permintaan