Tulang Belakang QSFP28 100G-Desain Daun: Hindari Kesalahan Port

Struktur spine-leaf fabric 100G adalah salah satu cara yang paling dapat diandalkan untuk menghubungkan server 25G, uplink 100G, kluster penyimpanan, dan beban kerja berat timur-barat-di pusat data modern. Daya tarik QSFP28 adalah fleksibilitasnya: satu port dapat membawa tautan 100G asli atau dipecah menjadi empat koneksi server 25G, sehingga satu switch dapat melayani tepi akses dan inti fabric.

Peralihan cepat adalah bagian yang mudah. Desain 100G hidup atau mati tergantung pada keputusan yang dibuat sebelum pesanan pembelian: bagaimana setiap port dialokasikan, seperti apa rasio kelebihan permintaan dalam kondisi normal dan kegagalan, optik mana yang cocok dengan kabel sebenarnya, berapa banyak panas yang ditambahkan optik tersebut, dan apakah fabric dapat tumbuh menuju 400G tanpa peningkatan forklift.

Panduan ini adalah referensi perencanaan{0}netral vendor untuk tim jaringan dan infrastruktur. Gambar di bawah mengikuti spesifikasi IEEE 802.3 Ethernet saat ini dan perjanjian multi-sumber optik yang relevan, namun setiap switch dan transceiver memiliki lembar datanya sendiri, jadi konfirmasikan angka pasti untuk perangkat keras yang Anda beli.

Caranya membaca contoh pada panduan ini.Kecuali jika dinyatakan sebaliknya, mereka mengasumsikan server-berrumahan tunggal dengan masing-masing satu NIC 25G, 48 port host per daun, uplink daun-ke-spine 100G, mesh penuh di mana setiap daun terhubung ke setiap tulang belakang, dan koreksi kesalahan penerusan diaktifkan jika optik memerlukannya. Dual-homing, NIC yang lebih cepat, atau jumlah port yang berbeda akan mengubah setiap angka berikutnya.

Apa itu Jaringan Daun-Tulang Belakang 100G?

Spine-leaf adalah arsitektur pusat data dua tingkat yang dibangun dari switch daun dan switch tulang belakang. Sakelar daun berada di bagian atas setiap rak dan menyediakan port-yang menghadap server plus uplink ke bagian belakang. Sakelar tulang belakang membentuk-tulang punggung berkecepatan tinggi. Setiap daun terhubung ke setiap tulang belakang, jadi lalu lintas antar rak memindahkan daun ke tulang ke daun sepanjang jalur-panjang yang sama.

Desainnya populer karena memberikan:

• Panjang jalur yang sama dan dapat diprediksi antara dua rak mana pun
• Dukungan asli untuk lalu lintas timur-barat yang padat
• Semua uplink aktif melalui ECMP dan bukan diblokir oleh spanning tree
• Penskalaan horizontal sederhana - tambahkan daun untuk port, tambahkan duri untuk kapasitas

Pada fabric 100G, tautan-ke-spine berjalan pada 100G, sedangkan port-yang menghadap server berjalan pada 10G, 25G, 50G, atau 100G bergantung pada beban kerja. Saat ini, akses 25G dengan uplink 100G merupakan kombinasi perusahaan yang paling umum.

Desain Fisik vs Desain Logis

"Desain jaringan" mencakup dua lapisan yang mudah digabungkan. Panduan ini berkonsentrasi pada lapisan fisik dan kapasitas - port, optik, kelebihan permintaan, pengkabelan - karena itulah komitmen Anda saat membeli perangkat keras. Namun lapisan logika menentukan bagaimana fabric meneruskan lalu lintas, dan membentuk beberapa pilihan fisik.

Di sisi fisik terdapat saklar dan pemilihan port, kecepatan NIC, kelebihan permintaan, optik, kabel, daya, dan pendinginan. Di sisi logisnya terdapat penyeimbangan beban ECMP-di seluruh uplink; hamparan seperti VXLAN dengan bidang kontrol BGP EVPN untuk lapisan 2 dan Lapisan 3 multi-penyewa di atas lapisan bawah yang dirutekan; dual-homing dengan MLAG atau MC-LAG dan LACP di tepi akses; dan kegagalan-ukuran domain. Untuk fabric RDMA Anda juga harus merekayasa jaringan-hampir lossless, yang dibahas di bawah. Selesaikan model logis lebih awal, karena ini memengaruhi jumlah uplink, berapa banyak duri yang Anda inginkan untuk lebar ECMP, dan apakah daun disebarkan sebagai pasangan MLAG.

Langkah 1 - Tentukan Kecepatan dan Beban Kerja Server

Mulailah dengan beban kerja, bukan optiknya. Kluster virtualisasi umum, struktur penyimpanan, dan pod pelatihan AI memiliki kebutuhan yang sangat berbeda, dan desain yang tepat mengikuti lalu lintas.

Server 25G dengan uplink 100G

Bagi sebagian besar lingkungan-cloud perusahaan dan pribadi, akses 25G dengan uplink-ke-spine 100G adalah solusi yang tepat: lompatan besar dibandingkan 10G sekaligus menjaga biaya NIC, kabel, dan switch tetap masuk akal. Build tipikal memasangkan downlink 25G, uplink 100G, dan rasio 2:1 hingga 3:1 untuk komputasi umum, dengan kelebihan langganan yang lebih rendah dicadangkan untuk penyimpanan dan tingkat sensitif-latensi. Ini cocok dengan virtualisasi, cloud pribadi, tingkat web, dan sebagian besar pusat data perusahaan.

Asli 100G untuk penyimpanan, AI, dan HPC

Beberapa beban kerja memerlukan 100G asli ke server: penyimpanan terdistribusi dan-oF NVMe, pelatihan AI dan-pembelajaran mesin, HPC,-analisis skala besar, dan-RDMA latensi rendah. Di sini kelebihan permintaan harus rendah - sering kali tidak-memblokir atau mendekatinya - karena pola lalu lintaslah masalahnya, bukan hanya volumenya.

Beban kerja AI, HPC, dan RDMA menghasilkan lalu lintas yang padat, tersinkronisasi, semua-ke-seluruh timur-barat: banyak node yang melakukan transmisi ke banyak node pada saat yang sama, sehingga pemulusan statistik yang menghemat struktur virtualisasi tidak lagi berlaku. RDMA melalui Converged Ethernet (RoCE) menambahkan batasan kedua, karena mengharapkan struktur yang hampir-lossless, yang dalam praktiknya berarti Kontrol Aliran Prioritas (PFC) dan Pemberitahuan Kemacetan Eksplisit (ECN) disetel secara menyeluruh. Fabric yang menjatuhkan frame di bawah kemacetan akan mengakibatkan kinerja RoCE menurun, sehingga cluster ini biasanya dibangun pada rasio 1:1 dengan konfigurasi buffer dan kemacetan yang hati-hati.

Langkah 2 - Cara Menghitung Port Pengalih Daun dan Tulang Belakang untuk Kain 100G

Perencanaan pelabuhan dimulai dari daun, bukan tulang punggung. Bekerja keluar dari server:

1. Hitung server-yang menghadap port per rak.
2. Putuskan apakah masing-masing merupakan jalur asli 25G, 100G asli, atau jalur breakout.
3. Cadangan port QSFP28 untuk uplink tulang belakang.
4. Tambahkan port cadangan untuk pertumbuhan, redundansi, pengujian, dan penggantian.
5. Hitung ulang kelebihan permintaan setelah breakout ditetapkan, bukan sebelumnya.

Hitung server-yang menghadap port

Untuk setiap rak, tentukan jumlah server, kecepatan NIC, NIC per server, rumah- atau-ganda, dan suku cadang yang diperlukan. Rak yang terdiri dari 48 server dengan satu NIC 25G masing-masing membutuhkan 48 port host. Gandakan-server tersebut ke pasangan daun dan jumlah port akses di pasangan tersebut menjadi dua kali lipat.

Pesan port uplink, dan perhatikan-penghitungannya ganda

Setelah port host, cadangan port QSFP28 untuk tulang belakang. Di sinilah letak kesalahan paling umum: jika port QSFP28 yang sama digunakan untuk breakout 4x25G, port tersebut tidak lagi tersedia sebagai uplink. Satu-satunya kesalahan perencanaan terbesar bukanlah salah menghitung uplink 100G, namun melebih-lebihkan port uplink yang tersisa setelah breakout memakan port tersebut. Tetapkan breakout sebelum matematika kelebihan permintaan, atau rasio yang Anda hitung adalah fiksi.

Contoh yang berhasil membantu. Ambil daun 1U umum dengan 48 port host SFP28 dan 8 port QSFP28:

Dengan enam uplink yang membawa lalu lintas akses 1.200G, leaf berjalan pada 2:1, dan dua port QSFP28 tetap sebagai cadangan. Berikan setiap port satu peran eksplisit pada spreadsheet sebelum Anda mengukur peran lainnya.

Tinggalkan kapasitas cadangan

Jangan menggunakan setiap port pada hari pertama. Cadangan ruang untuk server baru, tambahan tambahan, tautan pengujian sementara,-pertukaran port yang gagal, ketukan pemantauan, dan migrasi. Sedikit kapasitas yang tidak terpakai jauh lebih murah dibandingkan mendesain ulang.

Langkah 3 - Hitung Kelebihan Permintaan, Termasuk N-1

Kelebihan langganan membandingkan total bandwidth yang menghadap server-pada daun dengan total bandwidth uplink ke tulang belakang:

Rasio kelebihan langganan=total bandwidth downlink / total bandwidth uplink

Untuk daun di atas, 48 ​​x 25G=1,200G ke bawah dan 6 x 100G=600G ke atas, sehingga menghasilkan 1.200 / 600=2:1. Artinya, bandwidth akses teoritis dua kali lebih besar dibandingkan bandwidth uplink - biasanya baik untuk komputasi umum, di mana server jarang melakukan transmisi pada kecepatan saluran sekaligus, namun merupakan kendala nyata untuk penyimpanan, AI, HPC, dan RDMA.

Selalu periksa kasus N-1

Kain dapat terlihat sehat dalam pengoperasian normal dan tersedak jika terjadi kegagalan. Bayangkan sebuah daun dengan delapan uplink 100G tersebar merata di empat duri - dua per tulang belakang, total 800G, jadi akses 1.200G menghasilkan 1,5:1. Kehilangan satu tulang belakang dan daun menjatuhkan dua uplink ke 600G, mendorong rasio menjadi 2:1 selama durasi pemadaman. Jika target Anda "tidak lebih buruk dari 2:1 bahkan ketika gagal", Anda harus mulai mendekati 1,5:1. Hitung rasio normal dan rasio N-1 setelah kehilangan satu tulang belakang atau uplink; nomor kedua adalah yang menggigit saat maintenance.

Perencanaan berkisar berdasarkan beban kerja

Tidak ada rasio universal, jadi perlakukan hal berikut ini sebagai rentang perencanaan, bukan standar, dan validasikan terhadap lalu lintas terukur jika Anda bisa:

Pada peningkatan versi, tinjau pemanfaatan uplink saat ini, pola puncak dan timur-barat, aliran penyimpanan, dan periode pencadangan sebelum menerapkan rasio.

Langkah 4 - Pilih Optik dan Kabel QSFP28

QSFP28 100Antarmuka G distandarisasi oleh IEEE 802.3 - tersebutamandemen 802.3bmmenambahkan 100GBASE-SR4, bersama dengan-mode tunggal LR4 PHY. Pilih optik berdasarkan jarak, jenis serat, konektor, daya, dan kompatibilitas sakelar, dan hindari menetapkan default pada jangkauan terjauh: jangkauan yang tidak Anda perlukan biasanya berarti biaya dan daya yang tidak Anda perlukan. Cocokkan modul untuk dijalankan dengan margin yang masuk akal.

DAC dan AOC untuk tautan server pendek

Untuk koneksi-rak dan-rak yang berdekatan, kabel-sambungan langsung tembaga (DAC) dan kabel optik aktif (AOC) QSFP28 praktis. DAC pasif cocok untuk lompatan terpendek - beberapa meter - dengan biaya dan daya terendah, sementara AOC memperluas jangkauan dan lebih ringan serta fleksibel di mana curah tembaga menjadi masalah. Untuk akses 25G, DAC atau AOC breakout QSFP28-ke-4x SFP28 umum terjadi ketika switch mendukung breakout.

100GBASE-SR4 untuk uplink multimode pendek

SR4 membawa 100Gdelapan serat multimode paralelmenggunakan konektor MPO/MTP, yang menjadikannya-pilihan hemat biaya untuk jalur pendek-ke-punggung dalam satu baris. Jangkauannya bergantung pada tingkat serat - kira-kira 70 m pada OM3 dan 100 m pada OM4 - sehingga perlu diketahui jangkauan yang dapat Anda harapkan darinyaSerat multimode OM3, OM4, dan OM5di lantai Anda. Kendala perencanaan utama adalah pemasangan kabel paralel: patching dan polaritas MPO harus diselesaikan terlebih dahulu.

CWDM4 atau FR untuk mode-tunggal berjalan sejauh sekitar 2 km

Untuk tautan antar-baris,-ruangan, atau-aula, optik-mode tunggal seperti CWDM4 atau FR lebih cocok. Itu100G CWDM4 MSAmendefinisikan jangkauan 2 km melalui sepasang serat-mode tunggal dengan konektor LC dupleks dan FEC. Karena menggunakan serat dupleks dan bukan MPO paralel, optik CWDM4 dan FR sering kali dimasukkan ke dalam -pembangkit mode tunggal dengan lebih rapi dibandingkan SR4 - dan pada jarak tersebut terdapat pilihan antaraSerat mode tunggal OS1 dan OS2-mulai penting untuk anggaran kerugian Anda. Varian mode-tunggal yang lebih pendek seperti DR mencakup sekitar 500 m jika hanya itu yang Anda perlukan.

100GBASE-LR4 untuk kampus dan DCI

LR4 adalah opsi-jangka panjang, membawa 100Ghingga sekitar 10 km melalui serat mode tunggal-dupleksuntuk tautan interkoneksi-ke-gedung, atau-pusat-data. Gunakan hanya jika jarak benar-benar membutuhkannya; Optik-jangkauan panjang pada hop intra-data-pendek hanya menambah biaya, daya, dan panas tanpa memperbaiki kualitas bahan.

QSFP28 100Perbandingan Optik G

Tabel ini merangkum kesesuaian setiap opsi. Perlakukan jangkauan sebagai angka perencanaan umum, dan konfirmasikan angka pastinya, tingkat serat, dan persyaratan FEC pada lembar data setiap modul.

Contoh yang Dikerjakan: Kain Kecil, Sedang, dan Besar

Ini adalah model perencanaan yang disederhanakan, bukan cetak biru. Penghitungan tulang belakang biasanya dipilih untuk membagi uplink secara merata dan mengatur lebar ECMP: dua duri adalah jumlah minimum yang praktis untuk redundansi, empat duri memberikan granularitas N-1 yang lebih halus dan penyebaran beban yang lebih baik, dan delapan duri cocok untuk kain besar. Jumlah daun disesuaikan dengan port server yang Anda perlukan.

Kain kecil

• 8 saklar daun
• 2 saklar tulang belakang
• Port server 48 x 25G per daun
• 4 x 100G uplink per daun
• 384 port server 25G tunggal-berrumahan

Per daun: 1,200G ke bawah, 400G ke atas, jadi 3:1. Dapat diterapkan untuk komputasi umum, namun terbatas untuk penyimpanan berat atau AI. Tambahkan uplink atau pangkas akses per daun jika Anda memerlukan rasio yang lebih rendah.

Kain sedang

• 16 saklar daun
• 4 saklar tulang belakang
• Port server 48 x 25G per daun
• 6 x 100G uplink per daun
• 768 port server 25G tunggal-berrumahan

Per daun: 1,200G ke bawah, 600G ke atas, jadi 2:1. Keseimbangan yang solid untuk virtualisasi dan beban kerja perusahaan, dan empat duri menyebarkan ECMP lebih baik daripada dua.

Kain besar

• 32 saklar daun
• 8 saklar tulang belakang
• Port server 48 x 25G per daun
• 8 x 100G uplink per daun
• 1.536 port server 25G-tunggal

Per daun: 1,200G ke bawah, 800G ke atas, jadi 1,5:1. Lebih banyak ruang kepala uplink, tetapi lebih banyak optik, serat, biaya, daya, dan kabel yang harus dikelola. Pada skala ini, dokumentasi merupakan bagian dari desain: pelabelan, peta pelabuhan, polaritas, optik cadangan, aliran udara, dan pemantauan, semuanya harus direncanakan sebelum pemasangan.

Perencanaan Breakout QSFP28 (100G hingga 4x25G)

Breakout adalah bagian desain QSFP28 yang paling berguna dan paling disalahpahami. Jika sakelar, kabel, dan konfigurasi memungkinkan, satu port QSFP28 dibagi menjadi empat tautan 25G SFP28, menghubungkan empat server 25G dari satu port 100G. Ini cocok ketika Anda membutuhkan kepadatan 25G yang tinggi, memiliki banyak port QSFP28, ingin menurunkan biaya per koneksi server, atau sedang membangun jaringan 25G/100G transisi, menggunakan QSFP28-ke-4x SFP28 DAC, AOC, atauKabel pelarian MTP/MPOtergantung jarak.

Tangkapannya adalah breakout menggunakan port QSFP28. Jika switch QSFP28 32-port mendedikasikan 16 port untuk breakout 4x25G, 16 port tersebut mendukung 64 server - namun hanya 16 port QSFP28 yang tersisa untuk uplink, penyimpanan, interkoneksi, dan cadangan. Aturan praktisnya adalah menghitung port breakout terlebih dahulu, lalu menghitung apa yang tersisa untuk uplink.

Sebelum Anda berkomitmen, konfirmasikan beberapa hal, dan putuskan sejak awal apakah setiap proses harus abagasi atau rakitan breakout:

• Port mana yang mendukung breakout, dan apakah ada-pembatasan grup port?
• Apakah mengaktifkan breakout menonaktifkan port yang berdekatan?
• Apakah sistem operasi switch mendukung mode yang Anda perlukan?
• DAC, AOC, atau optik breakout untuk setiap proses?
• Apakah keempat jalur tersebut dibutuhkan saat ini, atau nanti saja?
• Bagaimana dampak terobosan terhadap perpindahan ke server 100G asli di masa mendatang?

Manajemen Daya, Pendinginan, dan Kabel

Kain 100G menghasilkan lebih dari sekadar bandwidth - kain ini menghasilkan panas, beban aliran udara, dan kepadatan kabel. Penganggaran daya harus mencakup sasis dan kipas sakelar, modul optik QSFP28 (dan DAC atau AOC jika digunakan), pasokan berlebih, kapasitas tingkat rak, dan margin pertumbuhan. Pendinginan harus memperhitungkan tata letak lorong- dan dingin-, aliran udara depan-ke-belakang atau belakang-ke-depan yang konsisten, panel blanking, penghalang kabel, suhu sekitar, dan pemantauan suhu-modul, karena tulang belakang yang dilengkapi dengan optik merupakan beban termal yang nyata.

Pengkabelan berskala cepat: 16 daun hingga 4 duri sudah menjadi 64 tautan-ke-daun, yang masing-masing harus diberi label, dirutekan, diuji, dan didokumentasikan. Struktur-mesh penuh jauh lebih mudah untuk dibuat dan dipelihara dengan-penghentian awalKabel utama MPO/MTPdibandingkan dengan-serat yang diakhiri di lapangan. Tim juga harus menyelesaikan konvensi konektor dan polaritas terlebih dahulu; ituperbedaan praktis antara MTP dan MPOlayak dikonfirmasi sebelum Anda memesan. Dokumentasi yang ceroboh tidak memerlukan biaya apa pun pada hari pertama dan sangat mahal pada pemadaman pertama.

Merancang untuk Peningkatan 400G

Rancang kain dengan jalur peningkatan yang realistis. Anda tidak memerlukan 400G di mana pun pada hari pertama, namun Anda harus menghindari pilihan yang membuat perpindahan tersebut menyakitkan nantinya. Mulailah memikirkan kesiapan 400G ketika spine uplink sudah penuh beban, ketika menambahkan lebih banyak 100G spine menjadi sulit, ketika jumlah jalur ECMP mendekati batas platform, atau ketika AI, penyimpanan, atau pertumbuhan timur-barat sedang meningkat.

Strategi yang biasa dilakukan adalah meningkatkan tulang belakang terlebih dahulu: daun mempertahankan uplink 100G sementara tulang belakang-berkapasitas lebih tinggi - menggunakan port sepertiQSFP-DD- menambahkan ruang kepala, sering kali dengan port 400G dipecah menjadi 4x100G kembali ke daun yang ada. Lintasan yang lebih luas ditentukan oleh industri: thePeta jalan Aliansi Ethernetkini berjalan hingga 400G, 800G, dan seterusnya, yang sebagian besar didorong oleh AI. Saat Anda mengevaluasi sakelar, periksa apakah platform mendukung kecepatan, optik, mode breakout, dan fitur perangkat lunak yang diperlukan untuk peningkatan bertahap.

Ketika Tulang Belakang 100G-Desain Daun Bukanlah Pilihan yang Tepat

Desain ini tidak universal, dan dalam beberapa kasus memerlukan sesuatu yang lain. Sejumlah server dalam satu atau dua rak jarang memerlukan pembangunan-leaf yang lengkap, di mana sepasang sakelar redundan lebih sederhana dan lebih murah. Kluster pelatihan AI yang sangat besar mungkin melampaui kemampuan yang dapat ditangani dengan baik oleh akses 100G dan spine fabric 100G, dengan mendarat di fabric 400G atau 800G - atau bahkan jaringan InfiniBand khusus - sejak awal. Dan jika hampir semua lalu lintas berada di utara-selatan menuju gerbang, bukan timur-barat di antara rak, keunggulan timur-barat dari tulang belakang-tidak terlalu menjadi masalah, sehingga topologi harus dibenarkan berdasarkan pertumbuhan dan operasional, bukan asumsi. Cocokkan arsitektur dengan lalu lintas dan skalanya, bukan sebaliknya.

Tulang Belakang 100G yang Umum-Kesalahan Desain Daun

• Menghitung port QSFP28 dua kali.Port dapat berupa breakout 4x25G atau uplink 100G, tidak pernah keduanya. Berikan setiap port satu peran.
• Memilih optik berdasarkan jangkauan maksimum.Jangkauan yang lebih panjang menambah biaya dan tenaga; mencocokkan optik dengan jarak dan jenis serat sebenarnya.
• Mengabaikan N-1.Periksa rasio selama pengoperasian normal dan setelah kehilangan tulang belakang.
• Melupakan kekuatan optik dan panas.Bagian belakang yang penuh dengan modul QSFP28 adalah beban termal asli, jadi sertakan optik dalam perhitungan daya dan pendinginan.
• Memperlakukan pemasangan kabel sebagai renungan.Perutean, pelabelan, polaritas, dan dokumentasi termasuk dalam desain, bukan pemasangan.
• Dirancang hanya untuk kecepatan server saat ini.Jika akses 25G akan beralih ke 100G, sisakan ruang untuk 100G asli atau 400G.

Kesimpulan

Desain spine-leaf 100G yang baik adalah jumlah keputusan yang dibuat sebelum perangkat keras tiba: menentukan beban kerja, menghitung port dengan benar, menghitung kelebihan permintaan dalam kondisi normal dan kegagalan, memilih optik berdasarkan jarak, merencanakan terobosan dengan sengaja, menganggarkan daya dan pendinginan, dan memberikan ruang untuk 400G. Bagi sebagian besar pusat data perusahaan, akses 25G dengan uplink 100G QSFP28 tetap memberikan keseimbangan yang kuat antara kinerja, biaya, dan skala, sementara penyimpanan, AI, dan HPC memerlukan kelebihan permintaan yang lebih rendah dan validasi yang lebih ketat. Pendekatan yang andal tidak berubah: desain dari server ke luar, buktikan matematika dalam kondisi normal dan N-1, dan dokumentasikan setiap tautan sebelum penerapan.