Pengembangan AI kini melampaui fase eksperimental. Industri beralih dari melatih model besar ke menjalankannya secara skala melalui inferensi berkelanjutan. Transisi ini secara fundamental mengubah persyaratan fisik dalam desain pusat data.
Infrastruktur tidak lagi hanya tentang penyimpanan atau hosting web. Sekarang fokusnya adalah mengelola beban listrik yang besar dan terus-menerus serta panas ekstrem.
The Shift to High-Density Compute
Pusat data perusahaan tradisional dirancang untuk beban kerja yang sesekali dan bersifat bursty. Mereka biasanya beroperasi dengan kepadatan rak 5 hingga 10 kW [1].
Beban kerja AI memerlukan arsitektur yang berbeda. Karena GPU mengonsumsi energi jauh lebih tinggi dibandingkan CPU tradisional, kepadatan daya meningkat tajam. Rak AI modern biasanya memerlukan 40 hingga lebih dari 100 kW per rak [2].
Beberapa sistem khusus mendorong batas ini lebih jauh lagi. Misalnya, sistem GB200 terbaru dapat mencapai kepadatan rak sekitar 132 kW [2].
Peningkatan kepadatan ini didorong oleh perangkat keras itu sendiri. Sementara CPU tradisional mungkin menggunakan 150 hingga 200 watt, satu GPU yang dioptimalkan untuk AI dapat mengonsumsi antara 700 hingga 1.200 watt [S4, S5].
Training Spikes versus Inference Baselines
Untuk merencanakan infrastruktur secara efektif, operator harus membedakan antara dua tahap utama dalam siklus hidup AI. Kebingungan antara keduanya dapat menyebabkan keputusan energi dan kapasitas yang keliru [1].
Pelatihan merupakan lonjakan daya. Ini melibatkan penggunaan watt tinggi yang berkelanjutan selama durasi tertentu, seperti minggu atau bulan [1].
Inferensi adalah baseline daya. Ini adalah proses menggunakan model yang sudah dilatih untuk menghasilkan output, dan berjalan secara terus-menerus [1].
Saat ini inferensi menjadi penggerak utama permintaan energi. Inferensi menyumbang sekitar 80 hingga 90 persen dari total komputasi AI [S1, S5].
Karena inferensi selalu aktif dan skalanya mengikuti permintaan pengguna, ia menentukan biaya daya jangka panjang bagi kebanyakan organisasi [1].
Navigating the Energy Supply Gap
Seiring permintaan AI meningkat, ia bertabrakan dengan batas infrastruktur yang keras. Kendala utama kini bukan lagi ketersediaan chip, melainkan ketersediaan daya [1].
Di pusat data utama, sambungan jaringan berkapasitas tinggi dapat menghadapi waktu tunggu 4 hingga 7 tahun [3]. Hal ini menciptakan kesenjangan besar antara kebutuhan komputasi dan kemampuan menyediakan listrik.
Operator mengeksplorasi beberapa strategi berbeda untuk mengelola kesenjangan ini [3]:
- Grid Power: Ini adalah pilihan default bagi kebanyakan perusahaan, tetapi terikat pada antrean interkoneksi yang panjang dan potensi pemotongan daya saat darurat [3].
- Small Modular Reactors (SMRs): Menyediakan daya baseload yang berkelanjutan dan bebas karbon. Ini merupakan taruhan jangka panjang bagi hyperscalers, meskipun melibatkan biaya modal tinggi dan kompleksitas regulasi [3].
- Natural Gas: Turbin gas di lokasi merupakan opsi yang lebih cepat, sering dapat dioperasikan dalam 12 hingga 18 bulan, namun menghasilkan emisi karbon [3].
The Necessity of Liquid Cooling
Kepadatan daya yang ekstrem menciptakan masalah termal yang ekstrem. Saat rak menjadi lebih padat dengan GPU berdaya tinggi, mereka menghasilkan panas lebih banyak daripada pendinginan udara tradisional dapat menghilangkan [2].
Pendinginan udara menjadi tidak praktis begitu sebuah rak melebihi kira-kira 30 kW [2]. Pada level ini, volume aliran udara yang diperlukan terlalu besar untuk efisien.
Fasilitas AI modern harus beralih ke solusi pendinginan cair. Ini mencakup pendinginan langsung ke chip, di mana cairan diterapkan pada prosesor, atau pendinginan immersi penuh [2].
Pendinginan merupakan bagian signifikan dari total konsumsi energi. Di fasilitas AI besar, infrastruktur pendinginan dapat menyerap antara 30 hingga 40 persen dari total listrik yang digunakan [S1, S2].
Sources
- Power Requirements for AI Data Centers (2026): Complete Guide
- AI Data Center Design Guide | AI Wiki
- What Are the Power Requirements for AI Data Centers?
- AI Power Requirements Guide | AI Wiki
- AI Data Center Power Requirements 2026: The Grid-to-Chip Guide
- PDF GPU Rack Power Requirements: Data Center Planning Guide
- Managing power requirements for AI data centers | Eaton
