Untuk tes, timnya menggunakan pengaturan dengan GPU A100 dan H100 NVIDIA, yang paling umum digunakan di pusat data saat ini, dan mengukur berapa banyak energi yang mereka gunakan menjalankan berbagai model bahasa besar (LLM), model difusi yang menghasilkan gambar atau video berdasarkan input teks, dan banyak jenis sistem AI lainnya.
LLM terbesar yang termasuk dalam papan peringkat adalah Meta Llama 3.1 405b, AI berbasis obrolan open-source dengan 405 miliar parameter. Ini mengkonsumsi 3352,92 joule energi per permintaan berjalan pada dua GPU H100. Itu sekitar 0,93 watt-jam-secara signifikan kurang dari 2,9 watt jam yang dikutip untuk pertanyaan chatgpt. Pengukuran ini mengkonfirmasi peningkatan efisiensi energi perangkat keras. Mixtral 8x22b adalah LLM terbesar yang berhasil dijalankan tim di platform Ampere dan Hopper. Menjalankan model pada dua GPU Ampere menghasilkan 0,32 watt-jam per permintaan, dibandingkan dengan hanya 0,15 watt-jam pada satu GPU hopper.
Namun, yang masih belum diketahui adalah kinerja model kepemilikan seperti GPT-4, Gemini, atau Grok. Tim Inisiatif Energi ML mengatakan sangat sulit bagi komunitas penelitian untuk mulai menghasilkan solusi untuk masalah efisiensi energi ketika kita bahkan tidak tahu apa yang sebenarnya kita hadapi. Kita dapat membuat perkiraan, tetapi Chung bersikeras bahwa mereka perlu disertai dengan analisis yang terikat kesalahan. Kami tidak memiliki hal seperti itu hari ini.
Masalah yang paling mendesak, menurut Chung dan Chowdhury, adalah kurangnya transparansi. “Perusahaan seperti Google atau Open AI tidak memiliki insentif untuk berbicara tentang konsumsi daya. Jika ada, melepaskan angka aktual akan membahayakan mereka,” kata Chowdhury. “Tetapi orang -orang harus memahami apa yang sebenarnya terjadi, jadi mungkin kita harus entah bagaimana membujuk mereka untuk melepaskan beberapa angka itu.”
Dimana karet bertemu jalan
“Efisiensi energi di pusat data mengikuti tren yang mirip dengan hukum Moore – hanya bekerja dalam skala yang sangat besar, bukan pada satu chip,” kata Harris Nvidia. Konsumsi daya per rak, sebuah unit yang digunakan di pusat data perumahan antara 10 dan 14 NVIDIA GPU, akan naik, katanya, tetapi kinerja-per-watt semakin baik.