Kontrol Biaya AI yang Semakin Meningkat — Ini Cara Menjaganya Tetap Terkendali
Penggunaan cloud terus meningkat, begitu juga dengan biaya yang terkait — khususnya, belakangan ini, yang didorong oleh AI. Analis Gartner memprediksi pengeluaran pengguna akhir di layanan cloud publik di seluruh dunia akan melonjak hingga $723.4 miliar pada tahun 2025, dari sedikit di bawah $600 miliar pada tahun 2024. Dan 70% eksekutif yang disurvei dalam laporan IBM menyebut AI generatif sebagai pendorong kritis dari peningkatan ini.
Sementara itu, DeepSeek China menciptakan kehebohan ketika mengklaim bahwa hanya memerlukan dua bulan dan $6 juta untuk melatih model AI-nya. Ada keraguan apakah angka-angka tersebut menceritakan seluruh cerita, namun jika harga saham Microsoft dan Nvidia yang masih terguncang menjadi indikasi, pengumuman tersebut membangunkan dunia Barat tentang perlunya sistem AI yang hemat biaya.
Hingga saat ini, perusahaan telah dapat memperlakukan biaya AI yang meningkat sebagai penghapusan R&D. Namun biaya AI — khususnya yang terkait dengan produk dan fitur yang sukses — pada akhirnya akan memengaruhi biaya barang yang dijual (COGS) perusahaan, dan akibatnya, margin keuntungan kotor mereka. Inovasi AI selalu ditakdirkan untuk menghadapi penilaian bisnis yang dingin; pengumuman DeepSeek hanya memperpendek jangka waktu tersebut.
Seperti halnya yang mereka lakukan dengan seluruh cloud publik, perusahaan akan perlu mengelola biaya AI mereka, termasuk biaya pelatihan dan konsumsi. Mereka perlu menghubungkan pengeluaran AI dengan hasil bisnis, mengoptimalkan biaya infrastruktur AI, menyempurnakan strategi penetapan harga dan paket, serta memaksimalkan pengembalian investasi AI mereka.
Bagaimana mereka bisa melakukannya? Dengan ekonomi unit cloud (CUE).
Apa itu ekonomi unit cloud (CUE)?
CUE terdiri dari pengukuran dan maksimalisasi keuntungan yang didorong oleh cloud. Mekanisme dasarnya adalah menghubungkan data biaya cloud dengan data permintaan pelanggan dan data pendapatan, mengungkap dimensi bisnis yang paling menguntungkan dan yang paling merugikan sebuah perusahaan, dan dengan demikian menunjukkan kepada perusahaan bagaimana dan di mana harus mengoptimalkan. CUE berlaku untuk semua sumber pengeluaran cloud, termasuk biaya AI.
Landasan CUE adalah alokasi biaya — mengorganisir biaya cloud berdasarkan siapa dan/atau apa yang mendorongnya. Dimensi alokasi umumnya meliputi biaya per pelanggan, biaya per tim rekayasa, biaya per produk, biaya per fitur, dan biaya per mikroservis. Perusahaan yang menggunakan platform manajemen biaya modern seringkali mengalokasikan biaya dalam kerangka kerja yang mencerminkan struktur bisnis mereka (hirarki rekayasa, infrastruktur platform, dll.).
Kemudian, inti dari CUE adalah metrik biaya unit, yang membandingkan data biaya dengan data permintaan untuk menunjukkan kepada sebuah perusahaan biaya total mereka untuk melayani. Sebagai contoh, perusahaan pemasaran B2B mungkin ingin menghitung “biaya per 1.000 pesan” yang dikirim melalui platform mereka. Untuk melakukannya, mereka harus melacak biaya cloud mereka dan jumlah pesan yang dikirim, memberikan data tersebut ke sistem tunggal, dan menginstruksikan sistem tersebut untuk membagi biaya cloud mereka dengan pesan mereka dan menampilkan hasilnya dalam sebuah dashboard.
Karena perusahaan dimulai dengan alokasi biaya, mereka kemudian dapat melihat biaya per 1.000 pesan mereka berdasarkan pelanggan, produk, fitur, tim, mikroservis, atau pandangan lain yang mereka anggap mencerminkan struktur bisnis mereka.
Hasilnya:
– Dimensi bisnis fleksibel di mana mereka dapat menyaring metrik biaya unit mereka, menunjukkan kepada mereka area bisnis mana yang mendorong biaya cloud mereka
– Metrik biaya unit yang mencerahkan mereka tentang seberapa efisien mereka memenuhi permintaan pelanggan
– Kemampuan untuk melakukan peningkatan efisiensi yang ditargetkan, seperti merombak infrastruktur, menyesuaikan kontrak pelanggan, atau menyempurnakan model penetapan harga dan paket
CUE di Era AI
Dalam model CUE, biaya AI hanyalah satu lagi sumber pengeluaran cloud yang dapat dimasukkan ke dalam kerangka alokasi bisnis. Cara perusahaan AI menyebarkan data biaya masih terus berkembang, namun dalam prinsipnya, platform manajemen biaya memperlakukan biaya AI dengan cara yang sama seperti mereka memperlakukan biaya AWS, Azure, GCP, dan SaaS.
Platform manajemen biaya cloud modern mengalokasikan biaya AI dan menunjukkan dampak efisiensinya dalam konteks metrik biaya unit.
Perusahaan sebaiknya mengalokasikan biaya AI mereka dengan beberapa cara yang intuitif. Salah satunya adalah biaya per tim, sebuah dimensi alokasi umum untuk semua sumber pengeluaran cloud, menunjukkan biaya yang harus ditanggung setiap tim rekayasa. Hal ini sangat berguna karena pemimpin tahu persis siapa yang harus dinotifikasi dan dipertanggungjawabkan ketika biaya tim tertentu melonjak.
Perusahaan mungkin juga ingin mengetahui biaya per jenis layanan AI — model machine learning (ML) versus model dasar versus model pihak ketiga seperti OpenAI. Atau, mereka dapat menghitung biaya per tahap SDLC untuk memahami bagaimana biaya fitur yang didukung AI berubah saat beralih dari pengembangan ke pengujian ke staging dan akhirnya ke produksi. Sebuah perusahaan dapat menjadi lebih terperinci dan menghitung biaya per tahap siklus hidup pengembangan AI, termasuk pembersihan data, penyimpanan, pembuatan model, pelatihan model, dan inferensi.
Menggeser sedikit perhatian dari detail: CUE berarti membandingkan data biaya cloud yang terorganisir dengan data permintaan pelanggan dan kemudian mencari tahu di mana harus mengoptimalkan. Biaya AI hanyalah satu lagi sumber data biaya cloud yang, dengan platform yang tepat, terintegrasi dengan lancar ke dalam strategi CUE keseluruhan perusahaan.
Menghindari tsunami COGS
Hingga tahun 2024, hanya 61% perusahaan yang memiliki sistem manajemen biaya cloud yang diformalkan (berdasarkan survei CloudZero). Biaya cloud yang tidak dikelola segera menjadi sulit dikelola: 31% perusahaan — jumlah yang mirip dengan bagian yang tidak secara resmi mengelola biaya mereka — mengalami dampak COGS yang besar, melaporkan bahwa biaya cloud mengonsumsi 11% atau lebih dari pendapatan mereka. Biaya AI yang tidak dikelola hanya akan memperburuk tren ini.
Organisasi paling maju saat ini memperlakukan biaya cloud seperti pengeluaran besar lainnya, menghitung ROI-nya, memecah ROI tersebut berdasarkan dimensi bisnis yang paling kritis, dan memberdayakan anggota tim yang relevan dengan data yang diperlukan untuk mengoptimalkan ROI tersebut. Platform manajemen biaya cloud generasi berikutnya menawarkan alur kerja CUE yang komprehensif, membantu perusahaan menghindari tsunami COGS dan memperkuat keberlanjutan jangka panjang.
Dengan demikian, penting bagi perusahaan untuk menjaga biaya AI mereka tetap terkendali dan terukur agar dapat mengoptimalkan investasi mereka dalam teknologi AI. Dengan menggunakan pendekatan CUE dan platform manajemen biaya cloud yang tepat, perusahaan dapat memastikan bahwa biaya AI mereka tidak melampaui keuntungan yang dihasilkan oleh teknologi ini.