Menghitung biaya menjalankan AI di perusahaan
Harga per token terus turun, tetapi tagihan bulanan justru naik. Ini komponen biaya yang biasanya luput dari perhitungan awal.
Ringkasan
- Biaya terbesar penerapan AI umumnya adalah inferensi harian, bukan pelatihan model.
- Token masukan dan token keluaran ditagih terpisah dengan tarif berbeda.
- Satu tugas pengguna sering memicu beberapa panggilan model, sehingga biaya nyata berlipat dari perkiraan awal.
- Konteks yang dikirim berulang tiap permintaan adalah penyebab pembengkakan yang paling sering terlewat.
- Perkiraan yang layak dipakai harus dihitung per tugas, bukan per permintaan.
Komponen yang membentuk tagihan
Menyusun anggaran AI meleset biasanya bukan karena tarifnya mahal, melainkan karena struktur biayanya tidak dipahami sejak awal. Ada beberapa komponen yang perlu dipisahkan.
Token masukan dan token keluaran
Hampir semua penyedia menagih keduanya secara terpisah, dan tarif keluaran umumnya beberapa kali lipat lebih mahal daripada masukan. Konsekuensinya, alur kerja yang menghasilkan teks panjang — menulis draf, membuat laporan — jauh lebih mahal per permintaan dibanding alur kerja yang hanya mengklasifikasikan atau memberi jawaban pendek.
Konteks yang dikirim berulang
Model tidak mengingat percakapan sebelumnya. Agar terasa berkesinambungan, seluruh riwayat yang relevan dikirim ulang pada setiap permintaan. Artinya percakapan yang makin panjang makin mahal per giliran, meski pertanyaan terakhir Anda hanya beberapa kata.
Biaya pendukung
Di luar tagihan model ada komponen yang mudah terlupa: penyimpanan dan pengindeksan dokumen bila memakai pencarian, pemrosesan ulang dokumen setiap kali diperbarui, serta pemantauan dan penyimpanan log yang biasanya diwajibkan untuk audit.
Pengali tersembunyi yang membuat tagihan melonjak
Selisih antara estimasi awal dan tagihan sebenarnya hampir selalu berasal dari salah satu faktor berikut.
| Faktor | Efek pada biaya | Cara menekan |
|---|---|---|
| Beberapa panggilan per tugas | Satu tugas pengguna memicu 3–10 panggilan model. | Hitung biaya per tugas selesai, bukan per panggilan. |
| Percobaan ulang otomatis | Kegagalan memicu pengulangan yang tetap ditagih. | Batasi jumlah percobaan dan catat penyebab kegagalannya. |
| Konteks berlebih | Seluruh dokumen dikirim padahal hanya sebagian relevan. | Ambil hanya bagian yang relevan sebelum dikirim. |
| Keluaran tanpa batas | Model menghasilkan jawaban jauh lebih panjang dari perlu. | Tetapkan batas token keluaran dan minta format ringkas. |
| Pemakaian melonjak setelah dibuka luas | Uji coba internal tidak mencerminkan volume nyata. | Luncurkan bertahap sambil memantau biaya harian. |
| Model terlalu besar untuk tugasnya | Tugas sederhana dikerjakan model termahal. | Pilah tugas: model kecil untuk klasifikasi, besar untuk penalaran. |
Menyusun estimasi yang tidak meleset jauh
Perkiraan yang berguna dibangun dari bawah, bukan dari tarif yang dikalikan tebakan volume. Urutan berikut memberi hasil yang jauh lebih dekat dengan kenyataan.
Definisikan satu tugas selesai. Bukan satu panggilan model, melainkan satu pekerjaan utuh dari sudut pandang pengguna — misalnya satu tiket dukungan terjawab. Ukur berapa panggilan yang dibutuhkan untuk itu.
Ukur token nyata, jangan menebak. Jalankan tiga puluh sampai lima puluh contoh nyata, catat token masukan dan keluaran sebenarnya. Angka hasil pengukuran hampir selalu berbeda jauh dari perkiraan intuitif.
Kalikan dengan volume realistis. Pakai volume pada jam sibuk, bukan rata-rata harian, karena kapasitas dan anggaran perlu menahan puncaknya.
Tambahkan margin untuk pengulangan. Kegagalan jaringan, percobaan ulang, dan pengguna yang mengulang permintaan karena jawaban pertama kurang tepat biasanya menambah belasan sampai puluhan persen.
Hitung ulang setelah sebulan berjalan. Pola pemakaian nyata hampir selalu berbeda dari asumsi awal, dan estimasi perlu dikoreksi berdasarkan data sendiri.
Menjaga biaya tetap terkendali
Pasang batas anggaran dan peringatan. Hampir semua penyedia menyediakan pembatas belanja. Memasangnya sejak hari pertama mencegah kejutan di akhir bulan.
Catat biaya per fitur, bukan hanya total. Tanpa rincian, mustahil mengetahui fitur mana yang menghabiskan anggaran dan apakah nilainya sepadan.
Pilah tugas menurut kebutuhan. Sebagian besar alur kerja mengandung banyak tugas sederhana yang tidak memerlukan model termahal. Memilahnya kerap memangkas biaya secara signifikan tanpa menurunkan kualitas yang dirasakan pengguna.
Simpan hasil yang berulang. Pertanyaan yang sama berulang kali tidak perlu diproses ulang setiap kali. Penyimpanan hasil untuk pertanyaan yang sering muncul adalah penghematan yang paling mudah diambil.
Untuk memahami mengapa model bekerja seperti ini, baca penjelas kami tentang cara kerja model bahasa besar.
Panduan lain di IDN96
Merawat baterai perangkat
Penyebab penurunan kapasitas dan kebiasaan pengisian yang benar-benar berpengaruh.
Memahami tahapan pendanaan startup
Arti seed hingga Seri C, valuasi, dilusi, dan cara membaca angkanya.
Dampak akuisisi bagi pengguna
Nasib data akun, perubahan harga, dan cara mengamankan data sebelum tenggat.
Tentang tulisan ini
- Ditulis oleh
- Ainun Masruroh, penulis kecerdasan buatan, kanal Kecerdasan Buatan. Bidang yang ia kuasai dan susunan penanggung jawab ada di halaman Redaksi.
- Jenis tulisan
- Penjelas evergreen. Menjelaskan cara kerja dan cara menilai, bukan melaporkan peristiwa bertanggal.
- Cara kami menyusun
- Setiap klaim ditelusuri ke sumber primer dan disunting oleh editor yang tidak menulis artikel ini. Alur lengkapnya dijelaskan di pedoman redaksi.
- Menemukan kekeliruan?
- Kirim ke [email protected] dengan menyertakan tautan halaman ini. Ditanggapi dalam satu hari kerja lewat prosedur koreksi.
- Kepentingan komersial
- Tulisan ini bukan konten bersponsor dan tidak dibayar pihak mana pun.