Temperature AI: Atur Kreativitas dan Akurasi Jawaban
Apa fungsi temperature pada model AI? Pelajari cara ia mengatur keacakan, bedanya dengan top-p, dan setelan terbaik untuk kode, fakta, dan tulisan kreatif.
Ajukan pertanyaan yang sama dua kali ke model AI, dan kamu bisa mendapat dua jawaban berbeda. Itu bukan kesalahan sistem. Perilaku ini diatur oleh setelan bernama temperature, salah satu parameter paling berguna sekaligus paling sering disalahpahami di API AI.
Cara model bahasa memilih kata berikutnya
Model bahasa menulis satu token dalam satu waktu. Di setiap langkah, model memberi skor pada semua kemungkinan token berikutnya. Skor itu diubah menjadi peluang dengan fungsi softmax, lalu model mengambil (sampling) satu token dari sebaran peluang tersebut.
Contohnya, setelah "Langit berwarna", model mungkin memberi "biru" peluang 70%, "cerah" 15%, dan "ungu" 1%. Karena diambil secara acak berbobot, model biasanya memilih "biru", tetapi tidak selalu.
Apa yang sebenarnya dilakukan temperature
Temperature mengubah bentuk sebaran peluang itu sebelum model memilih. Secara teknis, skor dibagi dengan nilai temperature sebelum masuk ke softmax.
Temperature rendah (mendekati 0). Sebaran menjadi lebih tajam. Token yang paling mungkin hampir selalu menang, sehingga jawaban fokus, konsisten, dan mudah ditebak.
Temperature sedang (sekitar 0,7 sampai 1). Keseimbangan antara keandalan dan variasi. Cocok untuk percakapan yang natural.
Temperature tinggi. Sebaran menjadi lebih rata, sehingga token yang kurang mungkin lebih sering terpilih. Hasilnya lebih mengejutkan dan kreatif, tetapi juga lebih mudah melenceng atau keliru.
Panduan pembuatan teks dari Hugging Face memperlihatkan efek ini dengan contoh visual yang jelas.
Rentang temperature berbeda di tiap penyedia
Tidak semua API memakai skala yang sama. Referensi API OpenAI menerima nilai 0 sampai 2, sedangkan Messages API dari Anthropic memakai 0 sampai 1. Dokumentasi Anthropic juga menyebutkan bahwa temperature 0 pun tidak menjamin hasil yang sepenuhnya identik. Beberapa model terbaru membatasi atau mengabaikan setelan ini, jadi selalu cek dokumentasi model yang kamu pakai.
Temperature vs top-p
Top-p, atau nucleus sampling, memakai pendekatan lain. Alih-alih mengubah bentuk peluang, top-p hanya menyisakan kumpulan token terkecil yang total peluangnya mencapai nilai p, lalu memilih dari kumpulan itu. Metode ini diperkenalkan dalam makalah The Curious Case of Neural Text Degeneration karya Holtzman dan rekan-rekannya.
Dengan top-p 0,9, model mengabaikan deretan panjang kata yang sangat kecil peluangnya. Referensi OpenAI menyarankan untuk mengubah temperature atau top-p, tetapi umumnya tidak keduanya sekaligus, karena efeknya saling tumpang tindih.
Setelan praktis sesuai tugas
Kode, ekstraksi data, dan klasifikasi: gunakan temperature rendah (0 sampai 0,3). Kamu ingin jawaban benar yang sama setiap kali.
Tanya jawab faktual dan ringkasan: tetap di rendah hingga sedang. Keacakan yang tinggi menaikkan risiko detail karangan, masalah yang kami jelaskan dalam artikel mengapa chatbot bisa mengarang jawaban.
Asisten chat: nilai sedang membuat balasan terasa natural tanpa kehilangan fokus.
Brainstorming, cerita, dan slogan: naikkan temperature untuk ide yang lebih beragam, lalu pilih sendiri yang terbaik.
Ubah satu hal dalam satu waktu. Jika hasilnya kurang pas, sesuaikan temperature sedikit demi sedikit dan bandingkan hasilnya dengan prompt yang sama.
Temperature bukan pengganti prompt yang baik
Menurunkan temperature membuat model lebih konsisten, bukan lebih benar. Jika instruksinya samar, kamu hanya akan mendapat jawaban samar yang sama setiap kali. Konteks yang jelas, format yang ditentukan, dan contoh jauh lebih berpengaruh, seperti dibahas dalam panduan kami tentang menulis prompt yang lebih baik.
Anggap temperature sebagai kenop kreativitas: putar ke bawah untuk presisi, putar ke atas untuk kemungkinan.
Jelajahi lebih lanjut
Setelah hasilnya stabil, kamu bisa membuat jawabannya berpijak pada data nyata dengan retrieval-augmented generation (RAG), atau temukan produk AI yang kami bangun di Ryuartistry.