LIPUTANEKONOMI.COM — TypeSafe AI, startup yang didirikan mantan peneliti OpenAI, merilis model transformer bernama Jev yang tidak menghasilkan teks melainkan probabilitas atau "keputusan terkalibrasi". Model ini menjanjikan biaya jauh lebih murah dan kecepatan lebih tinggi dibanding LLM untuk otomasi perangkat lunak, dengan output yang tidak bisa berhalusinasi karena pengguna menentukan hasilnya di awal.
Diogo Almeida, peneliti OpenAI yang turut membangun ChatGPT dan mengembangkan teknik pelatihan RLHF, meninggalkan perusahaan itu dua tahun lalu untuk mendirikan TypeSafe AI. Kekecewaannya berakar pada satu masalah mendasar: model bahasa besar sangat mahal dan lambat untuk keperluan otomasi.
"Kami punya petir dalam botol, tapi tidak berguna," kata Almeida kepada TechCrunch. Menurutnya, industri terlalu lama mengoptimalkan model untuk bahasa manusia, padahal komputer berbicara dalam bahasa yang berbeda.
Bukan LLM, Tapi Transformer Juga
Jev tetap dibangun di atas arsitektur transformer, namun keluarannya bukan teks melainkan probabilitas. Pendekatan ini membuat model tidak bisa berhalusinasi karena pengguna mendefinisikan output yang diinginkan sejak awal.
Dari sisi biaya, output token Jev gratis, sementara input token dihitung per miliar, bukan per juta. TypeSafe menyebut Jev sebagai "System One model" yang fokus pada intuisi ketimbang penalaran, dan dilatih sepenuhnya dengan data sintetis memakai teknik yang disebut Almeida sebagai "reinforcement learning from calibrated decisions".
Almeida menyebut keputusan menggunakan data sintetis sebagai taruhan terbaik dalam kariernya. "Setengah dari perusahaan kami adalah lab yang menguasai subbidang data sintetis yang terukur secara statistik," ujarnya.
Developer Mulai Berbondong Uji Coba
Antusiasme developer terhadap Jev cukup tinggi. TypeSafe sempat kehilangan kemampuan melayani pengguna dari API-nya karena lonjakan permintaan.
Pranit Sharma, software engineer di Vercel, mengungkapkan perusahaannya sebelumnya memakai ChatGPT Luna 5.6 untuk menjalankan klasifier pemeriksaan keamanan perintah. Setelah beralih ke Jev, hasilnya diperoleh lima hingga 18 kali lebih cepat dengan akurasi lebih baik.
CTO Bryo AI, Nikhil Mudholkar, menguji Jev melawan Gemini untuk klasifikasi email bisnis. Gemini sedikit lebih akurat, tetapi biayanya 10 hingga 20 kali lebih mahal. Yang lebih menarik baginya adalah skor keyakinan Jev.
"Ini satu-satunya yang mengembalikan probabilitas nyata, membuatnya ideal untuk mengotomasi alur kerja," kata Mudholkar.
Melengkapi, Bukan Sekadar Menggantikan LLM
Selain menggantikan LLM di kasus penggunaan tertentu, Jev dapat memperkuat model bahasa besar dengan bertindak sebagai pengawas terhadap perilaku menyimpang. Menggunakan agen untuk memantau agen lain bisa cepat membengkak biayanya, tetapi dengan Jev hal itu menjadi masuk akal.
Almeida melihat pengguna akan memakai Jev untuk melacak jejak agen LLM dan mencegah jailbreak. Armin Ronacher, CTO Earendil yang membangun harness model open source Pi, menilai pendekatan ini mendelegasikan masalah halusinasi kepada pengguna.
"Pengguna harus berkata, oke, kalau ini hanya kembali dengan probabilitas 50 persen, mungkin ini lempar koin, saya abaikan. Tapi kalau 95 persen, tentu saya bisa melakukan sesuatu," jelas Ronacher.
Ronacher juga menyoroti potensi Jev untuk model routing. Memprediksi apakah suatu beban kerja memerlukan model tertentu akan berguna, tetapi memakai LLM untuk tugas itu terlalu mahal. Biaya dan kecepatan Jev memungkinkan penyortiran real-time semacam itu.
Taruhan pada Ledakan Kecerdasan Murah
Nama Jev diambil dari William Stanley Jevons, ekonom abad ke-19 yang terkenal lewat paradoks Jevons. Paradoks itu menggambarkan bagaimana penurunan harga suatu komoditas justru mendorong penggunaannya semakin meluas.
Almeida berharap hal serupa terjadi pada kecerdasan buatan. "Kami pikir akan ada perangkat lunak cerdas di mana-mana dengan cara yang muncul secara emergent dan terdistribusi, jauh lebih mirip internet awal ketimbang aplikasi mega yang coba dibangun orang sekarang," katanya.
TypeSafe enggan mengungkap arsitektur Jev secara rinci. Pengamat luar menduga model ini dibangun di atas LLM berbobot terbuka. Untuk saat ini, Jev berdiri sendiri sebagai model sejenis, tetapi Ronacher memperkirakan kompetitor akan bermunculan begitu kegunaannya terlihat jelas.
"Kita seharusnya sudah melihat ini sejak lama, tapi mungkin karena LLM begitu murah dan disubsidi, orang belum perlu berkreasi," ujarnya.
