Pelajaran yang Didapat Setelah Melatih 500 Juta Token GPT

Prompt yang ringkas memberikan hasil yang lebih baik saat menggunakan GPT

• GPT justru menjadi bingung jika hal-hal yang sebenarnya sudah diketahuinya sebagai pengetahuan umum dijelaskan terlalu berlebihan di dalam prompt
• Misalnya, untuk tugas mengklasifikasikan negara bagian (state) yang disebutkan dalam teks, hasilnya lebih akurat jika cukup meminta nama negara bagiannya daripada memberikan daftar 50 negara bagian

Hanya dengan chat API dari OpenAI pun sudah cukup untuk membangun fitur yang beragam dan kuat

• Tanpa alat tambahan seperti Langchain, cukup menggunakan chat API untuk mengimplementasikan fitur yang dibutuhkan seperti ekstraksi JSON secara sederhana
• Saat model GPT di-upgrade, cukup ubah satu string saja di codebase
• Hanya perlu menambahkan logika sederhana untuk penanganan error pada OpenAI API dan batas panjang input

Sulit menangani kasus ketika GPT tidak menemukan apa pun

• Dalam prompt seperti "jika tidak menemukan apa pun, kembalikan nilai kosong", GPT sering kali malah mengarang atau menjadi kurang percaya diri
• Solusinya adalah jangan mengirim prompt ke GPT ketika input memang kosong

GPT hanya dapat menghasilkan output dengan panjang terbatas

• Batas input GPT-4 adalah 128k token, tetapi batas outputnya hanya 4k token
• Saat meminta daftar objek JSON, GPT sulit menghasilkan lebih dari 10 item secara stabil

Database vektor dan RAG/embedding tidak terlalu membantu untuk penggunaan umum

• Untuk kegunaan selain pencarian, RAG tidak bekerja dengan baik
• Karena kesulitan menilai relevansi, masalah isolasi data, dan penurunan kepuasan pengguna, nilai praktisnya menjadi rendah
• Untuk pencarian umum, pencarian berfaset menggunakan GPT atau pembuatan kueri yang kompleks lebih cocok

GPT pada dasarnya tidak menciptakan halusinasi (hallucination)

• Dalam tugas mengekstrak informasi dari teks yang diberikan, GPT memberikan hasil yang sangat dapat diandalkan
• Namun, jika tidak ada informasi di dalam teks, GPT bisa saja mengarang
• Karena itu, penting untuk memberikan konteks yang cukup dan menangani respons GPT dengan baik

Opini GN⁺

• Hanya dengan model transformer, data web, dan infrastruktur berskala besar, tampaknya akan sulit mencapai AGI
• GPT-4 jelas berguna, tetapi untuk melangkah lebih jauh, tampaknya diperlukan inovasi pada arsitektur model itu sendiri
• Alternatif selain OpenAI tampaknya masih belum menyamai GPT, dan pada akhirnya perhatian tetap tertuju pada peningkatan versi GPT
• Diperkirakan performa GPT-5 tidak akan berada pada tingkat yang revolusioner dibanding GPT-4. Tampaknya efisiensi manfaat terhadap biaya sudah mendekati batasnya
• Karena itu, untuk sementara waktu, pilihan yang realistis tampaknya adalah memanfaatkan GPT-4 dan fokus pada desain prompt serta penerapan yang optimal

[GN⁺]

Opini Hacker News

• Seorang engineering manager membagikan pengalamannya mengelola tim yang memproses lebih dari 5 miliar token per bulan.
  • Banyak abstraksi seperti Langchain masih terlalu dini, dan karena prompt pada dasarnya hanyalah pemanggilan API, lebih mudah menulisnya sebagai kode biasa daripada memperlakukannya sebagai sesuatu yang istimewa.
  • Ringkasan cukup andal, tetapi penalaran sulit, terutama karena LLM kesulitan memahami konteks dan mengatakan saat ia tidak yakin.
  • Ini adalah game changer, tetapi bukan kiamat; akan sangat memengaruhi beberapa pekerjaan, namun tidak se-revolusioner internet dan lebih berperan sebagai pengganda daya.
• Seseorang membagikan pengalaman menggunakan model OpenAI dalam aplikasi menulis pribadi.
  • Ia mencoba menerapkan fitur pencarian cerdas seperti menemukan catatan draf dari 2 tahun terakhir yang menyebut Haskell, tetapi meminta ChatGPT mengembalikan data JSON terstruktur hanya bekerja sebagian.
  • Sebagai gantinya, memasukkan data ke database SQLite lalu mengirim skema ke ChatGPT dan memintanya menulis kueri yang mengembalikan hal yang diinginkan bekerja lebih baik.
• Dengan prompt yang lebih baik, model yang lebih murah pun bisa digunakan.
  • Mereka memberi LLM jalan keluar yang halus (jika tidak ada sufficient information, ia boleh membuat hipotesis tetapi harus menyatakannya dengan jelas serta memberikan dasar bukti dan logis), lalu memintanya mengevaluasi jawabannya sendiri.
• Ada yang bertanya-tanya mengapa mode JSON tidak diperlukan.
• Ada yang menguji prompt agar mengembalikan teks asli tanpa perubahan jika aturan tidak berlaku pada teks, tetapi ChatGPT justru mengembalikan string literal "The original text without any changes".
• GPT memang sangat keren, tetapi ada yang sangat tidak setuju dengan tafsiran bahwa semakin ambigu sesuatu, semakin baik kualitas dan generalisasinya.
  • Bahasa alami adalah keluaran yang paling mungkin bagi GPT, dan para pengembang hanya lebih mengandalkan hal-hal yang memang dikuasai GPT.
  • Bahkan tugas sederhana pun bisa membuat GPT gagal, dan gagasan bahwa GPT "memahami" pemetaan itu sendiri menyiratkan pencocokan pola tingkat tinggi.
• Meskipun GPT-4 adalah model dari 1 tahun lalu, performanya masih jauh lebih unggul dibanding LLM lain; tergantung pola penggunaan, halusinasi jarang terjadi dan ia lebih keras kepala saat ia "tahu" dirinya benar.
• Saat mengekstrak nama perusahaan, ada masalah hipotesis null: jika tidak ada perusahaan dalam teks, model justru mengusulkan perusahaan secara acak.
  • Diperlukan pendekatan dua tahap: pertama tanya "Apakah teks ini menyebut perusahaan?", lalu jika ya, minta "Tolong daftarkan nama perusahaan dalam teks ini".
• Ketidakmampuan GPT untuk mengembalikan lebih dari 10 item secara stabil hanyalah masalah prompt; dengan menggunakan key JSON, ia bisa mengembalikan hingga 200 item dalam urutan yang tepat.
• Tips untuk mengatasi masalah null:
  • Alih-alih "jangan kembalikan apa pun", mintalah "kembalikan nilai default XYZ", lalu lakukan pencarian teks untuk nilai default itu (XYZ), seperti saat mencari nama negara bagian.
  • Dengan system prompt, LLM bisa dibuat berperan sebagai X.
• Diperkenalkan sebuah micro-package untuk pemotongan berbasis token.