g1 - Membuat rantai penalaran mirip o1 menggunakan Llama-3.1 70B di Groq

• g1 adalah prototipe awal yang menggunakan strategi prompt untuk meningkatkan kemampuan penalaran LLM
• Ini memungkinkan LLM menyelesaikan masalah logika dan memecahkan persoalan yang sulit ditangani model-model sebelumnya
• g1 dirilis sebagai open source untuk menginspirasi komunitas open source mengembangkan strategi baru

Cara kerja

• g1 menggunakan Llama3.1-70b untuk menghasilkan Chain of Thought yang dinamis.
• Pada setiap langkah, LLM dapat melanjutkan ke langkah penalaran berikutnya atau memberikan jawaban akhir.
• System prompt mencakup tip untuk LLM.
• Misalnya, ada instruksi seperti "sertakan eksplorasi jawaban alternatif" dan "gunakan setidaknya 3 metode untuk mendapatkan jawaban".
• Metode-metode ini meningkatkan kemampuan penalaran LLM.

Contoh

• g1 dapat menyelesaikan masalah logika sederhana dengan akurasi 60-80%.
• Contoh: untuk pertanyaan "berapa banyak huruf R dalam strawberry?", g1 menunjukkan akurasi 70%.

Mulai cepat

• Cara menggunakan UI Streamlit:

  python3 -m venv venv  
  source venv/bin/activate  
  pip3 install -r requirements.txt  
  export GROQ_API_KEY=gsk...  
  streamlit run app.py  
  

• Cara menggunakan UI Gradio:

  cd gradio  
  pip3 install -r requirements.txt  
  python3 app.py  
  

Strategi prompt

• Contoh prompt:

  {  
    "title": "Identifying Key Information",  
    "content": "To begin solving this problem, we need to carefully examine the given information and identify the crucial elements that will guide our solution process. This involves...",  
    "next_action": "continue"  
  }  
  

• Komposisi prompt:

  • Menetapkan peran sebagai asisten AI ahli
  • Menyediakan judul dan isi untuk setiap langkah
  • Merespons dalam format JSON
  • Menggunakan setidaknya 3 langkah penalaran
  • Menyadari keterbatasan LLM dan menyertakan eksplorasi jawaban alternatif
  • Saat meninjau ulang, benar-benar menggunakan pendekatan yang berbeda

Fork utama

• Mult1: membuat rantai penalaran mirip o1 menggunakan beberapa penyedia AI (GitHub Repository)

Credits

• Aplikasi ini dikembangkan oleh Benjamin Klieger

Ringkasan GN⁺

• g1 adalah prototipe awal yang menggunakan strategi prompt untuk meningkatkan kemampuan penalaran LLM.
• Dirilis sebagai open source untuk menginspirasi komunitas open source mengembangkan strategi baru.
• g1 menunjukkan akurasi lebih tinggi daripada model sebelumnya dalam menyelesaikan masalah logika sederhana.
• Artikel ini berguna untuk mengeksplorasi berbagai cara meningkatkan kemampuan penalaran LLM.
• Proyek lain dengan fungsi serupa adalah o1 dari OpenAI.

[GN⁺]

Komentar Hacker News

• Metode ChainOfThought itu sederhana, dan TreeOfThoughts adalah metode yang lebih canggih
  • Petunjuk yang terkait dengan OpenAI berhubungan dengan pencarian pohon
  • Penting untuk membangun CoT sebagai pohon dan menemukan solusi optimal
• Menarik melihat instruksi ditekankan dengan huruf kapital
  • Orang pertama yang berhasil mewujudkan AGI akan menemukan cara untuk meningkatkan keandalan LLM
• Inovasi o1 bukanlah Chain-of-Thought, melainkan mengajarkan model untuk menjalankan CoT dengan baik
  • Performa o1 tidak bisa didapat hanya dengan prompt engineering sederhana
• LLM dapat menyelesaikan masalah dengan "memperbesar" input secara berbeda
  • Teks dapat dimasukkan per huruf atau diubah ke bentuk gambar untuk memeriksa detail
• Melakukan pekerjaan yang mirip dengan proyek optillm
  • LLM dapat ditingkatkan dengan menggunakan berbagai teknik optimisasi
• Diubah agar berjalan 100% lokal menggunakan ollama:8b
  • Readme masih belum diperbarui
• Penting untuk menemukan definisi "penalaran"
  • Masalah penalaran LLM dapat diselesaikan dengan menggabungkannya dengan algoritme klasik
  • Proses berpikir perlu dibagi menjadi dua bagian dan dijalankan pada model yang sesuai
• Pada prompt yang menanyakan mana yang lebih besar antara .9 dan .11, ia menjawab bahwa .9 lebih besar
  • Ini hanyalah system prompt sederhana
• Sebagai hiburan, proyek ini di-fork agar model Llama-3.1 7B dapat dijalankan secara lokal
  • Tidak bisa menyelesaikan masalah stroberi, tetapi berhasil mengetahui bahwa 0.9 lebih besar