Ulasan setelah seminggu menggunakan Gemini Pro 1.5 - benar-benar fantastis

• Gemini Pro 1.5, LLM beta privat baru dari Google, menunjukkan performa yang jauh lebih baik dibanding model-model sebelumnya
• Gemini 1.5 Pro dapat
  • membaca seluruh novel dan menjelaskan secara rinci adegan tersembunyi di tengahnya
  • membaca seluruh codebase dan menyarankan di mana menambahkan fitur baru beserta contoh kodenya
  • membaca semua sorotan bacaan di Readwise dan memilih sorotan untuk penulisan esai
• Dapat memproses hingga 1 juta token dalam satu prompt
  • Dibandingkan model lain, context window Gemini Pro 1.5 jauh lebih besar (GPT-4 Turbo memiliki 128000, jadi sekitar 8 kali lebih besar)
  • Tetap sangat baik dalam menangani prompt berukuran besar meskipun menggunakan context window yang besar
  • Sementara model lain mengalami penurunan performa saat ukuran prompt membesar, Gemini tidak memiliki masalah tersebut
• Hal yang perlu diperhatikan
  • Gemini Pro 1.5 masih dalam beta privat, dan performanya bisa berubah saat dirilis secara publik
  • Gemini Pro 1.5 lambat dalam pemrosesan, terutama untuk permintaan berskala besar
  • OpenAI masih punya hal yang perlu dikejar, dan fitur information retrieval tetap penting

[dahada]

Saya menempelkan novel dan mencoba berdialog dengannya, tetapi begitu ada sedikit saja ekspresi yang agak vulgar, ia menolak memprosesnya. Bahkan setelah menurunkan tingkat filternya, masih ada novel yang tetap tidak bisa diproses. Tampaknya mereka memilih keamanan dibanding skalabilitas.

[ajh508]

Sejauh ini setiap kali ada yang baru keluar selalu heboh, tapi rasanya belum ada satu pun yang benar-benar melampaui OpenAI..
Secara pribadi, saya berharap LLM yang mengganti semua backbone dengan Mamba bisa segera muncul

[xguru]

Komentar Hacker News

• Saya suka ide memberikan seluruh teks buku kepada AI. Saat membaca novel, saya sering tidak ingat tokohnya, jadi akan menyenangkan jika di e-reader saya bisa menyorot nama dan AI memahami bahwa saya sedang berada di halaman 85 Neuromancer, lalu memberi jawaban tanpa spoiler. Atau akan bagus juga jika ada buku teks yang bisa membantu dan memberi petunjuk seperti partner belajar yang baik ketika saya buntu mengerjakan soal.
• Karena politik identitas Google, apakah kita bisa yakin mereka tidak akan mengubah fakta dalam buku? Apakah isinya akan disesuaikan saat diberi buku yang dianggap bermasalah? Karena alasan seperti ini, bagi saya ini sama sekali tidak berguna.
• Artikel yang mengungkap kepentingannya sendiri (misalnya, menjadi investor di LlamaIndex) sambil memberikan contoh yang tepat, keseimbangan, dan peringatan yang ingin saya baca tentang topik seperti ini
• Yang paling saya nantikan adalah bagaimana jika ini digabungkan dengan RAG alih-alih membuangnya, dan menggunakan context window yang sangat besar. Jika kita bisa mem-parsing seluruh buku, mengidentifikasi bagian yang relevan, lalu memasukkan seluruh buku ke dalam context window, itu berarti kita juga bisa memasukkan bagian-bagian relevan dari seluruh perpustakaan referensi ke dalam context window, dan itu sangat menjanjikan
• Beberapa orang yang sudah mendapat akses selama beberapa hari mengatakan bahwa ini benar-benar kemajuan dalam context window, bukan sekadar soal panjangnya, tetapi soal kegunaannya. Model ini memanfaatkannya jauh lebih baik daripada model lain. Sayang sekali mereka tidak membagikan bagaimana itu bisa dilakukan.
• Bukankah biayanya akan sangat besar jika dilakukan begitu? Kalau gpt-4 diberi input maksimal saja, satu interaksi sudah menelan biaya $1.28! Apakah Gemini jauh lebih murah daripada itu?
• Di NSA, mereka pasti sedang bergembira memikirkan kemungkinan yang dibuka teknologi ini. Mereka bisa memakainya untuk menelusuri data yang selama bertahun-tahun telah mereka simpan dengan rajin
• Ia membaca seluruh codebase, menyarankan di mana fitur baru harus ditambahkan, bahkan memberi contoh kode. Saya berharap ini bukan seperti penemuan mobil yang menghapus kereta kuda, melainkan seperti penemuan drum machine yang tidak menghilangkan drummer.
• Model-model seperti ini sering kali berfungsi berbeda (dan lebih buruk) ketika dirilis ke publik, dan kita belum tahu bagaimana Gemini akan berperilaku saat berjalan pada skala Google. Saya sungguh berharap Google belajar dari reputasi ChatGPT yang makin menurun, dan menemukan cara agar model tetap bisa mempertahankan performa terbaiknya. Entah dengan membatasi akses, menaikkan harga, atau keduanya, saya ingin mendapatkan pengalaman berkualitas tinggi dengan model ini saat tersedia untuk umum.