Phind-70B dirilis - model yang dapat dijalankan 4x lebih cepat sambil memperkecil kesenjangan kualitas kode dengan GPT-4 Turbo

• Memproses hingga 80 token per detik (GPT-4 Turbo sekitar 20 token per detik)
• Mendukung jendela 32K token
• Di-fine-tune berbasis model CodeLlama-70B dengan tambahan 50B token
• Mencatat 82,3% di HumanEval, melampaui GPT-4 Turbo (gpt-3-0125-preview) yang mencatat 81%
• Di CRUXEval dari Meta, mencatat 59%, sedikit di bawah GPT-4 yang mencatat 62%
• Dalam aspek pembuatan kode, hampir setara dengan GPT-4 Turbo atau bahkan melampauinya pada beberapa tugas
• Lebih tidak "malas" dibanding GPT-4 Turbo sehingga tidak ragu menghasilkan contoh kode yang detail

[cosine20]

Sejak sekitar 1 tahun lalu saya mengenal Phind lewat GeekNews, hampir semua pertanyaan soal kode saya ajukan ke Phind. Kadang terlihat masih kebingungan, tapi sekarang saya sudah punya cukup trik, jadi saya bertanya dengan cara yang membuatnya tidak terlalu bingung.

[xguru]

phind - mesin pencari Generative AI untuk developer
phind - mesin pencari berbasis GPT-4 untuk developer

[GN⁺]

Komentar Hacker News

• Berbagi pengalaman menggunakan Phind

  • Selama 3-4 minggu terakhir, Phind digunakan hampir setiap hari, dan kualitas kode yang dihasilkan bagus serta berjalan dengan baik.
  • Akurasinya lebih tinggi daripada ChatGPT dan memberikan arahan yang lebih tepat.
  • ChatGPT melambat selama lebih dari 2 bulan terakhir, tetapi untuk mempelajari suatu topik, ChatGPT lebih rinci dan lebih eksplanatif.

• Keraguan terhadap penilaian kualitas kode

  • Masalah pemisahan string diselesaikan menggunakan regex yang diberikan GPT-4, lalu unit test yang diperlukan ditambahkan dan berhasil di-commit.
  • Model 70B tidak mampu memberikan jawaban untuk masalah ini meskipun sudah dicoba beberapa kali.
  • Setiap kali mencoba model selain GPT-4, rasanya seperti membuang waktu.

• Panduan dari pendiri Phind

  • Model Phind-70B dapat dicoba gratis tanpa login.

• Kesan terhadap kecepatan respons dan kualitas Phind

  • Kecepatan responsnya mengesankan, tetapi kualitasnya tidak terlalu memuaskan.
  • GPT-4 setelah beberapa kali percobaan akhirnya mempertimbangkan dan menangani permintaan POST, sedangkan Phind terutama hanya berfokus pada permintaan GET.

• Tantangan menarik untuk LLM

  • Sebuah teka-teki logika dasar diberikan kepada LLM untuk menguji kemampuan pemecahan masalahnya.
  • Phind-34B bereaksi dengan cara yang sangat lucu dan kadang terjebak dalam loop.

• Perbandingan pengalaman menulis plugin Wireshark

  • Pengalaman menulis plugin Wireshark dibagikan dengan membandingkan Phind dan ChatGPT.

• Pertanyaan tentang kemungkinan integrasi API

  • Ditanyakan apakah API Phind dapat diintegrasikan dengan aider.chat, yang dioptimalkan untuk menggunakan GPT-4 dalam coding.

• Berbagi pengalaman menggunakan Phind

  • Sebagai pengguna yang telah memakai Phind selama lebih dari 1 tahun, ia lebih menyukainya daripada GPT.
  • Ada masalah berupa respons yang berulang atau terjebak dalam loop setelah thread pertanyaan yang panjang.

• Respons Phind terhadap terjemahan kode

  • ChatGPT 3.5/4 terkadang menerjemahkan seluruh file Go ke C#, sedangkan Phind menolak menerjemahkan seluruh kode.

• Kecepatan dan performa Phind-70B

  • Phind-70B jauh lebih cepat daripada GPT-4 Turbo, dan hal ini dicapai dengan menggunakan library TensorRT-LLM dari NVIDIA serta GPU H100.