DeepSeek R1 menunjukkan hasil yang menjanjikan dalam coding

• Sebuah PR untuk proyek llama.cpp telah dipublikasikan yang "menggandakan kecepatan WASM"
  • Fungsi dot product qX_K_q8_K dan qX_0_q8_0 dioptimalkan dengan memanfaatkan instruksi SIMD
  • Sebagian besar kode (99%) dibuat secara otomatis oleh "DeepSeek-R1"
  • DeepSeek-R1 memerlukan 3–5 menit untuk memproses prompt

Kinerja pembuatan kode DeepSeek-R1

• Penulis PR menggunakan DeepSeek-R1 untuk menghasilkan dan meningkatkan kode optimasi, sementara dirinya sendiri hanya menangani kode pengujian dan penulisan prompt secara langsung
• Dapat dilihat di prompt yang digunakan
• DeepSeek-R1 menunjukkan rantai pemikiran yang luar biasa dalam proses mengoptimalkan llm_groq.py

Perbandingan kinerja DeepSeek-R1 vs OpenAI o1

• Tugas yang sama juga dicoba pada OpenAI o1, tetapi hasil DeepSeek-R1 lebih unggul
• Proses berpikir untuk mengoptimalkan model_map dalam kode contoh:
  • Awalnya menilai bahwa model_map diperlukan
  • Lalu mempertimbangkan bahwa itu bisa disusun secara dinamis berdasarkan respons API
  • Pada akhirnya memutuskan bahwa menghapus model_map adalah solusi yang paling optimal

Kesimpulan

• DeepSeek-R1 menunjukkan kinerja unggul dalam pembuatan dan optimasi kode otomatis
• Optimasi dengan memanfaatkan SIMD di WASM secara signifikan meningkatkan performa llama.cpp
• Jika PR diterapkan, kecepatan eksekusi aplikasi berbasis WebAssembly diperkirakan akan meningkat drastis

[bungker]

Saya menjalankan deepseek r1 14b 30b 70b dengan ollama; secara keseluruhan penalarannya bagus, tetapi masih banyak kesalahan kecil. r1 benar-benar luar biasa.

[yangeok]

Saya mencoba menjalankan versi distilasi 8b, tetapi performa bahasa Koreanya menurun.

[yangeok]

Sepertinya model ini bisa menghasilkan hasil yang cukup berarti untuk pembuatan kode.

[GN⁺]

Opini Hacker News

• DeepSeek-R1 menulis 99% kode untuk PR llama.cpp. Ini adalah contoh yang menunjukkan bahwa AI bisa memberi kontribusi besar dalam pemrograman

  • Aider menulis sekitar 70% kode baru di setiap rilis, dan sejak Sonnet persentase kode yang dihasilkan AI meningkat menjadi lebih dari 50%
  • Dalam beberapa bulan terakhir, porsi kode baru yang ditulis Aider adalah 70%, dengan rekor 82%
  • Mereka makin banyak beralih dari Sonnet ke DeepSeek V3 untuk coding, dan sedang bereksperimen dengan R1, tetapi mengalami kesulitan akibat gangguan API baru-baru ini

• Menjalankan DeepSeek-R1-Distill-Qwen-32B di laptop melalui Ollama, dan membutuhkan sekitar 20GB RAM

  • Berguna untuk refactoring kode dan membantu menemukan kesalahan dalam kode

• Fakta bahwa DeepSeek-R1 menulis 99% kode untuk PR llama.cpp adalah tonggak yang patut diperhatikan

• DeepSeek diminta mengubah kode ARM SIMD menjadi kode WASM, dan ini membantu optimasi kode

  • Menangani instruksi SIMD adalah tugas yang lebih sulit daripada optimasi kode tingkat lanjut

• Klaim bahwa LLM tidak berguna untuk coding adalah keliru

  • Klaim bahwa AI dapat menggantikan developer bukan sepenuhnya omong kosong
  • Jika tidak ada permintaan untuk lebih banyak aplikasi, lapangan kerja bisa berkurang

• Menggunakan o1 Pro dan DeepSeek R1 untuk menulis pengujian e2e, dan DeepSeek menulis pengujian yang lebih baik

  • Pengujiannya tidak lolos

• Xuan-Son meminta bukan hanya mengubah ARM NEON menjadi SIMD, tetapi juga mengembangkan pendekatan baru

  • Ia mencoba mengoptimalkan wllama sebagai proyek akhir pekan, dan berhasil menyelesaikan pekerjaan itu dengan bantuan LLM

• Menggunakan DeepSeek R1 untuk menulis ulang plugin llm_groq.py, dan ini dilakukan dengan deepseek-r1-distill-llama-70b yang di-fine-tune dari model Llama

• Ada kemungkinan AGI tiba dalam beberapa bulan ke depan, dan pelatihan akan berlangsung dalam tiga tahap

  • Penting untuk melatih berbagai model guna memastikan keberagaman demi kelangsungan hidup jangka panjang