Pertanyaan HN: Ada yang sedang mengerjakan proyek keren dengan Tiny Language Models?

 (news.ycombinator.com)
6 poin oleh GN⁺ 2025-01-22 | 1 komentar | Bagikan ke WhatsApp
  • Ini adalah diskusi tentang model dalam rentang 0.5B-3B yang dapat digunakan di Ollama
  • Ini adalah pertanyaan apakah ada yang telah membangun alat keren yang menggunakan model-model ini sebagai bagian dari alur kerja

Bacaan terkait

1 komentar

 
GN⁺ 2025-01-22
Opini Hacker News

  • Menggunakan ollama untuk menyiapkan balasan terhadap pesan spam SMS. Setiap nomor diberi persona seperti teman gym milenial atau bangsawan Inggris abad ke-19

  • Menggunakan model Llama untuk mengidentifikasi notifikasi cookie di situs web dan menambahkan aturan filter ke EasyList Cookie. Sebagian besar notifikasi cookie memiliki HTML/CSS yang mirip, sehingga innerText bisa diambil lalu model LLM kecil digunakan untuk menyaring false positive. Model 3B menunjukkan performa yang cukup baik dengan prompt engineering yang memadai, dan 7B hampir tidak memiliki false positive tanpa biaya tambahan. Kode dan prompt tersedia di GitHub

  • Menggunakan mini PC dengan CPU n100 untuk menghasilkan cerita dalam berbagai genre dan gaya. Kipas CPU tidak sampai terlalu panas, dan meskipun tidak produktif, tetap menyenangkan

  • Menggunakan skrip fish kecil untuk membuat tiga pesan commit berdasarkan git diff saat ini. Sedang menguji beberapa model, dan ini berguna saat butuh ide. Skrip dan contohnya tersedia di GitHub

  • Memiliki perangkat kecil yang mencoba mendeklarasikan "pemenang" selama percakapan

  • Merekomendasikan ceramah Jamie Brew, "Comedy Writing With Small Generative Models". Sebaiknya tunggu sampai dia mengeluarkan gitar dan mulai bermain

  • Microsoft mengumumkan model FLAME (60M parameter). Model ini mengungguli model yang jauh lebih besar (lebih dari 100B parameter) dalam perbaikan/penyelesaian rumus Excel

  • Micro Wake Word adalah pustaka dan kumpulan model perangkat untuk membangunkan perangkat lewat suara di ESP. Baru-baru ini diterapkan pada Home Assistants sebagai pengganti Alexa yang sepenuhnya lokal

  • Menyempurnakan Gemma 2B untuk mengidentifikasi pesan darurat dari ibu hamil baru pada saluran telepon konsultasi kesehatan ibu yang dioperasikan pemerintah

  • Membuat model sekitar 1m parameter untuk menghasilkan kartu Magic the Gathering secara acak. Dibangun berdasarkan nanogpt milik Karpathy dengan beberapa fitur tambahan. Jika Anda punya Mac Apple silikon, Anda bisa langsung menghasilkan modelnya dari GitHub