Persaingan mengejar model bahasa besar open-source

 (arxiv.org)
4 poin oleh GN⁺ 2023-12-03 | 1 komentar | Bagikan ke WhatsApp

Ulang Tahun Pertama Peluncuran ChatGPT: Pengejaran Model Bahasa Besar Open-Source

  • ChatGPT yang dirilis pada akhir 2022 membawa perubahan besar di seluruh bidang AI.
  • Model bahasa besar (LLM) disesuaikan melalui pembelajaran terawasi dan reinforcement learning dari umpan balik manusia, sehingga menunjukkan kemampuan untuk menjawab pertanyaan manusia dan mengikuti instruksi dalam berbagai tugas.
  • Setelah keberhasilan ini, minat terhadap LLM meningkat di kalangan akademisi dan industri, banyak startup berfokus pada LLM, dan LLM open-source berkembang pesat serta diklaim menunjukkan performa yang setara atau lebih baik daripada ChatGPT pada tugas-tugas tertentu.

Dampak terhadap riset dan bisnis

  • Meskipun LLM closed-source (misalnya GPT dari OpenAI, Claude dari Anthropic) umumnya menunjukkan performa yang lebih unggul dibanding model open-source, perkembangan LLM open-source berlangsung cepat dan ada klaim bahwa pada sebagian tugas mereka telah mencapai performa yang setara atau lebih baik.
  • Perkembangan ini membawa dampak penting bukan hanya bagi riset, tetapi juga bagi bisnis.

Opini GN⁺

  • Menandai ulang tahun pertama peluncuran ChatGPT, hal pentingnya adalah bahwa model bahasa besar open-source berkembang dengan cepat dan pada tugas tertentu menunjukkan performa yang mirip atau lebih baik daripada ChatGPT.
  • Ini berdampak besar pada riset maupun bisnis, dan dapat berkontribusi dalam mendorong demokratisasi serta inovasi teknologi AI.
  • Artikel ini menawarkan bahasan menarik bagi orang-orang yang tertarik pada perkembangan teknologi AI dan dampaknya terhadap masyarakat.

Bacaan terkait

1 komentar

 
GN⁺ 2023-12-03
Opini Hacker News

  • Model besar dan kuat yang dirilis dalam beberapa hari terakhir:

    • Qwen 72B (dan 1.8B): konteks 32K, dilatih dengan 3T token, lisensi komersial untuk pengguna bulanan di bawah 100 juta, performa kuat di benchmark
    • DeepSeek LLM 67B: konteks 4K, 2T token, lisensi Apache 2.0, kuat di bidang kode (bahkan lebih baik dibanding DeepSeek Code 33B)
    • Model yang dirilis di Tiongkok: Yi 34B (ada rumor 100B), XVERSE-65B, Aquila2-70B, Yuan 2.0-102B
    • OpenChat 3.5: model 7b yang mencapai hasil mirip ChatGPT Maret 2023, jendela konteks 8k, peringkat lebih tinggi dari Llama-2-70b-chat di leaderboard chatbot arena
    • LLM open source memimpin industri terutama dalam efisiensi parameter dan dalam menyediakan model berguna yang bisa dijalankan konsumen di perangkat keras mereka sendiri

  • Demonstrasi kemampuan llama2 1,3 miliar parameter yang di-fine-tune dengan qlora:

    • Inkbot membuat knowledge graph dan mengembalikan struktur yang sesuai dalam format YAML, dengan hasil yang lebih baik daripada GPT4
    • Menyediakan contoh untuk prompt sederhana dan prompt kompleks
    • Juga melakukan fungsi ringkasan chunk

  • Tampaknya akan menjadi kebutuhan untuk menempatkan prompt router di depan berbagai model terspesialisasi (kode, chat, matematika, SQL, kesehatan, dll):

    • Model umum mengirim permintaan ke router yang sedang berjalan
    • Prompt/pertanyaan dipecah lalu diklasifikasikan dan diteruskan ke model ahli
    • Respons kembali lalu dirakit oleh model umum
    • Pertanyaan apakah ada proyek serupa yang sedang dikerjakan

  • Saat ini model sekitar 70B setara dengan ChatGPT 3.5, dan model kecil mungkin awalnya terlihat mirip, tetapi lebih sering berhalusinasi dan kurang memiliki pengetahuan tentang dunia

  • GPT 4 "memahami" pada level yang lebih dalam, dan model open source masih belum sebanding

  • Teknologi open source memiliki fitur kontrol output yang tidak diimplementasikan OpenAI (misalnya grammar di llama.cpp atau ControlNet), jadi dalam aspek ini open source lebih maju daripada OpenAI

  • Berbagi pengalaman menggunakan model DeepSeek 67B:

    • Cukup memadai hingga bisa menggantikan kebutuhan akan ChatGPT

  • Mistral OpenOrca untuk penulisan kreatif/analisis hampir setara dengan GPT4-turbo, dan cenderung menghasilkan teks yang mirip

  • Dalam jangka panjang, hampir tak terelakkan bahwa LLM open source akan menyusul, dan komunitas open source meski sumber dayanya jauh lebih terbatas telah sangat mempercepat laju pengembangan model dengan parameter <30B

  • Berdasarkan pengalaman pribadi, LLM open source belum mencapai kualitas GPT 3.5, tetapi sudah berguna saat ini dan bisa dijalankan di mesin lokal

  • Menggunakan plugin Neovim gen.nvim untuk melakukan tugas-tugas sederhana dan menghemat banyak waktu

  • Mengungkapkan antusiasme terhadap masa depan

  • Yakin bahwa model open source sedang mengejar karena GPT4 terus mengalami kemunduran selama sebulan terakhir