Kabar Meetup Instruct-Korea Januari 2025: "Ide dan Tantangan Saya dalam Meneliti Model Bahasa"

Komunitas Instruct Korea 2024, https://instruct.kr, sejak peluncuran leaderboard LogicKor menjadi salah satu komunitas open source model bahasa terbesar di Korea Selatan, di mana sekitar 700 peneliti secara sukarela berbagi capaian mereka.

Menyambut Tahun Baru 2025, kami ingin memfasilitasi wadah agar anggota komunitas Discord Instruct Korea bisa berbagi tren riset dan kabar terbaru sekaligus melakukan networking. Tema meetup kali ini adalah "Ide dan Tantangan Saya dalam Meneliti Model Bahasa". Kami berharap bisa mendengar pengalaman orang lain, berbagi ide riset sendiri, dan saling bertukar dengan orang-orang yang memiliki sudut pandang beragam.

Acara akan diselenggarakan pada 25 Januari 2025 (Sabtu), pukul 14.00–18.00.

Lokasinya adalah Nonce, dekat stasiun Gangnam (Yeoksam-dong 624-17).

Untuk pertanyaan: https://instruct.kr

Sponsor lokasi: Komunitas Nonce (https://nonce.community/)

Perkenalan pembicara Akan ada pembaruan lebih banyak pembicara.

Goseok-hyun (Sionic AI) Ia akan bercerita tentang pengalaman bekerja di pemrosesan bahasa alami dengan bahasa Scala JVM. Khususnya ia akan membahas pengalaman mem-porting kode deep learning berbasis Python ke bahasa JVM untuk serving di tingkat production.

Kim Jisu (kuotient, Allganize): Pengalaman Mengembangkan Model Bahasa Korea Qwen2.5 Melalui "Pengalaman Mengembangkan Model Bahasa Korea Qwen2.5", ia membagikan proses pengembangan model bahasa yang inovatif. Proses yang menorehkan peningkatan performa signifikan sebesar 37.60 di m-ArenaHard menjadi perhatian utama. Sesi ini mencakup seluruh pipeline pelatihan, termasuk SFT, Merging, dan Alignment, sambil memperkenalkan inovasi teknis yang pertama kali dicoba di Korea seperti penggantian layer dan penerapan strategi On-policy. Ia akan menceritakan secara detail rahasia di balik pencapaian performa tertinggi di antara model di bawah 8B.

Lee Seung-yoo (dopeornope, Marker AI): Guidance dan Kuantisasi LLM Dengan tema "Guidance dan Kuantisasi LLM", sesi ini menyoroti tren terkini teknologi LLM yang berkembang sangat cepat. Memberikan analisis yang tajam tentang konsep serta arah perkembangan teknik guidance dan quantization LLM yang saat ini sedang banyak diteliti.

Yoo Yong-sang: Tinjauan Pasca Kompetisi Model Bahasa Keuangan KRX Melalui "Tinjauan Pasca Kompetisi Model Bahasa Keuangan KRX", ia berbagi know-how praktis pengembangan model yang disesuaikan dengan domain. Ia membahas strategi domain adaptation dan continual pretraining untuk meningkatkan performa benchmark MCQA serta membahas secara mendalam tentang safety auditing.

Choi Seon-woong: Kisah Proyek Pengembangan RAG Berbagi pengalaman nyata dari proyek pengembangan RAG. Khususnya ia akan membahas masalah-masalah yang ditemukan secara jujur selama proses proyek, serta menyampaikan pelajaran dan arah perbaikan yang dipetik dari sana.

Jang Young-jun (yjoonjang): Model Embedding Bahasa Korea Dengan topik "Model Embedding Bahasa Korea", ia akan berbagi beragam karakteristik model embedding dan poin-poin kunci dalam proses pelatihan nyata. Dari pemilihan model embedding hingga proses training, ia akan menyampaikan insight yang bisa langsung diterapkan di dunia kerja.

Jung Se-min (Sionic AI): Membangun Recsys dengan Graph RAG - Storm fooding Dengan tema "Membangun Recsys dengan Graph RAG - Storm fooding", ia membagi pengalaman pengembangan sistem rekomendasi menggunakan sistem RAG berbasis graph, dari desain sampai implementasi.

Kim Dong-gyu (Jeffrey Kim, AutoRAG): Mendapatkan 3.000 Star di GitHub Dengan topik "Mendapatkan 3.000 Star di GitHub", ia menceritakan kisah pertumbuhan proyek open source AutoRAG, dari awal proyek sampai menjadi open source yang sukses, serta berbagi arah pengembangannya ke depan.

maywell (instruct.kr, Wanot AI) TBD