Ke mana arah model AI NLP berskala sangat besar?

Situasi saat ini

• LaMDA yang diumumkan Google di I/O, GPT-3 yang lisensi eksklusifnya dibeli MS, serta LLM (Large Language Model) yang dikembangkan sendiri oleh Facebook untuk penerjemahan dan pengelolaan konten—perusahaan-perusahaan raksasa sedang mengembangkan model NLP berskala sangat besar versi mereka masing-masing

• Ketika model-model yang masing-masing dibuat secara tertutup itu diterapkan dalam kehidupan nyata, saat ini nyaris tidak ada penelitian tentang bagaimana cacat pada LLM memengaruhi orang, masalah apa saja yang ada, dan apakah itu bisa diselesaikan.

• Pada Desember lalu, Google memecat salah satu pimpinan bersama tim Ethical AI, Timnit Gebru, sehingga masalah ini makin memburuk

Upaya baru

• Dalam proyek BigScience yang dipimpin Huggingface, lebih dari 500 peneliti dari seluruh dunia berkumpul dan mempercepat pembangunan LLM open source.

• Kelompok kerja yang mengukur dampak lingkungan LLM, termasuk jejak karbon dari pelatihan dan operasional model, dengan mempertimbangkan biaya siklus hidup (life-cycle costs) superkomputer

• Kelompok kerja yang memikirkan bagaimana memperoleh data pelatihan dengan cara yang bertanggung jawab

---

Karena sulit diringkas, saya rasa saya kurang berhasil merangkumnya.

Seperti halnya agenda "pendapatan dasar" muncul dari kekhawatiran dan harapan terhadap teknologi, tampaknya ekspektasi dan kekhawatiran terhadap GPT-3 yang muncul tahun lalu juga mengangkat agenda "kekhawatiran terhadap pengembangan AI yang tertutup" ke permukaan. Saya ingin membaca kembali tulisan ini sekitar tahun 2050 nanti.