Wikimedia Foundation merilis ekstensi Chrome LLM/RAG eksperimental 'Citation Needed'

Ekstensi Chrome Wikipedia Citation Needed

• Memverifikasi pernyataan tertentu dengan memilih potongan teks saat menjelajah web
• Menggunakan API ChatGPT untuk mencari dokumen terkait di Wikipedia dan mengutip dari dokumen tersebut
• Membantu pengguna memahami lebih banyak konteks atas informasi yang mereka terima, termasuk informasi dari Wikipedia, dengan menyediakan informasi tentang apakah pernyataan yang dipilih didukung oleh Wikipedia, bersama sinyal kualitas dokumen seperti tanggal edit terakhir dan jumlah referensi

Permintaan umpan balik pengguna

• Fitur ini adalah fitur eksperimental yang menggunakan AI generatif, dan disadari bahwa fitur ini terkadang dapat membuat kesalahan
• Meminta pengguna melaporkan masalah yang ditemukan melalui tautan umpan balik pada ekstensi untuk memahami dan meningkatkan kualitas hasil
• Umpan balik umum serta ide tentang cara lain agar Wikipedia dapat dimanfaatkan secara berguna dalam penjelajahan web sehari-hari juga disambut

Informasi pengembang

• Ekstensi ini dikembangkan oleh tim Future Audiences di Wikimedia Foundation, organisasi nirlaba yang mendukung Wikipedia dan proyek-proyek saudaranya

Opini GN⁺

• Ekstensi ini dapat membantu pengguna menilai keandalan informasi yang mereka temui di web. Namun, karena kualitas dan akurasi artikel Wikipedia sendiri dapat memiliki keterbatasan, tampaknya sulit menjadikannya sebagai tolok ukur yang mutlak.
• Menggunakan model bahasa besar seperti ChatGPT untuk mengotomatiskan ringkasan dan verifikasi dapat meningkatkan kenyamanan pengguna, tetapi pada saat yang sama juga ada risiko menghasilkan informasi yang salah. Diperlukan upaya pemantauan dan perbaikan yang berkelanjutan.
• Selain Wikipedia, jika sumber informasi tepercaya yang telah diverifikasi oleh para ahli di masing-masing bidang juga dimanfaatkan tambahan, akurasi dan cakupan verifikasi dapat ditingkatkan. Dalam jangka panjang, pembangunan basis pengetahuan terdesentralisasi berbasis blockchain juga layak dipertimbangkan.

[GN⁺]

Komentar di Hacker News

• Ini adalah aplikasi eksperimental RAG berbasis LLM yang memeriksa klaim di internet dengan membandingkannya terhadap Wikipedia.
  Detailnya bisa dilihat di https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:....
  Sebagai catatan, saya ikut terlibat dalam pekerjaan ini.

  • Kalau masih membutuhkan developer untuk menyumbang ide atau kode, saya ingin dihubungi.
    Dalam 6 bulan terakhir saya membuat sekitar 8 ekstensi browser, sebagian besar punya ribuan pengguna, dan salah satunya sempat mencapai 500 ribu pengguna.
    Saat ini saya sedang membuat ekstensi asisten desain berbasis LLM, dan bisa dihubungi di “hello[at]papillonsoftware[dot]dev”.
  • Sepertinya alat ini tidak memeriksa apakah dokumen itu sendiri mengutip sumber untuk klaim tersebut.
    Jadi mungkin itulah kenapa namanya Citation Needed. Karena sebenarnya tidak mengutip apa pun.
  • Saya penasaran apakah ada materi yang membahas detail teknis atau desainnya.
  • Saya penasaran apakah ada rencana untuk ekstensi Safari.

• Saya penasaran apakah kutipan juga bisa berhalusinasi, atau apakah menggunakan pendekatan seperti deterministic quoting[1].
  Sebagai catatan, saya adalah penulis pekerjaan itu.
  [1] https://mattyyeung.github.io/deterministic-quoting

  • Keren sekali. Saya penasaran apakah ini bisa menjadi fondasi untuk pencarian bahasa alami.
    Saat melihat dokumen, alih-alih mencari dengan kata kunci atau regex, apakah ini bisa dipakai untuk mencari konsep yang lebih kompleks dalam bahasa Inggris?
    Kalau tidak, saya juga penasaran pekerjaan tambahan apa yang diperlukan agar bisa sampai ke level itu.
  • Kutipan itu sendiri tidak bisa berhalusinasi, tetapi di sini kami menggunakan pendekatan lain.
    Meski begitu, pekerjaan deterministic quoting terlihat menarik.

• Tidak ada ekstensi Firefox.

  • Jika Wikimedia Foundation tidak dibayar untuk membuat proyek ini berbasis browser embrace & extend yang agresif, mereka perlu mengecek apakah mereka sedang melewatkan uang.
    Proyek seperti ini membantu melemahkan pesaing browser.
  • Kalau begitu saya tidak bisa menggunakannya.

• Ide yang bagus. Nantinya akan menyenangkan kalau LLM juga bisa memeriksa fakta dokumen Wikipedia itu sendiri dan menandainya.

  • Kalau begitu, bukankah pada akhirnya LLM membandingkan dokumen Wikipedia yang dulu dipakainya untuk training dengan dokumen Wikipedia yang sama?

• Repositori Git Wikimedia untuk ekstensi ini ada di sini.
  https://gitlab.wikimedia.org/repos/future-audiences/citation...
  Selain itu, instruksi build di README tidak lengkap dan hot reload juga tampaknya tidak berfungsi. Untuk mendapatkan build yang berjalan, gunakan npm run build-dev.
  Tidak jelas apa yang mencegahnya dibuat juga sebagai ekstensi Firefox. Mungkin perbedaan API sidebar/sidepanel, tetapi saya belum banyak menanganinya.

• Kalau ditambahkan generator dokumen berbasis pencarian ke sini, Anda akan punya generator dokumen dan pemeriksa dokumen, lalu bisa langsung membuat 1 triliun halaman.
  Bisa dipakai sebagai konten pelatihan LLM, dan sepertinya manusia juga bisa menggunakannya.

• Saya penasaran apakah ini hanya berjalan di Chrome. Saya tidak berhasil menjalankannya di Arc.

• @wikimedia: mohon versi Firefox.

• Katanya “ekstensi Chrome yang menemukan kutipan di Wikipedia”, tetapi di dunia akademik, mengutip Wikipedia umumnya tabu.
  Salah satu alasannya adalah reliabilitasnya rendah, dan penulis bisa mengutip sumber yang bisa ia edit sendiri.
  Yang lebih penting, Wikipedia mungkin bagus untuk menemukan sumber primer, tetapi Wikipedia sendiri adalah sumber sekunder.

  • Terus terang, alasan itu terasa agak ketinggalan zaman.
    Sekarang kecurangan akademik berskala besar benar-benar telah terungkap, dan hampir tidak ada koreksi untuk memperbaikinya.
    Sebaliknya, Wikipedia telah menangani penyalahgunaan dengan cukup baik, dan ketimbang tautan Wikipedia menjadi ancaman bagi dunia akademik, kecurangan akademik justru merupakan ancaman yang lebih besar bagi Wikipedia.
  • Intinya adalah menemukan informasi di dalam Wikipedia, dan informasi itu biasanya memiliki sitasi ke sumber lain.
    Kalau mencarinya lewat Google, banyak sekali pengulangan informasi yang sama, tetapi kebanyakan situs tidak mengutip sumber.
  • Tampaknya tidak ada bedanya dengan dulu.
    Sebelum Wikipedia pun kita tidak mengutip sumber sekunder, tetapi jelas menggunakannya untuk mulai masuk ke suatu topik dan menemukan sumber terkait.
  • Ada banyak alasan mengapa Wikipedia sebagian besar tidak pantas dikutip di dunia akademik, tetapi “penulis bisa mengutip sumber yang ia punya hak edit” bukan salah satunya.
    Akademisi selalu mengutip makalah mereka sendiri atau sumber lain yang berada di bawah kendali editorial mereka.
  • Wikipedia sendiri lebih memilih menjadi sumber tersier.
    Mereka ingin daftar referensi mengarah ke sumber sekunder, bukan sumber primer.
    “Artikel Wikipedia harus didasarkan pada sumber sekunder yang andal dan telah dipublikasikan, serta dalam tingkat yang lebih kecil pada sumber tersier dan sumber primer. Sumber sekunder atau tersier diperlukan untuk menetapkan kelayakan topik dan menghindari penafsiran baru atas sumber primer.”
    https://en.wikipedia.org/wiki/Wikipedia:No_original_research

• Saat saya menanyakannya tentang dirinya sendiri, hasilnya seperti ini:

  "Citation Needed is an experimental feature developed in 2024"

  • The provided passages do not contain any information about a feature called 'Citation Needed' being developed in 2024.
  • Wikipedia
  • Discouragement in education
  • not be relied
    Bukan dipakai sesuai tujuan aslinya, tetapi agak lucu.