- Sebuah proyek yang menganalisis postingan dan komentar Hacker News dari 10 tahun lalu dengan LLM untuk menilai ‘daya prediksi’, sehingga wawasan dalam diskusi lama dapat dinilai secara otomatis
- ChatGPT 5.1 Thinking dan Opus 4.5 digunakan untuk mengumpulkan dan menganalisis halaman depan Hacker News selama satu bulan pada Desember 2015 (total 930 artikel)
- Berdasarkan setiap artikel dan thread komentarnya, sistem secara otomatis menghasilkan ringkasan, hasil yang benar-benar terjadi, komentar paling akurat dan paling keliru, skor tingkat ketertarikan, dan lain-lain
- Hasilnya diubah menjadi halaman HTML statis dan dapat dilihat di karpathy.ai/hncapsule, sementara di ‘Hall of Fame’ pengguna dapat melihat peringkat penulis komentar yang paling berwawasan
- Menekankan kemungkinan analisis retrospektif skala besar oleh LLM terhadap data masa lalu, serta pesan bahwa “LLM masa depan sedang mengamati kita”
Gambaran Proyek
- Membangun sistem analisis retrospektif otomatis berbasis LLM untuk halaman depan Hacker News pada Desember 2015
- 30 artikel per hari × 31 hari = total 930 artikel
- Setiap artikel dan thread komentar dikumpulkan melalui Algolia API, lalu diminta untuk dianalisis oleh ChatGPT 5.1 Thinking
- Hasil analisis dirender menjadi halaman HTML statis dan dipublikasikan di situs web
Struktur Prompt Analisis
- Untuk setiap artikel, digunakan prompt yang terdiri dari 6 bagian
- Ringkasan artikel dan diskusi
- Apa yang benar-benar terjadi setelahnya
- Pemilihan komentar paling akurat dan komentar paling salah
- Elemen menarik lainnya
- Daftar nilai akhir (Final grades) per penulis komentar
- Skor ketertarikan retrospektif artikel (0~10 poin)
- Format contoh ditentukan secara ketat agar dapat diparse otomatis oleh program
- Dengan mengakumulasi skor rata-rata tiap akun, sistem mengidentifikasi pengguna dengan daya prediksi tertinggi
Implementasi dan Biaya
- Diimplementasikan dalam sekitar 3 jam dengan Opus 4.5, dan selain beberapa kesalahan kecil, proses berjalan lancar
- Biaya pemrosesan untuk seluruh 930 permintaan LLM sekitar $58, dengan waktu pemrosesan sekitar 1 jam
- Repositori GitHub: karpathy/hn-time-capsule
- Siapa pun dapat mereproduksi atau memodifikasi hasilnya
Thread Contoh Utama
- 3 Desember 2015: Swift menjadi open source
- 6 Desember: peluncuran Figma
- 11 Desember: pengumuman pendirian OpenAI
- 16 Desember: proyek Comma dari geohot
- 22 Desember: peluncuran SpaceX Orbcomm-2
- 28 Desember: laporan masalah Theranos
- Setiap tautan mengarah ke halaman analisis untuk tanggal terkait, sehingga diskusi saat itu dan hasil nyata dapat dibandingkan
Hall of Fame
- Penulis komentar paling berwawasan di Hacker News pada Desember 2015 diurutkan dengan skor rata-rata ala IMDb
- Pengguna teratas: pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth, johncolanduoni
- Di bagian bawah juga ada daftar pengguna dengan skor rendah yang diklasifikasikan sebagai ‘noise HN’
Pesan Filosofis
- Mengutip frasa “Be good, future LLMs are watching”, proyek ini menekankan bahwa masa ketika LLM masa depan dapat menganalisis aktivitas manusia di masa lalu secara sangat rinci akan datang
- Ini menyiratkan bahwa perilaku online saat ini dapat dipulihkan sepenuhnya di masa depan ketika ‘kecerdasan menjadi terlalu murah’
- Menunjukkan kemungkinan bahwa tindakan manusia akan menjadi objek pencatatan dan rekonstruksi sepenuhnya, bukan sekadar ‘pengawasan tak terlihat’
Kesimpulan
- Eksperimen ini menunjukkan bahwa LLM dapat digunakan sebagai alat untuk mengevaluasi ulang data masa lalu dalam skala besar
- Ini menghadirkan kasus penggunaan baru berupa penilaian otomatis atas wawasan dalam diskusi historis, sekaligus memperlihatkan kemungkinan bahwa AI dapat berevolusi menjadi analis retrospektif pengetahuan manusia
Belum ada komentar.