Mahasiswa CS menemukan kata pertama dari gulungan Herculaneum yang belum dibuka setelah 2.000 tahun

• Gulungan Herculaneum yang hangus akibat letusan Gunung Vesuvius pada tahun 79 begitu rapuh hingga akan hancur jika dibuka, tetapi CT scan dan machine learning telah membuktikan adanya kemungkinan untuk membaca tulisan di dalamnya
• Peserta Vesuvius Challenge, Luke Farritor, menemukan kata utuh di dalam gulungan yang belum dibuka dan menerima hadiah $40,000 First Letters Prize
• Kata yang ditemukan adalah aksara kuno ΠΟΡΦΥΡΑϹ, dengan ejaan modern “porphyras”, yang berarti “ungu”, tetapi konteks dan batas katanya masih sulit dipastikan
• Penemuan crackle pattern oleh Casey Handmer berlanjut pada peningkatan model oleh Luke dan Youssef Nader, dan Youssef menerima hadiah kedua $10,000 dengan hasil independen yang lebih jelas pada area yang sama
• Kompetisi terbuka, alat open source, dan pekerjaan segmentasi saling berpadu sehingga pencapaian $700,000 Grand Prize kini menjadi target yang realistis

---

Kata pertama dari gulungan yang tak bisa dibuka selama 2.000 tahun

• Papirus Herculaneum adalah gulungan kuno dari perpustakaan sebuah vila pribadi dekat Pompeii, yang terkubur dan hangus saat letusan Gunung Vesuvius pada tahun 79 M
• Perpustakaan ini adalah satu-satunya perpustakaan dari zaman kuno yang masih bertahan, dan telah terkubur di bawah 20 m lumpur vulkanik selama sekitar 2.000 tahun
• Gulungan-gulungan ini digali pada abad ke-18, tetapi sangat rapuh hingga bisa menjadi bubuk jika salah ditangani, sehingga sulit dibentangkan dan dibaca secara fisik
• Luke Farritor menjadi orang pertama yang melihat kata utuh di dalam gulungan yang belum dibuka pada Agustus 2023, dan menerima hadiah $40,000 First Letters Prize
  • Hadiah ini diberikan jika berhasil menemukan minimal 10 karakter dalam area 4cm² dari gulungan
• Youssef Nader juga secara independen menemukan kata yang sama pada area yang sama, dan menerima hadiah kedua $10,000 berkat hasil yang lebih jelas
• Kode yang dipublikasikan dapat dilihat di GitHub Luke dan Youssef

CT scan, data jawaban, dan titik awal Vesuvius Challenge

• Pada 2019, Profesor Brent Seales dari EduceLab, University of Kentucky, memotret gulungan Herculaneum menggunakan akselerator partikel untuk menghasilkan CT scan 3D dengan resolusi hingga 4µm
• Tim peneliti juga memindai fragmen terpisah yang masih memiliki tinta yang terlihat dan merekamnya dalam foto untuk menyiapkan dataset jawaban
• Stephen Parsons mengerjakan deteksi tinta dengan machine learning pada CT scan fragmen terpisah dan berhasil memperoleh hasil pada fragmen-fragmen tersebut
• Nat Friedman dan Daniel Gross memulai Vesuvius Challenge untuk mempercepat kemajuan ini
  • Mereka membuka kompetisi publik pada Maret 2023
  • Selain $700,000 Grand Prize, mereka juga menyediakan sejumlah hadiah kecil untuk pengembangan alat dan teknik open source
• Sejak awal musim panas, tim segmentasi bergabung untuk memetakan struktur 3D gulungan, dan hingga Juli telah mensegmentasi ratusan cm² papirus untuk dibentangkan secara virtual

Sinyal tinta yang ditemukan Casey Handmer

• Pada awal Agustus 2023, Casey Handmer mengamati segmen CT scan dalam waktu lama dan menemukan crackle pattern yang tampak seperti tinta
• Stephen Parsons sebelumnya telah melihat bukti langsung tinta pada fragmen terpisah, tetapi hal itu belum terkonfirmasi di dalam gulungan yang belum dibuka
• Casey menjadi orang pertama dalam 2.000 tahun yang menemukan tinta dan huruf di dalam gulungan yang belum dibuka
• Penemuan ini menjadi titik awal langsung bagi model Luke maupun pendekatan Youssef, dan Casey menerima $10,000 First Ink Prize

Model Luke Farritor dan “porphyras”

• Luke Farritor adalah mahasiswa dan intern musim panas di SpaceX Starbase, yang mengetahui Vesuvius Challenge melalui wawancara Nat Friedman oleh Dwarkesh Patel
• Setelah melihat diskusi Casey tentang crackle pattern di Discord, ia meluangkan waktu malam hari untuk melatih model machine learning yang mempelajari pola tersebut
• Setiap kali crackle baru ditemukan, modelnya membaik, dan model yang membaik itu kembali mengungkap lebih banyak crackle, membentuk siklus berulang
• Model tersebut menemukan puluhan guratan tinta dan beberapa huruf lengkap, yang kemudian digunakan sebagai data label untuk pelatihan
• Seiring waktu, model mulai menampakkan jejak crackle yang bahkan tidak terlihat oleh mata manusia, dan jejak ini menjadi petunjuk menuju huruf dan kata
• Dalam kiriman pertamanya, kata ΠΟΡΦΥΡΑϹ, yaitu “porphyras”, muncul samar-samar
• Ketika Profesor Brent Seales menunjukkan gambar ini kepada para papirolog, mereka segera membacanya sebagai “porphyras” meski hurufnya samar
• Setelah tinjauan teknis, gambar baru dikirim ke panel papirolog, dan mereka secara independen dan bulat memberi anotasi pada 13 karakter
  • Tingkat keyakinan dibagi menjadi di atas 80%, 50~80%, dan di bawah 50%
• “porphyras” berarti “ungu” dan merupakan kata yang sangat langka dalam naskah kuno
• Seorang papirolog menilai bahwa karena kurangnya konteks, belum bisa dipastikan apakah itu nomina “pewarna ungu atau kain ungu”, adjektiva “ungu”, atau bagian dari batas kata lain
• Naskah pada masa itu tidak menggunakan spasi, sehingga penentuan batas kata menjadi lebih sulit

Pendekatan independen Youssef Nader

• Youssef Nader adalah mahasiswa pascasarjana biorobotika asal Mesir yang tinggal di Berlin, yang terdorong oleh hasil Casey dan Luke untuk mencoba metode berbeda
• Ia terlebih dahulu meninjau karya-karya pemenang Kaggle Ink Detection prize
  • Kompetisi ini berfokus pada peningkatan pendekatan machine learning berbasis fragmen terpisah milik Stephen Parsons
• Youssef memindahkan model agar sesuai dengan data gulungan melalui pretraining tanpa supervisi pada data gulungan dan fine-tuning berbasis label fragmen
• Setelah menerima hadiah kecil untuk ide “Ink Detection Followup Prize”, ia memusatkan perhatian pada area yang sama ketika hasil awal Luke dibagikan di X dan Discord
• Dengan model yang dimodifikasi dari kompetisi Kaggle, ia menemukan beberapa huruf, dan tidak mencari crackle secara manual seperti metode Casey
• Ia memberi anotasi pada bentuk-bentuk yang tampak seperti huruf sebagai data label, lalu memperluasnya dengan pseudo-labeling berulang
• Model akhirnya dilatih hanya dengan segmen gulungan bagian dalam, dan hasil ini membuatnya meraih posisi kedua First Letters Prize
• Para papirolog menunjukkan kesepakatan yang lebih kuat terhadap huruf-huruf dalam hasil Youssef, dan bahkan meninjau kemungkinan kata di bagian atas “ανυοντα / ANYONTA” serta di bagian bawah “ομοιων / OMOIωN”
• Jika kata-kata itu benar, gulungan papirus tersebut mungkin berisi teks yang sepenuhnya baru yang belum dikenal di dunia modern

Rangkaian keterkaitan yang dibentuk kompetisi terbuka dan open source

• Karena kontribusi banyak orang terhubung langsung dalam jalur penemuan ini, kasus ini menjadi contoh bahwa competition + open source dan struktur hadiah bertahap benar-benar bekerja
• Youssef memanfaatkan model dari kompetisi Kaggle dan terdorong oleh hasil Luke untuk meneliti area yang sama
• Pencarian crackle oleh Luke berangkat langsung dari pekerjaan Casey
• Casey dapat meneliti banyak lembar papirus karena tim segmentasi telah memetakan ratusan cm² sebelumnya
• Tim segmentasi dapat memetakan area luas berkat alat yang dibuat para peserta Segmentation Tooling Prizes
  • Ini mencakup pekerjaan dari banyak peserta seperti Julian Schilliger, Chuck, Yao Hsiao, dan lainnya
• Perbaikan alat ini dibangun di atas alat open source yang sudah ada dari tim Brent Seales
  • Fondasinya mencakup pekerjaan dari Seth Parker, Stephen Parsons, dan lainnya
• Melihat perkembangan sejauh ini, hampir semua elemen penyelenggaraan kompetisi berperan load-bearing, dan kemajuan ini mungkin jauh lebih rapuh dan kebetulan daripada yang terlihat setelah kejadian

Langkah berikutnya menuju $700,000 Grand Prize

• Tim segmentasi dan para peserta terus membuat kemajuan, dan beberapa hari lalu model Youssef menghasilkan gambar baru yang lebih jelas dan lebih besar
• Pada gambar baru itu, 4,5 kolom teks yang dipisahkan oleh margin dapat terlihat dengan jelas
• Lebih banyak huruf tampak, tetapi tidak semuanya bisa langsung dibaca, dan tim papirolog masih menyelidikinya lebih lanjut
• Vesuvius Challenge menilai bahwa kemajuan kali ini telah menjadikan $700,000 Grand Prize sebagai target yang bisa dicapai
• Peserta dapat bergabung melalui komunitas Discord, newsletter Substack, dan akun X, lalu memulai dengan meninjau data, tutorial, karya pemenang, dan alat komunitas
• Tujuannya adalah membuka pengetahuan di dalam ratusan gulungan, menggandakan jumlah naskah kuno yang tersedia, dan membuka kemungkinan untuk membaca ribuan gulungan yang bahkan belum digali

[GN⁺]

Komentar Hacker News

• Huruf-huruf itu ditemukan dengan memberi anotasi data latih, yaitu mencari tekstur retakan yang tampak seperti bentuk huruf Yunani pada potongan papirus hasil CT scan
  Namun tekstur retakan seperti itu tidak terlihat dengan mata telanjang pada kebanyakan papirus, dan tampaknya hanya terlihat di tempat tinta mungkin menempel sangat tebal
  Pada citra mikroskop elektron https://scrollprize.org/img/tutorials/sem.png, perbedaan teksturnya jauh lebih jelas, terutama menonjol di tepi tempat tinta terdorong keluar
  Mengejutkan bahwa retakan baru ditemukan setelah kompetisi deteksi tinta Kaggle. Casey Handmer juga menulis di https://caseyhandmer.wordpress.com/2023/08/05/reading-ancien... bahwa ia menemukan tekstur “lumpur retak” dan “serpihan” yang sesuai dengan tinta huruf yang diketahui, tetapi itu hanya sekitar 10% dari huruf yang diketahui
  Gambar baru ini jauh lebih baik daripada perkiraan, tetapi karena sejauh ini baru satu area kecil, saya masih pesimistis apakah kita bisa membaca lebih dari beberapa kalimat aneh

  • Saat sempat ikut tantangan ini, saya memakai pendekatan serupa, tetapi alih-alih mencari retakan itu sendiri, saya menduga efek “retak” tersebut adalah irisan data yang melewati berbagai celah pada perkamen, dan data tinta berada di atas manifold yang melengkung dan retak itu
    Tidak semua huruf akan tampak jelas oleh mata manusia, tetapi citra pemindaian memiliki sangat banyak lapisan, jadi menurut saya pola baru mulai muncul setelah beberapa waktu ketika gambar-gambar itu dibolak-balik
    Saya menulis kode untuk “menyelaraskan” blok gambar dengan melakukan interpolasi bilinear naik-turun pada tiap kolom piksel dan meratakan tekstur retakan, kalau tidak salah dengan meminimalkan total loss varians
    Setelah itu saya ingin memakai jaringan neural konvolusional 2D yang dioptimalkan untuk gambar yang sudah “diratakan”, dan dari penampang gulungan tampak ada bagian yang, seperti kayu, memiliki tekanan lokal yang konsisten, sehingga saya pikir interpolasi saja mungkin cukup
    Karena itu saya kurang setuju memakai konvolusi 3D untuk masalah ini. Tinta yang dioleskan lalu mengering akan mengikuti pola setengah-terprediksi yang bisa dideteksi dengan konvolusi 2D, dan invariansi yang diinginkan bisa distrukturkan lebih mudah sebelumnya
    Kalau tertarik dengan kodenya, saya bisa mencarinya dan membagikannya

• Pengumuman Nat di Twitter juga layak dilihat: https://twitter.com/natfriedman/status/1712470683207532906
  700 ribu dolar adalah uang yang bisa mengubah hidup, jadi ada godaan untuk meninggalkan semuanya dan tenggelam seperti biarawan yang mengejar pencerahan kuno dengan machine learning modern
  Lucu juga kalau ternyata gulungan itu cuma daftar cucian

  • Jika metode ini bisa diskalakan, ada lebih dari 600 gulungan yang bisa dibaca setelahnya
    Selain itu, “penggalian belum selesai, dan banyak sejarawan percaya masih ada ribuan gulungan lagi yang tertinggal di bawah tanah”: https://scrollprize.org
  • Atau mungkin keluhan pelanggan: https://www.thearchaeologist.org/blog/complaint-tablet-to-ea...
  • Kemungkinan besar bukan daftar cucian. Tampaknya mereka memulai dari gulungan yang permukaan luarnya bisa dibaca, dan gulungan-gulungan itu diketahui sebagai artefak kecil filsafat Stoa Yunani
    Kalau itu daftar cucian, orang akan menulisnya di tablet lilin yang bisa dipakai ulang, bukan di papirus mahal
  • Mungkin ada rujukan tentang kaisar. Kain ungu sangat langka dan mahal, serta merupakan warna yang dikenakan para kaisar
    Belakangan, memakai warna ungu oleh orang di luar keluarga kaisar bahkan menjadi kejahatan yang bisa dihukum mati, dan meski saya tidak tahu apakah itu sudah berlaku pada masa letusan Vesuvius, Wikipedia menyebut Caligula mungkin pernah membunuh seseorang karena mengenakan warna ungu
  • Sepertinya sekitar setengah dari 700 ribu dolar itu akan habis untuk pajak

• Saya sangat menyarankan mencoba masuk ke sastra klasik. Benar-benar menakjubkan dan melampaui imajinasi; saya sempat sedikit mengenalnya di kurikulum pendidikan, tetapi baru belakangan ini menyadari betapa hebatnya
  Untuk pemula, saya merekomendasikan Life of Pythagoras karya Iamblichus, The Golden Ass karya Apuleius of Numenia (terjemahan Robert Graves), Life of Alexander karya Plutarch, Education of Cyrus karya Xenophon, dan Parmenides karya Plato
  SHWEP.net juga sangat berguna karena memandu banyak karya klasik dengan halus tetapi ketat, dan arahnya relatif esoteris; saya juga menyukai sisi itu

  • Akan bagus kalau bisa menjelaskan sedikit lebih jauh mengapa terasa begitu menakjubkan dan melampaui imajinasi
    Saya beberapa kali mencoba menyentuh sastra klasik, tetapi selalu sulit dibaca sehingga motivasi untuk menamatkannya kurang muncul, dan saya penasaran apakah ada sesuatu dalam genre ini yang saya lewatkan
  • Life of Pythagoras punya pengaruh besar dalam hidup saya. Saya sangat terinspirasi oleh cara Pythagoras mendedikasikan diri 100% untuk mencari kebenaran, dengan rendah hati berkeliling dunia mengumpulkan pengetahuan, praktik, dan teknik, mencoba banyak hal, lalu menghabiskan sebagian besar hidupnya untuk mengajar
    Pythagoras mungkin filsuf terbesar dalam sejarah. Saya juga merekomendasikan membaca Archytas, penerus rohaninya; pemikirannya tentang matematika, mekanika, musik, pembelajaran, dan filsafat sangat mengagumkan
  • Saya tidak merekomendasikan Parmenides sebagai pengantar Plato. Itu termasuk yang paling sulit di antara dialog-dialognya
    Untuk pengantar terbaik ke Plato, saya ingin menyarankan Alcibiades. Cukup ringan untuk dibaca dengan menyenangkan, tetapi sekaligus dalam dan mendalam: https://www.gutenberg.org/ebooks/1676
  • Sekarang ukuran korpus mungkin akan meledak bertambah. Menurut artikel itu, jika kata-kata ini memang seperti yang kita kira, gulungan papirus ini kemungkinan berisi teks yang sepenuhnya baru yang belum pernah dilihat dunia modern
  • Saya penasaran apakah ada Life of Pythagoras versi bahasa Jerman. Entah kenapa saya tidak bisa menemukannya, dan di Amazon hanya terlihat satu buku dengan ulasan yang bilang sepertinya terjemahan otomatis

• Saya baru-baru ini menonton video YouTube yang bagus tentang topik ini: https://www.youtube.com/watch?v=Z_L1oN8y7Bs
  Judulnya “Herculaneum scrolls: A 20-year journey to read the unreadable”, dan sedikit membahas teknologi apa yang digunakan
  Pemindaian sudah ada sejak 10 tahun lalu, tetapi untuk membedakan kertas dan tinta di atasnya diperlukan pelatihan machine learning, dan 20 tahun lalu hal itu sudah mungkin dilakukan pada set gulungan lain yang terbuat dari bahan dengan kontras lebih besar
  Deep learning sedang memecahkan sandi dataset yang sebelumnya dianggap tidak bisa dipecahkan dengan algoritma

  • Penjelasan itu cukup menyesatkan. Terobosan sebenarnya adalah mencari pola lewat pemeriksaan visual, lalu menggunakannya sebagai data pelatihan yang lebih baik
    Sejauh ini sepertinya belum banyak huruf yang terlalu sulit dilihat dengan mata yang berhasil ditemukan
    Menarik membaca di artikel aslinya tentang proses berulang berupa anotasi manual yang dipandu keluaran model, lalu melatih ulang model dengan data tambahan
    Kalau sejak awal hanya menjalankan deep learning dengan data jawaban benar yang tersedia dan tidak tahu fitur apa yang harus dilihat model, pada praktiknya hampir tidak bekerja
    Selain itu, proses membuka gulungan secara virtual saat ini juga sebagian besar masih manual dan sangat padat karya
  • Ini sangat menyesatkan. Yang melakukan penemuan itu sendiri bukan deep learning, melainkan pencarian manual
    Saat ini mereka sedang mencoba membuat model deep learning melakukan pekerjaan yang dilakukan manusia di sini, tetapi belum berhasil menemukan huruf yang sebenarnya

• Ini mirip seperti mengalami pembukaan makam Tutankhamun pada abad ke-21
  Sungguh luar biasa sampai sulit dipercaya bahwa dalam masa depan jangka menengah ada kemungkinan realistis kita bisa membeli karya terjemahan baru di Amazon yang tidak pernah dibaca siapa pun selama ribuan tahun

• Benar-benar keren. Saya penasaran apa yang akan kita pelajari dari sini
  Ngomong-ngomong, foto “Professor Seales dan tim sedang memindai di akselerator partikel” terlihat seperti adegan drama TV. Rasanya seperti “kalau kita terus bilang ‘enhance’ ke komputer, nanti pasti bisa dibaca”

• Ini layak disebut sebagai salah satu kasus pemulihan data paling ekstrem yang pernah saya lihat
  Saya penasaran apakah 2000 tahun lagi akan ada kejadian seperti “file pertama yang ditemukan dari platter hard disk yang dibuang”

  • “Robot Spot mengais tempat sampah di TPA dan menemukan 100.000 bitcoin dari hard disk yang dibuang”
  • Cerita ini samar-samar terlintas di benak saya: https://en.wikipedia.org/wiki/MS_Fnd_in_a_Lbry#:~:text=MS%20...

• 30 menit pertama wawancara ini menjelaskan dengan sangat baik apa yang sedang terjadi sekarang. Benar-benar menarik
  https://youtu.be/qcvMjoJdck4?si=RL1WnAAj4loS1D2s

• Ungkapan “ex-JPL startup founder and polymath” menarik
  Saya belum pernah mendapat pujian seperti itu karena menjadi manusia serbabisa; yang saya dapat adalah “generalis” dan “setelah mempertimbangkan dengan saksama, kami memutuskan untuk tidak melanjutkan proses lamaran Anda”

  • Para polymath sejati biasanya tampaknya menghindari disebut seperti itu
    Saya pernah melihat orang yang, meski sudah berniat untuk diakui, tersisih karena dosa yang tak terampuni: “tidak cukup terkenal”

• https://scrollprize.org/ menjelaskan tantangan awalnya
  Penelitian lain menunjukkan bahwa pembukaan virtual berbasis CT scan memungkinkan, tetapi pada gulungan-gulungan ini tintanya tidak terlihat jelas di CT/sinar-X, sehingga mereka harus kembali ke perubahan struktur yang lebih halus
  Belum jelas apakah struktur kertasnya berubah, atau tinta sebenarnya terlihat tetapi kurang tampak