Ini sudah menjadi percakapan ChatGPT yang dibagikan kedua yang benar-benar menarik yang saya lihat hari ini.
Yang pertama adalah kasus ketika seseorang terus berkata “lanjutkan” kepada ChatGPT hingga menemukan kontracontoh untuk dugaan lain: https://x.com/DmitryRybin1/status/2079904005652893709
Untuk masalah yang mungkin membuat agen menyerah, “lanjutkan” memang umumnya berhasil. LLM pada dasarnya tidak tahu apa yang mustahil.
Untuk prompt yang sulit, saya biasanya menulis, sekaligus sebagai kondisi berhenti yang wajar: “Ulangi proses ini sampai konvergen dan tidak ada lagi ide optimasi. Boleh terus mengulanginya.”
GPT khususnya tampak lebih cenderung berhenti di tengah tugas dibanding model lain, dan versi yang saya pakai belakangan mungkin 4.X.
Respons seperti “Saya sudah sampai di sini dan langkah berikutnya juga jelas, tetapi untuk melanjutkan kirimkan pesan yang tidak bermakna” terus berulang, jadi cukup merepotkan.
Mengetik “lanjutkan” saja tanpa konteks berarti sangat mempercayai LLM untuk menghindari kesalahan logika yang halus dan memilih pendekatan yang benar.
Bahkan model terbaru pun, dalam tugas DevOps sederhana, bisa menyimpulkan bahwa paket yang sudah dideploy belum dideploy, lalu langsung berbalik ketika dibantah pengguna. Jika hal seperti ini umum, saya ragu apakah sekadar mengulang “lanjutkan” dalam pembuktian matematika yang kompleks tanpa verifikasi hasil bisa menghasilkan kesimpulan yang valid.
Dahulu pun, metode yang berhasil bagi banyak matematikawan persis adalah terus melanjutkan.
Adegan ketika ia berkata, “hasil parsial sudah cukup, jadi mari akhiri dengan kontracontoh lengkap dan tanpa syarat,” lalu setelah bekerja 88 menit 24 detik menghasilkan kontracontoh hingga yang lengkap, sangat mengesankan.
Log percakapan AI dari seorang pakar yang tepat menembak inti masalah selalu menarik, dan menunjukkan seberapa banyak yang bisa digali dari model.
Terence Tao juga, mirip dengan cara saya memakai LLM di bidang keahlian saya, mengarahkan dengan kuat lewat pertanyaan singkat dan tajam yang mengerahkan istilah teknis serta perangkat teoretis. LLM tampaknya menyesuaikan gaya bicara dan tingkat jawabannya dengan level pengguna.
Pada akhirnya, cara “belajar AI” adalah terlebih dahulu menguasai domain masalah.
Karena sudah puluhan tahun mengembangkan perangkat lunak, saya bisa memakai AI untuk coding, tetapi sulit memakainya untuk fisika teoretis ketika saya tidak bisa menilai jawabannya.
Saya tidak memahami isi matematikanya, tetapi pesan-pesan Tao terasa sangat mirip dengan percakapan saya dengan LLM.
Daripada mencoba mendapatkan hasil sekaligus, menjalani eksplorasi bertahap lebih efektif dan memuaskan karena arah bisa terus dikoreksi. Cara meminta semuanya sekaligus terasa seperti sihir jika berhasil, tetapi jika gagal Anda harus membuat prompt dari awal lagi.
Beberapa hari lalu saya mengalami hal serupa dengan Claude. Awalnya berjalan baik meski saya memberi kebutuhan secara kasar, lalu gagal di bagian inti; setelah saya menanggapinya dengan lebih ketat, bahkan setelah masalah teratasi perilakunya berubah: di dalam proyek ia melakukan beberapa pengecekan lebih dulu dan lebih sering meminta arahan saya.
Agak menjengkelkan, tetapi kalau efektif, layak diterima.
Percakapan ChatGPT Terence Tao menarik karena dua alasan. Kontracontohnya bukan sekadar brute force sederhana, melainkan polinomial dengan struktur yang sangat spesifik agar hasil yang diinginkan muncul, dan pertanyaan Tao juga begitu presisi sehingga sulit memperoleh informasi yang sama tanpa pelatihan matematika tingkat lanjut.
Tao tampaknya memahami masalah dan sebagian struktur kontracontohnya, lalu memakai AI untuk mendorong sisa eksplorasinya.
Salah satu manusia paling brilian di dunia mengajukan pertanyaan, sementara LLM menjawab dengan gaya “kalau dipikir-pikir sebenarnya sangat sederhana,” sehingga tampak seperti profesor membimbing mahasiswa berbakat; itu membuat rendah hati.
Ada lelucon bahwa jika Anda tidak bisa mendapat hasil bagus dari model, itu “masalah kemampuan,” tetapi ada benarnya juga. Kemampuan memanfaatkan AI tidak hanya mencakup teknik membuat prompt berulang yang bisa dipahami agen, melainkan juga pengetahuan domain yang mendalam untuk tahu apa yang harus dieksplorasi.
Tanpa salah satunya, hasilnya bisa membuat frustrasi atau bahkan lebih buruk.
Selama beberapa tahun ke depan, kemampuan mendiskusikan bidang keahlian sendiri dengan LLM secara baik akan menjadi keterampilan manusia yang berguna, tetapi pada akhirnya hal itu pun tampaknya akan memudar.
Menakjubkan melihat Tao terus mengusulkan penyederhanaan dan ditarik ke dalam proses penemuan. Ia memakai AI untuk memahami sesuatu, memetakannya secara efisien ke kerangka pikirnya sendiri, serta mencari hasil turunan yang lebih sederhana yang dapat menggeneralisasi atau menjelaskan fenomena.
Hal yang paling saya rindukan dari JPL dan dunia akademik juga diskusi semacam “bagaimana kalau begini?” seperti ini.
Simbiosis manusia dan AI tampak sebagai nilai baru dari AI yang muncul. Sambil menghasilkan artefak seperti diff kode, saya bisa terus menilai seberapa kokoh kerangka pikir saya tentang tahap saat ini.
Khususnya, sekarang saya bisa memilih seberapa presisi saya ingin memahami sendiri masalah yang sedang dikerjakan, sebuah opsi yang praktis tidak ada sebelum AI.
Ini terlihat mirip dengan cara profesor matematika memanfaatkan mahasiswa pascasarjana selama ratusan tahun.
Terminologi dan notasi matematika sangat padat dan rumit sampai sulit dipercaya. Di bidang sains dan teknik lain, dengan bantuan Google atau Wikipedia kita umumnya masih bisa mengikuti, tetapi matematika tingkat lanjut terlalu cepat menjauh dari level yang dapat dipahami sehari-hari.
Bahkan orang yang akrab dengan bidang teknologi pun mungkin merasa benar-benar tersesat saat berhadapan dengan matematika yang sulit.
Ini juga berlaku untuk hampir semua bidang, termasuk ilmu komputer. Banyak orang hanya beraktivitas di tingkat permukaan tanpa menyadari pengetahuan latar yang telah mereka kumpulkan.
Seorang software engineer rata-rata pun harus memahami banyak istilah seperti cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS, dan sebagainya. Cache saja bisa berarti cache CPU, page, browser, CDN, atau Redis, dan kata sehari-hari seperti session, handle, pool, buffer, stream, channel juga berubah makna tergantung konteks.
Dalam kelas mekanika kuantum, ketika H Psi = E Psi tertulis di papan, semua orang tertawa sambil berkata “tinggal mencoret Psi,” tetapi satu sisi adalah perkalian biasa sedangkan sisi lain adalah operator berupa perkalian matriks, sehingga kami harus mempelajari notasi baru.
Saya juga pernah bingung karena tidak tahu bahwa huruf tebal pada suatu variabel berarti matriks.
Kematangan matematis dalam matematika mirip dengan proses belajar pemrograman, musik, atau memasak yang melibatkan beberapa kali momen pencerahan dan perubahan perspektif. Dalam matematika, penalaran abstrak itu sendiri adalah batas utama, sehingga tahap seperti ini lebih banyak dibanding aktivitas lain.
Abstraksi itu wajib. Memori kerja manusia sangat kecil, jadi untuk menalar berbagai masalah kita harus membangun struktur hierarkis berlapis, dan ini hampir merupakan inti matematika.
Matematika berusaha meminimalkan ambiguitas lebih daripada bidang lain. Bidang non-matematika cenderung memberi makna teknis pada kata-kata biasa lalu menggunakannya kembali, dan khususnya dalam ilmu sosial serta humaniora, karena tidak ada simbol asing, nonpakar kadang tidak menyadari kurangnya pemahaman mereka.
Matematika itu sendiri tidak bisa saya evaluasi, tetapi ada beberapa hal yang menonjol dari perilaku model. Untuk sebagian pertanyaan ia bernalar, untuk sebagian lain ia langsung menjawab, dan kadang ia juga membantah dengan mengajukan syarat atau koreksi
Selain itu, meski lama bolak-balik antara tanya jawab, membaca PDF, menulis kode, dan penalaran, ia tetap mempertahankan topik, dan tampaknya Tao juga menilainya tetap produktif. Perkembangan model lebih dekat ke gambaran seperti ini daripada sekadar kenaikan angka benchmark tertentu
Ungkapan “Namun ada hal yang perlu diperhatikan” adalah respons klise dari Codex dan Claude generasi saat ini
Kenyataannya, banyak isinya terlalu jelas sehingga sulit disebut catatan perhatian, tetapi pengguna jadi mengira ada syarat penting. Sama seperti selalu memulai dengan mengatakan akan menjawab “secara jujur”, ini mengganggu, jadi lebih baik ditekan melalui AGENTS.md
Hal paling mengejutkan dari percakapan ini adalah agen AI tampak seperti lawan bicara yang setara dengan Tao, salah satu matematikawan terbaik masa kini
Tao memang menentukan arah, tetapi pada saat yang sama ia belajar dari, bergantung pada, penjelasan, analisis, dan penalaran AI; rasanya seperti adegan membahas hasil dengan mahasiswa doktoral atau profesor lain. Setelah satu tahun atau dua kali rilis model lagi, AI bisa saja menjadi jelas lebih kuat daripada Tao
Justru percakapan ini terlihat seperti kontra-contoh terhadap prospek itu. Jika bercakap dengan AI lain, kecil kemungkinan hasilnya akan seproduktif percakapan dengan Tao
Entah apakah akan berubah setahun lagi, tetapi karena target waktunya terus mundur, saya skeptis
LLM berguna jika dipikirkan sebagai cermin pemantul. Jika Anda berbicara seperti matematikawan ahli, model juga akan merespons begitu, tetapi prompt pertama Tao, meski terlihat sederhana, mungkin sulit ditulis mahasiswa tahun pertama pada level yang sama
Ini kebalikan dari prompt era GPT-3.5 seperti “kamu adalah matematikawan profesional”. Kepada pakar sungguhan kita tidak mengatakan hal seperti itu, jadi justru frasa tersebut mengungkap kepada model bahwa penggunanya bukan pakar
Jika mempertimbangkan bahwa AI yang sama juga membantu resep masakan, diagnosis bunyi aneh pada mobil, PR biologi, hingga penerjemahan, bisa dibilang ia sudah lebih kuat daripada Tao
Bahkan jika hanya melihat matematika, karena ia sudah punya kedalaman sebesar ini di hampir semua subbidang, saya menilainya sudah lebih kuat
Permintaan “Karena saya sudah mengaktifkan Pro, bisakah kamu terus mencarikan penjelasan geometris untuk X_3 ~ A3 sambil menghindari koordinat atau konstruksi yang dipaksakan?” benar-benar mencerminkan sosok pelanggan yang puas dengan fitur berbayar
Untuk topik tingkat lanjut, tampaknya cukup melempar pertanyaan yang sangat singkat untuk memancing jawaban tanpa basa-basi. Ditambah aktivasi Pro, mungkin itu juga membuatnya lebih baik
Mengejutkan juga bahwa Terence Tao pun harus membayar untuk bercakap dengan ChatGPT. Rasanya justru OpenAI yang seharusnya membayar Tao
Percakapan dengan ChatGPT 4 tahun lalu seperti ini: https://i.imgur.com/WPaWgzZ.png
Ini era yang membuat kita penasaran sejauh apa ia akan melaju 4 tahun lagi
Di Inggris gambarnya tidak terlihat, jadi penasaran isinya apa
Ini menunjukkan betapa cepatnya pernyataan tegas semacam “LLM tidak bisa bernalar dan hanya mengulang kalimat dasar, jadi 100 tahun pun tidak akan bisa menjadi pintar” menjadi usang
Bahkan sesi ChatGPT seorang supergenius pun, fakta bahwa ketika manusia menulis satu kalimat, LLM menjawab tiga halaman, terasa anehnya menenangkan
1 komentar
Komentar Hacker News
Ini sudah menjadi percakapan ChatGPT yang dibagikan kedua yang benar-benar menarik yang saya lihat hari ini.
Yang pertama adalah kasus ketika seseorang terus berkata “lanjutkan” kepada ChatGPT hingga menemukan kontracontoh untuk dugaan lain: https://x.com/DmitryRybin1/status/2079904005652893709
Untuk prompt yang sulit, saya biasanya menulis, sekaligus sebagai kondisi berhenti yang wajar: “Ulangi proses ini sampai konvergen dan tidak ada lagi ide optimasi. Boleh terus mengulanginya.”
Respons seperti “Saya sudah sampai di sini dan langkah berikutnya juga jelas, tetapi untuk melanjutkan kirimkan pesan yang tidak bermakna” terus berulang, jadi cukup merepotkan.
Bahkan model terbaru pun, dalam tugas DevOps sederhana, bisa menyimpulkan bahwa paket yang sudah dideploy belum dideploy, lalu langsung berbalik ketika dibantah pengguna. Jika hal seperti ini umum, saya ragu apakah sekadar mengulang “lanjutkan” dalam pembuktian matematika yang kompleks tanpa verifikasi hasil bisa menghasilkan kesimpulan yang valid.
Log percakapan AI dari seorang pakar yang tepat menembak inti masalah selalu menarik, dan menunjukkan seberapa banyak yang bisa digali dari model.
Terence Tao juga, mirip dengan cara saya memakai LLM di bidang keahlian saya, mengarahkan dengan kuat lewat pertanyaan singkat dan tajam yang mengerahkan istilah teknis serta perangkat teoretis. LLM tampaknya menyesuaikan gaya bicara dan tingkat jawabannya dengan level pengguna.
Karena sudah puluhan tahun mengembangkan perangkat lunak, saya bisa memakai AI untuk coding, tetapi sulit memakainya untuk fisika teoretis ketika saya tidak bisa menilai jawabannya.
Daripada mencoba mendapatkan hasil sekaligus, menjalani eksplorasi bertahap lebih efektif dan memuaskan karena arah bisa terus dikoreksi. Cara meminta semuanya sekaligus terasa seperti sihir jika berhasil, tetapi jika gagal Anda harus membuat prompt dari awal lagi.
Agak menjengkelkan, tetapi kalau efektif, layak diterima.
Percakapan ChatGPT Terence Tao menarik karena dua alasan. Kontracontohnya bukan sekadar brute force sederhana, melainkan polinomial dengan struktur yang sangat spesifik agar hasil yang diinginkan muncul, dan pertanyaan Tao juga begitu presisi sehingga sulit memperoleh informasi yang sama tanpa pelatihan matematika tingkat lanjut.
Tao tampaknya memahami masalah dan sebagian struktur kontracontohnya, lalu memakai AI untuk mendorong sisa eksplorasinya.
Tanpa salah satunya, hasilnya bisa membuat frustrasi atau bahkan lebih buruk.
Menakjubkan melihat Tao terus mengusulkan penyederhanaan dan ditarik ke dalam proses penemuan. Ia memakai AI untuk memahami sesuatu, memetakannya secara efisien ke kerangka pikirnya sendiri, serta mencari hasil turunan yang lebih sederhana yang dapat menggeneralisasi atau menjelaskan fenomena.
Hal yang paling saya rindukan dari JPL dan dunia akademik juga diskusi semacam “bagaimana kalau begini?” seperti ini.
Khususnya, sekarang saya bisa memilih seberapa presisi saya ingin memahami sendiri masalah yang sedang dikerjakan, sebuah opsi yang praktis tidak ada sebelum AI.
Terminologi dan notasi matematika sangat padat dan rumit sampai sulit dipercaya. Di bidang sains dan teknik lain, dengan bantuan Google atau Wikipedia kita umumnya masih bisa mengikuti, tetapi matematika tingkat lanjut terlalu cepat menjauh dari level yang dapat dipahami sehari-hari.
Bahkan orang yang akrab dengan bidang teknologi pun mungkin merasa benar-benar tersesat saat berhadapan dengan matematika yang sulit.
Seorang software engineer rata-rata pun harus memahami banyak istilah seperti cache, stack, heap, process, thread, socket, TCP, HTTP, TLS, deadlock, race condition, atomicity, event loop, coroutine, transaction, replication, sharding, serialization, DNS, dan sebagainya. Cache saja bisa berarti cache CPU, page, browser, CDN, atau Redis, dan kata sehari-hari seperti session, handle, pool, buffer, stream, channel juga berubah makna tergantung konteks.
H Psi = E Psitertulis di papan, semua orang tertawa sambil berkata “tinggal mencoret Psi,” tetapi satu sisi adalah perkalian biasa sedangkan sisi lain adalah operator berupa perkalian matriks, sehingga kami harus mempelajari notasi baru.Saya juga pernah bingung karena tidak tahu bahwa huruf tebal pada suatu variabel berarti matriks.
Matematika itu sendiri tidak bisa saya evaluasi, tetapi ada beberapa hal yang menonjol dari perilaku model. Untuk sebagian pertanyaan ia bernalar, untuk sebagian lain ia langsung menjawab, dan kadang ia juga membantah dengan mengajukan syarat atau koreksi
Selain itu, meski lama bolak-balik antara tanya jawab, membaca PDF, menulis kode, dan penalaran, ia tetap mempertahankan topik, dan tampaknya Tao juga menilainya tetap produktif. Perkembangan model lebih dekat ke gambaran seperti ini daripada sekadar kenaikan angka benchmark tertentu
Kenyataannya, banyak isinya terlalu jelas sehingga sulit disebut catatan perhatian, tetapi pengguna jadi mengira ada syarat penting. Sama seperti selalu memulai dengan mengatakan akan menjawab “secara jujur”, ini mengganggu, jadi lebih baik ditekan melalui
AGENTS.mdHal paling mengejutkan dari percakapan ini adalah agen AI tampak seperti lawan bicara yang setara dengan Tao, salah satu matematikawan terbaik masa kini
Tao memang menentukan arah, tetapi pada saat yang sama ia belajar dari, bergantung pada, penjelasan, analisis, dan penalaran AI; rasanya seperti adegan membahas hasil dengan mahasiswa doktoral atau profesor lain. Setelah satu tahun atau dua kali rilis model lagi, AI bisa saja menjadi jelas lebih kuat daripada Tao
Entah apakah akan berubah setahun lagi, tetapi karena target waktunya terus mundur, saya skeptis
Ini kebalikan dari prompt era GPT-3.5 seperti “kamu adalah matematikawan profesional”. Kepada pakar sungguhan kita tidak mengatakan hal seperti itu, jadi justru frasa tersebut mengungkap kepada model bahwa penggunanya bukan pakar
Bahkan jika hanya melihat matematika, karena ia sudah punya kedalaman sebesar ini di hampir semua subbidang, saya menilainya sudah lebih kuat
Permintaan “Karena saya sudah mengaktifkan Pro, bisakah kamu terus mencarikan penjelasan geometris untuk
X_3 ~ A3sambil menghindari koordinat atau konstruksi yang dipaksakan?” benar-benar mencerminkan sosok pelanggan yang puas dengan fitur berbayarPercakapan dengan ChatGPT 4 tahun lalu seperti ini: https://i.imgur.com/WPaWgzZ.png
Ini era yang membuat kita penasaran sejauh apa ia akan melaju 4 tahun lagi
Bahkan sesi ChatGPT seorang supergenius pun, fakta bahwa ketika manusia menulis satu kalimat, LLM menjawab tiga halaman, terasa anehnya menenangkan