Vibe Coding - Pengodean Vibe
(x.com/karpathy)- Andrej Karpathy menyebut vibe coding sebagai cara baru membuat sesuatu ketika LLM sudah cukup bagus, sehingga kita hampir tidak lagi sadar akan kode itu sendiri
- Dengan menggabungkan Cursor Composer, Sonnet, dan input suara SuperWhisper, ia menyampaikan kebutuhan lewat ucapan hampir tanpa memakai keyboard
- Bahkan untuk permintaan kecil seperti mengurangi padding menjadi setengah, ia tidak mencarinya sendiri dan cukup menyerahkannya, lalu menekan Accept All tanpa membaca diff
- Pesan error disalin-tempel tanpa penjelasan, dan jika LLM tidak bisa memperbaiki bug, ia akan mengakalinya atau terus mengulang perubahan acak sampai masalahnya hilang
- Ini cukup berguna untuk proyek sekali pakai di akhir pekan, tetapi kode bisa membesar melampaui batas pemahaman sehingga pendekatannya terasa lebih dekat ke melihat, berbicara, menjalankan, dan menempel daripada benar-benar mengode
Cara kerja “vibe coding”
- vibe coding adalah pendekatan yang hampir sepenuhnya menyerahkan semuanya pada LLM hingga seolah melupakan keberadaan kode itu sendiri
- Contoh alat yang dipakai adalah Cursor Composer with Sonnet, dan untuk input suara digunakan SuperWhisper
- Alih-alih mencari atau mengubah kode secara langsung, alur berikut diulang terus
- Melihat perubahan yang dibutuhkan di layar
- Meminta ke Composer lewat ucapan
- Menjalankan hasilnya
- Menyalin-tempel pesan error
- Diff tidak lagi dibaca, dan Accept All selalu ditekan
- Jika kode membesar melampaui tingkat pemahaman biasanya, maka akan sampai pada kondisi di mana perlu membaca kode cukup lama untuk benar-benar memahaminya
Batasan dan contoh
- Ada kalanya LLM tidak bisa memperbaiki bug
- Dalam kasus ini, bug tersebut diakali
- Atau terus diminta melakukan perubahan acak sampai masalahnya hilang
- Pendekatan seperti ini dinilai tidak buruk untuk throwaway weekend projects
- Dalam sekitar satu jam vibe coding, ia juga membuat game Battleship
- Bentuknya adalah dua model LLM acak yang dipilih pengguna saling bertarung secara real-time
- Belum ada statistik yang kuat, tetapi ia mengatakan 4o tampaknya mengalahkan 4o-mini
2 komentar
Pendapat di Hacker News
Setelah mencobanya langsung, hasilnya cukup bagus, tetapi halusinasi jelas harus diwaspadai
Misalnya, saat saya memintanya menulis laporan pengantar tentang diri saya sepanjang 500 kata, muncul setidaknya 3 kesalahan. Ia menyebut reputasi Stack Overflow saya 47.000 poin, padahal sebenarnya ia mencampuradukkan “47k orang yang dijangkau” di profil dengan reputasi 525 poin. Ia juga mengutip seolah-olah saya pernah menjawab soal PHP monkey-patching, padahal itu sebenarnya pertanyaan yang saya ajukan 15 tahun lalu dan jawabannya ditulis orang lain. Terakhir, kutipan wawancara yang dipakai juga bukan milik saya, melainkan wawancara saudara saya yang bersama-sama mendirikan perusahaan
Sebagai titik awal masih bisa dipakai, tetapi hasilnya harus selalu diverifikasi dengan mengikuti tautan sumber
Jika bagian yang sulit adalah menulis kalimat, lebih cepat melakukan riset sendiri, menulis kerangka, lalu meminta model bahasa besar mengubahnya menjadi kalimat final. Namun jika begitu, pada akhirnya itu membuktikan bahwa gaya prosa adalah bagian pekerjaan yang nilainya rendah; sebagai mantan mahasiswa sastra Inggris, itu menyakitkan, tetapi pada umumnya benar
Ada pihak-pihak yang merilis produk jauh sebelum benar-benar mampu meluncurkannya dengan layak, dan saya tidak yakin pembelaan hukumnya akan sekokoh itu. Namun keluaran yang dibantu basis data bisa, dan memang harus, membatasi secara kuat fenomena ingatan keliru seperti ini. Diperlukan verifikasi linear seperti manusia: menghasilkan ide lalu mencocokkannya dengan data; itulah due diligence sekaligus bagian dari proses penalaran. Gerakan ke arah yang berbeda dari evolusi produk inti tampak mengguncang R&D, dan terasa seperti semacam penundaan
Jika disebut “riset mendalam”, orang akhirnya membacanya sebagai mencakup mendapatkan jawaban yang benar juga
Sekarang, bahkan jika jawaban yang sepenuhnya salah hanya 10%, banyak orang menilai kepercayaan terhadap semua interaksi runtuh secara signifikan, entah karena salah menurut akal sehat maupun saling bertentangan. Selain untuk mengonfirmasi ulang hal yang sudah diketahui, model bahasa sebenarnya tidak cukup besar untuk benar-benar mengetahui semuanya; ia hanya terdengar seperti tahu
Yang saya inginkan bukan sekadar jawaban benar, melainkan jawaban benar yang lebih cepat daripada waktu saya melakukan riset sendiri, dan juga lebih cepat daripada waktu untuk memverifikasi jawaban yang diberikan mesin. Meminta siswa mengerjakan lembar ujian yang jawabannya sudah saya ketahui dan harus memercayai jawaban atas pertanyaan yang jawabannya tidak saya ketahui adalah dua tingkat yang sama sekali berbeda
Berguna untuk sesekali dipakai di sana-sini, tetapi tidak seberguna uang yang digelontorkan ke sana. Tentu saja berguna bagi perusahaan yang menerima uang itu. Ini contoh yang saya harapkan bisa diselesaikan sendiri oleh AI sungguhan, tetapi model bahasa besar saat ini gagal total: https://x.com/RadishHarmers/status/1885884032220643587
Jika bukan ranah yang bisa menerima kesalahan atau halusinasi, waktu manusia untuk memeriksa solusi harus lebih cepat secara eksponensial daripada waktu AI menemukannya agar ada manfaat nyata
Ini tidak akan menjadi solusi untuk semua masalah, tetapi mirip dengan banyak masalah rekayasa. Misalnya, ORM tidak bagus untuk semua kueri, tetapi cukup memadai untuk sebagian besar di antaranya
Ini terasa menakutkan. Bahkan jika kita mengakui masalah halusinasi dan kesalahan, pengguna nyata kemungkinan besar akan mengabaikannya dan memasukkan output itu ke PowerPoint mereka sendiri
Konsultansi manajemen sejak awal sudah cukup buruk, dan akan makin buruk jika grafik dan statistik bisa diproduksi massal sesuka hati. Meski begitu, dulu setidaknya ada sedikit pemahaman di balik layar tentang dari mana angka-angka itu berasal, dan sumbernya juga bisa diberikan
Semakin kuat alat seperti ini, efek bahwa hasilnya meresap ke mana-mana akan makin sering terjadi
Model bahasa besar membuat orang menjadi kebal terhadap konten bernilai informasi rendah seperti ini. Orang-orang yang menghasilkan output setingkat LLM kini dicurigai memakai LLM, dan makin sulit berpura-pura masih menambahkan nilai. Akibatnya, konsultan akan dituntut menghasilkan kualitas lebih tinggi, dan orang-orang yang hanya memproduksi kata-kata bertele-tele alih-alih informasi yang akurat, berwawasan, dan sesuai konteks akan tersaring
Gemini juga sudah punya Deep Research dengan nama yang sama sejak satu-dua bulan lalu: https://blog.google/products/gemini/google-gemini-deep-resea...
Sebagai pertanyaan meta, saya penasaran mengapa nama-nama di industri AI begitu sering tumpang tindih. Yang terlintas adalah Triton (Nvidia, OpenAI) atau Gro{k,q} (X.ai, groq, OpenAI)
Kata-kata yang dibutuhkan untuk promosi tetapi belum benar-benar dicapai akan didefinisikan ulang. “grok” adalah contoh sempurna; dalam buku fiksi ilmiah aslinya, itu berarti “pemahaman penuh”. Triton dalam mitologi menguasai laut dalam, jadi slogan penjualan “deep learning” langsung mengambilnya
Jika dicoba sendiri, membuat model bahasa besar benar-benar masuk secara mendalam ternyata cukup sulit. Deep Research dari OpenAI terasa seperti salah satu contoh pertama yang menunjukkan bagaimana lab besar bisa melakukannya. Biasanya bagian yang sulit bukan “agen” itu sendiri, melainkan memaksa model agar tidak lupa untuk menggali lebih dalam
Entah apakah Anda menyadarinya, tetapi fitur ini tampaknya dijalankan oleh model o3 yang belum dirilis. Ini juga cocok dengan alasan mengapa ia unggul jauh di benchmark dan klaim bahwa o3 terlalu mahal untuk dirilis secara publik. Terlihat seperti model yang mengesankan dan berada di depan Google, DeepSeek, serta Perplexity
Jika o3 terlalu mahal untuk dibuka ke publik, mengapa memakainya pada alat yang harus melakukan ratusan panggilan inferensi untuk satu pertanyaan? Mereka akan memakai model yang jauh lebih murah. Mungkin kombinasi o3-mini atau o1-mini, dengan o4-mini untuk sebagian tugas
o3 mungkin unggul saat menyintesiskan jawaban akhir atau memilih di antara sumber yang saling bertentangan, tetapi untuk sampai ke titik itu dibutuhkan sangat banyak langkah
Bagi orang-orang yang bekerja di dunia akademik, ini benar-benar alat yang menarik. Saya ingin mencobanya, tetapi saat ini tidak sanggup membayar 200 dolar per bulan
Akan bagus jika ada yang bisa mengujinya dengan prompt berikut. Permintaannya adalah, sebagai asisten riset fisika partikel, buat ringkasan teknis yang membandingkan CERN Future Circular Collider (FCC), International Linear Collider (ILC), Compact Linear Collider (CLIC), berbagai proposal Muon Collider, dan rencana utama penumbuk partikel generasi berikutnya per 2024, mencakup rentang energi, jenis tumbukan, jadwal, kelebihan dan kekurangan teknis, biaya, target fisika, laporan desain, kolaborasi internasional, efektivitas biaya, potensi penemuan, infrastruktur, dampak lingkungan, hingga jalur upgrade
Output aslinya terlalu panjang untuk dituliskan seluruhnya di HN, dan bentuknya berupa laporan yang membandingkan FCC, ILC, CLIC, Muon Collider, CEPC/SppC, dan lain-lain dalam format tabel serta sumber, mencakup energi rencana, metode tumbukan, jadwal, biaya, tantangan teknis, target fisika, dukungan internasional, dampak lingkungan, dan jalur upgrade jangka panjang
Saya meragukan apakah kemampuan ini benar-benar merupakan prasyarat AGI dan ASI
Penalaran, pemecahan masalah, dan verifikasi riset pada dasarnya semuanya dekat dengan pemikiran yang tertata. Riset masih merupakan area yang membuat saya skeptis soal pentingnya hal ini, karena bukti yang valid tidak muncul dari jawaban yang rapi, melainkan dari hasil eksekusi
Misalnya, sekeras apa pun Anda meneliti penyedot debu terbaik di internet, sebelum mencobanya langsung Anda akan terjebak di antara pemasaran, ulasan palsu, dan influencer. Bidang sains mungkin agak terlindungi dari masalah ini karena membosankan, tetapi menakutkan jika membayangkan perusahaan farmasi bisa memenuhi internet dengan artikel blog khusus berisi “hasil riset” medis kelas atas untuk menciptakan nuansa makalah yang mereka inginkan. Pada titik tertentu, internet bisa menjadi sama sekali tidak dapat dipercaya, dan titik itu mungkin segera datang
Dengan ledakan teks generatif, nilai riset tampaknya akan jauh berkurang karena tumpukan sampah informasi yang luar biasa besar. Bisa saja itu menjadi sesuatu yang tersisa dari masa ketika internet masih “nyata”
Dulu saya pernah mencari artikel dengan pengukuran nyata untuk membandingkan perbedaan Hydroflask, Klean Kanteen, dan Thermos pada minuman panas/dingin, tetapi sebagian besar hasil pencarian Google hanyalah perbandingan umum tanpa data keras. Namun artikel seperti “Hydroflask lebih baik untuk minuman hangat” tetap muncul di peringkat atas
Kuncinya adalah apakah alat ini bisa dibuat mengabaikan artikel seperti itu dan hanya menggunakan artikel dengan eksperimen sungguhan, serta apakah bisa menyaring hasil duplikat ketika eksperimen yang dilakukan satu orang dikutip berulang oleh banyak blogger
Jika AGI, ia tentu bisa melakukan tugas seperti ini, dan semakin luas diagram Venn dari kemampuan-kemampuan seperti ini, semakin kita bisa mempersempit apa yang mungkin menjadi mekanisme dasar AGI. Moravec pernah menggambarkan lanskap kemampuan manusia yang perlahan terendam oleh kemampuan AI; kita akan tahu bahwa kita telah mencapai AI yang benar-benar general-purpose ketika AI bisa melakukan semua hal yang bisa dilakukan manusia, baik secara aktual maupun secara prinsip. Deep Research hanyalah satu pulau lain yang sedang tenggelam dalam banjir itu
Jika saya memahami grafiknya dengan benar, tingkat kelulusan tes internal tampaknya hanya 20%. Kalau begitu, apakah artinya setelah menunggu 30 menit dan membayar mahal, kita tetap harus menyisir dinding teks panjang yang kemungkinan besar keliru?
Jika kemungkinan halusinasi tidak cukup kecil untuk diabaikan, terlalu banyak materi yang harus ditinjau sekaligus. Rasanya prosesnya harus jauh lebih iteratif
Dengan kata lain, itu bukan pertanyaan umum, melainkan lebih dekat ke benchmark matematika mutakhir
Untuk kasus seperti riset nyata, ketika volume pekerjaan persiapan lebih besar daripada keluaran akhir, ini bisa cocok secara konseptual. Jika melihat benchmark secara kasar, menjelang akhir tahun tampaknya bisa melewati 50% per kueri, dan sepertinya meningkat dua kali lipat setiap satu atau dua generasi model
Di ranah blog ada para ahli yang dikenal dalam bidang sempit atau orang-orang terkenal di bidangnya, dan jauh lebih banyak lagi orang yang menulis artikel bermanfaat. Setidaknya mereka menulis dalam arti berharap manusia lain membacanya
Namun jika semua pembacanya menjadi bot, saya penasaran apakah mereka akan tetap menulis. Rasanya internet mati semakin mendekat
Namun sebagai penulis, tetap menarik bahwa kita bisa berkontribusi pada dunia pengetahuan yang mudah diakses ketika orang ingin menulis. Tidak perlu lagi susah payah menelusuri makalah-makalah yang hanya judulnya tampak relevan, dan tidak apa-apa juga jika orang lain tidak perlu susah payah membaca makalah saya
Saya penasaran apakah ada orang yang benar-benar sudah punya akses ke fitur ini. Di situs web tertulis mulai hari ini tersedia untuk pengguna Pro, tetapi meskipun saya punya Pro lewat akun perusahaan, saya tidak melihat opsi Deep Research di penulis pesan
Jika membuka model apa pun, tag
(Deep research)muncul di kotak input di sebelah opsi pencarian web. Saya tidak menghapus cache atau apa punKomentar Hacker News
Setiap tahun saya merasa standar kualitas perangkat lunak tidak mungkin turun lagi, tapi setiap kali saya sadar pikiran itu salah
Saya juga menikmati hal seperti ini saat mengerjakan proyek ringan
Melihat pendekatan seperti ini, rasanya seperti hasil kerja dari ‘orang yang coding sambil makan’ diserahkan begitu saja
Saya khawatir kalau mulai coding dengan cara ini, kemampuan menyelesaikan masalah sulit akan mengalami kemunduran
Belakangan ini makin banyak pengembang AI-native yang belajar dengan cara seperti ini sejak awal
Alat seperti “WYSIWYG yang bisa diedit lewat perintah bahasa alami” tampaknya akan punya tebing kesulitan yang curam, seperti batasan alat RAD
Ada yang bilang “jangan belajar dengan cara seperti ini”, tapi menurut saya yang penting adalah menyeimbangkan upaya dan tingkat hasil akhir
Saya rasa untuk CSS, Vibe Coding saja sudah cukup