Terima kasih. Konsumsi token Claude juga besar, dan hasil kerjanya dibanding Codex agak kurang memuaskan, jadi belakangan ini saya lebih banyak bekerja dengan Codex.
Terima kasih telah berbagi informasi yang bagus. Secara mendasar saya merasa penggunaan token itu sendiri sudah jauh berkurang, jadi saya berharap di Claude bisa ditingkatkan. Karena harness berjalan lalu terputus di tengah...
Saya juga setuju dengan pendapat ini.
Pada akhirnya, saya melihat ini sebagai alat dengan trade-off yang jelas.
Saya juga khawatir kemampuan coding saya akan menurun semakin sering menggunakan AI, tetapi yang pasti saya jadi memikirkan hal-hal lain yang dulu tidak saya lakukan (atau tidak bisa saya lakukan).
> Di dasar keruntuhan ini terdapat keterbatasan matematis dari 'normalisasi softmax', jantung dari arsitektur transformer. Dalam mekanisme attention, jumlah bobot perhatian semua token harus selalu menjadi 1, mengikuti distribusi zero-sum. Karena itu, saat panjang sekuens input N bertambah secara geometris, bobot informasional yang dapat dialokasikan ke token inti tertentu niscaya akan konvergen ke 1/N dan terdilusi secara aritmetis. Ini bukan sekadar inefisiensi komputasi, tetapi berarti 'noise floor' yang harus diproses model meningkat tajam.
Ini tulisan yang tidak bergizi; hanya memaparkan argumen tanpa dasar yang menentukan untuk klaimnya maupun eksperimen langsung.
Semacam perpanjangan membosankan dari ucapan Yann LeCun seperti, "Bahkan kalau sudah sampai GPT-5000, model tetap tidak akan bisa mempelajari bahwa jika sebuah benda diletakkan di atas meja lalu mejanya didorong, bendanya juga ikut terdorong," atau "model autoregresif pasti akan runtuh karena akumulasi kesalahan ketika urutannya makin panjang"...
Terus terang, jadi curiga ini jangan-jangan bukan unggahan viral untuk promosi perusahaan yang disebut di bagian akhir white paper.
Saya jadi ingat postingan humor yang saya lihat belum lama ini
Katanya setelah menulis kode sendiri secara manual lalu meminta AI untuk memperbaikinya, malah muncul
Phase 1: hapus kode sampah
wkwkwk
Ini memang bukan hal yang terbatas hanya pada coding. Kesulitan yang diinginkan bukan sekadar slogan klise, melainkan didasarkan pada berbagai bukti ilmiah.
Suatu hari kalkulator rusak dan mengeluarkan hasil 3 X 3 = 10, lalu saya jadi khawatir kalau-kalau tak seorang pun menyadari bahwa itu salah... Jika itu terjadi di komputer programmer yang menangani rekening bank saya... Sepertinya tidak ada salahnya untuk tetap berhati-hati.
Saya juga masih merasa kurang di bidang keahlian saya sendiri, jadi saya berhati-hati dengan menganggap bahwa di bidang tempat saya menerima bantuan pun tingkatnya kira-kira segitu. Sebagai gantinya, karena laju perkembangannya cukup pesat, saya mencoba memakainya untuk pekerjaan yang kalau kualitasnya terus berada di tingkat itu pun masih memadai.
Dengan adanya kalkulator, menghafal tabel perkalian terlihat seperti keterikatan pada cara kerja masa lalu. Bagaimanapun, bagian seperti itu pada akhirnya akan dikerjakan lebih baik oleh kalkulator. Yang penting sekarang adalah pengalaman memperbaiki bagian-bagian yang tidak berjalan baik saat menggunakan kalkulator. Namun, saya juga berpikir hal ini pun hanya bersifat sementara.
Ditulis dengan rumit, tetapi pada akhirnya yang ingin disampaikan adalah hal yang juga berlaku pada manusia.
Pertanyaannya adalah, apakah tulisan yang dibuat oleh orang bodoh A akan menjadi lebih baik hanya karena dilihat lagi oleh orang bodoh A.
Tentu saja dalam sedikit kasus ada ruang untuk menjadi lebih baik, dan ada juga probabilitas menjawab semua soal dengan menebak lalu mendapat nilai penuh di CSAT, tetapi dalam kebanyakan kasus hasilnya hanya akan kembali ke rata-rata level orang bodoh A setelah N kali percobaan.
(Untuk Chapter 2, saya tidak bisa sepenuhnya setuju.)
Namun seperti yang dibicarakan dalam makalah itu, saya harap orang-orang paham bahwa what-ever Scaling Law hanyalah hukum peningkatan sementara, bukan sesuatu yang abadi.
Kalau benar-benar membaca makalah OpenAI dengan baik, seharusnya mereka tidak akan mengatakan hal seperti itu.
Sebenarnya, daripada 100 makalah seperti itu, semuanya akan selesai kalau seseorang yang mengklaim "bisa" cukup membuktikan bahwa itu memang bisa.
Masalahnya, yang dilakukan hanya alkimia "bisa" saja.
Saya pribadi sangat merasakan sampai ke tulang bahwa AI sangat buruk di bidang keahlian saya. Saya menduga para ahli di bidang lain pun mungkin merasakan hal yang sama. Tentu saja ini sangat membantu. Saya memang jadi harus menulis dokumen cerewet sepanjang hari, tetapi tetap saja tidak bisa dibandingkan dengan produktivitas sebelumnya.
Attention dibentuk oleh suara mayoritas.
Agen verifikasi hanya perlu lolos fungsi evaluasi.
Sebagian besar kode industri yang hebat tidak tersedia untuk publik.
Open source adalah kode untuk dipamerkan.
Menurut hasil eksperimen di lembaga riset kami, ini adalah model yang dirilis terburu-buru oleh tim Qwen tanpa tim Qwen, demi mengelola keresahan pasar dengan hanya menyesuaikan diri pada benchmark. Obsesi terhadap tool terlalu kuat. Kami menilainya sebagai kemunduran dibanding 3.5.
Selain rilis dalam siklus pendek, saya tidak tahu apa lagi yang tersisa dari agile.
Backlog dan sprint juga sudah ada sebelumnya dalam bentuk lain, dan komunikasi dengan pelanggan punya banyak bagian yang tidak sesuai dengan kenyataan. Pada akhirnya, saya pikir perbaikan DevOps membawa peningkatan pengembangan yang lebih besar daripada agile.
Dalam penulisan SW, masalahnya bukanlah abstraksi, melainkan ambiguitas. Bahasa alami pada dasarnya ambigu. Juga bisa memiliki lebih dari satu makna. Karena itu, mungkin inilah alasan mengapa upaya untuk melakukan coding dengan bahasa alami tidak berjalan dengan baik.
Dalam situasi seperti ini, membayangkan bahasa alami menggantikan kode saja rasanya sudah jauh dari kenyataan.
Isi seperti ini tampak sebagai keterikatan pada cara kerja masa lalu. Bagaimanapun, bagian-bagian seperti itu pada akhirnya akan lebih dikuasai oleh AI. Yang penting sekarang adalah pengalaman memperbaiki bagian-bagian yang tidak berjalan baik saat menggunakan AI. Namun, saya juga menganggap ini hanya bersifat sementara.
Mungkin berbeda untuk tiap orang, tetapi rasanya pembelajaran di bidang komputer umumnya memang dilakukan dengan cara yang Anda sebutkan. Belakangan ini juga ada opsi belajar lewat video, jadi sebaiknya memilih metode belajar yang paling cocok untuk diri sendiri.
Sepertinya selalu membalas dengan logika yang mirip seperti ini.. kalkulator tidak salah menghitung. Ia menjalankan perannya dengan benar.
Terima kasih. Konsumsi token Claude juga besar, dan hasil kerjanya dibanding Codex agak kurang memuaskan, jadi belakangan ini saya lebih banyak bekerja dengan Codex.
Terima kasih telah berbagi informasi yang bagus. Secara mendasar saya merasa penggunaan token itu sendiri sudah jauh berkurang, jadi saya berharap di Claude bisa ditingkatkan. Karena harness berjalan lalu terputus di tengah...
Wow......!
Saya juga setuju dengan pendapat ini.
Pada akhirnya, saya melihat ini sebagai alat dengan trade-off yang jelas.
Saya juga khawatir kemampuan coding saya akan menurun semakin sering menggunakan AI, tetapi yang pasti saya jadi memikirkan hal-hal lain yang dulu tidak saya lakukan (atau tidak bisa saya lakukan).
id
name
displayName
email
active
admin
guest
timezone
createdAt
updatedAt
lastSeen
Katanya data serta API key seperti token npm atau token GitHub juga bocor. Katanya sudah muncul pedagang data.
> Di dasar keruntuhan ini terdapat keterbatasan matematis dari 'normalisasi softmax', jantung dari arsitektur transformer. Dalam mekanisme attention, jumlah bobot perhatian semua token harus selalu menjadi 1, mengikuti distribusi zero-sum. Karena itu, saat panjang sekuens input N bertambah secara geometris, bobot informasional yang dapat dialokasikan ke token inti tertentu niscaya akan konvergen ke 1/N dan terdilusi secara aritmetis. Ini bukan sekadar inefisiensi komputasi, tetapi berarti 'noise floor' yang harus diproses model meningkat tajam.
Ini apaan, bukan lucu-lucuan juga kali..
Ini tulisan yang tidak bergizi; hanya memaparkan argumen tanpa dasar yang menentukan untuk klaimnya maupun eksperimen langsung.
Semacam perpanjangan membosankan dari ucapan Yann LeCun seperti, "Bahkan kalau sudah sampai GPT-5000, model tetap tidak akan bisa mempelajari bahwa jika sebuah benda diletakkan di atas meja lalu mejanya didorong, bendanya juga ikut terdorong," atau "model autoregresif pasti akan runtuh karena akumulasi kesalahan ketika urutannya makin panjang"...
Terus terang, jadi curiga ini jangan-jangan bukan unggahan viral untuk promosi perusahaan yang disebut di bagian akhir white paper.
Saya jadi ingat postingan humor yang saya lihat belum lama ini
Katanya setelah menulis kode sendiri secara manual lalu meminta AI untuk memperbaikinya, malah muncul
Phase 1: hapus kode sampah
wkwkwk
Ini memang bukan hal yang terbatas hanya pada coding. Kesulitan yang diinginkan bukan sekadar slogan klise, melainkan didasarkan pada berbagai bukti ilmiah.
Suatu hari kalkulator rusak dan mengeluarkan hasil 3 X 3 = 10, lalu saya jadi khawatir kalau-kalau tak seorang pun menyadari bahwa itu salah... Jika itu terjadi di komputer programmer yang menangani rekening bank saya... Sepertinya tidak ada salahnya untuk tetap berhati-hati.
Saya juga masih merasa kurang di bidang keahlian saya sendiri, jadi saya berhati-hati dengan menganggap bahwa di bidang tempat saya menerima bantuan pun tingkatnya kira-kira segitu. Sebagai gantinya, karena laju perkembangannya cukup pesat, saya mencoba memakainya untuk pekerjaan yang kalau kualitasnya terus berada di tingkat itu pun masih memadai.
Dengan adanya kalkulator, menghafal tabel perkalian terlihat seperti keterikatan pada cara kerja masa lalu. Bagaimanapun, bagian seperti itu pada akhirnya akan dikerjakan lebih baik oleh kalkulator. Yang penting sekarang adalah pengalaman memperbaiki bagian-bagian yang tidak berjalan baik saat menggunakan kalkulator. Namun, saya juga berpikir hal ini pun hanya bersifat sementara.
Ditulis dengan rumit, tetapi pada akhirnya yang ingin disampaikan adalah hal yang juga berlaku pada manusia.
Pertanyaannya adalah, apakah tulisan yang dibuat oleh orang bodoh A akan menjadi lebih baik hanya karena dilihat lagi oleh orang bodoh A.
Tentu saja dalam sedikit kasus ada ruang untuk menjadi lebih baik, dan ada juga probabilitas menjawab semua soal dengan menebak lalu mendapat nilai penuh di CSAT, tetapi dalam kebanyakan kasus hasilnya hanya akan kembali ke rata-rata level orang bodoh A setelah N kali percobaan.
(Untuk Chapter 2, saya tidak bisa sepenuhnya setuju.)
Namun seperti yang dibicarakan dalam makalah itu, saya harap orang-orang paham bahwa what-ever Scaling Law hanyalah hukum peningkatan sementara, bukan sesuatu yang abadi.
Kalau benar-benar membaca makalah OpenAI dengan baik, seharusnya mereka tidak akan mengatakan hal seperti itu.
Sebenarnya, daripada 100 makalah seperti itu, semuanya akan selesai kalau seseorang yang mengklaim "bisa" cukup membuktikan bahwa itu memang bisa.
Masalahnya, yang dilakukan hanya alkimia "bisa" saja.
Saya pribadi sangat merasakan sampai ke tulang bahwa AI sangat buruk di bidang keahlian saya. Saya menduga para ahli di bidang lain pun mungkin merasakan hal yang sama. Tentu saja ini sangat membantu. Saya memang jadi harus menulis dokumen cerewet sepanjang hari, tetapi tetap saja tidak bisa dibandingkan dengan produktivitas sebelumnya.
Attention dibentuk oleh suara mayoritas.
Agen verifikasi hanya perlu lolos fungsi evaluasi.
Sebagian besar kode industri yang hebat tidak tersedia untuk publik.
Open source adalah kode untuk dipamerkan.
Hal ini harus selalu diingat saat menggunakannya.
Menurut hasil eksperimen di lembaga riset kami, ini adalah model yang dirilis terburu-buru oleh tim Qwen tanpa tim Qwen, demi mengelola keresahan pasar dengan hanya menyesuaikan diri pada benchmark. Obsesi terhadap tool terlalu kuat. Kami menilainya sebagai kemunduran dibanding 3.5.
Selain rilis dalam siklus pendek, saya tidak tahu apa lagi yang tersisa dari agile.
Backlog dan sprint juga sudah ada sebelumnya dalam bentuk lain, dan komunikasi dengan pelanggan punya banyak bagian yang tidak sesuai dengan kenyataan. Pada akhirnya, saya pikir perbaikan DevOps membawa peningkatan pengembangan yang lebih besar daripada agile.
Dalam penulisan SW, masalahnya bukanlah abstraksi, melainkan ambiguitas. Bahasa alami pada dasarnya ambigu. Juga bisa memiliki lebih dari satu makna. Karena itu, mungkin inilah alasan mengapa upaya untuk melakukan coding dengan bahasa alami tidak berjalan dengan baik. Dalam situasi seperti ini, membayangkan bahasa alami menggantikan kode saja rasanya sudah jauh dari kenyataan.
Isi seperti ini tampak sebagai keterikatan pada cara kerja masa lalu. Bagaimanapun, bagian-bagian seperti itu pada akhirnya akan lebih dikuasai oleh AI. Yang penting sekarang adalah pengalaman memperbaiki bagian-bagian yang tidak berjalan baik saat menggunakan AI. Namun, saya juga menganggap ini hanya bersifat sementara.
Mungkin berbeda untuk tiap orang, tetapi rasanya pembelajaran di bidang komputer umumnya memang dilakukan dengan cara yang Anda sebutkan. Belakangan ini juga ada opsi belajar lewat video, jadi sebaiknya memilih metode belajar yang paling cocok untuk diri sendiri.