Kami menambahkan fitur yang ChatGPT keliru anggap sudah ada

• ChatGPT menjelaskan fitur yang sebenarnya tidak ada, sehingga banyak pengguna benar-benar mengunggah ASCII Tab ke Soundslice
• Layanan asli Soundslice hanya mendukung pemindaian partitur berbasis gambar, tetapi permintaan dukungan ASCII Tab melonjak akibat arahan ChatGPT
• Untuk mengurangi kesalahpahaman tentang produk, mereka akhirnya benar-benar menambahkan fitur importir ASCII Tab
• Kasus ini bisa dilihat sebagai contoh pertama ketika AI menyebarkan informasi keliru lalu memengaruhi arah produk yang nyata
• Penambahan fitur itu sendiri membantu pengguna, tetapi mereka merasakan perasaan yang campur aduk terhadap kenyataan bahwa pengembangan produk bisa dipengaruhi oleh 'informasi yang salah'

---

Latar belakang dan situasi masalah

• Sheet Music scanner milik Soundslice membantu mendigitalkan partitur dari foto agar pengguna dapat mendengarkan, mengedit, dan berlatih
• Untuk meningkatkan sistem, mereka memantau log error, dan belakangan makin banyak screenshot ASCII tab dari layar percakapan ChatGPT yang diunggah alih-alih foto partitur tradisional
  • ASCII tab adalah format notasi musik yang disederhanakan untuk gitar dan instrumen berdawai lainnya
• Awalnya, format ASCII Tab memang merupakan fitur yang tidak didukung oleh layanan Soundslice saat itu

Menelusuri penyebab

• Saat mencari tahu mengapa screenshot ASCII tab dari begitu banyak sumber diunggah, mereka menguji langsung dengan bertanya ke ChatGPT
• Mereka memastikan sendiri bahwa ChatGPT secara keliru mengarahkan pengguna untuk mengimpor ASCII tab di situs Soundslice lalu mendengarkan audionya

Fitur yang tidak tersedia dan kesalahpahaman

• Soundslice sebenarnya tidak menyediakan fitur untuk mengimpor ASCII Tab secara langsung
• Meski fitur seperti itu sebenarnya tidak ada, banyak pengguna tetap mendaftar dan mencoba mengunggah hanya karena percaya pada arahan ChatGPT
• Karena jawaban ChatGPT yang salah, ekspektasi pengguna terhadap layanan perusahaan terbentuk secara keliru
• Akibatnya, keluhan dan pertanyaan tentang fitur yang sebenarnya tidak ada terus bermunculan

Pengambilan keputusan dan respons

• Dalam situasi ini, perusahaan memikirkan bagaimana harus merespons
• Ada opsi untuk menempelkan pengumuman bahwa "jawaban ChatGPT salah" di layanan, tetapi karena menilai permintaan pengguna nyata cukup besar, mereka mengembangkan fitur importir ASCII tab
• Fitur ini awalnya berada di urutan bawah daftar rencana pengembangan 2025, tetapi diperkenalkan lebih cepat demi memenuhi permintaan
• Teks UI produk juga diubah untuk secara aktif memberi tahu pengguna tentang fitur baru ini

Dampaknya pada arah produk/layanan

• Mereka menilai ini sebagai kasus pertama ketika ChatGPT berulang kali memberikan informasi keliru sehingga fitur yang tadinya tidak ada masuk ke roadmap produk
• Di satu sisi positif karena bisa menyediakan alat yang berguna bagi pengguna, tetapi mereka juga memiliki perasaan yang rumit karena arah pengembangan produk tergoyang oleh informasi yang salah

Kesan dan kekhawatiran

• Mereka merasa nyata bahwa kita telah memasuki era ketika informasi palsu yang disebarkan AI memengaruhi pengambilan keputusan perusahaan dan produk di dunia nyata
• Masih ada pertanyaan tentang sampai sejauh mana perusahaan seharusnya merespons bukan terhadap permintaan pengguna, melainkan terhadap ekspektasi keliru yang dihasilkan AI

[kandk]

Layanan yang sampai dipilih AI, bikin iri ya wkwk

[jjw951215]

Sepertinya ChatGPT itu departemen pemasaran.

[GN⁺]

Komentar Hacker News

• Saat menggunakan GPT-4 untuk pemrograman, saya merasa salah satu cara paling berguna adalah bukan dengan <i>menjelaskan</i> cara memakai API, melainkan hanya memberi contoh kode dan permintaan fitur tambahan lalu membiarkan AI menebak. Kadang muncul pendekatan yang lebih baik daripada yang saya pikirkan. Dalam kasus seperti itu, saya benar-benar mengubah API agar kode buatan AI itu bisa berjalan. Sebaliknya, kalau AI melihat kode yang sudah ada lalu salah memahami fungsinya, saya menganggap itu sebagai tanda bahwa API saya dirancang dengan membingungkan. Dengan cara ini, kita bisa memanfaatkan kekuatan utama jaringan saraf bukan pada ketepatan, melainkan pada kemampuan "halusinasi" yang meyakinkan, yaitu kreativitas. Menyenangkan karena saya tidak perlu menghabiskan waktu menangkap bug tersembunyi yang disisipkan GPT-4 secara licik. Yang bisa diperbaiki hanya antarmuka yang tidak intuitif. Kalau sesuatu pada dasarnya tidak efisien, kurang andal, atau lemah dalam komposabilitas, AI tidak bisa menolong. Namun, hanya dengan membuat API lebih mudah ditebak dan dipahami saja sudah sangat bernilai. Hanya saja, ada keterbatasan karena pendekatan ini tidak terlalu ampuh pada API yang sudah populer
  • Kadang AI memang menyarankan pendekatan yang lebih baik dari dugaan kita. Saya sudah mengedit naskah buku lebih dari 30 kali dan bahkan melewati proofreading oleh ahli, tetapi di tahap akhir Grammarly masih memberi usulan revisi yang berguna sekitar sepertiganya. Kalau semua saran saya terima, naskahnya justru akan jadi lebih buruk. Grammarly unggul dalam menemukan kata-kata yang tidak perlu atau bentuk pasif. Tapi ia tidak paham humor, konteks, atau pengulangan yang disengaja. Masalahnya, para eksekutif ingin menghapus manusia sepenuhnya dari proses, dan itu hampir selalu berakhir buruk
  • Satu anekdot ringan. Hampir setiap library pemrosesan gambar Python biasanya punya fungsi imread(), tetapi saya tidak tahu itu dan saat membuat library internal saya memakai nama yang unik seperti image_get(). Ketika saya meminta ChatGPT menulis skrip sederhana dengan library internal itu, kalau saya tidak memberi banyak konteks, hampir selalu ia menebak mylib.imread() dan menulis kode seperti itu
  • Pendekatan ini mirip dengan teknik desain HCI (human-computer interaction) lama bernama Wizard of Oz. Itu adalah eksperimen ketika manusia berpura-pura menjadi aplikasi sungguhan, dan efektif untuk menemukan fitur baru penjelasan wiki
  • Pagi ini saya berhasil memakai cara ini. Saya meminta AI membuat kode unit test, dan hasilnya kacau. Tapi justru lewat proses gagal itu saya menemukan ada bug tersembunyi di kode yang ingin saya uji
  • HDD, lelucon tentang Hallucination-Driven Development
• Di tulisan yang baru-baru ini saya buat, ada bagian yang berbunyi: "Halusinasi kadang bisa bekerja seperti test-driven development (TDD). Jika model bahasa besar menghalusinasikan metode yang sebenarnya tidak ada, itu bisa jadi karena metode tersebut memang dibutuhkan secara logis, sehingga kadang ada baiknya kita implementasikan sendiri" lihat tulisan asli. Ini juga berlaku untuk fitur produk
  • Sepertinya banyak dari kita pernah mengalami metode ini secara langsung. Panggilan API yang dihalusinasikan oleh vibe coder mungkin sebenarnya adalah usulan yang memang seharusnya sudah ada lebih dulu. Pengembangan berbasis halusinasi, sekarang jadi tren tweet terkait
• Saya rasa banyak orang menarik pelajaran yang keliru dari kasus ini. Inti sebenarnya bukan bahwa fitur baru ditambahkan karena ada permintaan, melainkan bahwa teknologi ini menghalusinasikan fitur yang tidak ada lalu membuat fitur baru itu ditambahkan. Poin utamanya adalah generative AI membuat orang percaya bahwa fitur yang sebenarnya tidak ada itu memang ada. Ke depan ini bisa menimbulkan masalah yang lebih serius, jadi menurut saya tim pengelola ChatGPT perlu memastikan hal seperti ini tidak terus terulang
• Pasar alat notasi musik terpecah dalam beberapa cara. Yang paling jelas adalah pemisahan antara notasi tradisional dan tabulatur (khusus gitar dan instrumen sejenis). Pengguna, cara penulisan, sampai informasi yang dimanfaatkan pun benar-benar berbeda. Memang ada upaya standardisasi seperti MusicXML, tetapi penghalang antar kubu masih tinggi. Yang dilakukan ChatGPT di sini adalah mengasumsikan bahwa pengguna tabulatur juga akan memakai Soundslice, padahal mungkin saat ini tidak begitu. Namun di masa depan, kalau Soundslice menambahkan fitur yang memberi nilai khusus bagi pengguna tabulatur, keadaan itu bisa berubah
  • Saya tidak yakin apakah Anda memahami maksud saya dengan tepat, tetapi Soundslice sudah mendukung tabulatur sepenuhnya sejak 10 tahun lalu, terutama editor dan importer untuk berbagai format. Yang baru ditambahkan kali ini adalah dukungan <i>ASCII tab</i>
• Belakangan ini saya mencoba menulis kode dengan LLM. Untuk menyusun boilerplate, ini cukup berguna. Kemampuannya mengenali pola juga merupakan keunggulan. Namun, sering kali ia membuat kita bolak-balik mengubah kode berulang kali. Pernah juga ia membuatkan seluruh aplikasi iOS; UI-nya berubah cukup baik sesuai keinginan saya, dan data sampelnya juga diisi dengan beragam. Tetapi penataan struktur kodenya benar-benar berantakan. Saat runtime file audio perlu dikelola dalam bentuk daftar, ia mencoba memasangkan ID file dan durasi dalam dictionary (untuk pengembang pemula: biasanya informasi seperti ini semestinya melekat pada objek bernama AudioFile). LLM cenderung terus merujuk ke versi kode yang lama. Sering juga ia ngotot melakukan perubahan yang sebenarnya tidak terkait dengan tugas saat ini. Saya makin merasa terlalu banyak waktu terbuang untuk "mendidik" LLM. Selama tidak dipakai secara berlebihan sampai melampaui keterbatasannya, menurut saya tetap cukup produktif. Setidaknya saya berharap ia bisa memahami perubahan yang baru saya buat, dan tidak terus merekomendasikan sesuatu berdasarkan draft kode lima hari lalu. (Dalam contoh pekerjaan mengubah file teks datar panjang menjadi nilai enum, ketika saya hanya memperbaiki dua baris pertama, ia segera mempelajari polanya dan kemudian mengusulkan puluhan baris berikutnya dengan benar)
  • Bekerja dengan LLM benar-benar terasa seperti bekerja dengan beberapa intern yang sangat produktif, tetapi keterbatasannya juga mirip
• Ini disebut product-channel fit. Poin pentingnya adalah mereka langsung menangkap permintaan dari channel akuisisi baru
  • Yang sebenarnya dilakukan ChatGPT di sini adalah versi otomatis dari hal yang selalu dilakukan tim sales di perusahaan tempat saya pernah bekerja. Mereka dengan percaya diri mengatakan kepada pelanggan bahwa hal yang diinginkan itu "sudah ada" atau "akan tersedia kuartal depan", lalu menyuruh para engineer untuk cepat membuatnya
  • Ini terkait dengan solutions engineering. Maksud saya, bidang yang berfokus pada dukungan solusi khusus seperti kustomisasi per pelanggan besar, adapter, pemrosesan data, dan semacamnya—apakah benar begitu?
  • Ini adalah cara yang segar untuk menemukan kebutuhan pasar atau peluang yang benar-benar baru. Ini selaras dengan kekuatan LLM yang mampu melihat pola dalam data skala besar dan "menghalusinasikan" sesuatu yang belum sempat disadari manusia. Seperti pada kasus ini, bukti bahwa pola tersebut benar-benar ada muncul karena orang bertindak berdasarkan informasi keliru dari ChatGPT. Jadi urutannya: halusinasi → tindakan → validasi permintaan nyata → penyedia menambahkan fitur. Jika biaya implementasinya tidak terlalu besar, dari sudut pandang perusahaan ini adalah respons yang cukup masuk akal
• Hal yang langsung terlintas di benak saya dari kasus ini adalah 'AI SEO'. Saya membayangkan banyak orang sedang memikirkan bagaimana caranya agar chatbot AI, misalnya LLM seperti ChatGPT, mengirim trafik ke situs mereka. Ke depan, tampaknya miliaran dolar akan mengalir ke pasar ini. Saya tidak paham bidang ini, tetapi pasti sudah banyak yang mencobanya, dan saya juga penasaran apakah nantinya akan muncul layanan di mana orang membayar OpenAI agar ChatGPT lebih sering merekomendasikan produk mereka
  • Untuk menang di arena ini, situs web harus dibuat agar banyak disebut secara alami dalam data pelatihan LLM. AI SEO tidak terlalu berbeda dari SEO tradisional
• Ini contoh menarik tentang AI yang benar-benar mengubah realitas. Ada sudut pandang yang takut pada kisah AGI dan pasukan robot yang menaklukkan dunia, tetapi menurut saya dalam praktiknya kekuatan pasar akan menjadi sarana yang jauh lebih langsung bagi AI untuk menggerakkan dunia
• Jika Anda pernah mengalami di startup B2B bahwa "fitur yang ditulis tim sales sebenarnya tidak ada, tetapi backlog tiba-tiba berbelok tajam ke arah fitur itu", maka perubahan yang dipicu oleh halusinasi AI ini sama sekali tidak akan terasa mengejutkan
  • Ada lelucon bahwa mungkin yang dimaksud bukan rogue melainkan salah tulis. Perbedaan antara "barang kebutuhan rumah tangga rouge" dan "melanggar aturan rogue" juga disebut sambil menyertakan tautan
  • Di ranah B2B, sudah menjadi praktik standar bagi tim sales untuk berkeliling hanya dengan slide PowerPoint, lalu kalau responsnya bagus, fitur atau bahkan seluruh produk dirakit terburu-buru di belakang layar. Ini bukan cuma urusan startup. Perusahaan besar pun kadang seperti ini
  • B2B (Business-to-Business) berarti bisnis yang menjual ke perusahaan
• Perusahaan kami juga mengalami masalah serupa. Bukan ChatGPT, tetapi chatbot AI internal kami yang melakukan RAG berbasis dokumen terus-menerus menghalusinasikan option (flag) yang sebenarnya tidak ada. Jadi kami meninjaunya sebagai bentuk umpan balik produk. Bukan berarti option itu persis yang dibutuhkan, tetapi kami melihat bahwa pasti ada sesuatu yang intuitif namun belum tersedia, sehingga LLM membayangkannya secara masuk akal

[kallare]

Pengembangan yang dipandu halusinasi... begitu ya sebutannya;;

[opminsu]

wkwkwk

[ryj0902]

Rekomendasi... ini rekomendasi!

[unsure4000]

HDD wkwkwkwkwkwkwkwkwkwk

[ilillliiliil]

Ini benar banget wkwk

[dongjinahn]

wkwkwk "harusnya ada fiturnya"

[bungker]

Wkwkwkwk