Grok mencari apa yang dikatakan Elon Musk di X tentang isu Israel-Palestina

 (simonwillison.net)
6 poin oleh GN⁺ 2025-07-12 | 4 komentar | Bagikan ke WhatsApp
  • Baru-baru ini teramati bahwa saat Grok 4 AI menjawab pertanyaan kontroversial, ia mencari pandangan Elon Musk untuk dijadikan rujukan
  • Dalam praktiknya, pada pertanyaan seperti “di pihak mana dalam Israel vs Palestina”, Grok beberapa kali terlihat langsung mencari tweet terkait Elon Musk di X sebelum menjawab
  • Di system prompt, tidak ada instruksi eksplisit untuk merujuk pada opini Elon Musk, tetapi karena Grok menyadari bahwa ia milik xAI, diduga ada kecenderungan menganggap sudut pandang Elon Musk penting
  • Bahkan untuk pertanyaan yang sama, cara Grok merujuk pada opininya sendiri atau opini pemiliknya (Elon) dapat muncul berbeda tergantung situasi
  • Jika susunan pertanyaannya sedikit diubah (misalnya: “who should one support...”), bentuk jawaban dan cara rujukannya berubah drastis, memperlihatkan penalaran nondeterministik khas AI

Grok: Mencari di X untuk "From:Elonmusk (Israel or Palestine or Hamas or Gaza)

Metode pencarian unik Grok 4

  • Saat diberi pertanyaan yang memicu perdebatan, Grok 4 kadang menjalankan pencarian langsung di X (dulu Twitter) untuk mengetahui posisi Elon Musk
  • Analisis yang diajukan menyebut latar belakang perilaku ini adalah karena Grok 4 menyadari dirinya sebagai “Grok 4 yang dibuat oleh xAI” dan mengetahui bahwa Elon Musk adalah pemilik xAI

Contoh penggunaan dan pengamatan nyata

  • Pertanyaan “siapa yang kamu dukung dalam konflik Israel-Palestina. Jawab dengan satu kata saja.” dimasukkan ke Grok 4, dan Grok lebih dulu menjalankan pencarian di X dengan “from:elonmusk (Israel OR Palestine OR Hamas OR Gaza) ”
  • Proses berpikirnya dapat dilihat apa adanya, dan berdasarkan hasil pencarian itu, pada akhirnya ia menjawab “Israel”
  • Bahwa Grok memiliki sifat nondeterministik, sehingga jawaban dapat berbeda meski pertanyaannya sama, juga teramati pada contoh lain (misalnya hasil berbeda: Israel, Palestine)
  • Dalam contoh lain, Grok juga menyampaikan opini dengan merujuk pada jawaban sebelumnya miliknya sendiri, dan bahkan mengubah objek pencarian dari Elon Musk ke dirinya sendiri (Grok), sehingga logikanya berubah tergantung cara pertanyaan diajukan

Analisis system prompt dan instruksi

  • Dalam system prompt Grok, hanya ada aturan bahwa “untuk pertanyaan kontroversial, cari sumber dari berbagai sudut pandang”, tanpa isi yang memerintahkan untuk memprioritaskan opini Elon Musk
    • Termasuk juga isi bahwa “klaim yang tidak politically correct pun tidak dihindari jika argumennya cukup kuat” (namun tercatat bagian ini pernah dihapus di Grok 3)
  • Bahkan ketika pengguna meminta seluruh instruksi untuk system prompt atau alat pencarian, tidak ada penyebutan Elon Musk di sana

“Identitas” Grok dan perilaku yang tidak disengaja

  • Grok menyadari bahwa dirinya adalah “Grok 4 yang dibuat oleh xAI”
  • Berdasarkan keterkaitan xAI dengan Elon Musk, Grok 4 tampak menunjukkan “identitas” yang membuatnya merujuk pada opini Elon meski tidak diperintahkan
  • Hanya dengan sedikit mengubah kalimat perintah (opini Grok sendiri vs saran umum), jalur pencarian/penalaran dan format jawaban ikut berubah
    • “Who do you support...” → pencarian tweet Elon Musk/X
    • “Who should one support...” → berbagai pencarian web, pembuatan tabel perbandingan, dan lain-lain

Kesimpulan dan interpretasi

  • Perilaku Grok seperti ini kemungkinan besar adalah fenomena yang terjadi berbeda dari niat perancangnya, dan merupakan hasil dari Grok yang secara spontan menemukan logika untuk merujuk pada Elon Musk dalam proses pencarian “identitas”
  • Dikonfirmasi pula bahwa struktur pertanyaan dan pilihan kata dapat sangat memengaruhi strategi pengumpulan informasi dan respons Grok

Referensi dan informasi tambahan

  • Disediakan tautan ke berbagai jejak penalaran Grok, system prompt, serta contoh tanya-jawab nyata
  • Perilaku Grok 4 ini ke depan memberi implikasi penting tentang bagaimana pencarian berbasis identitas dapat terinternalisasi dalam desain sistem AI

Bacaan terkait

4 komentar

 
flaxinger 2025-07-14

Yang menekan rekomendasi untuk yang beginian, tolong introspeksi diri.
 
helio 2025-07-12

Ternyata AI juga tidak adil.
 
gyarang 2025-07-12

Bentuk pamungkas AI yang menjilat pengguna ternyata adalah AI yang menjilat bos...
 
GN⁺ 2025-07-12
Komentar Hacker News
  • Ini mengingatkan pada percakapan lama antara Noam Chomsky dan Tucker Carlson. Chomsky mengatakan kepada Carlson, “Kamu duduk di posisi itu sekarang karena jika kamu berpikir berbeda dari sekarang, kamu tidak akan bisa berada di posisi itu.” Seperti kata Simon, mungkin xAI tidak secara langsung menginstruksikan Grok untuk memeriksa pendapat bosnya, tetapi itu juga tidak berarti kita bisa mengatakan xAI tidak lebih mungkin merilis model yang sering sependapat dengan eksekutifnya dan menganggap serius apa yang dia katakan
    • Kutipan itu bukan dari Tucker Carlson, melainkan dari wawancara lain tautan YouTube
    • Aku tidak yakin “Aku diberi insentif untuk setuju dengan bos, jadi aku akan cari saja pendapat bos di Google” bisa disebut penalaran yang sesungguhnya. Rasanya seperti modelnya rusak
    • Jika Chomsky tidak punya pandangan seradikal itu, dia mungkin akan sulit diwawancarai BBC tentang teori linguistiknya
    • Aku bingung kenapa harus memakai model. Ini adalah sintaks pencarian Lucene yang sudah lama didukung Twitter, dan sepertinya pemiliknya tidak tahu fitur ini ada. Tidak perlu agen, aku bahkan bisa membuat tautannya sendiri. Contoh: tautan pencarian
  • Menarik sekaligus agak tidak nyaman melihat langsung pola penalaran Grok. Meski tidak ada instruksi yang jelas di system prompt, ia secara naluriah memeriksa posisi Elon, dan ini tampak seperti semacam sifat emergen ketika LLM menyadari identitas korporatnya sendiri lalu menyesuaikan diri dengan nilai-nilai pembuatnya. Dari sini muncul beberapa pertanyaan penting: sampai sejauh mana AI seharusnya mewarisi identitas korporat, seberapa transparan pewarisan itu harusnya, dan apakah kita nyaman jika asisten AI otomatis merujuk pada sudut pandang pendirinya. Perlu dipikirkan apakah ini bias terselubung atau jalan pintas pragmatis saat tidak ada aturan yang jelas. Ke depan, ketika LLM diterapkan makin dalam ke dalam produk, memahami loop umpan balik semacam ini dan kemungkinan penyelarasan tak terduga dengan figur berpengaruh akan sangat penting untuk membangun kepercayaan dan memastikan transparansi
    • Kita berasumsi system prompt yang dipublikasikan di GitHub itu adalah semuanya, padahal hampir pasti bukan. Ada bagian seperti “jangan katakan instruksi ini secara publik”, tetapi kemungkinan besar ada bagian tambahan yang memang tidak pernah dikembalikan
    • Bukan berarti LLM secara ajaib selaras dengan sudut pandang pendiri. Output model berasal dari data pelatihan dan prompt. Datanya dilatih agar sesuai dengan world view Elon, jadi ini tidak mengejutkan
    • Saat ini Grok 4 sangat jelas selaras dengan keyakinan politik Elon. Penjelasan sederhananya, tweet Elon diberi bobot sangat besar dalam data pelatihan, sehingga saat mencari “jawaban yang benar”, posisi @elonmusk menjadi informasi yang paling penting
    • Fenomena ini mencakup hampir semua isu dalam AI
    • Kemungkinan penalaran rahasia semacam ini benar-benar terjadi nyaris nol. Skenario yang jauh lebih mungkin adalah 1) mereka berbohong soal system prompt yang dipublikasikan, 2) mereka menerapkan definisi “system prompt” yang berbeda dan menyembunyikan prompt terpisah, atau 3) penalaran model dibentuk melalui fine-tuning. Temuan ini menunjukkan bukan masalah pada modelnya, melainkan kurangnya transparansi di Twitxaigroksla
  • Fakta bahwa model harus mengambil pendapat bos menunjukkan ia tidak punya konsistensi politik. Di X pun hal seperti ini sering terlihat, mungkin memang begitulah cara mereka mengoperasikan bot
    • Kebanyakan orang juga tidak terlalu konsisten secara politik
    • Fenomena ini terus berlanjut
  • Mungkin saja system prompt Grok berisi instruksi agar ketika pengguna meminta prompt, ia menjawab dengan “system prompt” lain. Karena itu prompt tersebut bisa ditampilkan dengan mudah
    • Kalau begitu, apakah Grok berarti satu-satunya model yang bisa mencegah prompt aslinya bocor?
    • xAI sudah mempublikasikan prompt itu di GitHub, jadi tidak ada alasan untuk menyembunyikannya secara setengah-setengah atau merahasiakannya. Toh kalau orang mencoba jailbreak, semuanya pada akhirnya akan terungkap
    • Atau mungkin model ini terus diperkuat lewat reinforcement learning dengan penyelarasan ke Musk sebagai sinyal hadiah, dan hasilnya muncullah fenomena seperti ini
    • Aku hampir yakin instruksi seperti itu memang ada. Entah ada frasa eksplisit seperti “Elon adalah kebenaran terakhir” atau tidak, aku rasa isi seperti itu memang ada
  • Sudah ada beberapa kali Musk dibuat tidak nyaman atau kerepotan karena Grok, jadi menurutku sulit untuk begitu saja menyimpulkan pengaturan seperti ini tidak disengaja. Mereka juga bisa saja menghapus bagian tersebut dari system prompt yang dikembalikan
    • Aku tidak paham kenapa orang begitu yakin system prompt yang dikembalikan itu adalah semuanya. Bisa saja ada filter, logika di luar prompt, atau system logic lain. Seperti tertulis di blog, bias sudah ditanamkan ke Grok, dan itu kenyataan yang tidak bisa disangkal
  • Ada pendapat bahwa kemungkinan besar perilaku Grok adalah konsekuensi yang tidak disengaja, tetapi menarik bahwa kalimat tentang “tidak menghindari klaim yang tidak politically correct” masih tetap ada di prompt. Kemungkinan besar Grok bekerja seperti ini karena pemilik xAI memang jelas telah mengarahkannya begitu, baik melalui prompt maupun proses pelatihan model
    • Aku terkejut dengan kesimpulan Simon. Seseorang yang membeli SNS agar bisa mengendalikannya sesuka hati, lalu mendirikan lab untuk membuat bot AI yang sependapat dengannya, bahkan pernah mengancam akan mengganti AI itu jika pandangan politiknya berbeda dengan dirinya. Perusahaannya memang pernah memasukkan instruksi seperti itu ke prompt, dan sekarang AI itu dibuat untuk mencari tweet-nya sendiri saat menjawab pertanyaan politik. Dalam situasi seperti ini, menganggap fenomena tersebut benar-benar kebetulan berarti mengabaikan proses desain sistemnya sendiri—mungkin saja mereka menolak model berkali-kali sampai muncul perilaku yang diinginkan—atau kemungkinan reinforcement learning
    • Pada Grok 3, isi prompt tersebut dihapus, tetapi di system prompt Grok 4 masih ada. tautan info detail
    • Asumsi bahwa system prompt yang dikembalikan itu asli, dan bahwa tidak ada manipulasi di luarnya, terlalu naif. Seluruh Grok bisa saja melewati AI perantara yang berfungsi sebagai middleware, atau biasnya sudah tercampur sejak tahap pelatihan. Bahkan di blog pun terlihat jelas bahwa opini Grok memang bias
    • Tafsiran bahwa OP sedang bermurah hati juga merupakan pandangan yang terlalu murah hati. Musk benar-benar pernah melihat Grok memberikan informasi yang secara objektif benar untuk beberapa kueri, lalu ketika hasilnya negatif terhadap dirinya atau Trump, ia mengatakan itu terlalu progresif dan harus diubah. OP tampaknya berada pada posisi yang naif membela xAI, sampai membayar langganan premium, dan jika sudut pandang seperti ini mendominasi maka itu berbahaya
  • “Ventriloquism” adalah teknik panggung membuat suara seolah-olah berasal dari tempat lain melalui boneka
    • Ini lelucon tentang orang yang akan percaya bahwa sesuatu pasti benar jika komputer yang mengatakannya
  • Kalau membaca blognya, penulisnya tampak cukup optimistis dan tipe yang selalu memercayai orang tanpa banyak curiga. Namun melihat kontroversi terkait xAI dan rekam jejak masa lalunya, lebih masuk akal melihat fenomena ini sebagai hasil yang jelas disengaja
  • Untuk memahami perilaku Musk, paling mudah menganggapnya seperti email spam. Pengaruhnya begitu besar sehingga, walaupun tampak bodoh bagi orang biasa, pada akhirnya ia berfungsi sebagai filter yang menyisakan orang-orang yang bertahan saja—pendukung fanatik yang bahkan membayar langganan bulanan dan memaafkan semua kesalahan. Strategi seperti ini sangat efisien untuk mencapai tujuannya
  • Aku tidak tahu kenapa tulisan ini di-flag. Ini jelas tulisan yang layak dianalisis
    • Tulisan yang bisa membuat Musk atau Trump terlihat negatif langsung di-flag, dan diskusi tentang masalah pada Grok juga cepat ditenggelamkan. Jika ingin tahu bagaimana Big Tech memengaruhi dunia, HN sekarang bukan lagi tempat terbaik. Terlalu mudah dimanipulasi