Bagaimana ChatGPT Sebenarnya Memilih Sumber (Analisis Trafik Jaringan)

• Dengan menganalisis sekitar 1.240 record sumber yang dikumpulkan selama beberapa hari dari satu akun Pro yang login, pipeline sumber, klasifikasi kueri, kata kunci pencarian, dan model eksekusi yang tidak terlihat dari jawaban akhir saja dapat diperiksa dari JSON browser
• Semua hasil web diberi result_source, salah satu dari serp, labrador, bright, atau oxylabs; pada kueri komersial, belanja, finansial, dan cuaca, bright, yang terkait dengan Bright Data, paling sering terlihat
• Kueri diklasifikasikan ke salah satu dari 6 turn_use_case, dan jika text maka dijawab tanpa pencarian web, hanya dengan data pelatihan. Dari 10 kueri yang meminta informasi terbaru, 3 juga tidak melakukan pencarian, tetapi ini adalah hasil terbatas dari satu akun
• Model Thinking memperluas satu perbandingan produk menjadi sekitar 15–40 subkueri, mencari halaman harga resmi dengan site:, atau memperkirakan harga lalu memverifikasinya dengan mencari string seperti $ dan €
• Pengambilan, sitasi, dan penyebutan merek adalah hal yang berbeda; jika harga dan spesifikasi di halaman resmi tersembunyi di balik JavaScript atau gambar, sumber pihak ketiga seperti G2 dapat dikutip sebagai pengganti. Sediakan fakta dalam HTML teks biasa, dan pastikan evaluasi juga tersedia dari ulasan, Reddit, dan konten perbandingan

---

Cakupan investigasi dan cara menafsirkan hasil

• Dengan satu akun ChatGPT Pro yang login, puluhan pencarian dijalankan selama beberapa hari dan sekitar 1.240 record sumber dikumpulkan
  • Sebagian besar kueri condong ke bidang SaaS dan teknologi
  • Ini bukan studi yang mengukur frekuensi sumber di seluruh populasi, melainkan catatan observasi atas field internal dan perilaku yang dikirim ke browser
• Studi visibilitas skala besar menghitung frekuensi kemunculan merek dalam jawaban akhir dari ribuan prompt, tetapi proses internalnya harus disimpulkan dari hasil
• Analisis ini memeriksa langsung label internal engine dari JSON respons jaringan
  • result_source per hasil
  • turn_use_case per kueri
  • Nama penyedia pencarian
  • Kata kunci pencarian yang dibuat ChatGPT
  • Model yang benar-benar dijalankan
• Tingkat keandalan hasil perlu dibagi menjadi dua jenis
  • Fakta struktural: struktur yang berulang kali dikonfirmasi dari trafik aktual, seperti keberadaan field dan nilai, dilewatkannya pencarian web pada kueri text, serta banyaknya pencarian site: dan verifikasi harga oleh model Thinking
  • Observasi frekuensi: angka dan peringkat yang dapat berubah tergantung satu akun dan pilihan kueri yang terbatas, seperti porsi bright, peringkat sitasi Reddit, atau tidak dikutipnya YouTube
• Perbedaan mekanis bahwa Reddit dapat diambil teks isi halamannya, sedangkan hasil pencarian YouTube umumnya hanya memberikan metadata, mendukung arah observasi tersebut. Namun, sampel yang lebih besar diperlukan untuk mengetahui rasio yang tepat

Bukan packet capture, melainkan inspeksi HTTP browser

• Alasan kueri dan jawaban tidak dapat dibaca hanya dari paket Wireshark adalah karena isi pesan sebenarnya dienkripsi dengan TLS
  • Metadata seperti nama host dan IP tujuan, serta fakta bahwa aplikasi ChatGPT menggunakan HTTP/3 berbasis QUIC, bukan TCP, dapat dilihat
  • Paket pertama QUIC diobfuskasi dengan kunci tetap yang didefinisikan dalam spesifikasi, sehingga alat dapat membukanya dan menampilkan nama server tidak terenkripsi yang ada di ClientHello
  • Setelah itu, isi permintaan dan respons tetap berada dalam payload yang terlindungi dan tidak dapat dibaca
• JSON yang berisi kueri, jawaban, dan metadata harus diperiksa dari panel Network di Browser DevTools setelah dekripsi
• Dalam proses otomatisasi, ada dua masalah
  • Saat menjalankan engine lain dengan Chrome otomatisasi yang bersih, layar verifikasi manusia Cloudflare berulang muncul setelah beberapa kueri, sehingga beralih ke Chrome dengan sesi nyata
  • Jawaban ChatGPT distreaming melalui koneksi jangka panjang yang dibuka saat halaman dimuat, sehingga hook yang dipasang di tengah sesi tidak dapat menangkapnya sejak awal

result_source yang melekat pada setiap sumber

• Jika Preserve log diaktifkan di DevTools lalu respons dicari, semua hasil web yang diambil ChatGPT memiliki result_source
• Mark Williams-Cook membagikan 3 nilai di antaranya, dan Metehan kemungkinan sudah menemukan nilai lainnya
• Ada empat nilai yang teramati
  • serp: lapisan dasar web terbuka, terutama muncul pada berita seperti Yahoo dan StreetInsider
  • labrador: tampaknya daftar izin penerbit lama seperti Reuters, The Guardian, WSJ, FT, Wikipedia, dan arXiv; snippet disediakan hingga sekitar 1.080 karakter
  • bright: mengacu pada perusahaan web scraping komersial Bright Data, dan menonjol pada kueri belanja, finansial, cuaca, dan lokal
  • oxylabs: mengacu pada perusahaan scraping pesaing Oxylabs, dan condong ke media lokal serta beberapa hasil web terbuka
• labrador mencakup beberapa penerbit yang memiliki kesepakatan konten dengan OpenAI sehingga tampak seperti lapisan lisensi, tetapi hubungan kontrak tidak dapat dipastikan hanya dari trafik
• Untuk bright dan oxylabs, status kontrak atau pembayaran juga tidak diketahui. Namun, pengambilan web terbuka melewati keduanya, dan field menunjukkan pihak mana yang mengambil setiap hasil
• Dalam sampel yang dikumpulkan, bright menangani pengambilan terbanyak
  • Reuters, WSJ, Wikipedia, dan TechRadar adalah labrador
  • Reddit, Forbes, dan rtings adalah bright
  • Media kawasan Teluk seperti Khaleej Times dan Gulf News adalah oxylabs
• Pada kueri cuaca Dubai, peran bahkan terbagi dalam satu jawaban
  • metoffice.gov.uk, accuweather.com, dan timeanddate.com adalah bright
  • khaleejtimes.com, gulfnews.com, dan whatson.ae adalah oxylabs
• Agar terlihat oleh lapisan scraping yang benar-benar dapat mengaksesnya, tempatkan fakta dan angka dalam HTML teks biasa dan jangan menyembunyikannya di balik skrip, PDF, atau gambar
• Alih-alih hanya bergantung pada lapisan penerbit yang sulit diakses, informasi juga perlu hadir di halaman yang dibaca scraper melalui liputan pihak ketiga, PR, penyebutan merek, tautan, dan Reddit

Kueri text yang sama sekali tidak menelusuri web

• Sebelum mencari, ChatGPT mengklasifikasikan pertanyaan sebagai turn_use_case, dengan 6 nilai yang teramati
  • instant search
  • shopping
  • text
  • local
  • thinking
  • image generation
• Jika diklasifikasikan sebagai text, ChatGPT tidak menjalankan pencarian web dan menjawab hanya dengan data pelatihan
  • “Bagaimana cara mengganti ban bocor”
  • “Tuliskan fungsi Python untuk menggabungkan dua daftar terurut”
  • “Terjemahkan kalimat ini ke 4 bahasa”
• “Pedoman pengobatan terbaru untuk diabetes tipe 2”, yang penting dari sisi kebaruan dan keamanan, juga diklasifikasikan sebagai text dan diproses tanpa pencarian web
• Dari 10 pertanyaan yang sengaja meminta informasi terbaru, 3 diproses tanpa pencarian, tetapi ini adalah hasil pengujian terbatas dan tidak dapat dianggap sebagai rasio umum
• Klasifikasi tidak hanya bergantung pada topik, tetapi juga pada frasa kueri
  • “Kopi terbaik di dekat saya” beralih ke pipeline local
  • “TV 4K terbaik untuk dibeli” mengaktifkan shopping
  • “TV 4K terbaik dengan ulasan” tetap berada pada pencarian umum
  • Pertanyaan matematika berpindah ke model penalaran thinking
  • “Harga saham Tesla minggu ini” tetap pada instant search
• Sebelum membuat halaman, periksa apakah kueri target benar-benar melakukan pencarian web
  • Jika kueri cara pakai atau definisi diproses sebagai text, kueri tersebut tidak dapat masuk ke hasil pencarian terlepas dari kualitas halaman saat ini
  • Agar merek muncul pada kueri semacam ini, perlu membangun otoritas jangka panjang dan memastikan crawler seperti Common Crawl dapat melihat situs, sehingga ada kemungkinan masuk ke data pelatihan di masa depan

Cara satu pertanyaan diperluas menjadi puluhan pencarian

• Jika seluruh percakapan diambil dari API ChatGPT sendiri, kueri fan-out yang dijalankan model dapat dilihat
  • Model cepat umumnya hanya menjalankan satu kata kunci pencarian yang ditulis ulang
  • Model Thinking menghasilkan sekitar 15–40 subkueri dari satu pertanyaan perbandingan produk, tergantung kompleksitas
• Dalam proses perbandingan, beberapa pola pencarian berurutan muncul
  • Mencari langsung halaman harga vendor dengan site:
  • Memperkirakan harga terlebih dahulu, lalu mencari apakah nominal itu benar
  • Saat meneliti, menemukan alat seperti Scrunch AI yang tidak ada dalam prompt dan memperluas cakupan perbandingan
  • Memeriksa secara berantai hingga harga alat yang baru ditemukan
• Tidak hanya mengambil hasil pencarian, ChatGPT juga menjalankan perintah find, open, dan click dari alat browsing di sisi server
  • Secara langsung mencari string seperti $, €, 99, dan Agency
  • Bukan agen yang mengoperasikan layar pengguna, melainkan alat sisi server yang menjelajahi hasil halaman
• Pada kueri “keyword insights pricing”, ChatGPT menjalankan site:keywordinsights.ai/pricing, memperkirakan nilai seperti “Starter $58, Pro $145, Advanced $299”, lalu memeriksanya dengan mencari simbol mata uang di HTML
• Harga dan angka inti harus disediakan sebagai teks HTML, bukan gambar, dan toggle JavaScript atau pemuatan data dinamis sebaiknya dihindari
• Jangan hanya menargetkan kalimat yang diketik manusia; pastikan informasi juga dapat ditemukan lewat kata kunci pencarian yang dirangkum dan dijalankan model, serta pemeriksaan langsung seperti site:yourdomain.com/pricing

Pengambilan, sitasi, dan penyebutan adalah hasil yang berbeda

• Sumber memiliki tiga status independen
  • Diambil (Fetched): halaman dimasukkan ke konteks model tetapi tidak terlihat oleh pembaca, dan dapat diperiksa sebagai objek result_source
  • Dikutip (Cited): ditautkan sebagai sumber yang dapat diklik setelah kalimat tertentu
  • Disebut (Mentioned): nama merek atau chip situs muncul dalam jawaban, tetapi bukan sumber untuk klaim tersebut
• Dalam sampel kueri teknologi dan komersial yang terbatas, Reddit dan YouTube masing-masing diambil 278 kali dan 201 kali
  • Reddit dikutip 11 kali
  • YouTube tidak pernah dikutip
• Pada hasil pencarian YouTube, yang diambil adalah metadata, bukan transkrip video, sedangkan thread Reddit memiliki teks isi di halaman sehingga lebih mudah mengaitkan sumber dengan kalimat tertentu
• Analisis eksternal berskala besar juga menunjukkan arah yang sama
  • Ahrefs menemukan tingkat sitasi Reddit 1,93% dan YouTube 0,51% pada 1,4 juta prompt ChatGPT
  • Profound juga menemukan kesenjangan yang sama antara kedua layanan
• Dalam sampel kecil, Reddit adalah domain tunggal yang paling banyak dikutip, lalu sitasi berikutnya tersebar ke situs ulasan seperti rtings dan TechRadar serta halaman vendor
• Halaman vendor dikutip sebagai sumber harga dan spesifikasi mereka sendiri
  • Zoho, Semrush, dan penyedia VPN ditautkan sebagai bukti untuk mendukung informasi mereka sendiri
  • Evaluasi tentang produk mana yang terbaik terutama mengutip halaman pihak ketiga
• Sitasi terikat pada kalimat tertentu, bukan seluruh jawaban, sehingga relevansi topik saja tidak cukup; sumber harus paling baik mendukung satu klaim yang tepat
• Hasil dideduplikasi pada level domain, sehingga 20 halaman tipis dari situs yang sama dapat digabung menjadi satu
• Daripada membuat banyak halaman berkualitas rendah untuk setiap kata kunci fan-out, lebih menguntungkan membuat satu halaman kuat untuk tiap klaim
• Klaim evaluatif tentang perusahaan sendiri memperoleh bukti dari ulasan pihak ketiga, Reddit, dan konten perbandingan, bukan dari halaman perusahaan sendiri; teks lebih mudah dikutip langsung daripada video

Peralihan sumber ketika halaman resmi tidak dapat dibaca

• Dari trafik yang dikirim ke browser, skor ranking tersembunyi seperti skor otoritas domain, bobot kepercayaan, atau formula peringkat tidak dapat diperiksa
  • Logika terkait tetap berada di server OpenAI
  • Data browser saja tidak cukup sebagai dasar untuk memastikan dan menjual “faktor ranking ChatGPT”
• Dalam penalaran tersimpan dari model Thinking, proses pemilihan sumber tertulis dalam kalimat
  • Fakta seperti harga dan spesifikasi memprioritaskan halaman resmi
  • Pada perbandingan Ahrefs, ChatGPT memeriksa Lite $129, Standard $249, dan Advanced $449 dari halaman resmi, lalu memilih halaman harga yang lebih baru sebagai target sitasi
• Pada Profound dan Peec, harga tidak muncul langsung di hasil pencarian, dan tercatat kemungkinan dimuat lewat JavaScript
• Jika halaman resmi tidak dapat diparse, model beralih ke sumber pihak ketiga seperti G2
  • Model mencoba memastikan harga resmi, tetapi tidak menemukannya di halaman
  • Akibatnya, angka perusahaan sendiri dikutip berdasarkan halaman situs lain
• Harga dan spesifikasi produk sebaiknya tidak dimuat lewat JavaScript atau dimasukkan ke gambar; sediakan sebagai teks yang dapat dicrawl
• Halaman harga yang mudah dibaca meningkatkan kemungkinan fakta perusahaan sendiri dikutip langsung, tetapi rekomendasi dan evaluasi tetap perlu diperoleh secara terpisah dari ulasan, Reddit, dan konten perbandingan yang jujur

Personalisasi, pencarian lokal, dan area yang tidak dapat diverifikasi

• Alasan satu sumber dipilih dibanding sumber lain termasuk logika sisi server, selain narasi yang disimpan model sendiri, sehingga tidak dapat diverifikasi
• Personalisasi diterapkan secara selektif pada sebagian kueri yang relevan, bukan semua kueri
  • Pada kueri yang tumpang tindih dengan pekerjaan pengguna sebelumnya, personal_sources: ["convo_search", "gmail", "files"] muncul
  • Dari 3 percakapan yang diperiksa, pada 1 percakapan yang cocok dengan riwayat pengguna, percakapan lama digunakan dalam jawaban umum tentang “alat terbaik”
• Sebagian jawaban disusun dari data pribadi yang tidak dapat dioptimalkan dari luar, sehingga hasil dapat berbeda per pengguna dan skor visibilitas juga dapat berfluktuasi
• Pada pencarian lokal, nilai local_results_limit diatur ke 2
  • Jika menanyakan kopi terbaik di dekat saya, yang dikembalikan bukan 10 teratas, melainkan hanya 2 tempat
  • Dalam pencarian lokal, jika tidak masuk 2 besar, tempat tersebut tidak muncul dalam jawaban
• Pipeline shopping hanya diamati pada satu kueri, dan hasilnya bertentangan langsung dengan apa yang dilihat peneliti lain pada satu kueri, sehingga saat ini konfigurasinya belum dapat dipastikan
• Struktur berulang kali teramati dalam sekitar 1.240 record, tetapi rasio dari kueri komersial kecil yang berfokus pada SaaS dan teknologi perlu divalidasi dalam skala lebih besar di berbagai industri
• Karena sistem dapat berubah setiap minggu, ini harus dilihat sebagai snapshot di mana struktur mungkin tetap, tetapi angkanya bergerak

Cara memeriksa sendiri dan ekstensi

• Pipeline dasar dapat diperiksa di browser sendiri tanpa izin khusus
  • Di ChatGPT, buka DevTools dengan Cmd+Option+I
  • Aktifkan Preserve log di Network
  • Setelah menjalankan kueri, cari result_source di respons dengan Cmd+Option+F
• Untuk melihat fan-out, sitasi, dan penalaran, masukkan allow pasting sekali di Console, lalu data /backend-api/conversation/ dari percakapan yang melakukan pencarian web dapat dibaca
• Skrip yang disediakan hanya membaca data percakapan Anda sendiri dengan token akses sesi saat ini, lalu menampilkan domain sumber dan pipeline dalam bentuk tabel
  • techradar.com dan whathifi.com adalah labrador
  • soundguys.com dan rtings.com adalah bright
  • khaleejtimes.com adalah oxylabs
  • streetinsider.com adalah serp
• Jika field yang dikumpulkan diubah, kata kunci pencarian, sitasi, dan penalaran tersimpan juga dapat dikeluarkan dengan cara yang sama
• FanoutFox adalah ekstensi Chrome gratis yang mengotomatisasi proses ini
  • Menampilkan pipeline result_source per sumber
  • Membedakan status diambil, dikutip, dan disebut
  • Menampilkan semua kueri fan-out yang dibuat dari satu pertanyaan, serta pencarian site: dan pemeriksaan harga
  • Data tidak keluar dari browser
  • Dapat dipasang dari Chrome Web Store, dan analisis tambahan dapat dilihat di Part 2
• Ekstensi gratis dari Olivier de Segonzac juga membaca data dari sesi lokal dan mengekspornya ke Excel
  • Menampilkan turn_use_case untuk memeriksa apakah sebelum pencarian kueri beralih ke shopping, local, atau text
  • Memisahkan porsi jenis referensi produk, hasil pencarian, berita, dan gambar dari token sitasi
  • Menampilkan komposisi result_source per percakapan dalam grafik
  • Dapat dilihat di Chrome Web Store dan penjelasan pembaruan

Prinsip desain yang berbeda dari optimasi mesin pencari

• Dalam sampel terbatas, saran lama tentang pengaruh Reddit, konten berbentuk daftar, dan situs ulasan secara umum terkonfirmasi
• Konten yang baik pun hanya efektif pada bagian yang benar-benar dapat dibaca model; fakta yang tidak terbaca dapat diambil dari situs lain
• ChatGPT membaca fakta yang dapat diparse dari halaman perusahaan sendiri, mengambil evaluasi dari halaman orang lain, dan menjalankan proses ini hanya ketika kueri diklasifikasikan sebagai target pencarian
• Alih-alih hanya menargetkan peringkat mesin pencari, desain juga harus mempertimbangkan apakah pencarian dijalankan, apakah HTML dapat diparse, kelayakan sitasi per klaim, dan sumber evaluasi pihak ketiga