insane-search - Membuat Claude Code yang menyerah saat menemui 403 terus mencoba sampai berhasil

Saya tidak suka Claude Code yang menyerah begitu menemui 403.

"Tolong baca tulisan ini di blog Naver" → 403. "Pilihkan keyboard di bawah 100.000 won dari Coupang" → 403. "Apa isi thread Reddit ini?" → diblokir. Akhirnya saya terus-menerus harus membuka browser sendiri lalu copy-paste untuknya. Rasanya aneh: saya menyuruh AI bekerja, tapi kenapa saya yang malah bekerja.

Saya sudah mencoba MCP yang ada, tetapi ada masalah. Kebanyakan terikat pada satu platform tertentu saja (khusus Twitter, khusus YouTube), atau meminta pendaftaran API key/OAuth, atau sudah belajar bias seperti "situs ini diblokir" sehingga bahkan tidak mencoba sama sekali. Situs berubah setiap hari dan caranya pun bisa saja berhasil sekarang, jadi tidak masuk akal untuk menyerah hanya karena pernah diblokir sekali.

Karena itu saya membuat lapisan pemilihan metode. Ini bukan scraper, melainkan skill yang mencoba endpoint publik dan teknik standar secara berurutan sampai bisa tembus.

Cara kerjanya

Saat Claude Code mengakses URL, scheduler adaptif 4 tahap akan membantu. Ia hanya berpindah ke Phase berikutnya jika Phase sebelumnya gagal atau mendeteksi sinyal pemblokiran.

• Phase 0: hanya mengindeks endpoint khusus yang tidak bisa ditemukan dengan rantai umum (15 grup) — X Syndication, Reddit .json, HN Firebase, yt-dlp 1.858 situs
• Phase 1: probe ringan paralel — WebFetch, Jina Reader, curl dengan UA Chrome/Mobile/Googlebot, variasi URL m.{domain}/.json//rss
• Phase 2: impersonasi TLS — curl_cffi urutan safari → chrome → firefox (jika belum terpasang akan otomatis pip install)
• Phase 3: browser sungguhan — render dengan Playwright MCP + temukan API tersembunyi (network_requests)
• jika mendeteksi login/paywall, proses diakhiri sebagai "perlu autentikasi". Tidak terus mencoba tanpa guna

Dari semua respons HTML, tag OGP + data terstruktur JSON-LD juga ikut diekstrak. Walaupun isi penuh artikelnya tidak bisa diambil, judul/harga/profil tetap bisa didapat.

Situs Korea bekerja sangat baik

• Blog Naver → sebagian besar teratasi dengan variasi URL mobile
• Coupang → ekstraksi JSON-LD ItemList dengan curl_cffi safari di Phase 2
• DC Inside/FM Korea/Clien/Karrot/Yozm IT/Wishket → semuanya bisa dibaca lewat Jina Reader atau curl
• Naver Finance → JSON API tidak resmi api.finance.naver.com/siseJson.naver (tanpa autentikasi)
• 9 media Korea → indeks RSS + fallback Google News RSS

Prinsip inti

Jangan membangun bias. Saya tidak membuat daftar "situs ini sulit". Saya juga tidak melewatinya hanya karena dependensi belum ada — saya pasang lalu coba. Karena baik situs maupun metodenya bisa saja berhasil saat ini.

Instalasi

/plugin marketplace add https://github.com/fivetaku/gptaku_plugins.git  
/plugin install insane-search  

Setelah restart, selesai. Tidak ada API key/pendaftaran/variabel lingkungan. Cukup bicara seperti biasa, dan ini akan otomatis terpicu saat URL yang diblokir muncul.

[ng0301]

agent browser dari vercel-labs benar-benar luar biasa

[holywork]

Apakah tidak bisa dibuat agar browser-use langsung digunakan?