Cara menghindari pemeriksaan Bot saat web crawling

Berdasarkan Selenium, tetapi dapat diterapkan juga di tempat lain

1. Hapus flag navigator.webdriver

2. Hapus string tertentu dari ChromeDriver / GeckoDriver

3. Ubah resolusi, User-Agent, dan lain-lain

4. Gunakan alur URL yang nyata. Hindari mengunjungi tautan yang tidak terlihat

5. Gunakan proxy untuk mengubah IP

6. Gunakan nilai jeda acak

7. Jangan gunakan browser headless (dapat diperiksa dengan mengecek Notification Permission)

[xguru]

Untuk poin 1, pada Puppeteer ada tempat yang tetap mendeteksi sebagai bot jika hanya mengatur true/false

Jadi sebaiknya hapus propertinya sepenuhnya seperti di bawah ini

const newProto = navigator.__proto__;

delete newProto.webdriver;

navigator.__proto__ = newProto;

[louis]

Itu poin yang bagus :) Saya sudah mengganti kodenya