- Banyak pengguna memakai pembaca feed RSS untuk menjaga konten situs web tetap terbaru.
- Namun, jika Cloudflare diaktifkan di situs web, ada kemungkinan pengguna RSS tersebut terhalang mengakses konten.
- Dashboard Cloudflare memiliki alat untuk memblokir lalu lintas bot. Secara khusus, ada Bot Fight Mode dan opsi pemblokiran "AI scrapers and crawlers".
- Jika fitur-fitur ini diaktifkan, pengguna yang mengakses situs web melalui pembaca RSS bisa ikut terblokir.
Bagaimana Cloudflare memblokir pembaca RSS
- Cloudflare dapat menilai kunjungan ke situs web sebagai scraper AI atau bot lalu memblokirnya.
- Saat pembaca RSS mencoba membaca situs web, Cloudflare menampilkan tantangan yang harus diselesaikan manusia. Pembaca RSS tidak dapat menyelesaikannya.
- Dalam kasus lain, akses pembaca RSS juga bisa diblokir tanpa alasan yang jelas.
Membuka blokir pembaca RSS sambil tetap menggunakan Cloudflare
- Meski tetap menggunakan Cloudflare, Anda dapat menambahkan pembaca RSS ke whitelist agar tidak diblokir.
- Anda perlu mencari user-agent pembaca RSS yang diblokir di dashboard analitik Cloudflare.
- Anda dapat membuat aturan khusus berdasarkan string user-agent atau alamat IP untuk mengizinkan lalu lintas tersebut.
Diperlukan cara yang lebih baik agar Cloudflare mengizinkan pembaca RSS
- Cloudflare memang menyediakan program verifikasi bot yang bisa diajukan secara manual oleh pemilik pembaca RSS, tetapi program ini tidak dijamin berhasil dan memiliki beberapa masalah.
- Proses verifikasinya tidak stabil.
- Pembaca RSS yang sudah diverifikasi pun masih bisa diblokir.
- Membuka blokir pembaca RSS di banyak situs web terasa merepotkan.
Ringkasan GN⁺
- Alat keamanan Cloudflare berguna untuk mencegah bot berbahaya dan serangan, tetapi pengguna alat RSS juga harus tetap bisa mengakses konten situs web.
- Cloudflare perlu menyediakan cara yang mudah untuk mengatasi masalah pemblokiran pembaca RSS.
- Ini adalah informasi penting bagi pemilik situs web yang menggunakan pengaturan keamanan Cloudflare
1 komentar
Opini Hacker News
Operator NewsBlur mengalami kesulitan mengumpulkan feed RSS karena pemblokiran oleh Cloudflare, dan pengguna meminta pengembalian dana. Mereka telah membagikan daftar alamat IP ke Cloudflare tetapi tidak ada hasil. Mereka berharap Cloudflare menambahkan daftar ini ke daftar izin
Listen Notes menggunakan Cloudflare untuk mengelola keamanan layanan, serta memisahkan subdomain berdasarkan jenis trafik dan menerapkan aturan firewall dan halaman yang sesuai untuk masing-masing. Dengan demikian, layanan yang optimal dapat dipastikan
Saat menjalankan Firefox di OpenBSD dengan pengaturan privasi yang ketat, situs web yang berada di belakang Cloudflare menampilkan error 403 Forbidden. Ini tampaknya merupakan masalah Cloudflare
Menambahkan agen pengguna tertentu ke whitelist adalah pekerjaan manual tanpa akhir dan dapat diakali oleh pelaku jahat. Sebagai gantinya, disarankan membuat aturan halaman yang menonaktifkan pemblokiran bot agar masalah semua pembaca RSS terselesaikan. Masalah pengaturan bawaan Cloudflare ini belum terselesaikan selama bertahun-tahun
Cloudflare melalui email jgc@cloudflare.com ingin mendengar pengalaman para pemilik pembaca RSS, dan berencana meminta timnya menyelidiki masalah ini secara rinci
Pemilik pembaca RSS menyebutkan bahwa banyak permintaan dukungan muncul karena masalah "feed tidak berfungsi", dan ini terjadi bukan hanya karena Cloudflare tetapi juga karena berbagai pengaturan firewall
Cloudflare menghambat pengambilan feed oleh pembaca RSS, dan selain meminta pemilik situs web menambahkan pengecualian satu per satu, tidak ada solusi lain
Situs web yang menggunakan Cloudflare dapat memblokir pengguna Safari, Chrome, atau semua pengguna, dan ini menyebabkan kerugian bagi pemilik situs web. Saat mengakses Cloudflare itu sendiri, pemblokiran tidak terjadi
Saat situs web pemerintah diblokir karena Cloudflare, hampir mustahil menjelaskan masalahnya dan meminta penyelesaian. Bahkan jika diperbaiki, masalah yang sama muncul lagi beberapa minggu kemudian
Cloudflare mengganggu akses web dari IP Thailand dan fingerprint Linux Firefox, sementara admin web tidak menyadari masalah ini. Mereka membuat jembatan RSS menggunakan API web scraping Scrapfly untuk mengatasinya. Web modern bersifat antisosial dan semakin jauh dari ideal web 2.0 bahwa semuanya akan saling terhubung melalui API