- Cloudflare Radar menambahkan halaman khusus AI Insights, sehingga lalu lintas bot/crawler AI, popularitas layanan AI generatif berbasis DNS, arahan robots.txt, dan tren penggunaan model Workers AI dapat dipantau dalam satu layar
- Grafik lalu lintas bot dan crawler AI menyediakan data deret waktu/ringkasan untuk UA teratas berdasarkan daftar ai.robots.txt, serta mendukung analisis terperinci melalui Radar API dan Data Explorer
- Peringkat layanan AI generatif yang menggunakan data DNS 1.1.1.1 menampilkan perubahan tren dalam agregasi harian, dan memperlihatkan perubahan tajam pada layanan baru seperti lonjakan DeepSeek pada akhir Januari 2025 (muncul 26/1 → peringkat 3 pada 29/1)
- Analisis robots.txt mengagregasikan arahan Allow/Disallow terkait AI dari 10.000 domain teratas untuk memvisualisasikan tren pemblokiran per kategori, dan menampilkan tren penolakan yang luas di area berita dan media
- Popularitas model/tugas Workers AI menyediakan tren penggunaan per model dan per task serta perbandingan periode berdasarkan data bersama, sehingga membantu memahami arus ekosistem model yang berkembang cepat
Ikhtisar
- Cloudflare menambahkan halaman AI Insights ke Radar untuk menyediakan secara terpadu tren lalu lintas, popularitas layanan, kontrol akses, dan penggunaan model terkait AI
- Sumber datanya mencakup lalu lintas DNS 1.1.1.1, daftar user-agent ai.robots.txt, data bersama Workers AI, serta integrasi Radar API/Data Explorer
Tren lalu lintas bot dan crawler AI
- Aktivitas 5 bot/crawler AI teratas divisualisasikan per periode untuk membantu memahami intensitas permintaan dan periodisitas
- Dasar pengumpulan user-agent mengacu pada daftar ai.robots.txt dan terus diperbarui
- Mendukung akses terprogram melalui endpoint API deret waktu/ringkasan
- Di Data Explorer, pengguna dapat menelusuri tren luas untuk keseluruhan kumpulan bot AI
- Operator dapat memeriksa lalu lintas anomali berdasarkan wilayah, periode, dan UA
- Dapat dimanfaatkan untuk analisis korelasi dengan kebijakan respons internal
Popularitas layanan AI generatif
- Berdasarkan volume permintaan DNS 1.1.1.1, peringkat relatif layanan AI generatif publik disediakan per hari
- Dalam ulasan tahunan 2023/2024, ChatGPT terus menempati peringkat 1
- Pada akhir Januari 2025, volatilitas di peringkat 6–10 teramati cukup tinggi
- DeepSeek melonjak cepat ke peringkat 3 pada 29 Januari setelah pertama kali muncul pada 26 Januari
- Menyediakan data peringkat berfrekuensi tinggi yang berguna untuk mendeteksi layanan baru yang tumbuh pesat
- Di Radar API, data deret waktu mentah dapat diakses dengan parameter
serviceCategory=Generative%20AI
Analisis file robots.txt
- 10.000 domain teratas dikumpulkan secara berkala untuk mengagregasikan arahan Allow/Disallow terkait AI
- Grafik merangkum izin/larangan penuh dan izin/larangan parsial per user-agent
- Kategori berita dan media menunjukkan tren penolakan yang luas terhadap UA AI
- Berdasarkan arahan Allow, jumlah situs yang memberi izin eksplisit menurun tajam
- Jika UA tidak dicantumkan dan wildcard tidak ada, perlu diperhatikan bahwa perilaku default adalah mengizinkan penuh
- Mendukung analisis filter per bot/per arahan melalui Radar API dan Data Explorer
Popularitas model dan tugas Workers AI
- Tren penggunaan model dan tugas (Task) yang didukung secara publik di Workers AI divisualisasikan berdasarkan data bersama
- Popularitas model/popularitas tugas masing-masing disediakan dalam bentuk deret waktu dan ringkasan
- Di Data Explorer, analisis kenaikan/penurunan dibanding bulan sebelumnya dimungkinkan melalui fitur perbandingan periode (timeCompare)
- Contoh model: mencakup beragam task seperti generasi teks, generasi gambar, pengenalan suara, klasifikasi gambar, dan lain-lain
- Saat model baru yang kuat dirilis, visibilitas dini dapat dimanfaatkan untuk respons proaktif
Kesimpulan dan implikasi
- Ekosistem AI menunjukkan volatilitas yang tajam, dengan banyak contoh layanan baru yang tumbuh pesat dalam waktu singkat
- Seiring meluasnya layanan generatif, isu scraping konten, hak cipta, dan kontrol akses tetap berada dalam ketegangan yang berkelanjutan
- Halaman AI Insights menyediakan secara terpadu lalu lintas, popularitas, kontrol akses, dan penggunaan model, sehingga berguna bagi pengamat industri dan praktisi untuk memahami tren terkini
- Operator dapat membangun sistem pemantauan dan pelaporan otomatis melalui Radar API dan Data Explorer
- Strategi arahan robots.txt dan kebijakan CDN/keamanan dapat dikaitkan untuk memperhalus respons terhadap bot AI
Belum ada komentar.