Startup portofolio a16z kedapatan mengiklankan lewat akun TikTok AI setelah terungkap oleh peretasan

• ‘Phone farm’ berisi 1.100 smartphone diretas, sehingga aktivitas akun iklan buatan AI yang beroperasi di TikTok terungkap
• Sistem ini dijalankan oleh startup Doublespeed, yang didanai a16z, dan mengelola ratusan akun media sosial berbasis AI untuk promosi produk
• Peretas memperoleh hak akses dan dapat melihat penugasan akun, informasi proxy, serta riwayat tugas
• Gambar dan video tokoh yang dibuat dengan AI digunakan untuk mempromosikan berbagai produk seperti suplemen, aplikasi, dan alat pijat, dan ditemukan banyak indikasi promosi produk tanpa penandaan iklan
• Peretas menyatakan telah melaporkan celah tersebut ke perusahaan pada 31 Oktober, namun masih bisa mengakses backend dan phone farm

---

Ringkasan insiden peretasan Doublespeed

• Seorang peretas menguasai phone farm yang terdiri dari 1.100 ponsel dan membongkar aktivitas akun iklan buatan AI yang beroperasi di TikTok
  • Phone farm ini dikelola oleh Doublespeed, yang melakukan promosi produk melalui lebih dari ratusan akun media sosial yang dibuat dengan AI
• Peretasan ini mengungkap adanya banyak konten promosi yang tidak menyatakan dirinya sebagai iklan
  • Akun-akun tersebut mempromosikan produk dalam bentuk influencer AI
• Peretas mengakses backend perusahaan dan dapat melihat PC manager mana yang mengendalikan ponsel serta akun TikTok tertentu
  • Server proxy, kata sandi, hingga antrean tugas per akun semuanya terekspos
  • Peretas menyatakan bisa mengendalikan sekitar 1.100 smartphone secara bebas, dan akses itu dapat disalahgunakan untuk sumber daya komputasi atau spam

Cara promosi influencer AI di TikTok

• Dari lebih dari 400 akun TikTok yang dijalankan Doublespeed, sekitar 200 benar-benar digunakan untuk promosi produk
• Banyak postingan diunggah tanpa penandaan sebagai iklan
• Sebagian akun tampaknya melalui proses ‘warming up’ dengan membangun aktivitas lebih dulu agar terlihat seperti pengguna nyata
• Pola penggunaan smartphone nyata ditiru untuk menghindari deteksi perilaku tidak autentik oleh TikTok

Contoh kasus promosi yang spesifik

• Karakter perempuan paruh baya buatan AI membicarakan nyeri tubuh sambil berulang kali menampilkan alat pijat Vibit
• Tokoh AI yang digambarkan sebagai mahasiswa UCLA mengkritik industri farmasi sambil mempromosikan suplemen moringa Rosabella
  • Tulisan pada label botol produk terbentuk tanpa makna, sehingga terlihat jelas sebagai gambar AI
• Sebagian akun bahkan memakai video buatan AI untuk mempromosikan agensi konten TikTok seperti Playkit

Akses peretas dan respons perusahaan

• Peretas meminta tetap anonim karena khawatir akan pembalasan, dan mengatakan telah melaporkan celah tersebut ke Doublespeed pada 31 Oktober
• Hingga saat artikel ditulis, peretas menyebut masih dapat mengakses backend perusahaan dan sistem phone farm
• Doublespeed tidak menanggapi permintaan komentar dari media

Reaksi platform dan investor

• Doublespeed adalah startup yang didanai Andreessen Horowitz (a16z)
• TikTok menyatakan kewajiban pelabelan untuk konten buatan AI, dan setelah laporan diterima, menambahkan label pada akun-akun tersebut
• a16z dan Doublespeed tidak mengeluarkan pernyataan resmi terkait insiden ini
• Juru bicara Reddit menyatakan layanan Doublespeed melanggar ketentuan penggunaan
• Meta tidak memberikan jawaban resmi, tetapi model bisnis tersebut dinilai melanggar kebijakan representasi identitas autentik

[roxie]

Wah, bisnis seperti ini...

[GN⁺]

Komentar Hacker News

• tautan archive

• AI dalam jangka panjang sedang menghancurkan media sosial
  Bahkan sebelum era AI, banyak postingan dan komentar sudah dibuat oleh bot atau akun berbayar
  Sekarang Reddit bahkan menjadi tempat yang kurang dapat dipercaya dibanding ChatGPT
  Meski begitu, setidaknya masih ada ruang satire seperti The Onion-verse

  • Rasanya seperti Dead Internet Theory berubah dari lelucon menjadi kenyataan
  • Saya tidak berpikir struktur percakapan spontan seluruh dunia bisa menghasilkan hal yang positif
    Manusia lemah terhadap anonimitas dan lingkungan tanpa pengawasan, dan forum seperti ini memaksimalkan kelemahan itu
    Pada skala seperti sekarang, sejak awal ini memang bukan ide yang bagus
  • Bisa jadi ini justru hal yang baik
    Jika makin banyak orang meninggalkan platform seperti ini dan kembali ke media arus utama, mungkin mereka akan menjadi lebih rasional
  • Bagi saya, Reddit sudah menjadi platform yang mati saat musim panas ini mereka mengizinkan profil privat
  • Saya juga berpikir serupa, tapi yang mengkhawatirkan adalah orang-orang tampaknya menyukai konten berkualitas rendah (sloppy content) seperti ini
    Saya jadi bertanya-tanya, apakah cuma karena terasa unik, atau memang benar mereka menginginkan hal seperti ini

• Sangat aneh hidup di kenyataan di mana bot farm sudah menjadi hal biasa
  Dulu saya mengaitkan hal seperti ini dengan rezim otoriter seperti Rusia atau Tiongkok, jadi sekarang apakah kita juga sedang menuju ke sana?
  Ditambah lagi, mengejutkan bahwa VC justru berinvestasi pada hal seperti ini
  Sekarang setiap kali mendengar podcast a16z, saya jadi teringat bot farm dan sulit menikmatinya
  Ini membuat saya ragu apakah orang benar-benar memikirkan moralitas dan etika

  • Meski begitu, saya masih percaya masa depan berbentuk web of trust yang berbasis kepercayaan itu mungkin
    Hanya saja saya tidak tahu bagaimana menjelaskannya

• Ini mengingatkan saya pada kalimat, “jangan membuat mesin yang menyerupai pikiran manusia”
  Rasanya seperti Butlerian Jihad datang lebih cepat dari jadwal
  Bukan penindasan atau kekerasan, melainkan pemasaran viral dan akun palsu yang memicu pemberontakan

  • Tapi kekerasan sebenarnya sudah dimulai
    OpenAI sedang menghadapi beberapa gugatan, karena ada kasus pengguna chatbot yang mengakhiri hidup mereka sendiri

• Lucu. Baru saja saya bilang ke seseorang bahwa iklan Vibit terlalu banyak, dan semua komentarnya terasa palsu

• Jika yang terungkap lewat peretasan pada akhirnya cuma bahwa startup itu melakukan persis seperti yang mereka katakan akan mereka lakukan, saya jadi merasa ini cuma iklan saja

• Setelah melihat Twitter Zuhair dan situs resminya, rasanya benar-benar menjijikkan
  Foto-foto phone farm miliknya ada semua di tweet ini
  “Mempercepat internet yang mati”, saya tidak paham kenapa kita mendorong pembusukan ruang publik (enshitification) seperti ini

  • Dia tampaknya cuma mengincar konten pemancing amarah (ragebait), tapi masalahnya adalah produk itu benar-benar ada
    Cory benar sejak awal
  • Dia terlihat seperti remaja cerdas yang tersesat ke arah yang salah
    Bukan orang jahat, lebih seperti seseorang yang butuh panutan yang lebih baik
    Saya pikir kalau seseorang tidak pernah melakukan hal yang nantinya dia sesali, dia juga tidak akan punya kesempatan untuk berefleksi
  • Tautan yang lebih mudah diakses adalah xcancel.com/rareZuhair
  • Membangun alat seperti ini berbahaya
    Suatu hari nanti bisa menjadi senjata yang berbalik kepada penciptanya sendiri
  • Ini bukan sesuatu yang aneh, hanya hasil dari keserakahan dan hasrat mengendalikan

• Ini terasa lebih seperti laporan yang menunjukkan cara perusahaan itu menjalankan bisnisnya
  doublespeed.ai

  • Cukup menyegarkan melihat mereka terang-terangan memakai frasa seperti “never pay a human again” dan “** spawn variation**”
    Tentu saya tidak suka, tapi rasanya tetap lebih baik karena mereka jujur dibanding perusahaan lain yang menipunya lewat bungkus pemasaran
  • Saya kira bisnis seperti ini ilegal atau setidaknya berada di wilayah abu-abu, tapi sekarang rasanya VC sudah sepenuhnya membuang moralitas
    Judi? Oke. Spam? Mari investasi. Penipuan iklan? Tidak masalah
  • Saya penasaran bagaimana konten farm AI seperti ini menghasilkan uang di TikTok
  • Pada akhirnya, kontroversi seperti ini justru menjadi promosi gratis bagi mereka
  • Rasanya seperti benar-benar melihat “salinan iklan penjahat” di dunia nyata

• Saya heran kenapa perusahaan seperti ini tidak dituntut dengan Computer Fraud and Abuse Act (CFAA)

  • Berbahaya kalau CFAA dipakai sebagai senjata terhadap pihak yang tidak disukai
    Sudah ada hukum yang menangani pemasaran menipu seperti ini
    Contoh: 16 CFR Part 255 dalam Code of Federal Regulations AS
  • Tapi perusahaan yang punya dana dan jaringan patronase bisa lolos dari penerapan hukum
    Dalam skenario terburuk pun, saya dengar pengampunan (pardon) belakangan ini tidak terlalu mahal