Kesaksian whistleblower: Meta dan TikTok membiarkan konten berbahaya tampil demi mendorong engagement

• Para whistleblower mengungkap bahwa Meta dan TikTok mengetahui dari riset internal bahwa semakin besar kemarahan yang dipicu algoritme, semakin tinggi tingkat engagement, namun tetap meningkatkan paparan lebih banyak konten berbahaya di feed pengguna
• Seorang insinyur Meta mengatakan ia menerima arahan untuk meningkatkan paparan ‘konten borderline’ dengan alasan penurunan harga saham, sementara seorang karyawan TikTok memperlihatkan dashboard internal yang menunjukkan kasus terkait politisi diproses lebih dulu daripada bahaya terhadap anak
• Reels milik Meta diluncurkan untuk bersaing dengan TikTok tanpa pengaman yang memadai, dan riset internal menegaskan bahwa rasio komentar berisi perundungan, ujaran kebencian, dan kekerasan lebih tinggi dibanding feed utama Instagram
• Seorang anggota tim keamanan internal TikTok bersaksi bahwa keselamatan anak didorong ke prioritas lebih rendah demi menjaga hubungan politik, sambil memperingatkan, “orang tua sebaiknya menghapus aplikasinya”
• Kedua perusahaan sama-sama membantah sengaja memperkuat konten berbahaya, namun dokumen internal dan kesaksian ini menunjukkan masalah struktural bahwa algoritme yang berpusat pada engagement memprioritaskan pendapatan di atas keselamatan pengguna

---

Ringkasan pengungkapan para whistleblower

• Lebih dari 12 whistleblower dan pihak terkait bersaksi bahwa perusahaan bersaing memperebutkan engagement pengguna sambil mengabaikan masalah keamanan seperti kekerasan, eksploitasi seksual, dan konten terkait terorisme
  • Seorang insinyur Meta mengatakan ia menerima arahan dari manajemen untuk lebih banyak menampilkan ‘konten borderline’ seperti misogini dan teori konspirasi
  • Seorang karyawan TikTok menunjukkan kepada BBC contoh laporan terkait politisi yang diprioritaskan dibanding kasus bahaya terhadap anak
• Di internal TikTok, menjaga hubungan dengan politisi disebut sebagai alasan untuk menghindari risiko regulasi atau pelarangan

Riset internal Meta dan masalah pada Reels

• Peneliti Meta, Matt Motyl, mengatakan bahwa saat peluncuran Reels (2020), pengamannya masih kurang
  • Menurut riset internal, komentar di Reels memiliki tingkat perundungan, ujaran kebencian, dan dorongan kekerasan yang masing-masing 75%, 19%, dan 7% lebih tinggi daripada feed utama Instagram
• Perusahaan menempatkan 700 orang staf untuk pertumbuhan Reels, sementara permintaan penambahan personel untuk tim perlindungan anak dan integritas pemilu ditolak
• Dokumen internal menunjukkan bahwa algoritme memprioritaskan maksimalisasi pendapatan di atas kesejahteraan pengguna
  • Termasuk ungkapan bahwa “Facebook bisa membuat pengguna dikonsumsi seperti ‘fast food’, tetapi sulit bertahan lama”

Kesaksian tim keamanan internal TikTok

• BBC selama beberapa bulan pada 2025 berhubungan dengan ‘Nick’, anggota tim trust and safety TikTok
  • Ia mengatakan penerapan AI dan pengurangan tenaga kerja melemahkan penanganan konten berbahaya
  • Ia bersaksi bahwa ada peningkatan materi terkait terorisme, kekerasan seksual, penyiksaan, dan perdagangan manusia
• Dari dashboard internal, ia menunjukkan contoh ketika unggahan satir tentang politisi ditinjau lebih dulu daripada kasus pemerasan seksual terhadap remaja
  • Termasuk konfirmasi bahwa kasus korban berusia 16 tahun di Irak diklasifikasikan dengan tingkat urgensi rendah
• Nick mengatakan, “perusahaan lebih mementingkan hubungan politik daripada keselamatan anak,” dan menyarankan para orang tua untuk ‘menghapus TikTok’
• TikTok membantah dengan menyatakan bahwa konten politik tidak diprioritaskan di atas keselamatan anak, dan menyebut klaim tersebut sebagai distorsi
  • Perusahaan menjelaskan bahwa akun remaja menerapkan lebih dari 50 pengaturan keselamatan bawaan

Persaingan algoritme dan respons Meta

• Saat TikTok tumbuh pesat pada masa Covid-19 tahun 2020, Meta segera meluncurkan Reels sebagai respons
  • Motyl mengatakan bahwa “kecepatan lebih diprioritaskan daripada perlindungan pengguna”
  • Tim Reels disebut enggan menerapkan fitur keselamatan karena konten berbahaya mendorong engagement yang lebih tinggi
• Brandon Silverman (pendiri Crowdtangle) bersaksi bahwa saat itu Mark Zuckerberg sangat sensitif terhadap persaingan
  • Sebanyak 700 orang ditempatkan untuk ekspansi Reels, sementara tim keamanan kesulitan mendapatkan tambahan personel
• Mantan insinyur Meta, ‘Tim’, mengatakan bahwa pembatasan terhadap ‘konten borderline’ dilonggarkan karena persaingan dengan TikTok
  • Ia menyebut bahwa “di tengah penurunan harga saham dan tekanan pendapatan, diputuskan untuk melonggarkan langkah demi mengamankan pendapatan jangka pendek”

Cara kerja algoritme dan dampak sosial

• Dokumen internal menyatakan bahwa konten yang memicu kemarahan dan rangsangan moral mendorong engagement tinggi, dan algoritme cenderung menyukainya
  • Struktur ini dijelaskan sebagai: “semakin marah pengguna, semakin banyak konten yang mereka konsumsi”
• Pakar kontra-terorisme kepolisian Inggris melaporkan baru-baru ini menyaksikan fenomena ‘normalisasi’ unggahan antisemitisme, rasisme, dan kekerasan sayap kanan ekstrem
• Seorang pengguna remaja bersaksi bahwa ia ‘diradikalisasi’ oleh algoritme sejak usia 14 tahun, dan menjelaskan bahwa rasa marah serta kebenciannya semakin diperkuat

Sikap resmi perusahaan

• Meta: “Klaim bahwa kami memperkuat konten berbahaya demi keuntungan finansial tidak benar”
  • Perusahaan menegaskan telah melakukan investasi besar dalam keselamatan dan keamanan selama 10 tahun terakhir, serta memperkenalkan fitur perlindungan remaja
• TikTok: menyatakan bahwa “klaim tersebut telah dimanipulasi,” dan menjelaskan bahwa perusahaan terus berinvestasi dalam teknologi agar konten berbahaya tidak terekspos
  • TikTok menambahkan bahwa mereka “membantu jutaan orang menemukan minat baru dan membentuk komunitas”

[GN⁺]

Opini Hacker News

• Selama 5 tahun terakhir, rasanya masalah seperti ini sudah jadi pengetahuan umum
  Tapi pertanyaan sebenarnya adalah, “Jadi apa yang harus kita lakukan?”
  Aku berusaha untuk tidak membuang waktu dengan kemarahan di internet, tapi ini adalah penyakit sosial yang terlalu besar untuk ditanggung individu

  • Menurutku perilaku seperti ini harus dihentikan lewat regulasi, atau perusahaannya sekalian ditutup
    Jika Meta atau TikTok memberi dampak bersih negatif bagi masyarakat, maka tidak ada hak alami bagi mereka untuk tetap ada
  • Iklan online harus dikenai pajak dan diregulasi ketat
    Akar masalahnya adalah karena ‘mendorong engagement’ terlalu menguntungkan. Selama insentif finansial itu tidak hilang, masalah ini juga tidak akan hilang
  • Feed Instagram-ku belakangan hampir penuh dengan video politisi, kontroversi terkait presiden, dan konten provokatif
    Rasanya aku mendapat lebih banyak informasi dibanding hanya mendengarkan NPR, tapi aku menghindari konten yang dibuat-buat (editing, musik, narasi, dll.)
    Aku hanya ingin menerima reaksi emosional yang datang dari kejadian nyata atau dari ucapan seseorang
    ‘Konten sebagai berita’ harus punya keaslian
  • Pendekatan seperti “mengurangi khasiat obat” bukanlah jawaban. Larangan juga bukan jawaban
    Kalau melihat alasan Gen Z lebih sedikit minum alkohol dibanding milenial, mungkin ada petunjuk solusi di sana
  • Mungkin kita tidak akan melakukan apa pun dan hanya terus mengeluh

• Menurutku istilah “konten berbahaya” pada akhirnya berarti sesuatu yang tidak disukai pemerintah atau negara tertentu
  Pada akhirnya ini terdengar seperti tuntutan sensor dalam bentuk lain

  • Menurut riset internal BBC, komentar di Reels memiliki pelecehan dan ujaran kebencian jauh lebih banyak dibanding tempat lain
    Jika ada kelompok yang menentang kekerasan semacam ini, bukankah itu justru hal yang baik?
  • Di feed TikTok-ku kadang muncul hasutan langsung untuk melakukan kekerasan terhadap orang Yahudi
    Bahkan setelah dilaporkan, jawabannya hanya “tidak melanggar pedoman”

• Menjengkelkan bahwa platform-platform ini masih beroperasi seperti ini
  Kerusakan sosialnya sudah diketahui lebih dari 10 tahun, tapi tidak ada yang terjadi
  Facebook dan TikTok pada dasarnya adalah narkoba digital. Dan itu dirancang oleh orang-orang yang tidak punya empati sosial

• Hasil seperti ini tidak mengejutkan. Kebanyakan orang mungkin juga merasa begitu
  Tetap saja, baik bahwa buktinya ditunjukkan dengan jelas

• Apakah fenomena seperti ini memang tak terhindarkan?
  Karena ini menghasilkan klik, view, dan engagement pengguna, kalau satu platform melakukannya, yang lain pun mau tak mau akan ikut

  • Sekarang pengguna sendiri harus mengelola feed mereka. Kita tidak bisa berharap platform yang akan membereskannya untuk kita
  • Tingkat engagement tidak sama dengan pangsa pasar
    Misalnya, kalau pegawai McDonald's menghina pelanggan, ‘engagement’ mungkin naik, tapi pangsa pasar akan turun

• Sudah pasti mereka akan bertindak seperti itu
  Selama secara hukum diperbolehkan dan menghasilkan keuntungan, mereka akan terus melakukannya

• Ini sudah jadi cerita berulang setidaknya sejak 2012
  Buku Max Fisher The Chaos Machine merangkumnya dengan baik
  Facebook dan YouTube selalu bilang “kami sudah mengambil tindakan” saat dikritik, tapi kenyataannya itu hanya pengulangan menghindar, menunda, mengecilkan, dan menyangkal

• Aku penasaran apakah ada lembaga yang memantau algoritme berbahaya dan bahkan mengajukan gugatan
  Reset.tech melakukan pekerjaan bagus di bidang ini, tapi aku ingin tahu apakah ada yang lain, dan siapa yang mendanai mereka

• Jika mereka menghasilkan 20 miliar dolar dan dendanya 200 juta dolar, mereka jelas tidak akan peduli pada kesehatan mental pengguna

• Selama publik masih bereaksi terhadap konten sensasional, platform tidak punya alasan untuk tidak memanfaatkannya
  Sebagian besar posting pada akhirnya hanyalah umpan klik