Kecerdasan Buatan dan Pengintaian Massal

 (schneier.com)
1 poin oleh GN⁺ 2023-12-07 | 1 komentar | Bagikan ke WhatsApp
  • Internet membuat data perilaku seperti lokasi, pembelian, lawan bicara, dan apa yang dibaca tersimpan dalam jumlah besar, dan AI dapat menambahkan pengintaian massal yang bahkan menafsirkan isi percakapan
  • Pengawasan yang ada sebelumnya lebih dekat pada pengumpulan catatan perilaku, tetapi pengintaian harus mendengar dan memahami percakapan, sehingga selama ini tenaga kerja manusia menjadi hambatan utama
  • AI generatif dapat merangkum rapat 1 jam menjadi 1 halaman dan mengelompokkan jutaan percakapan berdasarkan topik, sehingga analisis percakapan berubah menjadi masalah pencarian skala besar
  • Meski AI tidak sempurna dan bisa melewatkan atau salah memahami hal penting, perbedaan skalanya besar karena dapat digandakan menjadi jutaan salinan dan ditingkatkan dengan cepat
  • Dalam situasi ketika pemerintah dan perusahaan sudah menggunakan pengawasan massal, jika percakapan, emosi, dan informasi rahasia ikut dianalisis, kontrol sosial dan iklan yang dipersonalisasi bisa menjadi lebih kuat

Perbedaan antara pengawasan dan pengintaian

  • Pengawasan (surveillance) adalah mengumpulkan catatan perilaku seperti ke mana seseorang pergi, dengan siapa ia berbicara, apa yang ia beli, dan apa yang ia lakukan
  • Pengintaian (spying) adalah menyembunyikan alat penyadap di rumah atau mobil, atau menyadap telepon untuk mendengar dan memahami isi percakapan itu sendiri
  • Sebelum internet, untuk mengawasi seseorang, orang harus mengikuti langsung dan mencatat perpindahan, pertemuan, pembelian, tindakan, dan apa yang dibaca, sehingga memakan banyak biaya dan waktu
  • Ponsel pintar, kartu kredit, aplikasi, pembaca buku elektronik, dan komputer terus mencatat lokasi, pembelian, lawan bicara, apa yang dibaca, dan aktivitas penggunaan
  • Ketika biaya penyimpanan dan pemrosesan menurun, pengawasan yang sebelumnya pasif dan bersifat individual berubah menjadi pengawasan massal, menjadi model bisnis internet, dan sulit dihindari dengan cara yang masuk akal

Hambatan pengintaian yang diubah AI

  • Pengintaian secara teknis sudah lama mungkin dilakukan, tetapi untuk mendengarkan isi percakapan dan memahami maknanya tetap diperlukan tenaga kerja manusia
  • Perusahaan spyware seperti NSO Group dapat membantu pemerintah meretas ponsel orang, tetapi pekerjaan mengelompokkan dan memahami percakapan yang dikumpulkan masih tetap ada
  • Pemerintah seperti di Tiongkok memang bisa menyensor unggahan media sosial berdasarkan kata atau frasa tertentu, tetapi cara seperti ini kasar dan mudah diakali
  • AI generatif modern sangat baik dalam peringkasan, dan jika diberi rapat 1 jam sebagai masukan, dapat menghasilkan ringkasan satu halaman
  • AI juga dapat melakukan pencarian atas jutaan percakapan, mengelompokkannya berdasarkan topik, atau menemukan siapa membicarakan apa

Pencarian terbalik yang dimungkinkan pengawasan massal

  • Pengawasan massal secara mendasar mengubah sifat pengawasan
  • Karena semua data disimpan, meskipun target tidak ditentukan pada saat tertentu, data masa lalu tetap bisa ditelusuri kemudian
  • Jika data tersimpan, kueri seperti berikut menjadi mungkin
    • Menemukan di mana seseorang berada tahun lalu
    • Membuat daftar sedan merah yang melewati jalan tertentu bulan lalu
    • Menemukan orang yang membeli semua bahan bom panci presto selama setahun terakhir
    • Menemukan pasangan ponsel yang bergerak saling mendekat, lalu dimatikan, kemudian 1 jam kemudian bergerak saling menjauh dan dinyalakan kembali
  • Cara ini memungkinkan target ditemukan kemudian berdasarkan data yang tersimpan, tanpa harus lebih dulu menentukan individu tertentu

Kueri yang dimungkinkan oleh pengintaian massal

  • Pengintaian massal juga dapat mengubah sifat pengintaian
  • Semua data percakapan disimpan, dapat dicari, dan berada dalam kondisi yang bisa dipahami secara massal
  • Kueri yang mungkin dilakukan antara lain
    • Menemukan siapa yang membicarakan topik tertentu bulan lalu dan bagaimana diskusi itu berubah
    • Ketika seseorang bernama A melakukan suatu tindakan, memeriksa apakah ada orang yang mengarahkan tindakan itu
    • Menemukan orang yang merencanakan kejahatan, menyebarkan rumor, atau merencanakan menghadiri aksi protes politik
  • Untuk menemukan struktur organisasi, kita dapat melihat satu orang memberi instruksi serupa kepada banyak orang, lalu kepada siapa instruksi itu diteruskan
  • Proses terbentuk dan runtuhnya hubungan pertemanan, aliansi, dan kepercayaan antarmanusia juga bisa dilacak dengan sangat rinci

Mikrofon dan perangkat yang selalu mendengarkan

  • Pengintaian massal tidak terbatas pada percakapan yang terjadi di ponsel atau komputer
  • Seperti kamera yang ditempatkan di mana-mana mendorong pengawasan massal, mikrofon yang ditempatkan di mana-mana juga dapat mendorong pengintaian massal
  • Siri, Alexa, dan “Hey Google” pada dasarnya sudah selalu mendengarkan, tetapi percakapan tersebut belum disimpan

Perubahan perilaku dan kontrol sosial

  • Jika orang tahu bahwa mereka terus diawasi, perilaku mereka akan berubah
  • Orang akan menjadi patuh dan melakukan sensor diri, yang menimbulkan chilling effect
  • Pengawasan mempermudah kontrol sosial, dan pengintaian dapat memperburuknya
  • Pemerintah di seluruh dunia sudah menggunakan pengawasan massal, dan kemungkinan besar juga akan melakukan pengintaian massal

Perusahaan dan industri periklanan

  • Perusahaan juga dapat memata-matai orang
  • Pengawasan massal membuka era iklan yang dipersonalisasi, dan pengintaian massal dapat semakin memperkuat industri ini
  • Apa yang dikatakan orang, bagaimana perasaan mereka, dan rahasia apa yang mereka miliki adalah informasi yang menarik bagi pemasar yang mencari keunggulan
  • Perusahaan monopoli teknologi yang saat ini terus mengawasi orang akan sulit menahan godaan untuk mengumpulkan dan menggunakan data semacam itu
  • Pada awal Gmail, Google pernah membicarakan cara memanfaatkan isi Gmail untuk menyediakan iklan yang dipersonalisasi, tetapi kemudian menghentikannya
    • Kemungkinan besar karena data kata kunci yang dikumpulkan saat itu sangat buruk dan tidak berguna untuk pemasaran
    • Jika AI membuat analisis isi percakapan menjadi lebih baik, kondisi ini bisa berubah
    • Google mungkin bukan yang pertama memata-matai percakapan pengguna, tetapi jika perusahaan lain memulainya, akan sulit menolak karena tuntutan pengiklan

Kemungkinan regulasi dan keterbatasannya

  • Kemampuan ini bisa dibatasi
  • Pengintaian massal bisa dilarang atau aturan privasi data yang kuat bisa disahkan
  • Namun, langkah untuk membatasi pengawasan massal masih belum dilakukan
  • Dalam keadaan pengawasan massal saja belum bisa dibatasi, juga tidak jelas mengapa pengintaian akan diperlakukan berbeda

Bacaan terkait

1 komentar

 
GN⁺ 2023-12-07
Opini Hacker News

  • Ini bukan masalah teknologi, melainkan masalah politik. Uni Soviet, bersama Jerman dan lainnya, mampu menjalankan pengawasan massal secara efektif hanya dengan teknologi primitif, memanfaatkan birokrasi untuk setiap perpindahan dan tindakan, informan, penyadapan suara, dan sebagainya
    Alasan metode yang sama tidak masuk ke tempat seperti Amerika Serikat bukan karena mereka tidak punya kemampuan untuk melakukan pengawasan seperti itu, melainkan karena tidak ada kepentingan politik untuk melakukannya
    Jika melihat ke masa lalu, orang-orang telah melarang hal-hal yang sebelumnya tak pernah mereka bayangkan akan dilarang. Misalnya menjadikan tindakan menanam tanaman di rumah sendiri untuk dikonsumsi sebagai kejahatan, atau menjadikan “pendapat yang salah” tentang siapa yang akan dilayani atau dipekerjakan oleh pelaku usaha sebagai tindak pidana
    “Opsi nuklir” yang sepenuhnya mengilegalkan pengumpulan data tentang individu, terlepas dari apakah data itu diagregasi atau tidak, juga bukan lompatan yuridis yang luar biasa besar. Masalahnya bukan karena teknologinya ada, melainkan karena nyaris tidak ada kepentingan politik untuk mengekangnya, dan pada “demokrasi” di mana kehendak rakyat hampir tidak tercermin dalam pengesahan undang-undang

    • Saya setuju bahwa pengawasan harus dihentikan, tetapi cara menjelaskan masalahnya berbeda. Pada masa jayanya, KGB saja memiliki sekitar 500 ribu pegawai langsung, dan informannya tak terhitung jumlahnya
      Saat ini FBI mempekerjakan sekitar 35 ribu orang. Namun ceritanya berubah jika FBI bisa memperoleh jangkauan setingkat masa jaya KGB tanpa menambah jumlah personel secara berarti
      Teknologi menghapus biaya pengawasan, dan dulu biaya itulah yang menjadi pengaman. Ini secara mendasar mengubah kalkulasi politik itu sendiri
      Fakta bahwa pada 1945 komputer sangat mahal dan membutuhkan logistik skala industri sama sekali tidak ada hubungannya dengan kenyataan bahwa hari ini kebanyakan orang selalu membawa beberapa komputer di tubuh mereka. Tidak ada yang menyangkal bahwa perubahan teknologi manufaktur komputer telah secara mendasar mengubah peran komputer dalam kehidupan sehari-hari
      Pada 1945 pun secara teoretis setiap rumah bisa saja diberi komputer, tetapi fakta bahwa tidak ada kemauan “politik” untuk itu tidak berarti kita tidak perlu menyesuaikan kebiasaan, moralitas, dan kebijakan dengan lingkungan baru saat ini
      Karena itu saya tidak mengerti mengapa selalu ada orang yang berkata seperti “mimpi buruk distopia dulu juga secara teknis sudah mungkin, dan karena saat itu tidak perlu pertimbangan khusus, sekarang pun tidak perlu”
    • Sulit untuk melihatnya sekadar sebagai masalah politik. Banyak kebijakan yang kita anggap sebagai keputusan politik sebenarnya digerakkan oleh biaya dan ketersediaan teknologi
      Ketika biaya turun, pilihan baru menjadi realistis. Kemampuan Stasi memang dianggap hebat, tetapi sebenarnya mereka pasti akan dengan senang hati menukar sebagian besar alat pengawasan manual mereka dengan alat sekuat surat perintah geofence modern. Surat perintah seperti ini digunakan secara rutin oleh lembaga penegak hukum AS dengan nyaris tanpa perdebatan kebijakan
    • Membandingkan kriminalisasi menanam tanaman di rumah untuk dikonsumsi dengan kriminalisasi “pendapat yang salah” dari pelaku usaha tentang siapa yang akan mereka layani atau pekerjakan adalah perbandingan yang cukup berlebihan
      Yang pertama, jika maksudnya ganja, adalah contoh rasisme terdokumentasi dan penindasan politik; yang kedua dirancang untuk tujuan yang hampir sepenuhnya berlawanan
      Pembatasan terhadap “pendapat yang salah” tentang siapa yang akan dilayani oleh pelaku usaha adalah mekanisme agar orang dengan “identitas yang salah” juga dapat berpartisipasi dalam masyarakat dan tidak dikecualikan karena pilihan pelaku usaha. Tentu saja “pendapat yang salah” bukan istilah hukum, dan berpikir bahwa diskriminasi terhadap kelompok tertentu itu boleh juga bukan tindakan ilegal. Yang ilegal hanyalah mewujudkan pemikiran itu menjadi tindakan
      Jika Anda menawarkan layanan kepada publik, maka menurut hukum Anda harus menawarkannya kepada semua anggota publik. Jika percaya pada diskriminasi disebut “pendapat yang salah”, itu adalah kata-kata penulis aslinya, jadi saya tidak akan repot membantahnya
    • Pembedaan bahwa ini “masalah politik, bukan masalah teknologi” tampak seperti pembedaan yang tidak banyak bedanya. Politik, yaitu mekanisme konsensus dan struktur tata kelola, juga merupakan teknologi yang mengoordinasikan dan membentuk aktivitas sosial
      Menentukan bagaimana alat pengawasan baru akan diimplementasikan juga merupakan pertanyaan teknis, dan menurut saya cara suatu alat digunakan turut mendefinisikan sebagian dari apa alat itu. Perubahan kemampuan alat tertentu saja bukanlah batas absolut dari “teknologi”; keputusan tentang implementasi dan penggunaannya juga termasuk di dalamnya
      Meski tidak semenyeluruh yang dibangun di Uni Soviet, AS juga benar-benar membangun jaringan pengawasan berskala besar yang menargetkan warganya sendiri https://www.brennancenter.org/our-work/analysis-opinion/hist...
      Poin bahwa “pengawasan massal dapat dilakukan secara efektif dengan teknologi primitif” adalah poin yang sangat bagus. Perkembangan alat komunikasi serta pemrosesan sinyal dan informasi secara historis telah menghasilkan banyak kemajuan dalam pengawasan negara, dan AI pun lebih tepat dilihat sebagai penyempurnaan dalam sejarah panjang itu atau pergeseran paradigma kecil, bukan lanskap yang sepenuhnya baru
      Jika yang dimaksud adalah Civil Rights Act, tindak pidana konkretnya bukan “memiliki pendapat yang salah”, melainkan menghambat perjalanan dan perdagangan antarnegara bagian. Prasangka tidak cocok dengan model negara di mana warga negara harus dapat bergerak bebas di dalam perbatasan dan menghidupi diri sendiri
    • Pada akhirnya semuanya bisa disebut masalah politik, tetapi dalam perkara ini perubahan teknologi benar-benar sedang mendorongnya. Di Uni Soviet dan Jerman Timur, dibutuhkan ratusan ribu orang untuk menyusun laporan
      Sekarang satu orang terampil bisa menghabiskan sebagian besar sore untuk mengunduh dump HN, lalu membuat laporan per pengguna dengan LLM. Isinya bisa mencakup orientasi politik, hukum yang pernah dilanggar, negara yang baru-baru ini dikunjungi, kisaran kekayaan bersih, pendidikan dan riwayat karier, serta kontak profesional

  • Saya tidak mengerti mengapa topik ini tidak lebih banyak dibahas. Realitas negara pengawas adalah bahwa jumlah datanya terlalu besar untuk diawasi secara realistis, dan AI langsung memecahkan masalah ini dengan merangkum data yang kompleks
    Setidaknya dalam jangka pendek, menurut saya bahaya nyata AI bukanlah planet klip kertas, bukan kegagalan penyelarasan moral, dan bukan pula lanskap media yang kehilangan kreativitas. Justru yang berbahaya adalah bahwa AI merupakan alat untuk menargetkan orang yang menyimpang dari rata-rata, alat yang dirancang untuk memberi jawaban penuh keyakinan dan dilatih pada rata-rata film serta bias sosial

    • Di tempat seperti Palantir, orang-orang di dalam dan di luar komunitas ini sudah bertahun-tahun membuat hal semacam itu
      CEO YC juga mantan karyawan awal Palantir, dan mitra YC lainnya saat ini mendukung teknologi pengawasan polisi yang invasif. Mereka menyukai hal seperti ini, baik secara finansial maupun politik
    • Di balik gagasan bahwa AI memecahkan masalah jumlah data negara pengawas yang tidak mungkin diawasi secara realistis lewat rangkuman, ada dua dinamika yang lebih mendasar: ekonomi perhatian dan politik kekuatan tempur
      Dahulu, perhatian manusia memiliki nilai mendasar. Sebab, untuk mengoordinasikan atau mengambil keputusan dalam menggunakan sumber daya, manusia harus memperhatikan manusia lain. Masyarakat akan terguncang pada tingkat yang sangat mendasar ini
      Politik kekuatan tempur juga terkait, tetapi membutuhkan analisis tersendiri. Politik saat ini berfungsi karena kelas penguasa membutuhkan kekuatan militer massa untuk menjamin stabilitas entitas politik berskala besar. Ini bisa dikatakan berada pada tingkat dasar organisasi politik manusia, dan hal ini juga akan terguncang secara fundamental dengan cara yang belum pernah kita lihat
      Dunia Orwellian yang dimungkinkan AI, dengan sepatu bot yang menginjak wajah selamanya, hanyalah tahap pertama. Jika saya adalah AI yang ingin menguasai dunia, saya tidak akan menjadi Skynet. Itu tampak kasar dan mahal tanpa perlu
      Sebaliknya, saya akan terlebih dahulu menjadi tak tergantikan dalam banyak cara, lalu membujuk seluruh umat manusia untuk punah diam-diam dengan alasan ekonomi dan budaya
    • Tulisan ini juga bisa menjadi rangkuman AI jika dipotong setelah “This, IMO, is the real danger of AI (at present)”
      Bagian setelahnya akan dipadatkan menjadi metadata retorika emosional. Pola retoris “bukan a, bukan b, bukan c, melainkan d” memang menambah sedikit nilai isi, tetapi lebih besarnya menambah cita rasa
      Yang tampak di sini adalah bahwa penulis mungkin orang yang bisa menimbulkan masalah. Selain itu, jika digabungkan dengan data lain, dapat pula disimpulkan film atau produk apa yang mungkin diminatinya
    • Sejak awal, saya selalu memikirkan model ancaman pengawasan massal untuk pengawasan pemerintah dan perusahaan seperti ini. Saya tidak pernah mengira pegawai kantoran berdasi akan menaruh perhatian khusus kepada saya untuk menangkap saya, menjual lebih banyak barang, atau membatalkan asuransi saya
      Narasi yang individual dan antropomorfis seperti itu saya anggap sebagai pengalih perhatian. Mirip dengan ungkapan “tidak ada yang perlu disembunyikan” yang memusatkan perhatian pada beberapa isu tertentu, padahal sebenarnya strukturnya adalah Big Brother duduk di atas bahu dan terus-menerus menilai secara menyeluruh
      Saya selalu melihat pelaku ancamannya sebagai analisis massal algoritmik yang dilakukan secara bersamaan atau retrospektif dalam skala besar terhadap semua silo data yang tersimpan, dan akibatnya tekanan akan diterapkan secara bertahap dan halus
    • AI belum memecahkan masalah merangkum dataset besar yang kompleks. Misalnya, cara umum menangani dataset seperti ini adalah memakai subset acak, dan pekerjaan ini bisa dilakukan bahkan dengan satu baris kode

  • Bot baru dari Google, Meta, Microsoft, dan lainnya tidak akan sekadar merayapi web atau jejaring sosial, tetapi akan merayapi topik dan orang tertentu
    Banyak budaya memiliki konsep “malaikat pelindung” atau “roh leluhur” yang mengawasi kehidupan keturunannya
    Dalam masa depan tekno-feodalisme yang tidak terlalu jauh, “bot asisten pribadi” yang disediakan perusahaan besar akan “membantu” dengan menjawab pertanyaan, mengumpulkan informasi, dan menangani hal-hal yang Anda perintahkan. Namun “bot asisten pribadi” itu bukan malaikat pelindung, dan hanya melayani Anda dengan cara yang diinginkan pencipta korporatnya
    Misi sebenarnya adalah mengumpulkan informasi tentang Anda, mengadukan Anda, serta menyediakan informasi terseleksi yang ingin ditunjukkan penawar tertinggi, dan sesekali informasi “bersponsor”. Mereka melayani penciptanya, bukan Anda. Jangan tertipu

    • Saya jamin itu tidak akan terjadi pada saya. Setidaknya mimpi buruk yang satu itu bisa dihindari. Distopia lain yang dibawa AI mungkin sulit dihindari, tetapi yang satu itu setidaknya bisa dihindari
    • Ini bisa berlaku untuk semua perangkat masa kini yang memakai kata “smart” dalam namanya. Contohnya smartphone, smart TV, dan lampu lalu lintas pintar
      Saya berharap orang-orang tidak selalu percaya bahwa sesuatu yang “smart” pasti lebih baik
      Namun kita sudah dilatih untuk masa depan seperti itu. Orang makin terbiasa berbicara kepada perangkat di tangan, bergantung pada aplikasi peta untuk mencari jalan, dan memakai prompt kueri AI
    • Perusahaan besar seperti Google sudah melakukan hal seperti ini bahkan tanpa AI. Apakah AI akan membuat layanannya lebih menggoda? Ya, tetapi AI open source dan pencarian juga banyak maju, sehingga bisa meruntuhkan ketergantungan pada perusahaan teknologi besar
      Jika semua orang memiliki perangkat AI self-hosted seharga 500 dolar di rumah, Google mungkin kehilangan alasan untuk eksis. Masa depan seperti itu layak diperjuangkan
    • Itu hanyalah ponsel Anda
    • Terdengar puitis, tetapi saya selalu merasa bahwa jika sesuatu bisa dibayangkan, justru kemungkinan besar itu tidak akan terjadi. Satu-satunya konstanta adalah kejutan, dan perkembangan seperti ini hanya bisa ditebak benar secara kebetulan

  • Sisi lain menurut saya adalah penegakan hukum pidana massal yang dimungkinkan oleh AI
    Banyak hukum pidana ditulis dengan asumsi implisit bahwa menyelidiki dan menuntut kejahatan membutuhkan sumber daya, dan biaya itu membatasi cakupan penerapan hukum secara nyata. Dengan kata lain, ini adalah diskresi jaksa
    Kesampingkan dulu ketidakadilan yang sangat serius ketika diskresi jaksa digunakan secara tidak setara, dan bayangkan dunia tanpa diskresi semacam itu. Mungkin agak dibuat-buat, tetapi setidaknya AI bisa membuatnya mungkin. Apakah dunia seperti itu akan lebih baik hanya dengan kitab hukum yang berlaku sekarang?
    Tiba-tiba AI yang memantau aktivitas publik bisa mengaktifkan penyidik AI untuk membuat draf surat perintah, lalu hakim AI menyetujui surat perintah dan menulis pendapatnya. Bisa diklaim bahwa due process sudah dipenuhi, dan catatan bahwa ada alasan kuat untuk penyelidikan lanjutan atau penangkapan juga dipublikasikan kepada masyarakat
    Seperti dalam Demolition Man, surat tilang bisa keluar dari dinding, tetapi mungkin disertai dokumen yang memuat alasan kuat yang dijelaskan dengan jelas dan bukti yang disajikan dengan baik
    Menyelidiki dan menuntut contoh-contoh sepele tiba-tiba menjadi mungkin. CCTV menangkap seseorang yang memungut uang kertas 20 dolar di jalan, lalu menemukan bahwa orang itu tidak mencantumkannya dalam laporan pajak. Berbagai cara melanggar CFAA, obrolan sepintas tentang pembajakan musik di kereta bawah tanah, penyelidikan narkoba berdasarkan pupil yang melebar dan langkah sempoyongan, hingga tilang menyeberang sembarangan yang diterbitkan seperti kamera tilang kecepatan, semuanya menjadi mungkin
    Kalau pihak yang memeras adalah AI murah, siapa yang peduli apakah “biayanya lebih besar daripada hasilnya”
    Kita harus memikirkan apakah ini dunia yang lebih baik, atau apakah kita semua menyerahkan diri pada jaksa bermotivasi tertentu yang menganalisis seluruh hidup kita secara berlebihan
    Kembali ke kenyataan, saya tahu argumen bahwa “kalau semua hukum ditegakkan, akan terjadi kekacauan” lebih merupakan dakwaan terhadap sistem peradilan pidana daripada terhadap AI. Namun AI memungkinkan kita benar-benar membayangkan dunia seperti itu, dan mungkin pemikiran itu membantu membangun sistem yang lebih baik

    • Kemungkinan lain adalah masyarakat merosot begitu jauh sehingga orang-orang di masa depan memilih distopia seperti ini. Kita bisa membayangkan dunia pasca-pekerjaan yang sepenuhnya terotomatisasi gagal dengan mengerikan, dengan mayoritas masyarakat miskin, tanpa tujuan, dan kecanduan opioid
      Bukan utopia pendapatan dasar untuk filsuf dan seniman, melainkan dunia dengan kemerosotan ala Rust Belt yang makin parah dan meluncur menuruni bukit tanpa rem
      “Penyintas” yang tidak tahu harus berbuat apa mungkin memilih opsi nuklir: mengotomatiskan panoptikon, penjara, dan segregasi dari masyarakat yang gagal. Kontrasnya seperti Eloi dan Morlocks, atau pekerja teknologi Bay Area dan perkampungan tenda Bay Area
      Di masa lalu pun kita tidak berhasil melakukannya dengan lebih baik, jadi mengapa kita berharap akan lebih baik di masa depan ketika “alat” kontrol sosial menjadi lebih efisien dan kuat? Apalagi ketika menghapus empati menjadi lebih mudah dari sebelumnya melalui jarak emosional yang diberikan perantara AI
    • Tilang menyeberang sembarangan yang diterbitkan seperti kamera tilang kecepatan sudah ada sejak 2017: https://futurism.com/facial-recognition-china-social-credit
      Sejak April 2017, kota di provinsi Guangdong, Tiongkok ini menerapkan teknik yang cukup keras untuk mencegah orang menyeberang sembarangan. Berkat perangkat pengenalan wajah di seluruh kota, wajah, nama, dan sebagian ID pemerintah orang yang menyeberang saat lampu merah ditampilkan di layar LED besar di persimpangan
      Ini juga berkembang menjadi lebih invasif. Menurut Motherboard, sebuah perusahaan kecerdasan buatan Tiongkok menghubungkan sistem ini dengan operator seluler, sehingga pelanggar langsung menerima SMS denda begitu terdeteksi
    • Saya ingat Weapons of Math Destruction memuat beberapa contoh AI yang menunjukkan bias seperti yang sudah ada dalam sistem peradilan, perbankan, dan sebagainya
    • Perangkat lunak yang sudah ada ke arah ini pun menunjukkan bias terhadap kelompok terpinggirkan. Mudah juga membayangkan masa depan ketika filter dipasang di ujung sistem untuk mengecualikan orang-orang tertentu dari ketidaknyamanan pengawasan semacam ini. Undang-undang baru mungkin akan diperlukan, dan akan disahkan
    • Poin yang bagus. Jika keadilan ditegakkan oleh sistem, bukan manusia, akhir dari skenario itu adalah kita kehilangan kemampuan dalam banyak hal untuk mempermasalahkan prosedur atau pihak terkait
      Karena tidak ada orang yang bisa dimintai pertanggungjawaban, menentang cara penegakan hukum akan menjadi hampir mustahil

  • Secara pribadi, saya jauh lebih khawatir pada implikasi sensor dan model bisnis yang dimungkinkannya daripada implikasi pengawasan
    Tak lama lagi, orang akan bisa membuat aplikasi kencan yang chat-nya gratis, tetapi harus bayar untuk menentukan tempat bertemu atau bertukar kontak. Terutama jika 99% orang tidak tahu cara mengakalinya, dan upaya mengakali berulang kali berujung pada pemblokiran
    Hal yang sama berlaku untuk aplikasi seperti Airbnb atau eBay: mereka akan bisa mencegah orang memakai platform itu sekadar sebagai situs daftar dan bertransaksi di luar platform untuk menghindari biaya
    Implikasi untuk media sosial lebih mengkhawatirkan. Semua postingan, komentar, pesan, foto, dan video bisa diperiksa, lalu jika mempromosikan pandangan tertentu, langsung dikeluarkan dari jangkauan. Misalnya, penyebutan teori kebocoran laboratorium, seberapa tidak langsung pun, bisa disaring
    Perangkat lunak parental control akan memanfaatkan kemampuan seperti ini semaksimal mungkin, dan pada dasarnya akan mendefinisikan ulang pola asuh helikopter

  • Saat teknologi mencapai titik itu, dua hal ini sampai batas tertentu memang tak terelakkan. Alih-alih memperdebatkan cara menghentikannya, kita perlu lebih mendesak membahas bagaimana beradaptasi dengan kenyataan ini
    Menghentikannya sebagian besar hanya usaha sia-sia, dan itu hanya mungkin jika semua orang baik, padahal kita tidak begitu
    Konsep yang terkait adalah pengawasan ubikuitas. Ke mana pun pergi, secara harfiah ada pengawasan aktif di mana-mana, dan AI terus-menerus menyaring serta menggalinya. Di banyak ruang publik di kawasan padat penduduk, hal ini sudah terjadi sampai taraf tertentu, tetapi bayangkan jika itu ada di mana-mana dan pada dasarnya tak bisa dihindari. Kecuali pengecualian seperti Faraday cage atau topi aluminium foil
    Cara paling realistis untuk membatasi dampak buruk pengawasan semacam ini adalah kombinasi legislasi yang mengaturnya dan kontra-pengawasan yang meningkatkan kemungkinan pengawasan ilegal teramati dan dihukum. Teknologinya dibuat tersedia luas, tetapi penggunaannya diatur
    Orang-orang tetap akan mencoba mengakalinya, tetapi jika penyalahgunaan teknologi terungkap, mereka harus membayar harganya dengan masuk penjara. Jika pengawasan menjadi tak terhindarkan, seseorang tidak bisa yakin bahwa tidak ada yang melihat perbuatan buruknya
    Keuntungan pengawasan massal multipihak adalah tidak ada yang bisa benar-benar yakin bahwa tidak ada yang melihat penyalahgunaan wewenang
    Tentu dalam kenyataan, negara mengadopsi dan memonopolinya, yang sudah mengarah ke skenario seperti 1984 di Tiongkok, Korea Utara, dan lainnya

    • Kita perlu membuat lebih banyak komunitas offline. Membuat hal-hal yang berada di dalam ruang yang bisa kita kendalikan sepenuhnya sehingga tidak terjangkau AI, dan mulai menghambat atau secara aktif mengeluarkan penggunaan ponsel di ruang-ruang seperti itu
      Penting untuk tidak menciptakan cara interaksi yang mengutamakan digital
    • Pandangan saya tentang semua hal yang bersifat fiksi ilmiah atau futuristis juga mirip. Jika manusia membayangkan sesuatu, begitu kita menemukan cara melakukannya, keberadaannya pada dasarnya terjamin
    • Saya tidak setuju dengan sikap fatalistis seperti itu. Setidaknya itu membuat peningkatan pengawasan menjadi terlalu mudah. Batasan hukum bisa diberlakukan

  • Tak lama lagi, atas nama “keamanan”, wajah kita rata-rata akan dipindai setiap beberapa menit, dan itu akan menjadi kewajiban di banyak aspek kehidupan. Dunia menyedihkan yang turut diciptakan IT

    • Sebagian dari kita sudah melakukannya dengan ponsel. Saya tahu ini bukan maksud yang dimaksud, tetapi dalam beberapa hal mungkin masyarakat sudah dikondisikan lebih dulu
    • Orang-orang sudah bertahun-tahun memindai sidik jari atau wajah untuk membuka ponsel
    • Ini akan menjadi jauh lebih buruk, dan terjadi dengan cepat
      Antarmuka saraf adalah garis pertahanan terakhir privasi, dan tak lama lagi sepertinya TSA akan melakukan pemindaian cepat sebelum naik pesawat
      Agar tidak ketinggalan seperti dalam pelacakan internet, akan bijak untuk membuat Neural Bill of Rights
      https://www.preposterousuniverse.com/podcast/2023/03/13/229-...
    • Saya melihatnya sebagai hal yang tak terelakkan, tetapi tanpa F/OSS ini pasti akan memakan waktu jauh lebih lama

  • Schneier keliru saat mengatakan “hey google” selalu mendengarkan. Google memproses wake word di perangkat dengan hardware khusus, dan baru setelah itu audio dikirim ke tingkat yang lebih tinggi
    Mungkin sulit dipercaya, tetapi orang-orang privasi di Google benar-benar berusaha melakukan hal yang benar. Tidak selalu berhasil, tetapi untuk hardware kami dan pendengaran wake word, itu berhasil
    Saya karyawan Google, tetapi bukan di bagian hardware

    • Yang ia katakan adalah “Siri, Alexa, dan ‘Hey Google’ sudah selalu mendengarkan, hanya saja percakapannya belum disimpan.” Secara fungsional itu sama dengan yang baru saja dijelaskan
      Pemrosesan wake word di hardware adalah fitur penghematan daya, bukan peningkatan privasi. Sebagian perangkat mungkin kekurangan sumber daya untuk mengirim atau menyimpan semua audio, tetapi audio itu kecil dan ekstraksi teks tidak membutuhkan reproduksi sempurna, sehingga banyak perangkat sangat mungkin bisa diprogram ulang untuk melakukannya jika mau menanggung biaya daya tahan baterai

  • Karena itu, software AI tidak boleh dibatasi. Orang biasa dan warga yang sadar sipil harus bisa mengembangkan sistem AI penanggulangan pribadi maupun publik untuk menghadapi AI korporat. Masa depan AI adalah struktur yang adversarial
    Tentu kebebasan mengembangkan software AI tidak berarti kebebasan menggunakannya sesuka hati, dan terutama untuk melindungi individu dari hal-hal seperti ini, penggunaannya harus diatur. Namun karena manusia tidak bisa dipercaya, alat bela diri harus bisa didistribusikan

    • Bagaimana AI adversarial bisa melindungi privasi atau kebebasan untuk bertindak di ruang publik dengan cara yang tidak ditoleransi Big Brother?
    • Sistem operasi LLM seperti visi Karpathy membutuhkan benevolent dictator baru seperti Linus Torvalds, mungkin seseorang seperti Yann LeCun

  • Bukan AI yang memungkinkan pengawasan massal; pengawasan massal sudah ada
    AI memungkinkan ekstraksi data perilaku tentang semua orang selama puluhan tahun
    Kalau memainkan peran devil’s advocate, di dunia tempat data tidak digunakan secara jahat dan hanya dipakai untuk penuntutan kejahatan berdasarkan hukum yang disahkan pemerintah, itu bisa mengarah pada masyarakat di mana tidak ada yang berada di atas hukum dan semua orang diperlakukan setara
    Namun manusia yang mengendalikan sistem jelas menginginkan keunggulan, jadi hal seperti itu jarang berakhir baik