Indikasi rektor baru salah satu universitas tertua di dunia mengorganisasi kartel sitasi

• Dalam struktur tempat sitasi akademik memengaruhi reputasi, promosi, gaji, dan proyek besar, terungkap indikasi bahwa rektor baru Universitas Salamanca, Juan Manuel Corchado, memperbesar pengaruhnya lewat sitasi timbal balik yang terorganisasi
• Pesan internal menunjukkan adanya instruksi untuk memasukkan makalah Corchado dan makalah ADCAIJ yang ia edit ke tesis master, tugas akhir, disertasi, jurnal, dan makalah konferensi
• Beberapa makalah bahkan memuat referensi yang tidak terkait topik, sehingga porsi sitasi terhadap Corchado atau ADCAIJ mencapai 97~100%; dalam makalah keamanan jaringan distribusi listrik pun muncul riset tentang kanker kandung kemih, CO₂ laut, dan tumpahan minyak
• Springer Nature menyatakan akan meninjau kasus ini, dan Elsevier telah menarik sebuah studi tahun 2019 oleh Corchado dan tiga kolaboratornya karena plagiarisme tesis master
• Saat Research Ethics Committee Spanyol memulai penyelidikan, para pakar menilai kasus ini sebagai contoh kelemahan sistem evaluasi peneliti dan mekanisme pengawasan internal universitas

---

Instruksi sitasi yang terungkap lewat pesan internal

• Juan Manuel Corchado adalah sosok yang ditunjuk sebagai rektor Universitas Salamanca, dan sebelumnya mempromosikan dirinya sebagai peneliti komputasi peringkat 4 di Spanyol dan sekitar peringkat 247 dunia
• Kenaikan peringkat ini ditengarai melibatkan kartel sitasi, yakni kelompok ilmuwan yang saling menyitasi makalah satu sama lain
• Pesan internal memuat instruksi dari kelompok Corchado agar setiap makalah menyitasi Corchado sendiri atau Advances in Distributed Computing and Artificial Intelligence Journal (ADCAIJ) yang ia edit
• Pada 7 Juni 2017, seorang asisten menginstruksikan agar 20 referensi Corchado dan 10 makalah ADCAIJ dari dokumen Word terlampir dimasukkan ke tesis master, proyek akhir, disertasi, dan lainnya
  • Lampiran itu memuat sekitar 50 makalah Corchado
  • Asisten yang sama menambahkan bahwa referensi itu dilampirkan agar mudah untuk “salin dan tempel”
• Pada 26 Juli 2017, asisten lain meneruskan instruksi untuk menyitasi makalah Corchado dalam jurnal atau makalah konferensi berikutnya
  • Di bagian paling atas daftar lampiran terdapat makalah Corchado terkait tumpahan minyak

Pola aneh yang berulang dalam referensi

• Pada 9 Januari 2019, Roberto Casado Vara menerbitkan makalah tentang keamanan komputer pada jaringan distribusi listrik, dan 29 dari 31 referensinya, yakni 94%, adalah makalah Corchado
  • Daftar referensi itu mencakup penelitian tentang risiko kanker kandung kemih, CO₂ laut, tumpahan minyak, dan red tide mikroalga yang tidak terkait dengan topik makalah
• Dalam tiga makalah lain yang diterbitkan Casado Vara pada hari yang sama, 97~100% referensinya dipenuhi sitasi ke Corchado atau ADCAIJ
• Casado Vara adalah orang yang dibimbing Corchado saat doktoral, dan tiga tahun setelah mempertahankan doktoralnya, pada 2022 ia masuk daftar peneliti tersitasi Stanford University
• Analisis Scopus menunjukkan kolaborator Corchado menyebut Corchado hampir 1.700 kali dan ADCAIJ 520 kali dalam 75 publikasi
• Riset Pedro Tomás Nevado-Batalla tentang modernisasi administrasi publik mengutip 42 makalah Corchado dan 7 makalah ADCAIJ
  • 92% sitasi dalam makalah tersebut mengarah ke Corchado atau jurnalnya
  • Nevado-Batalla menyatakan ia tidak tahu bahwa referensi semacam itu ditambahkan ke karyanya dan akan meminta penjelasan

Penyelidikan penerbit dan etika riset

• Catatan konferensi dari penerbit Springer dipakai Corchado sebagai sarana memasukkan paket swasitasi
• Chris Graf, Research Integrity Director di Springer Nature, mengatakan pihaknya akan meninjau kasus ini “dengan sangat hati-hati”
  • Setelah penyelidikan, mereka akan mengambil langkah editorial bila dianggap perlu
• Elsevier telah menarik studi yang diterbitkan pada 2019 oleh Corchado dan tiga kolaboratornya
  • Alasan penarikannya adalah plagiarisme tesis master
• Setelah laporan EL PAÍS, Ministry of Science Spanyol mengumumkan bahwa Spanish Research Ethics Committee telah memulai penyelidikan terhadap Corchado
• Corchado, melalui pernyataan anonim di kanal resmi Universitas Salamanca, membela “kehormatan dan integritas ilmiahnya” serta menyarankan agar dampak publikasinya dinilai lewat Scopus dan Web of Science

Dugaan manipulasi akun online dan repositori

• Selain dituduh menambahkan ribuan swasitasi ke publikasinya dan meminta anggota kelompoknya menyitasi dirinya, Corchado juga dituduh diuntungkan oleh akun online palsu milik ilmuwan yang tidak ada
• Di ResearchGate, akun peneliti fiktif seperti Devika Rout dan Marcus Ress berulang kali menyebut riset Corchado
• Sejak Maret, Corchado telah menghapus dalam skala besar profil palsu semacam ini, dan juga menghapus publikasi yang jelas dimanipulasi yang pernah ia unggah ke repositori Gredos milik Universitas Salamanca
• Dalam wawancara telepon pada 13 Maret, Corchado mengatakan ada “20~30” akun online palsu yang menyitasinya
  • Ia menjelaskan akun-akun itu dibuat oleh mantan pegawai yang tidak puas dan ingin merugikannya
  • Ia juga mengatakan akun-akun itu dibuat oleh “seorang pemuda” untuk menunjukkan kemungkinan manipulasi di ResearchGate
• Juru bicara ResearchGate mengatakan mereka tidak mengetahui adanya serangan komputer, dan penghapusan profil hanya bisa dilakukan oleh pembuatnya yang memiliki kata sandi

Respons pakar dan pemilihan universitas

• Universitas Salamanca didirikan pada 1218, dan Domingo Docampo, mantan rektor University of Vigo sekaligus pakar kartel sitasi, mengkritik bahwa Corchado seharusnya tidak mencalonkan diri untuk posisi semacam itu
  • Ia menilai publikasi tanpa isi substansial telah menjadi medium bagi ladang sitasi, dengan struktur piramida di puncaknya ada sosok yang memiliki pengaruh atas para penandatangan makalah
• Alberto Ruano dari University of Santiago de Compostela menyebut ini sebagai “kasus kartel sitasi yang sangat textbook”
  • Menurutnya Corchado merugikan institusi yang dipimpinnya, serta memengaruhi kredibilitas Universitas Salamanca dan seluruh profesor universitas di Spanyol
  • Ia mendesak Ministry dan Conference of Rectors of Spanish Universities mengambil langkah untuk menghindari kasus serupa
• Corchado maju sebagai satu-satunya kandidat setelah pengunduran diri mendadak rektor sebelumnya, dan menang dalam pemilu 7 Mei
  • Dari 33.000 orang yang berhak memilih, ia mendapat dukungan 6,5%
  • Setengah dari kalangan dosen memberikan suara kosong sebagai bentuk protes
• Pada 2018, Corchado mendirikan lembaga swasta AIR Institute, yang mengelola proyek bernilai jutaan euro yang diberikan oleh pemerintah daerah Castilla y León

Perdebatan reformasi sistem evaluasi

• Pakar metodologi evaluasi sains Ismael Ràfols menilai sistem yang menghargai banyak publikasi dan banyak sitasi melahirkan korupsi semacam ini
• Ràfols mengatakan bahwa di Eropa proses reformasi sudah dimulai, tetapi Spanyol masih memiliki banyak pekerjaan rumah
• ANECA, lembaga pengawas sistem universitas Spanyol, sedang berubah agar tidak lagi menilai peneliti berdasarkan volume output semata
• Pilar Paneque dari ANECA menilai reformasi akan menekan praktik buruk dan mengurangi tekanan terhadap peneliti, khususnya peneliti muda
• Paneque menekankan bahwa kemajuan menuju integritas ilmiah dan etika penelitian harus dimulai dari tanggung jawab dan kontrol di tiap institusi
  • Posisi mereka adalah bahwa tiap universitas sangat mengenal output para penelitinya sehingga perilaku yang menyimpang dapat dideteksi dengan mudah

[GN⁺]

Komentar Hacker News

• Kelakuan orang ini sudah pernah dimuat di Retraction Watch pada 2022 [0]
  Semua ini tampaknya terjadi secara terang-terangan, dan sebagai buktinya, dalam pemungutan suara untuk profesor dengan kandidat tunggal, 50% memberikan suara kosong sebagai bentuk protes. Artinya orang-orang di sana sebenarnya sudah tahu
  Menurut saya, bertanya “bagaimana merancang algoritma deteksi” untuk skandal ini benar-benar salah arah. Geng sitasi seperti ini begitu blak-blakan sehingga deteksinya sendiri hampir merupakan masalah sepele; masalah yang benar-benar sulit dan belum terselesaikan adalah budaya kerja di universitas riset
  [0] https://retractionwatch.com/2022/03/25/how-critics-say-a-com... ("How critics say a computer scientist in Spain artificially boosted his Google Scholar metrics")
  • Masalahnya bukan karena tidak ada solusi yang terlihat, melainkan ada sekitar sejuta solusi; persoalannya siapa yang punya atau bisa menemukan kekuasaan untuk mengeksekusinya
    Saya pikir orang menyukai jawaban bergaya algoritmik karena itu terasa seperti pengganti kekuasaan nyata. Jika kita tidak bisa membayangkan diri sendiri menemukan kekuatan untuk memperbaiki hal buruk, setidaknya kita bisa merancang struktur logika yang mungkin akan memperbaikinya secara otomatis
    Menurut saya banyak teknolog bisa memberi dampak jauh lebih besar jika lebih memikirkan cara mendapatkan kekuatan politik daripada algoritma
  • Cara orang sekarang membicarakan “algoritma” mirip dengan cara orang pada era 70-an membicarakan “pakar”. Mereka tahu sedang melakukan sesuatu yang ilegal atau tidak etis, tetapi tidak berhenti; karena tidak ada yang bisa menghentikan mereka, yang dibutuhkan hanya kemasan persepsi publik
    Dalam kasus ini juga, tampaknya mereka ingin terus melakukannya sambil sekaligus menerbitkan siaran pers bahwa “kami memimpin upaya mendeteksi hal buruk yang sudah diketahui semua orang itu”
    Ini lucu, mirip seperti ibu Sam Bankman-Fried duduk di komite etik Stanford
  • Di pihak universitas Spanyol, ada lebih banyak contoh yang memperkuat klaim ini
    Rafael Luque dijatuhi skorsing 13 tahun bukan karena ketidakjujuran yang terang-terangan, melainkan karena mencantumkan King Abdulaziz University sebagai afiliasi pertama, dan itu membuat universitasnya sendiri tersinggung [1]. KAU dikenal sebagai tempat yang membeli sitasi dengan cara seperti ini [2]
    Contoh lain adalah Francisco Herrera Triguero [3]. Ia selama bertahun-tahun mencantumkan KAU sebagai afiliasi kedua, tetapi setelah kasus orang lain mencuat pun tidak terjadi apa-apa padanya
    Jadi, alih-alih membuat lebih banyak algoritma, mungkin yang lebih dibutuhkan adalah pengawasan publik terhadap perkara seperti ini
    [1] (Spanyol): https://elpais.com/ciencia/2023-03-31/suspendido-de-empleo-y...
    [2] https://liorpachter.wordpress.com/2014/10/31/to-some-a-citat...
    [3] (Spanyol): https://www.elsaltodiario.com/universidad/papers-y-mas-paper...
• Saya ingin ada yang menjelaskan bagaimana ini bisa ditoleransi. Saya tidak paham kenapa orang ini menjadi rektor, bukan bahan tertawaan
  Kalau ini kartel rahasia yang cerdik, yang menyebar referensi yang tampak masuk akal ke berbagai orang dan makalah, mungkin masih bisa saya pahami. Tetapi ini hanya seperti menyuruh orang mengutip makalah-makalah buruk miliknya saja
  Jumlah sitasi dan metrik h-index juga jelas perlu diperbaiki. Memberi bobot rendah pada sitasi seperti ini lewat deteksi geng seharusnya perkara sepele
  • Kalau menjawab agak kasar, University of Salamanca memang universitas yang sangat tua, tetapi di semua peringkat universitas dunia utama posisinya di luar 500 besar, jadi sulit disebut bergengsi; karena itu mungkin mereka lebih mungkin merekrut seseorang yang bisa berpura-pura sebagai peneliti berpengaruh tinggi
  • Kita harus berhenti memberi terlalu banyak kepercayaan pada otoritas dan gelar jabatan. Kita perlu lebih mampu mengakui bahwa seseorang bisa memiliki jabatan yang “berwibawa”, bahkan jabatan terpilih, seperti rector, pendeta, presiden, hakim, atau jaksa distrik, tetapi pada saat yang sama tetap bisa menjadi bahan tertawaan
  • Sekasar ini pun, deteksinya hampir mustahil
    Tanpa kecurigaan eksplisit, tidak ada yang memeriksa semua sitasi dan makalah secara sistematis. Ada terlalu banyak makalah bagi setiap peneliti, mahasiswa pascasarjana, dan profesor untuk melakukan semua itu
    Universitas tidak punya sumber daya untuk pekerjaan seperti itu. Itu berarti harus merekrut beberapa orang khusus dan menugaskan mereka penuh waktu, dan meski begitu kasus yang sedikit lebih canggih tetap tidak akan tertangkap. Misalnya kasus ketika seorang profesor menjadi sitasi wajib di semua makalah yang diterbitkan mahasiswa labnya
    Saya penasaran bagaimana orang bisa menganggap seorang profesor mungkin menerbitkan 20–30 makalah jurnal dalam setahun. Angka seperti itu sangat umum dan malah tergolong rendah, padahal menulis satu makalah dan membuatnya lolos review saja dalam skenario terbaik memakan waktu beberapa bulan, dan di jurnal besar dalam skenario terburuk bisa sampai 2 tahun
    Pekerjaan sebenarnya dilakukan oleh mahasiswa pascasarjana dan asisten profesor, sementara nama profesor dimasukkan ke daftar penulis sebagai tanda penghormatan, atau dalam kasus terburuk karena mereka diperintahkan untuk melakukannya. Ini praktik yang sangat umum
    Saya pernah melihat langsung seseorang yang pada dasarnya membangun karier akademik palsu dengan mendorong mahasiswa pascasarjana mengatribusikan pekerjaan yang tidak ia lakukan sebagai jasanya sendiri. Ia hampir berhasil, tetapi salah satu profesor di komite tenure sebuah universitas bergengsi di Eropa pernah bekerja dengannya dan tahu bagaimana ia mendapatkan rekam jejak riset yang tampak gemilang di atas kertas, sehingga profesor itu menggunakan hak veto
    Selain itu, sebagian besar metrik seperti indeks pengaruh hanyalah angka. Kita tidak bisa melihat angka itu dihitung dari apa. Riset selalu dibangun di atas integritas dan kejujuran individu, dan apel busuk yang menyalahgunakannya akan selalu ada

Motivasi dan hal-hal yang dipertaruhkan—karier, pekerjaan, dana riset, dan sebagainya—terlalu terdistorsi, sehingga rasanya banyak orang terdorong ke kecurangan semacam ini

• Sitasi menarik dana riset, dan dana riset menarik bagi institusi
  Penerbit tidak punya alasan untuk memperbaikinya, dan meraup keuntungan yang cukup besar dari kecurangan riset
  Hal seperti ini juga sangat umum. Butuh waktu sangat lama sampai makalah palsu Macchiarini ditarik, begitu pula beberapa makalah dasar terkait plak Alzheimer

• Bagaimana kita bisa membedakan kelompok orang yang meneliti topik yang sama seperti satu geng lalu saling mengutip?

• Masalah Corchado hanyalah kasus “hitam-putih” yang ekstrem; masalah keseluruhannya jauh lebih halus
  Misalnya, tidak ada garis yang jelas antara kartel sitasi tersirat dalam komunitas kecil dan kelompok pemimpin pemikiran. Jika menjadi pemimpin dalam komunitas kecil, jauh lebih mudah memperoleh visibilitas yang lebih luas, memenangkan dana riset, dan memengaruhi pengambilan keputusan di balik layar
  Dalam satu sisi, Corchado relatif tidak berbahaya karena semua orang tahu ia badut. Di komunitas AI Eropa, tidak banyak yang bisa ia katakan. Masalah sebenarnya adalah area abu-abu yang memengaruhi dan mencemari semua orang, serta orang-orang yang tumbuh subur di sana

  • Mungkin bukan sekadar area abu-abu, melainkan seluruh disiplin dan bidang riset seperti makroekonomi teoretis atau teori string

• Orang itu benar-benar korup. Artikel tidak membahas mengapa universitas mempekerjakannya dan masih belum memecatnya, dan itu sangat membuat penasaran

• Kita sering mengakui bahwa manusia gagal menjaga ketelitian dan sistem yang direncanakan
  Biasanya kita mengakui bahwa banyak pengacara dan politisi korup, dan mengatakan ada berbagai insentif yang mendorong orang ke arah itu. Namun ketika hal yang sama terjadi dalam sains, akademia, kedokteran, agama, olahraga, dan rekayasa, tampaknya orang terkejut atau menganggapnya skandal
  Kita semua hanyalah manusia. Dalam kasus ini, orang itu melakukan optimasi metrik yang akan menaikkan posisinya. Apakah itu salah? Ya. Apakah ia orang yang layak diberi tanggung jawab? Tidak. Apakah ini kasus unik? Tidak

  • Apakah orang terkejut karena akademia berubah dan menjadi lebih korup, atau karena sebenarnya selalu korup tetapi baru sekarang kesadarannya meningkat dan hal itu terungkap? Apa pun jawabannya, ini tidak berkelanjutan. Peradaban kita bergantung pada akademia untuk memahami dan menavigasi dunia
  • Sebagian besar manusia berada pada tingkat yang jauh lebih tinggi daripada orang-orang yang masuk ke akademia. Jika ada orang terhormat yang punya rekam jejak akademik, justru kita harus terkejut; keterlibatan apa pun di sana meninggalkan noda pada jiwa

• Ada tulisan singkat yang memuat lebih banyak tautan tentang orang ini: https://forbetterscience.com/2024/05/03/schneider-shorts-3-0...
  Pabrik sitasi dan pabrik makalah cukup umum dan bisa sangat menguntungkan. Pihak seperti Elsevier dan Springer tidak punya banyak keuntungan dari menghentikannya

• Sepertinya ia luar biasa bodoh sampai-sampai menuliskan secara eksplisit hal yang banyak akademisi lakukan secara halus dan tersirat
  Orang mengutip teman atau orang di bidang yang sama, dan timbal balik tersirat juga bekerja. Mereka melakukannya meski riset yang dikutip nyaris tidak relevan dengan makalah saat ini
  Praktik sitasi itu sendiri juga sangat aneh. Saya beberapa kali melihat peneliti mencari karya yang akan dikutip saat sedang menulis makalah. Hasil teratas Google dikutip, padahal mereka belum pernah membaca makalah itu sebelumnya. Mereka hanya mencari sitasi untuk ditempelkan pada klaim yang cukup umum seperti “machine learning telah diterapkan dalam kedokteran”
  Saya juga tidak yakin apakah sitasi seperti itu merupakan praktik buruk. Sebab sebuah kalimat memang harus punya sitasi pendukung. Namun akibatnya, fakta bahwa sebuah makalah dikutip—misalnya makalah yang muncul di peringkat atas Google untuk pencarian ML dan Cancer—tidak lagi berarti makalah itu benar-benar merupakan kontribusi ilmiah yang bermakna, dapat dipercaya, atau penting

• Sitasi politis semacam ini terjadi bahkan tanpa penipuan yang disengaja
  Saat sekolah pascasarjana, sudah menjadi pengetahuan umum bahwa jika ingin makalah diterima, kita harus mengutip makalah anggota komite program dan reviewer berpengaruh. Itu dilakukan meski saya tidak merasa karya mereka terlalu relevan dengan pekerjaan saya
  Tidak seekstrem geng eksplisit yang menyuruh orang melakukannya, tetapi sebagian distorsinya mirip. Orang-orang berstatus tinggi berada pada posisi itu karena banyak dikutip, dan karena mereka orang berstatus tinggi, kita kembali harus mengutip mereka

  • Selusin kesalahan tidak membuat sesuatu menjadi benar. Kalau reviewer dimasukkan sebagai penulis, seharusnya otomatis ia dikeluarkan dari posisi reviewer
    Saya tidak mengerti mengapa hal bodoh yang pernah terjadi di masa lalu itu harus dinormalisasi

• Banyak orang yang tidak melalui akademia tingkat tinggi atau pendidikan pascasarjana tampaknya punya pandangan bahwa pekerja pendidikan tinggi adalah sosok hebat tanpa cela yang melakukan hal luar biasa bagi masyarakat
  Seiring bertambahnya usia, makin banyak kesempatan berhubungan dengan orang-orang seperti ini dan membaca artikel semacam ini, kini saya berpandangan bahwa cukup banyak dari mereka adalah monster, termasuk orang-orang paling narsistik dan abusif secara gila-gilaan di muka bumi
  Mereka menjalankan wilayah feodal, menggenggam uang, ketenaran, dan kekuasaan atas orang-orang di bawah mereka. Dan karena mereka orang pintar, mereka juga punya kemampuan untuk menimbulkan kerusakan yang jauh lebih besar pada orang-orang di sekitar saat bekerja

  • Cukup bergantung pada seberapa bergengsi dan kompetitif bidangnya
    Ada banyak bidang yang “membosankan” dan “tidak menarik”, dan di tempat seperti itu pekerjaan serta komunitas berjalan cukup santai dan sesuai prosedur
    Sebaliknya, bidang yang sangat panas dan kompetitif menarik jenis orang tertentu
    Dan ilmuwan yang toksik atau kasar pun sering dibiarkan berkuasa selama mereka menghasilkan hasil yang diinginkan
  • Kalau ini membantu untuk didengar, jelas ada juga sosok yang benar-benar hebat. Ada orang-orang yang bukan hanya melakukan pekerjaan luar biasa, tetapi juga sangat baik sebagai manusia, terutama yang rendah hati, penuh perhatian, dan tidak egois
    Ini bukan gambaran lengkap, tetapi saya mendengar cerita dari orang-orang di berbagai universitas. Seseorang dari sebuah universitas mengatakan ia tidak terkesan dengan perekrutan dosen terbaru, tetapi untuk seorang profesor tertentu di sana yang secara menyeluruh merupakan orang hebat, ia berkata akan “menerima peluru menggantikannya”
    Sebagian besar akademisi tampaknya lebih mirip distribusi normal manusia biasa. Mereka lebih terdidik daripada orang rata-rata dan mungkin lebih pintar dalam beberapa hal, tetapi bukan kecerdasan supermanusia; mereka juga tidak tampak lebih mungkin menjadi lebih suci daripada manusia lain
    Banyak profesor juga dituntut punya hustle yang besar, sehingga mereka punya lebih sedikit waktu, energi, dan kuasa untuk mengambil peran sebagai tetua masyarakat universitas yang penuh kebajikan dan kebijaksanaan seperti yang dulu saya bayangkan
    Di beberapa tempat dan pada sebagian individu, dinamika yang lebih menyedihkan juga bekerja. Beberapa aspek di sebagian universitas bertindak seperti perusahaan dengan toksisitas internal terparah yang bisa dibayangkan, bahkan mungkin lebih buruk, karena institusi atau individu cenderung kurang dimintai pertanggungjawaban

• Tentu saja pasti ada pengecualian yang jelas, tetapi secara pribadi saya sampai pada kesimpulan bahwa dunia akademik dan universitas adalah comberan tempat mengendapnya hal-hal terburuk, paling pengkhianat, dan paling licik yang bisa dihasilkan sifat manusia. Jauh dari meritokrasi; dalam lingkungan seperti ini, ampas justru “mengapung” ke atas
  Saya benar-benar penasaran bagaimana fakta ini terhubung dengan persepsi menurunnya nilai gelar universitas yang baru-baru ini juga dibahas di sini

• Orang-orang ini hanya cukup bodoh untuk meninggalkannya dalam bentuk tulisan, sementara di banyak tempat terjadi praktik saling mengutip, atau seseorang dicantumkan sebagai penulis makalah padahal tidak memberikan kontribusi apa pun
  Sulit rasanya hal seperti ini berubah kecuali mulai ada hukuman seperti pidana penjara