Perawat Kaiser: “Pengawasan AI memperburuk pekerjaan dan perawatan pasien”

• Perawat konsultasi dan triase Kaiser Permanente mengatakan manajemen kinerja yang melacak panggilan lebih dari 15 menit, jeda antar panggilan, dan kepatuhan terhadap panduan membuat penilaian profesional serta perawatan pasien menjadi tertekan
• AI yang diuji pada 2024 bahkan menilai empati dan nada suara perawat; para perawat mengkritiknya karena memberi skor keliru tanpa memahami konteks kerja mereka
• Meski konsultasi panjang tak terhindarkan, seperti untuk pasien berisiko bunuh diri, gejala kompleks, atau pasien yang membutuhkan penerjemah, mereka tetap harus memikirkan skor bulanan dan sesi evaluasi; pada jam sibuk, waktu untuk mencatat dan memulihkan diri setelah panggilan berkurang menjadi 30 detik atau kurang
• Kaiser membantah dengan mengatakan tidak menilai kinerja berdasarkan rata-rata waktu penanganan dan bahwa semua alat memiliki tinjauan serta pengawasan manusia, tetapi tidak mengungkap daftar spesifik sistem internal maupun cara operasinya
• Serikat pekerja menjadikan AI sebagai agenda utama dalam perundingan kontrak untuk 25.000 orang, sementara parlemen California juga sedang meninjau rancangan undang-undang yang mencakup perlindungan tenaga medis yang menolak rekomendasi otomatis dan pembatasan AI prediksi emosi

---

Tekanan kinerja yang diciptakan standar panggilan 15 menit

• Tujuh perawat konsultasi dan triase Kaiser mengatakan mereka berulang kali dikritik manajemen atau dipanggil ke sesi evaluasi kinerja jika berbicara dengan pasien lebih dari 15 menit
  • Durasi panggilan tercermin dalam skor kinerja bulanan yang diterima perawat
  • Perangkat lunak mencoba memprediksi setiap hari apakah perawat tidak produktif atau tidak menjawab telepon dengan cukup cepat
• Raquel Alvarez Sanchez, yang bekerja di Vallejo sejak 2010, berbicara dengan pasien berisiko bunuh diri selama lebih dari satu jam hingga polisi tiba
  • Ia tidak menutup telepon meski sadar bahwa panggilan panjang dapat memperburuk rata-rata durasi panggilan selama berminggu-minggu dan berujung pada pertanyaan dari manajemen
  • Sebagai pengurus serikat, saat mendampingi rekan kerja dalam sesi evaluasi, ia melihat kasus di mana penanganan panggilan sebenarnya sudah tepat, tetapi dipermasalahkan hanya karena melewati 15 menit
  • Ia belum melihat perawat dipecat karena hal ini, tetapi khawatir tekanan yang berkelanjutan dapat berujung pada pengunduran diri atau pensiun dini
• Perawat diminta mengikuti panduan yang ditentukan selama panggilan dan membatasi saran menjadi tidak lebih dari 2–3 poin
  • Ini bisa menimbulkan situasi di mana mereka harus memilih antara menahan saran yang diperlukan atau menerima risiko penilaian kinerja

Dampak yang belum pasti terhadap perawatan pasien

• Dampak manajemen berbasis algoritme dan pembatasan durasi panggilan terhadap hasil pasien sebenarnya belum jelas
  • Perawat konsultasi tidak menindaklanjuti pasien setelah panggilan berakhir, sehingga sulit memastikan apakah terjadi hasil negatif
  • CalMatters meminta catatan publik kepada California Department of Managed Health Care pada 2024, tetapi tidak menemukan keluhan pasien terkait durasi panggilan Kaiser
• Perawat mengatakan konsultasi seperti berikut membutuhkan waktu lebih dari 15 menit
  • Pasien yang perlu didiagnosis dengan beberapa gejala atau penyakit kronis sekaligus
  • Orang tua baru yang membutuhkan saran dan ketenangan
  • Pasien yang menginginkan edukasi kesehatan tambahan
  • Pasien yang terpukul atau cemas setelah menerima diagnosis yang mengubah hidup
  • Panggilan yang membutuhkan penerjemah, yang biasanya dapat memakan waktu 30 menit atau lebih
• Sekitar 4 dari 10 warga California menggunakan bahasa selain Inggris, dan separuh di antaranya tidak fasih berbahasa Inggris
• Seorang perawat awalnya mengira seorang pasien lansia yang didiagnosis kanker stadium akhir berisiko bunuh diri, tetapi kemudian menyadari bahwa pasien tersebut sebenarnya membutuhkan teman bicara dalam keadaan syok
  • Ia ingin memberikan lebih banyak empati dan penghiburan, tetapi mengurangi kata-katanya karena khawatir skor bulanan turun dan ditegur manajer
  • Ia harus menimbang sendiri apakah akan didisiplinkan jika keluar dari panduan yang ditetapkan atau berbicara lebih dari yang dianggap perlu
• Michele Ramos dari Consumer Watchdog menilai, karena banyak pasien Kaiser memulai perawatan melalui telepon konsultasi, pembatasan pada tahap panggilan dapat menjadi titik awal masalah berikutnya
  • Kaiser pernah mencapai penyelesaian yang mencakup denda rekor 50 juta dolar setelah temuan investigasi bahwa mereka menunda janji temu kesehatan mental melewati batas waktu hukum dan terlalu banyak menggunakan terapi kelompok alih-alih terapi individual
  • Pada 2002, Kaiser dikritik karena memberi bonus kepada staf call center non-perawat sebagai imbalan atas panggilan singkat, tetapi perawat saat ini mengatakan mereka tidak mengalami praktik yang sama

AI yang menilai empati dan nada suara

• Pada musim panas 2024, Kaiser menguji alat AI yang mencoba menilai empati dan nada dari suara perawat dan pasien
  • Perawat menandatangani petisi yang menuntut perlindungan privasi pasien, transparansi, hak penilaian profesional, dan keterlibatan perawat dalam proses adopsi teknologi
  • Slogan “Trust nurses, not AI” yang digunakan dalam demonstrasi di luar rumah sakit pada tahun yang sama juga dipakai dalam kampanye
  • Uji coba berakhir pada November 2024, tetapi pejabat serikat mengatakan mereka mendengar bahwa manajemen dapat memperkenalkan kembali program tersebut di masa depan
• Sanchez mengatakan pengawasan yang sudah ada saja membuat perawat merasa dilecehkan, dan rencana agar AI mengevaluasi serta memberi skor pada panggilan memperburuk hal itu
• Menurut seorang perawat anonim, AI tidak memahami pekerjaan perawat sehingga terus-menerus memberi skor yang salah
• Kaiser tidak menjawab pertanyaan tentang alat tersebut, sistem otomatis yang digunakan untuk evaluasi kinerja perawat, maupun apakah pasien diberi tahu tentang penilaian empati dan nada

30 detik antar panggilan dan kelelahan emosional

• Dulu, setelah panggilan, perawat mendapat sekitar 10 menit untuk merapikan catatan pasien atau memulihkan diri dari konsultasi yang berat
• Sekarang, saat volume panggilan tinggi, mereka biasanya hanya diberi 30 detik atau kurang sebelum panggilan berikutnya
  • Pada waktu sepi seperti larut malam, jedanya bisa lebih panjang
  • Setelah konsultasi yang sangat berat, mereka dapat meminta izin manajer untuk mendapatkan waktu tambahan
• Bahkan setelah berbicara dengan pasien berisiko bunuh diri, krisis kesehatan mental, atau pasien yang mendekati akhir hayat, waktu yang tersedia hampir tidak ada; muncul kekhawatiran bahwa tempo seperti ini dapat menyebabkan kesalahan yang membuat petunjuk penting tentang kondisi pasien terlewat
• Studi 2023 terhadap call center di empat negara maju menemukan bahwa karyawan yang menggunakan manajemen dan pengawasan berbasis AI memiliki lebih sedikit waktu antar panggilan dan mengalami lebih banyak kelelahan emosional
  • Hampir separuh responden mengatakan alat AI meningkatkan stres kerja
  • Studi sebelumnya oleh peneliti yang sama menemukan hubungan antara pengawasan kinerja dan tingginya tingkat kelelahan emosional
• Virginia Dolleghast dari Cornell University melihat kasus Kaiser sebagai bagian dari tren industri yang lebih luas: pengawasan terus-menerus terhadap pekerja yang menangani masalah kompleks dan emosional
  • Di lingkungan medis, risikonya lebih besar karena kesalahan akibat stres dan burnout terkait langsung dengan nyawa serta kesehatan manusia
  • Pekerja yang memiliki keleluasaan lebih besar untuk menentukan kecepatan dan waktu kerja cenderung memiliki kepuasan kerja lebih tinggi dan lebih sedikit absen

Algoritme dan penilaian profesional tenaga medis

• Survei National Nurses United pada 2024 terhadap lebih dari 2.000 perawat menemukan bahwa separuhnya mengatakan pemberi kerja menggunakan sistem algoritmik yang menganalisis rekam kesehatan
  • Sistem semacam itu dapat memprediksi tingkat kerentanan pasien atau waktu perawatan yang dibutuhkan
  • Dua pertiga responden mengatakan penilaian mereka pernah tidak sejalan dengan prediksi komputer
  • Enam dari 10 tidak percaya pemberi kerja akan mengutamakan keselamatan pasien saat menggunakan AI
• Perawat Kaiser Pa Vue secara rutin berbicara dengan manajer tentang efisiensi panggilan dan menerima skor evaluasi setiap bulan
  • Ia pernah mendapat skor lebih rendah setelah berulang kali memberi saran kepada pasien karena khawatir ada gejala tidak biasa dan kemungkinan masalah jantung
  • Ia juga melihat kasus di mana skor turun ketika perawat menolak rekomendasi perangkat lunak berdasarkan penilaian profesional atau menjadwalkan pasien tanpa berkonsultasi dengan dokter
• Vue tidak menentang AI itu sendiri jika bermanfaat bagi pasien, tetapi menilai pengawasan empati dan nada berfokus pada peningkatan produktivitas dan penghematan biaya
• Seiring meningkatnya adopsi AI secara nasional, serikat-serikat pekerja menuntut pemberi kerja membahas masalah yang ditimbulkan AI dalam perundingan kontrak baru
• Sebanyak 2.400 pekerja kesehatan mental Kaiser di Northern California juga sedang berunding soal kontrak
  • Mereka mengkhawatirkan penggunaan transkrip sesi terapi untuk melatih model AI dan kemungkinan AI menggantikan pekerjaan

AI yang diperkenalkan Kaiser ke proses medis

• Selain di pusat konsultasi, Kaiser menggunakan atau menguji AI di berbagai area proses medis
  • Menganalisis rekam kesehatan elektronik untuk mengidentifikasi risiko kejadian buruk pada pasien rumah sakit
  • Menentukan waktu pemulangan pasien dengan Preventus
  • Dokter dan terapis menggunakan Abridge untuk merekam kunjungan tatap muka dan mengubah audio menjadi teks
  • Di fasilitas Bay Area, Kaiser menguji pemantauan jarak jauh berbasis AI untuk pasien yang membutuhkan perawatan tambahan
• Cathy Kennedy dari National Nurses United dan CNA melihat AI pendeteksi empati sebagai bagian dari rangkaian langkah untuk membatasi otonomi perawat dan meningkatkan efisiensi
  • Karena AI dapat mengotomatisasi dan memecah-mecah pekerjaan keperawatan, ia menuntut perusahaan pengembang dan pengadopsi membuktikan efektivitas serta kesetaraan sistem sebelum penerapan
• Kontrak Kaiser dengan serikat perawat mencakup pemberitahuan tentang pengenalan teknologi baru, tetapi menurut CNA pemberitahuan itu kadang tidak diberikan
  • Pimpinan serikat meminta anggota melapor jika menemukan teknologi baru dan melacak jumlah model AI yang digunakan di Kaiser
  • Dengan cara ini, mereka merespons AI empati dan nada, serta menghentikan uji coba yang hendak mengganti perawat di samping tempat tidur pasien yang kebingungan dengan kamera
• Coalition of Kaiser Permanente Unions juga menjalankan kampanye “see something, say something” agar pekerja lapangan melaporkan adopsi AI
  • Pihak serikat mengatakan manajemen terlalu sering memasukkan AI ke alur kerja tanpa pemberitahuan atau pengumpulan masukan dari pekerja
  • Radiografer Debru Carthan khawatir pendeteksi nada suara dapat mendiskriminasi perawat dari latar budaya berbeda

Bantahan Kaiser dan perundingan pekerja-manajemen

• Kaiser membantah bahwa mereka menilai kinerja staf konsultasi berdasarkan Average Handle Time atau memaksakan standar durasi panggilan
• Mereka menyatakan alat call center mendukung jaminan mutu serta melalui tinjauan dan pengawasan manusia
• Kaiser memprioritaskan keselamatan pasien, privasi, dan kesetaraan dalam penggunaan AI, tetapi tidak mengungkap informasi spesifik tentang sistem teknologi internal karena alasan keamanan dan operasional
• Kaiser adalah pemberi kerja swasta terbesar di California, menyediakan layanan kesehatan bagi 9 juta orang di negara bagian itu dan 3 juta warga AS di wilayah lain
• California Nurses Association akan memulai perundingan kontrak baru dengan Kaiser pada Juli 2026, mencakup 25.000 orang, termasuk 1.000 perawat call center
  • Pada Maret, para perawat melakukan mogok satu hari untuk menentang AI
  • Pada musim gugur tahun sebelumnya, mereka juga melakukan aksi piket menentang penggunaan AI
  • CNA tidak mengungkap klausul tuntutan rinci terkait AI sebelum perundingan

Regulasi AI di tempat kerja di California

• AB 1018 dan SB 7, yang didukung CNA, mengharuskan pemberi kerja memberi tahu pekerja sebelum menggunakan sistem otomatis untuk promosi, disiplin, evaluasi kinerja, dan lainnya
  • Gubernur Gavin Newsom memveto SB 7
  • Di tengah penolakan kuat dari perusahaan termasuk Kaiser, AB 1018 gagal lolos selama tiga tahun berturut-turut
• Legislator kembali mengajukan SB 947, versi baru dari SB 7
• Rancangan undang-undang terpisah mendorong regulasi berikut
  • Melarang pemberi kerja menggunakan AI untuk memprediksi keadaan emosional karyawan
  • Melindungi dokter dan perawat agar tidak mengalami pembalasan jika mengabaikan rekomendasi sistem otomatis
  • Mewajibkan penyedia layanan kesehatan memberikan daftar sistem otomatis kepada karyawan setiap tahun
• CNA dan California Labor Federation mendukung sekitar enam rancangan undang-undang yang mengatur penggunaan AI di tempat kerja
• Para perawat khawatir pengawasan dan pemberian skor mengubah perawat yang merawat manusia menjadi mesin otomatis yang mengisi kotak centang
  • Karena panggilan direkam, mereka menjadi sulit menyampaikan humor atau empati personal kepada pasien
  • Mereka menilai berkurangnya interaksi manusiawi yang tidak tercantum dalam panduan merusak hakikat pekerjaan keperawatan dan perawatan yang diharapkan pasien

[GN⁺]

Komentar di Hacker News

• Setelah membaca artikelnya, sebagian besar keluhan tampaknya menyangkut metrik kinerja call center dan tekanan untuk membatasi layanan medis; ini masalah penyalahgunaan metrik, bukan masalah AI itu sendiri. Penilaian empati dengan AI adalah proyek percontohan pada 2024 dan sudah dihentikan.
  Istri saya menggunakan LLM medis di Kaiser, dan katanya alat itu menghemat waktu serta membantu memberikan perawatan yang lebih baik berkat penerjemahan waktu nyata, ringkasan catatan medis, dan pencarian jawaban yang komprehensif. Pasien lansia sering membawa notifikasi Apple Watch yang mendeteksi kelainan jantung.
  Alih-alih menggabungkan berbagai teknologi dengan dampak dan risiko yang sangat berbeda ke dalam satu istilah, kita perlu menilai tiap penggunaan secara terpisah.

  • Masalah seperti ini sudah lama umum dalam otomasi dan komputerisasi, dan digambarkan dengan hidup dalam novel Ellen Ullman, Close to the Machine.
    Karena manajemen dan analis memanfaatkan demam “AI” untuk mendorong otomasi/komputerisasi umum hingga PHK, wajar jika pihak yang menentangnya juga memakai istilah yang sama.
    Bahasa yang tidak akurat seperti ini mengaburkan diskusi dan membuat kemarahan serta energi sulit difokuskan pada isu inti seperti penyembunyian tanggung jawab manusia, terkikisnya otonomi, menurunnya fleksibilitas organisasi, dan deprofesionalisasi, tetapi tanggung jawab atas itu tidak bermula dari para pengkritik AI.
  • Notifikasi kelainan jantung Apple Watch bukan LLM, melainkan lebih dekat ke pembelajaran statistik tradisional. LLM medis adalah alat baru, tetapi notifikasi Apple Watch tidak semestinya dimasukkan ke kategori yang sama.
  • Deteksi kelainan jantung Apple Watch sulit disebut AI.

• Jika seseorang menganggap menilai seberapa empatik manusia dengan mesin sebagai ide yang baik, ia tidak boleh diberi kekuasaan.

  • Mereduksi kinerja lebih dari 40 jam kerja per minggu menjadi satu skor saja sudah aneh, apalagi di bidang medis.
    Kompensasi dan evaluasi memang perlu, tetapi patut dipertanyakan apakah mengelola orang dengan metrik yang dihitung algoritme adalah cara terbaik; dalam prosesnya, empati dan akal sehat menghilang.
  • Kekuasaan terbentuk bukan berdasarkan kemampuan, melainkan ekstraksi kekayaan.
  • Hal seperti ini makin banyak terjadi seiring layanan kesehatan menjadi korporatis dan rumah sakit diakuisisi oleh sistem kesehatan raksasa. Secara nominal itu untuk menghadapi perusahaan asuransi besar hasil merger, tetapi pada akhirnya organisasi raksasa justru menyalahgunakan kekuatannya.
  • Proyek penilaian empati sudah dibatalkan, dan inti persoalannya umumnya adalah pengawasan di tempat kerja.

• Dokter keluarga saya mengatakan alat pencatatan AI sangat melegakan. Dulu ia harus mengetik semuanya sambil mendengarkan pasien, tetapi sekarang ia bisa fokus mendengarkan pasien dan hanya mencatat hal yang diperlukan secara spesifik, sehingga stresnya berkurang besar.

  • Saya hanya bisa menyetujui alat seperti ini jika yakin perangkat lunak dasarnya benar-benar melindungi privasi. Terlalu banyak alat AI dibuat terburu-buru, sehingga sulit memercayai perangkat lunak rumah sakit yang dari awal sudah tampak berkualitas buruk.
  • Di Selandia Baru, mereka menggunakan dikte AI; dokter yang awalnya khawatir kini justru menyukainya karena waktu pencatatan berkurang dan mereka bisa lebih lama mendengarkan cerita pasien.
  • Keperawatan dan layanan primer punya peran yang cukup berbeda. AI bisa mengurangi beban kognitif, tetapi bagi pihak yang harus benar-benar menjalankan rencana, AI justru bisa menambah stres.
  • Mengurangi beban pekerjaan berulang dan sederhana dapat membantu klinisi berfokus pada bagian yang benar-benar sulit.
    Namun begitu aturan operasional memaksa cara praktik medis dan menginstruksikan bagaimana pasien harus dirawat, itu akan memicu penolakan kuat; gagasan untuk mengganti penilaian klinis dengan AI adalah bodoh.

• Metrik dan pengawasan tempat kerja mudah menimbulkan efek samping, tetapi pekerjaan perawat, seperti pekerjaan lain, tetap memerlukan pengawasan keselamatan tertentu.
  Saya pernah mendapat saran dari beberapa dokter perempuan agar berhati-hati dalam berinteraksi dengan perawat saat dirawat inap; tidak semua perawat berdedikasi, dan ada juga yang lalai atau membuat-buat alasan hingga membahayakan pasien.
  Layanan kesehatan bukan hanya panggilan suci, melainkan juga pekerjaan, jadi pengawasan diperlukan; tetapi jika metrik itu dipaksakan perusahaan, kemungkinan besar akan terdistorsi parah sesuai Hukum Goodhart.

  • Mungkin kita juga tidak seharusnya berharap perawat menjadi seperti Mother Teresa: https://allthatsinteresting.com/mother-teresa-saint

• Karena studi ini muncul menjelang negosiasi kontrak serikat perawat, kesannya seperti penalaran bermotivasi. Masalah nyata memang banyak, tetapi studi ini tidak menanganinya dengan baik; diperlukan kritik yang lebih efektif.
  AI bisa digunakan secara selektif untuk mengidentifikasi pasien yang terlalu sering memakai layanan kesehatan dan mengurangi penggunaan dengan mengatasi akar penyebabnya. Dengan begitu, kualitas perawatan pasien dan kualitas hidup tenaga medis bisa membaik, sekaligus memberi waktu untuk menjangkau kelompok yang kurang menggunakan layanan tetapi membutuhkan perawatan preventif.

• Saya bertanya-tanya apakah Manna karya Marshall Brain masih terdengar seperti cerita masa depan.
  https://marshallbrain.com/manna

• Masalah campur tangan AI tempat kerja dalam pelaksanaan kewajiban medis perawat kepada pasien tidak terbatas pada Kaiser; UHC juga telah mengadopsi dan menggunakan alat pengawasan AI serupa.

  • Kelemahan besar rezim otoriter adalah biaya pengawasan meningkat seiring skala untuk membedakan narasi fakta dan fiksi.
    Sebagian besar perawat merawat orang-orang yang sedang menjalani hari terburuk dalam hidup mereka.

• Artikel ini menyebut penggunaan AI, tetapi hampir tidak memberikan kerugian konkret akibat AI. Sebaliknya, contoh Kaiser mengoptimalkan panggilan demi penghematan biaya alih-alih kualitas perawatan cukup konkret.
  Kebijakan yang memperlakukan panggilan panjang sebagai masalah atau menghukum perawat yang memberi lebih dari tiga nasihat kemungkinan besar akan menurunkan kualitas perawatan.

  • Ada alat machine learning untuk pengawasan tempat kerja dan penilaian empati, tetapi meski secara teknis bisa disebut AI, dalam artikel ini istilah itu terutama dipakai sebagai buzzword.

• Di rumah sakit pedesaan setempat, perawat dipasangi perangkat pelacak yang merekam semua pergerakan di dalam rumah sakit, dan bahkan waktu yang dihabiskan di satu tempat dimasukkan ke evaluasi.
  Beberapa tahun lalu mereka menghabiskan 15–20 menit di tiap kamar pasien, tetapi sekarang hanya keluar-masuk dengan cepat. Jumlah pasien tidak bertambah dan jumlah perawat justru meningkat, jadi menurut saya metrik evaluasi yang keliru telah menurunkan tingkat perawatan.

  • Volume penggunaan layanan kesehatan, jumlah pasien unik, dan jumlah layanan per pasien semuanya meningkat.
    Penggunaan layanan kesehatan berlebihan yang sangat besar di AS mendorong naik biaya, tetapi orang enggan mengakuinya secara jujur.

• Layanan Kaiser sejak awal sudah tergolong buruk, jadi perubahan ini makin mengkhawatirkan.