- Pedoman terapi kanker merangkum bukti klinis menjadi rekomendasi terstruktur untuk mengurangi variasi terapi, tetapi sulit diterapkan secara konsisten di lapangan karena tekanan waktu dan perbedaan akses ke riset terbaru
- NCCN adalah aliansi 32 pusat kanker utama di Amerika Serikat, dan panel pakar multidisipliner per jenis kanker memperbarui NCCN Clinical Practice Guidelines in Oncology setiap tahun
- Saat ini, pedoman berbentuk bagan alur PDF yang mengharuskan pengguna menelusuri banyak halaman dan tautan, sehingga sulit menemukan versi dan jalur yang benar untuk subtipe langka atau kondisi pasien yang kompleks
- Hakikat pedoman adalah pohon pengambilan keputusan, sehingga jika tersedia dalam format yang dapat ditafsirkan mesin, sistem rekam medis dapat mendukung usulan pemeriksaan, peringatan penyimpangan dari pedoman, dan antarmuka penelusuran yang cepat
- Alat percontohan mengekstrak pedoman kanker payudara NCCN ke skema JSON dengan LLM dan menyimpannya sebagai graf berisi 271 node, tetapi akurasinya baru sekitar 70–80% dan tidak boleh digunakan untuk pengambilan keputusan klinis
Peran pedoman dalam standarisasi terapi kanker
- Bahkan jika dua pasien dengan jenis kanker, stadium, ukuran tumor, dan lokasi yang sama datang ke rumah sakit yang berbeda, idealnya mereka tetap menerima terapi berbasis bukti atau pemeriksaan tambahan yang sama
- Dalam kenyataannya, dokter menghadapi tekanan waktu, memiliki latar pendidikan yang berbeda, dan mungkin tidak bisa langsung mengakses riset terbaru
- Pedoman klinis menyusun bukti medis yang sangat besar menjadi rekomendasi terstruktur untuk membantu standardisasi terapi di antara rumah sakit dan klinisi
- Respons terapi tiap pasien bisa berbeda, tetapi mengikuti pedoman berbasis bukti dapat meningkatkan kemungkinan hasil yang positif
Cara pedoman NCCN dibuat
- Onkolog spesialis untuk tiap jenis kanker setiap tahun menyusun berbagai situasi yang mungkin ditemui dalam praktik, meninjau bukti klinis untuk masing-masing, lalu merekomendasikan tindakan
- Contoh: kanker payudara stadium awal, pernah menjalani lumpektomi parsial, dan saat ini sedang hamil
- Contoh: pasien dengan kanker invasif duktal dan panjang tumor 0,6–1 cm
- Rekomendasi dapat berujung pada pemesanan pemeriksaan tertentu, peresepan rangkaian terapi, atau jadwal tindak lanjut di masa depan
- Panel secara berkala meninjau bukti baru dan memperbarui pedoman
- Karena terapi yang tersedia berbeda di tiap wilayah, berbagai organisasi membuat pedoman yang berbeda, dan penerapan nyata juga dipengaruhi faktor regional
- NCCN adalah aliansi 32 pusat kanker utama di Amerika Serikat, dan panel pakar multidisipliner per jenis kanker meninjau serta menyeleksi riset terbaru untuk membangun konsensus tentang pendekatan skrining, diagnosis, terapi, dan perawatan suportif
- Hasilnya, NCCN Clinical Practice Guidelines in Oncology, digunakan secara global sebagai standar terapi kanker yang komprehensif dan luas dipakai
Masalah praktis dari implementasi berbasis PDF
- Satu halaman pedoman kanker payudara NCCN dapat memuat tautan seperti BINV-6, dan tiap tautan mengarah ke halaman terpisah dengan bagan alurnya sendiri
- Dokter harus memetakan kondisi pasien ke dalam bagan alur, lalu jika ada informasi yang belum diketahui seperti status HER2, harus memesan pemeriksaan atau menelusuri beberapa halaman sampai mencapai rekomendasi terapi
- Bahkan saat menggunakan pedoman, standarisasi penuh tetap sulit dicapai
- Bisa ada beberapa pilihan terapi dengan tingkat bukti yang serupa
- Kondisi pasien yang relevan terhadap terapi mungkin tidak disebutkan secara eksplisit dalam pedoman
- Dokter tetap harus mengambil keputusan, tetapi rentang keputusan yang mungkin menjadi lebih sempit
- Pusat unggulan seperti Mayo Clinic dan MD Anderson tidak hanya memiliki pendanaan, onkolog yang sangat terspesialisasi, dan akses ke uji klinis, tetapi juga proses perawatan yang sistematis serta prosedur implementasi pedoman
- Di rumah sakit mana pun, perawatan bisa menyimpang dari pedoman
- Contoh: kondisi pasien pascamenopause terlewat di catatan, sehingga pasien bisa menerima terapi yang lebih didukung untuk pasien pramenopause
- Karena dokter menangani ratusan pasien, sebagian kondisi bisa terlewat meskipun akses ke pedoman tersedia
- Cara memperbaiki luaran terapi kanker memang mencakup penemuan obat baru dan peningkatan teknik bedah, tetapi mengurangi kesenjangan dalam perawatan berbasis bukti adalah pendekatan yang langsung, universal, dan dapat dicapai
Batasan saat pohon keputusan terjebak di PDF
- Pedoman memuat ratusan ribu jam kerja para onkolog spesialis, tetapi keluaran akhirnya adalah PDF padat yang sulit ditelusuri
- Seorang onkolog yang hanya beberapa tahun sekali menangani subtipe kanker payudara langka harus menemukan versi PDF yang benar, mencari bagian yang sesuai dengan karakteristik kanker, mengikuti tautan lintas halaman, dan terus melacak faktor pasien
- Pedoman terus direvisi dan versi baru didistribusikan sebagai PDF terpisah, sehingga mudah melewatkan pembaruan atau merujuk ke versi lama yang tertimbun di antara dokumen klinis
- Pada intinya, pedoman adalah pohon pengambilan keputusan, dan tim penyusun menghabiskan banyak upaya untuk menata bukti ke dalam bentuk pohon tersebut
- Jika data terstruktur yang tepat tersedia, mesin dapat menafsirkan pedoman
- Sistem pencatatan dapat secara otomatis mengusulkan pemeriksaan diagnostik yang dibutuhkan pasien
- Sistem dapat menampilkan peringatan atau modal “apakah Anda yakin?” ketika terapi menyimpang dari pedoman
- Dokter dapat meninjau pedoman dengan cara yang lebih cepat dan alami daripada harus mencari PDF
- Organisasi penyusun pedoman seharusnya menyediakan format terstruktur yang dapat ditafsirkan mesin bersama PDF yang dapat diunduh, dan idealnya semua organisasi serta sistem data pasien dapat menafsirkan format yang sama
- Namun pendekatan data seperti ini bukan bidang keahlian utama organisasi penyusun pedoman
Alat percontohan pedoman terstruktur
- Berdasarkan pengalaman bekerja dengan para onkolog sebagai insinyur perangkat lunak, dibuatlah alat pembuktian konsep untuk mengekstrak pohon keputusan yang terjebak di PDF ke struktur yang dapat dipahami mesin
-
Perancangan skema
- Pertama didefinisikan skema yang dapat merepresentasikan sebagian besar informasi dalam pedoman NCCN
- Pedoman tampak seperti pohon informasi, tetapi karena sebagian referensi bisa kembali ke belakang, terdapat siklus
- Seluruh pedoman untuk satu jenis kanker terbagi menjadi beberapa graf berarah yang terpisah
- Tiap titik seperti kondisi, karakteristik pembatas, dan pilihan terapi direpresentasikan sebagai node, dan referensi serta catatan kaki terkait juga disimpan di node
- Panah pada bagan alur atau referensi antarpagina direpresentasikan sebagai relasi antar-node
-
Ekstraksi data
- Pada tahap pertama, LLM menelusuri dokumen dan membuat node referensi untuk tiap halaman pedoman
- Referensi halaman menjadi node induk bagi node tingkat atas di halaman tersebut, dan jika node lain menunjuk ke halaman tertentu maka ia menunjuk ke node halaman itu
- Setelah itu, LLM membaca pedoman dalam kelompok halaman kecil, menerima referensi halaman bersama-sama, lalu mengekstraknya ke representasi JSON dari skema
- Proses ini diterapkan pada pedoman kanker payudara NCCN, lalu node dan relasinya disimpan ke basis data, menghasilkan total 271 node
-
Visualisasi
- Penampil graf dibuat dengan pustaka React Flow, yang menampilkan halaman-halaman sebagai node akar tanpa referensi masuk
- Saat node diklik, node anak akan muncul dan pengguna dapat menelusuri alur node ke bawah
-
Implementasi agen
- Diimplementasikan agen yang menerima riwayat pasien lalu menelusuri graf
- Mula-mula agen mencari node tingkat atas yang paling dekat dengan kondisi pasien, lalu memilih node anak yang paling sesuai dengan pasien
- Proses ini diulang sampai mencapai node daun atau informasi yang tersedia tidak cukup untuk lanjut
- Alat percontohan dapat digunakan di sini
Keterbatasan dan langkah berikutnya
- Data demo belum ditinjau dan mengandung kesalahan serta kekurangan, sehingga tidak boleh digunakan untuk pengambilan keputusan klinis
- Proses ekstraksi memakan waktu beberapa jam, dan agen memerlukan waktu lebih singkat dari itu; dengan upaya lebih besar, akurasi masih bisa ditingkatkan
- Akurasi saat ini sekitar 70–80%
- Ekstraksi dengan LLM adalah cara yang mudah untuk membuat prototipe, dan peninjauan manusia dapat meningkatkan keandalan, tetapi pendekatan ideal adalah menulis pedoman dalam bentuk terstruktur sejak awal
- Data saat ini masih berada dalam keadaan semi-terstruktur
- Informasi seperti hubungan kausal dan cara mengevaluasi tiap node masih menuntut pemahaman bahasa alami dari isi node
- Pekerjaan selanjutnya dapat mendefinisikan skema yang lebih terstruktur dan lebih mudah dievaluasi
1 komentar
Komentar Hacker News
Menurut saya PDF lebih baik. Tool kustom kemungkinan besar akan berbeda-beda di tiap klinik atau rekam medis elektronik, dan biaya pemeliharaannya juga akan mahal.
PDF memang buruk dalam banyak hal, tetapi tahan lama dan portabel. Bahkan jika bekerja dengan dua dokter onkologi, cukup memakai PDF yang sama.
Niat penulisnya baik, tetapi pada akhirnya besar kemungkinan menjadi tool yang hanya dipahami dirinya sendiri, dan makin buruk karena begitu banyak pengecualian.
Saya tidak membuat ini untuk dijual ke institusi medis; saya ingin menunjukkan apa yang bisa dilakukan dengan pedoman klinis yang terstruktur. Menurut saya tidak ada alasan ini harus terikat pada klinik atau rekam medis elektronik tertentu.
Idealnya, lembaga penyusun pedoman klinis juga merilis representasi terstruktur bersama PDF. Tool penulisannya bisa mengekspor ke dua format, dokter onkologi tetap bisa memakai PDF, sementara sistem dapat memanfaatkan data terstruktur.
Dokter onkologi komunitas memiliki sumber daya teknis yang terbatas dibandingkan pusat kanker nasional. Jika ini bisa membuat hidup mereka lebih mudah, itu hal yang baik.
Namun, dokumen terbitan seperti PDF juga bagus. Sistem biasanya membuat perbandingan antara rilis Juni dan rilis September sulit dilakukan.
Sistem berbentuk wizard menyembunyikan sebagian besar informasi, mungkin punya bug yang tidak diketahui, sulit untuk menelusuri jalur alternatif, besar kemungkinan terikat pada pengguna terdaftar, dan sistemnya juga bisa down.
Saya pikir sistem komputer yang jauh lebih cerdas adalah masa depan layanan kesehatan, tetapi saya ragu apakah memulainya dengan satu lagi tool kustom khusus pedoman kanker adalah langkah yang tepat.
Ide ini bukan hal baru. Jika mencari computable clinical guidelines, ada banyak literatur akademik terkait, dan makalah ini merupakan titik awal yang cukup baik [1].
Sebenarnya sudah ada upaya sejak 1970-an, dengan sistem pakar MYCIN yang terkenal sebagai contoh representatif [2].
Seperti terlihat dari sejarah MYCIN, masalah ini jauh lebih halus daripada kelihatannya, dan melibatkan faktor teknis, psikologis, sosiologis, serta ekonomi. Itu juga alasan mengapa pedoman kanker tetap berada dalam PDF.
Meski begitu, tidak ada alasan untuk menghentikan eksplorasi. Hanya karena generasi sebelumnya belum berhasil memecahkannya, bukan berarti masalah ini tidak bisa dipecahkan.
[1] https://pmc.ncbi.nlm.nih.gov/articles/PMC10582221/
[2] https://www.forbes.com/sites/gilpress/2020/04/27/12-ai-miles...
Selain itu, ada baiknya juga melihat Developer API dari NCCN. Nilainya bukan karena secara teknis menarik, melainkan karena menunjukkan lanskap hak kekayaan intelektual.
https://www.nccn.org/developer-api
Intinya adalah sulit bagi dokter untuk memastikan apakah rekomendasi mereka benar-benar mencerminkan riset klinis terbaru.
Penting juga bahwa keunggulan yang dimiliki dokter di pusat medis bergengsi yang berada di pusat riset bisa disediakan untuk semua dokter. Ini yang sering disebut masalah penyebaran pengetahuan.
Saat ini, tinjauan pustaka sistematis berdasarkan standar Cochrane adalah pendekatan terbaik [0]. Tinjauan semacam ini padat karya dan terlalu jarang dilakukan, tetapi jika dilakukan dengan benar, nilainya sangat besar.
Dalam tinjauan seperti ini juga terlihat seberapa sering riset yang telah dipublikasikan dikecualikan karena alasan seperti bias atau dataset yang tidak lengkap.
Pendekatan Geiger pada tautan tersebut memiliki niat yang sangat baik, tetapi hasilnya akan menghadapi masalah yang sama seperti tinjauan pustaka sistematis manual.
Saya penasaran apakah penulis juga mempertimbangkan pendekatan berbasis aturan seperti pedoman Cochrane, bukan hanya pendekatan machine learning.
[0] https://training.cochrane.org/handbook
Pedoman NCCN dan ulasan Cochrane memiliki peran yang saling melengkapi dalam kedokteran. NCCN menyediakan algoritme pengobatan kanker yang praktis dan sering diperbarui berdasarkan riset serta konsensus pakar, sementara ulasan Cochrane menyediakan analisis bukti yang ketat untuk seluruh bidang kedokteran, dengan fokus yang lebih kuat pada uji acak terkontrol.
Pedoman NCCN lebih mudah diterapkan secara langsung di praktik klinis, sedangkan ulasan Cochrane memberikan analisis yang lebih mendalam tentang kualitas bukti.
Tujuan utama saya adalah menunjukkan apa yang bisa dilakukan dengan pedoman medis apa pun yang terstruktur dengan baik. Standarnya bisa dipilih sesuai keinginan.
Sebagian yang punya rasa ingin tahu memang mengikuti, tetapi sikap umumnya adalah mereka sudah melewati pendidikan yang berat, jadi tidak perlu lagi melakukan itu.
Pernyataan bahwa “inti pedoman klinis adalah pohon keputusan” lebih merupakan harapan, dan bahkan mungkin tidak membantu untuk dijadikan tujuan
Dalam pedoman klinis, hampir tidak ada data yang mencakup semua jalur keputusan yang mungkin. Yang ada biasanya melaporkan hasil yang didukung dengan baik, memberi pendapat ahli untuk sebagian kasus yang diinterpolasi, dan untuk sebagian sisanya sekadar mencantumkan faktor-faktor yang perlu dipertimbangkan
Jika ini direduksi menjadi pohon keputusan, banyak cabangnya akan kosong, dan kebanyakan spesialis bisa menemukan faktor-faktor yang seharusnya mengarah ke pohon yang lebih kompleks
Alasannya, cabang-cabang itu hampir tidak pernah deterministik. Justru lebih mirip probabilitas kuantum, sehingga beberapa kemungkinan harus dipegang sekaligus, dan baru setelah terapi menunjukkan efek atau gagal, penyakit—dalam hal ini kanker—menampakkan bentuknya
Sampai struktur informasi sebenarnya dari pedoman klinis tertangkap, pedoman itu akan disampaikan sebagai uraian yang otoritatif dan edukatif tentang praktik standar
Dalam hampir semua kasus, yang lebih penting adalah menerbitkannya lebih cepat dan meningkatkan transparansi dengan referensi, ketimbang menyederhanakan atau menjadikannya prosedur operasional demi menaikkan tingkat adopsi
Kebanyakan dokter di bidang yang dinamis tidak membutuhkan penyederhanaan. Kesulitan materi diatasi dengan disiplin diri dan ketekunan seumur hidup, dan pedoman klinis terutama dipakai sebagai kerangka komunikasi dan kelengkapan untuk memastikan apakah kekhawatiran yang diketahui sudah ditangani
Pedoman klinis yang terstruktur terutama memungkinkan pihak luar mengamati dan mengendalikan, dan cara seperti itu kemungkinan besar tidak produktif
Mengapa seluruh pengetahuan manusia tidak berada dalam satu file JSON raksasa? Pedoman klinis memang semacam pohon keputusan, tetapi tidak ditulis untuk diterapkan secara mekanis. Sebab tidak ada pasien yang identik dengan kanker yang identik dalam asumsi-asumsi itu
Pedoman klinis bukan untuk dokter penyendiri ala film yang menelusuri pohon keputusan secara real time dalam perlombaan melawan waktu melawan kanker, melainkan untuk tim klinis yang sangat terlatih dan terbiasa bekerja sama. Mereka punya kemampuan untuk mengenali titik ketika pedoman salah atau perlu diperluas/dimodifikasi
Dengan kata lain, pedoman klinis adalah abstraksi dari standar perawatan mutakhir
Akan bagus jika pedoman seperti ini bisa diperlakukan seperti source code dalam semacam sistem version control medis, sehingga subspesialis dan dokter spesialis bisa dengan mudah mengubah atau mem-fork-nya. Namun dependensi biologis jauh lebih kompleks daripada dependensi silikon, dan untuk sementara waktu ke depan akan tetap lebih sulit didiskretkan
Bukan berarti ambisi penulisnya keliru. Itu sangat baik. Hanya saja, saya melihat kemajuan di ranah ini paling mudah terjadi bila dilakukan di dalam tim terkait. Sesuatu yang dari luar sistem tampak sederhana secara konseptual terlihat begitu hanya karena resolusinya kurang
Kalau ada yang ingin saya baca, itu adalah dokumen kertas yang bisa dicari
Alasannya sama seperti mengapa datasheet masih berupa PDF. Karena itu adalah format yang tepercaya, tahan lama, dan portabel
Memang konyol bahwa pada dasarnya kita meniru kertas, tetapi tidak ada format lain yang mengisi celah itu
Untuk tujuan awalnya, HTML seharusnya memainkan peran tersebut, tetapi selama kira-kira 20 tahun terakhir fokusnya ada pada segala hal selain menjadikan HTML format pertukaran informasi yang lebih baik
Bahkan hal sepele seperti membundel dokumen HTML kompleks menjadi satu file pun tidak punya solusi standar. Cookie tidak berfungsi pada URL
file://, dan hal-hal yang sangat dasar tidak berfungsi atau tidak adaSebagai gantinya muncul format turunan seperti ePUB, yang sebagian besar adalah HTML tetapi pada praktiknya tidak didukung oleh kebanyakan browser
Dalam 10 tahun terakhir, saya pernah dua kali mengimplementasikan prosedur terkomputerisasi seperti ini di dua startup
Saya tidak ingin NCCN melakukan itu
Pedoman NCCN bukan terkurung dalam PDF, melainkan terkurung dalam kepala para dokter
Jika pedoman NCCN dimasukkan sebagai aturan terkomputerisasi, aturan itu kemudian mulai mengarahkan kembali pedomannya. Ini menjadi pengaruh kedua yang menjauhkan dari sains fundamental
Saya sepenuhnya setuju bahwa sistematisasi aturan diperlukan, tetapi itu harus sepenuhnya tunduk pada pengetahuan garis depan tentang kanker yang berubah sangat sering
Setiap tahun setelah konferensi onkologi besar lintas kanker seperti ASCO dan konferensi khusus penyakit, misalnya San Antonio Breast Cancer Symposium, pengetahuan harus diperbarui; dan bahkan sebelum berganti tahun, jika ada hasil uji klinis penting, para dokter harus memperbarui pengetahuan lewat uji terbaru dan pendidikan berkelanjutan. Ini adalah keseluruhan ekosistem pengetahuan yang saling melengkapi dengan batas-batas yang diterbitkan NCCN
Dari sudut pandang seseorang yang sepanjang hidup bekerja di persilangan ilmu komputer dan kedokteran, saya percaya dokter bisa memperbarui aturan jauh lebih cepat daripada programmer dan database
Jangan kurung pedoman NCCN dalam spaghetti code yang hanya dipahami segelintir programmer; biarkan tetap terbuka sebagai PDF yang bisa diikuti tautannya dan diperiksa siapa saja
Sunting: Setelah mencerna tulisan ini sekitar seminggu, mungkin pandangan saya berubah. Mungkin NCCN harus menstandardisasi variabel klinis secara cukup sehingga mengubahnya menjadi aturan menjadi hal sepele. Namun hipotesis uji klinis harus bisa masuk ke dalam aturan itu, dan saya perlu memikirkannya sekitar seminggu lagi untuk melihat apakah itu mungkin
Pohon keputusan berfungsi untuk mengambil keputusan
Namun tidak sebaik teknik pengambilan keputusan lainnya. Random forest, model linear, jaringan saraf, dan sebagainya pada dasarnya juga semuanya adalah teknik pengambilan keputusan
Pada sistem kompleks dengan banyak data, yaitu kesehatan manusia, kinerja pohon keputusan tidak bagus
Jadi mengapa memakai teknik yang diketahui inferior hanya karena mudah ditulis dalam PDF, mudah dinalar dalam rapat, dan mudah dijelaskan kepada seseorang?
Bukankah seharusnya kita memakai model matematika paling mutakhir yang menghasilkan probabilitas ‘penyembuhan’ tertinggi, meskipun terlalu kompleks untuk dipahami manusia?
Model yang terlalu kompleks untuk dipahami manusia tentu akan sangat bagus untuk dijelaskan di pengadilan ketika kelak ternyata ada kebocoran data atau bias lain
Praktik medis nyata sering melakukan interpolasi di antara titik-titik data seperti ini
Sebagai peneliti kanker, menurut saya sebagian cabang pohon keputusan dalam pedoman NCCN didasarkan pada studi di mana beberapa opsi semuanya lebih baik daripada plasebo, tetapi tidak memiliki perbedaan yang signifikan secara statistik satu sama lain
Dalam kasus seperti itu, klinisi bisa memakai faktor lain untuk menentukan jalur mana yang diambil. Pada kanker prostat, operasi dan terapi radiasi adalah contoh klasik. Keduanya kurang lebih sama efektifnya, tetapi pengalaman yang dialami pasien sangat berbeda
Jauh lebih parah daripada yang dibayangkan. Saya pernah bekerja di startup healthcare yang menangani pendaftaran pasien untuk uji klinis onkologi, dan hambatannya luar biasa besar
Sejujurnya, meskipun datanya tersedia sebagai teks biasa, itu tidak akan banyak berbeda. Kode diagnosis berbeda-beda di tiap institusi medis, pemahaman semantik atas informasi diagnosis juga berbeda-beda di tiap institusi medis, rekam medis elektronik berantakan, dan semuanya ditulis dalam bahasa alami, bukan sebagai struktur data
Siapa pun yang pernah mengerjakan software healthcare bisa menceritakan jauh lebih banyak kisah horor
Saya berharap large language model bisa membantu merapikan sebagian dari ini, tetapi seperti yang diketahui siapa pun yang pernah mengerjakan software healthcare, masalah ini bukan masalah teknis, melainkan masalah yang sangat manusiawi
Meski begitu, ada satu titik terang. Rekan-rekan saya membuat kemajuan besar dengan menggunakan category theory dan Prolog untuk menemukan protokol uji eskalasi dosis onkologi klinis 3+3 yang dapat dibuktikan optimal [1]
David memberikan presentasi yang sangat bagus tentang hal ini di pertemuan Scryer Prolog di Vienna [2]
Mengejutkan betapa dunia kedokteran masih berada di zaman kegelapan. Walaupun ini adalah spesifikasi pertama yang dapat dijalankan dan diprogram untuk uji kanker 3+3, ia masih harus berjuang meyakinkan rekan medis dan administrator rumah sakit bahwa ini adalah uji yang optimal. Tidak mengherankan, karena mereka tidak memahami software atau statistik
[1]: https://arxiv.org/abs/2402.08334
[2]: https://www.digitalaustria.gv.at/eng/insights/Digital-Austri...
https://jakeseliger.com/
https://github.com/Precisfice/DEDUCTION