XrayGPT: Ringkasan Foto Radiografi Dada Menggunakan Medical Vision-Language Model (VLM)

 (github.com/mbzuai-oryx)
7 poin oleh xguru 2023-07-04 | 1 komentar | Bagikan ke WhatsApp
  • Riset untuk menganalisis foto X-ray radiografi dada secara otomatis
  • Vicuna LLM di-fine-tune dengan data medis (100 ribu percakapan nyata antara pasien/dokter) dan 30 ribu percakapan radiologi (Radiology)
  • Meningkatkan performa LLM dengan menghasilkan ringkasan yang rapi dalam bentuk percakapan (~217k) dari dataset laporan radiologi teks gratis (MIMIC-CXR dan OpenI)
  • Menyelaraskan Frozen Medical Visual Encoder (MedClip) ke LLM (Vicuna) yang telah di-fine-tune menggunakan Simple Linear Transformation

Bacaan terkait

1 komentar

 
cosine20 2023-07-06

Kalau punya foto rontgen dada, sepertinya kita juga bisa langsung mencoba demonya.