Analisis Laporan Keuangan dengan Memanfaatkan LLM

• Meneliti apakah large language model (LLM) dapat berhasil melakukan analisis laporan keuangan secara serupa dengan analis manusia profesional
• Memberikan laporan keuangan yang telah distandardisasi dan dianonimkan kepada GPT-4, lalu menginstruksikan model untuk memprediksi arah laba di masa depan
• Temuan utama
  • Kinerja prediksi: LLM melampaui analis keuangan dalam memprediksi perubahan laba bahkan tanpa narasi atau informasi spesifik industri
  • Keunggulan relatif: LLM menunjukkan keunggulan relatif dalam situasi ketika para analis mengalami kesulitan
  • Akurasi prediksi: Akurasi prediksi LLM setara dengan performa model ML mutakhir yang dilatih secara sempit
  • Wawasan naratif: Prediksi LLM tidak berasal dari memori hasil pelatihan, melainkan menghasilkan wawasan naratif yang berguna tentang kinerja masa depan perusahaan
  • Strategi perdagangan: Strategi perdagangan berbasis prediksi GPT memberikan rasio Sharpe dan alpha yang lebih tinggi dibanding strategi berbasis model lainnya

Pendapat GN⁺

• Potensi LLM: Bahwa large language model dapat melampaui analis manusia dalam analisis keuangan berpotensi membawa perubahan besar bagi industri finansial. Ini mengisyaratkan kemungkinan berkembangnya alat analisis otomatis.
• Transparansi model: Fakta bahwa LLM dapat memberikan wawasan naratif berarti proses prediksi model bisa lebih transparan dan lebih mudah dipahami. Ini dapat membantu analis keuangan untuk mempercayai dan memanfaatkan model tersebut.
• Kegunaan strategi perdagangan: Strategi perdagangan berbasis GPT yang menunjukkan kinerja tinggi dapat menjadi daya tarik besar bagi investor. Namun, ini bukan jaminan bahwa prediksi model selalu akurat, sehingga pendekatan yang hati-hati tetap diperlukan.
• Hal yang perlu dipertimbangkan dalam adopsi teknologi: Kualitas data dan proses pelatihan model sangat penting. Selain itu, perlu terus ditinjau bagaimana prediksi model selaras dengan kondisi pasar yang sebenarnya.
• Teknologi dan proyek terkait: Proyek lain yang menawarkan fungsi serupa dalam analisis keuangan mencakup AlphaSense, Kensho, serta alat analisis berbasis GPT-3 milik Bloomberg. Perbandingan dengan alat-alat ini dapat membantu memahami kelebihan dan kekurangan LLM dengan lebih jelas.

[GN⁺]

Komentar Hacker News

• Melihat Figure 3 di halaman 40, hasil perbandingan antara model jaringan saraf 3 lapis yang menggunakan 59 variabel prediksi keuangan dari Ou dan Penman (1989) dan GPT(CoT) menunjukkan bahwa GPT tidak menampilkan kinerja yang secara statistik signifikan lebih baik.
• Pasar itu penting, tetapi spekulasi bukan tujuan pasar. Jika ingin menghasilkan uang, lebih baik mendapat pelatihan dan menerima gaji yang baik. Spekulasi, jika dilihat dari sudut pandang keserakahan, memiliki risiko kehancuran yang besar. Sistem keuangan adalah permainan zero-sum, dan keuangan internasional penuh risiko. Kita perlu menjaga teman, memaksimalkan kebahagiaan, serta bertindak jujur dan etis.
• Memungkinkan warga biasa mengajukan pertanyaan yang bermakna tentang keuangan pemerintah daerah bisa membawa perubahan terbesar. Misalnya, banyak pemerintah lokal dan otoritas terpilih di Cook County, Illinois, membuat laporan keuangan bulanan, tetapi pengawasan dari warga masih kurang.
• Sejarah penelitian: membandingkan pernyataan manajemen, menghitung kata-kata positif/negatif untuk melakukan analisis sentimen, serta membangun model sentimen real-time menggunakan Twitter dan artikel berita. Model analisis sentimen juga dibangun dengan LLM (GPT2), tetapi karena para eksekutif dilatih untuk hanya menggunakan kata-kata positif, keandalannya rendah.
• Jika model LLM yang terstandarisasi digunakan, ada kemungkinan laporan keuangan akan dimanipulasi agar hasil LLM menjadi lebih menguntungkan.
• Dalam desain penelitian, informasi teks tidak diberikan. Fokus utamanya adalah memahami kemampuan LLM untuk menganalisis dan mensintesis angka-angka keuangan murni. Ini karena LLM bekerja dengan memprediksi token berikutnya, bukan melakukan perhitungan matematis.
• Untuk orang-orang yang ingin menjual wrapper LLM: bidang ini sangat sulit. Anda akan menghadapi masalah data, distribusi, dan rendahnya permintaan. Dana investasi yang benar-benar akan menggunakan ini pada kenyataannya sudah menggunakannya.
• Mereka mencoba memahami sumber kemampuan prediksi GPT. Model diarahkan untuk berperan sebagai analis keuangan, menghitung rasio keuangan utama, dan memberikan interpretasi ekonomi. Namun, LLM bekerja dengan memprediksi token berikutnya, bukan melakukan perhitungan.
• Saya ingat analisis earnings call yang dipresentasikan Greg Diamos di Lamini. Tautan terkait bisa dilihat di HuggingFace dan GitHub.
• Akan menarik jika dibandingkan dengan model yang memiliki context window lebih besar (Gemini, Claude Opus). Jika tidak, sebaiknya judulnya diubah menjadi "Analisis laporan keuangan menggunakan GPT-4".