Halo, saya adalah engineer AI dengan pengalaman 10 tahun yang sesekali berinvestasi saham.
Secara pribadi, setiap kali melakukan riset saham, saya merasa sangat tidak nyaman karena harus bolak-balik antara berbagai aplikasi sekuritas dan portal berita untuk mengumpulkan informasi yang tersebar. Setelah AI hadir, semuanya memang menjadi jauh lebih praktis, tetapi karena masalah halusinasi dan kebaruan data, saya akhirnya harus bertanya ke banyak AI lalu merangkum hasilnya sendiri, dan proses itu sangat melelahkan.
Untuk mengatasi ketidaknyamanan pribadi ini, saya bersama seorang kenalan membuat layanan yang memungkinkan informasi tentang saham dan hasil analisis dari berbagai AI (GPT, Gemini, Claude, DeepSeek) dilihat sekilas di satu tempat.
Kunjungi layanan
• Saham AI: https://jusikai.com.
Beberapa hal yang dipertimbangkan
Saat membuat layanan ini, dibandingkan sisi teknis, kami justru tidak punya pilihan selain menghadapi sangat banyak pertimbangan dan keputusan dari sisi kebijakan.
• Pemilihan model dan prompt: Sebenarnya sudah banyak riset tentang model apa yang paling baik untuk analisis saham, tetapi di masa ketika model-model baru terus bermunculan seperti sekarang, memilih model dan prompt yang tepat bukanlah hal mudah. Saya membangun data backtesting per saham bersama tim dan secara aktif memanfaatkannya untuk memilih model dengan hasil terbaik. Yang menarik, model yang selalu dianggap bagus tidak selalu memberikan prediksi yang bagus.
• Kriteria rekomendasi saham: Hanya karena sebuah saham itu bagus bukan berarti harganya akan naik hari ini. Mungkin itulah juga alasan Warren Buffett menekankan investasi jangka panjang. Namun, itu tidak sepenuhnya sesuai dengan kondisi kami yang harus memberikan rekomendasi setiap hari, sehingga kami menyusun kondisi jangka pendek (1 minggu) dan menengah-panjang (1 bulan atau lebih). Ini ternyata merupakan metode rekomendasi yang sangat intuitif dan baik bagi pengguna nyata.
• Publikasi dashboard: Kami selalu secara transparan mempublikasikan tingkat keuntungan dari hasil rekomendasi dalam bentuk dashboard per model. (Syukurlah pada April–Mei hasil keuntungannya cukup baik.)
• Peningkatan kemampuan agent: Secara berkala, model-model melakukan peningkatan kemampuan berdasarkan evaluasi atas analisis mereka sendiri untuk tiap pasar/saham. Ini membantu LLM memahami karakteristik tiap pasar dan tiap saham sehingga performanya bisa meningkat.
• Batasan saham dan biaya pemeliharaan LLM: Saat ini, karena masalah optimasi pipeline, layanan masih berfokus pada saham yang terbatas. Selain itu, meskipun kami telah semaksimal mungkin menerapkan optimasi prompt dan Context Caching untuk mengurangi penggunaan token, biaya pemeliharaan bulanan tetap mencapai ratusan ribu won, sehingga ada kekhawatiran soal keberlanjutan.
Kami sangat mengharapkan masukan yang tajam.
• Saya ingin meminta saran dari sudut pandang para engineer dan maker hebat di GeekNews.
• Dari sisi usability: saya ingin tahu apakah cara rekomendasi dan UI kami terasa terlalu tidak ramah dari sudut pandang pengguna nyata.
• Selain itu, laporan bug atau kritik sekeras apa pun akan kami terima dengan senang hati. Kami akan terus memantau selama akhir pekan, dan bug yang bisa diperbaiki akan langsung kami perbaiki dan terapkan. Terima kasih sudah membaca tulisan panjang ini!
8 komentar
Apakah dasar untuk prediksi jangka pendek serta menengah-panjang ini mungkin berasal dari laporan para analis?
Ya, benar! Ini adalah hasil yang mencerminkan penilaian skor rekomendasi jangka pendek, menengah, dan panjang secara terpisah saat membuat laporan. Untuk jangka pendek, sinyal seperti indikator teknikal dan berita tercermin lebih kuat, sedangkan untuk jangka menengah dan panjang, perbaikan fundamental lebih banyak tercermin.
Saya sempat melihat-lihat layanannya. Terlihat ada usaha yang dicurahkan saat membuatnya, tetapi karena Anda bilang siap menerima kritik keras, saya akan menulis dengan jujur.
Premis bahwa kesepakatan dari 4 model meningkatkan tingkat kepercayaan itu sendiri terlihat berisiko. GPT, Gemini, Claude, dan DeepSeek pada akhirnya adalah model yang dilatih dengan data internet yang mirip, jadi ketika melihat saham yang sama mereka akan mengatakan hal yang mirip. Tercapai kesepakatan = bukan berarti tingkat kepercayaan jadi empat kali lipat, melainkan kemungkinan bias yang sama terulang empat kali justru lebih besar. Efek ensemble muncul ketika model-modelnya saling independen, tetapi di antara LLM serbaguna hal itu tidak terjamin.
Terima kasih atas masukannya! Seperti yang Anda katakan, hanya karena ada 4 model bukan berarti tingkat kepercayaannya menjadi 4 kali lipat. Namun, akan bagus jika dilihat sebagai sejauh mana mereka bisa saling menangkap kesalahan satu sama lain. Yang menarik, bahkan ketika diberi prompt dan data yang sama, cara analisis serta sudut pandang tiap model ternyata sangat berbeda. Untuk 4 persona itu juga, kami banyak melakukan pengujian dengan menganalisis aspek tersebut agar tidak dipaksakan masuk secara artifisial. Memang masih banyak kekurangan, tetapi kami akan terus mengembangkannya agar menjadi layanan yang lebih dapat diandalkan! Terima kasih banyak sudah melihat-lihat layanan kami dan juga memberikan masukan.
Terima kasih atas balasannya! Untuk menambahkan sedikit soal bagian "saling menangkap kesalahan", meski model-model itu punya sudut pandang permukaan yang berbeda, karena dilatih pada periode yang sama dan korpus yang sama, mereka cenderung membuat jenis kesalahan yang mirip secara bersamaan. Dalam kasus seperti itu, meskipun tercapai konsensus lewat suara mayoritas, kesalahan tersebut bukan tersaring, melainkan justru bisa makin diperkuat.
Kalau memungkinkan, saya sarankan untuk mengukurnya sekali. Jika pada data backtest Anda membandingkan distribusi imbal hasil setelah kejadian ketika opini 4 model (a) selaras dan (b) berbeda, lalu hasil (a) secara signifikan lebih baik daripada (b), itu akan menjadi bukti bahwa efek suara mayoritas memang ada. Sebaliknya, jika tidak ada perbedaan atau justru (b) lebih baik, itu bisa menjadi sinyal bahwa itu lebih dekat ke noise yang telah mencapai konsensus. Karena ini hipotesis yang bisa langsung diuji dengan data yang sudah Anda bangun, sepertinya akan menarik kalau dicoba dilihat!
Terima kasih atas usul yang bagus. Memang, meskipun semua model merekomendasikannya, belum tentu itu saham dengan tingkat keuntungan yang tinggi. Saya sempat mengaitkan bagian ini dengan karakteristik saham bahwa semakin tinggi risikonya, semakin tinggi pula tingkat keuntungannya, tetapi ini usulan yang menarik, terima kasih :)
Oh.. begitu dengar katanya harus all-in, jari jadi gatal pengin klik beli~
Akan saya coba pakai dengan baik hehe
Ya, terima kasih haha