Perbedaan Deep Research, Deep Research, dan Deep Research

• Belakangan ini, lab AI mengumumkan berbagai fitur dengan menggunakan istilah 'Deep Research'
• Google merilis Gemini 1.5 Deep Research pada Desember 2024, OpenAI merilis Deep Research pada Februari 2025, dan Perplexity segera setelah itu memperkenalkan Deep Research versinya sendiri
• Selain itu, DeepSeek, Qwen milik Alibaba, dan xAI milik Elon Musk juga memperkenalkan fitur Search dan Deep Search ke asisten chatbot mereka
• Di GitHub, muncul puluhan implementasi open source 'Deep Research'
• Ini menunjukkan bahwa, mirip dengan Retrieval-Augmented Generation (RAG) pada 2025, istilah 'Deep Research' sedang digunakan tanpa definisi yang jelas

Deep Research, Deep Search, atau sekadar Search

Google : "Deep Research menggunakan AI untuk mengeksplorasi topik yang kompleks, memberikan laporan yang komprehensif dan mudah dibaca, serta menunjukkan bahwa Gemini semakin mahir menangani tugas-tugas kompleks untuk menghemat waktu." -
OpenAI : "Deep Research adalah agen generasi berikutnya dari OpenAI; ketika pengguna memberikan prompt, ChatGPT mencari, menganalisis, dan menyintesis ratusan sumber online untuk menghasilkan laporan komprehensif setingkat analis riset."
Perplexity : "Saat Anda mengajukan pertanyaan Deep Research, Perplexity melakukan puluhan pencarian, membaca ratusan sumber, menalar materi, dan secara otonom memberikan laporan yang komprehensif."

• Jika mengesampingkan istilah pemasaran, Deep Research dapat didefinisikan sebagai berikut

Sebuah sistem pembuatan laporan yang menerima kueri pengguna, menggunakan large language model (LLM) sebagai agen untuk mencari dan menganalisis informasi secara berulang, lalu menghasilkan laporan terperinci

• Dalam istilah natural language processing (NLP), ini dikenal sebagai 'report generation'

Metode implementasi

• Sejak kemunculan ChatGPT, pembuatan laporan atau 'Deep Research' telah menjadi fokus utama AI engineering
• Penulis telah bereksperimen dengan ini dalam sebuah hackathon pada awal 2023, saat AI engineering baru mulai bangkit
• Alat seperti LangChain, AutoGPT, GPT-Researcher, prompt engineering, serta banyak demo mendapat perhatian besar di Twitter dan LinkedIn
• Namun, tantangan sebenarnya ada pada detail implementasi
• Di bawah ini, dibahas pola umum untuk membangun sistem pembuatan laporan, menyoroti perbedaannya, dan mengklasifikasikan penawaran dari berbagai vendor

Non-learning: directed acyclic graph (DAG)

• Pada tahap awal, ditemukan bahwa tidak praktis meminta LLM seperti GPT-3.5 untuk menghasilkan laporan dari nol
• Sebagai gantinya, digunakan pola Composite untuk menghubungkan beberapa pemanggilan LLM
• Kueri pengguna dipecah untuk membuat kerangka laporan
• Untuk setiap bagian, informasi terkait dicari dari mesin pencari atau knowledge base lalu diringkas
• Terakhir, LLM digunakan untuk menggabungkan bagian-bagian tersebut menjadi laporan yang koheren
• GPT-Researcher adalah contohnya
  • Semua prompt dalam sistem ini disetel dengan cermat melalui 'prompt engineering'
  • Evaluasi bergantung pada pemeriksaan output yang subjektif, dan kualitas laporan tidak konsisten
  • Saat berhasil, hasilnya sangat baik, tetapi tidak selalu stabil

Non-learning: finite state machine (FSM)

• Untuk meningkatkan kualitas laporan, para engineer menambahkan kompleksitas pada pendekatan DAG
• Alih-alih proses satu lintasan, mereka memperkenalkan pola terstruktur seperti Reflexion dan self-reflection agar LLM meninjau dan memperbaiki outputnya sendiri
• Ini mengubah DAG sederhana menjadi finite state machine (FSM), dengan LLM sebagian memandu transisi status
  • Seperti pendekatan DAG, semua prompt tetap ditulis secara manual dan evaluasinya subjektif
  • Karena sistem disetel secara manual, kualitas laporan masih sangat bervariasi

Learning: end-to-end

• Kekurangan metode sebelumnya, yaitu prompt engineering yang serba acak dan tidak adanya metrik evaluasi yang dapat diukur, mendorong perubahan
• STORM dari Stanford menyelesaikan masalah ini dengan mengoptimalkan sistem secara end-to-end menggunakan DSPy
  • Hasilnya, STORM menghasilkan laporan dengan kualitas yang sebanding dengan artikel Wikipedia

Learning: large-scale reasoning model

• Seiring meningkatnya kemampuan penalaran LLM, large-scale reasoning model menjadi opsi yang menarik untuk Deep Research
• Misalnya, OpenAI melatih model Deep Research dengan cara berikut
  • Mengevaluasi output menggunakan LLM-as-a-judge dan rubrik evaluasi
• Asisten chat Gemini dari Google dan Perplexity juga menyediakan fitur 'Deep Research', tetapi mereka tidak memublikasikan dokumen tentang bagaimana model atau sistem mereka dioptimalkan maupun evaluasi kuantitatif yang substansial
• Namun, manajer produk Deep Research di Google menyebutkan dalam sebuah wawancara podcast, "Ada hak akses khusus. Modelnya hampir sama (Gemini 1.5). Tentu saja kami melakukan pekerjaan pelatihan lanjutan kami sendiri"
• Ini menunjukkan bahwa porsi fine-tuning tidak terlalu besar
• Sementara itu, Grok dari xAI unggul dalam pembuatan laporan, tetapi tampaknya tidak melakukan pencarian lebih dari dua iterasi
• Polanya adalah mencari beberapa kali untuk bagian kerangka, lalu beberapa kali untuk tiap bagian

Peta persaingan

• Sebuah peta konseptual dikembangkan untuk menilai kapabilitas berbagai layanan yang menyediakan fitur Deep Research
• Sumbu vertikal: kedalaman riset (jumlah siklus iteratif untuk mengumpulkan informasi tambahan berdasarkan hasil sebelumnya)
• Sumbu horizontal: tingkat learning (dari sistem yang disetel manual hingga sistem yang sepenuhnya dilatih dengan teknik machine learning)
• Contoh sistem learning yang representatif:
  • OpenAI Deep Research: sistem berbasis reinforcement learning yang dioptimalkan untuk tugas riset
  • DeepSeek: dilatih untuk penalaran umum dan penggunaan alat, serta dapat beradaptasi dengan kebutuhan riset
  • Google Gemini: LLM yang dilatih secara luas, tetapi tidak secara khusus untuk riset
  • Stanford STORM: sistem yang mengoptimalkan seluruh proses riset secara end-to-end
• Kerangka ini membantu memahami bagaimana tiap layanan menyeimbangkan kedalaman riset iteratif dan pendekatan learning

Kesimpulan

• Teknologi Deep Research berkembang sangat cepat, dan teknik yang beberapa bulan lalu tidak efektif atau belum diimplementasikan kini berhasil diterapkan
• Namun, penggunaan istilahnya yang ambigu justru menambah kebingungan
• Semoga tulisan ini membantu memperjelas perbedaan teknis dan mencegah orang terbawa oleh istilah pemasaran

[halfenif]

Seorang rekan bercanda, “AlphaGO memang mengalahkan Lee Sedol, tetapi Lee Sedol punya algoritme mobil otonom yang jauh lebih baik”

Namun Lee Sedol hanya satu orang dan tidak bisa diduplikasi

[GN⁺]

Opini Hacker News

• Pembedaan antara DeepSearch dan DeepResearch yang diajukan Han Xiao sangat menarik

  • DeepSearch adalah proses mengulang pencarian, membaca, dan penalaran sampai menemukan jawaban terbaik
  • DeepResearch menambahkan framework terstruktur ke DeepSearch untuk menghasilkan laporan riset yang panjang
  • Saya rasa DeepSearch adalah pola yang lebih bernilai dan lebih menarik
  • DeepResearch hanyalah efek kosmetik yang membungkus hasil sebagai sebuah "laporan", dan sangat mungkin menghasilkan hasil yang tidak akurat atau menyesatkan

• Seorang rekan bercanda, "AlphaGO mengalahkan Lee Sedol, tapi Lee Sedol punya algoritma kendaraan otonom yang jauh lebih baik"

  • Ini menekankan besarnya perbedaan antara sistem AI paling maju dan "kemampuan rata-rata" manusia biasa seiring waktu

• Ini tampaknya menangkap dengan baik perbedaan antara apa yang ditawarkan OpenAI dan perusahaan lain

  • Gemini 2.0 Flash dari Google juga memiliki integrasi native dengan Google Search
  • DR milik OpenAI cenderung melatih model untuk tugas tertentu
  • Mereka bergerak ke arah menyediakan model + pelatihan lanjutan RL sebagai produk
  • genspark MOA menghasilkan laporan mendalam untuk prompt yang diberikan

• AI makin beragam, dan kemungkinan akan muncul berbagai macam agen

• Katanya Grok unggul dalam pembuatan laporan, dan dengan meminta jawaban dalam format tabel, hasilnya jadi mudah dibandingkan

  • Amazon memilih produk yang akan dibandingkan, tetapi item perbandingannya kurang baik
  • Dengan Grok, kita bisa menambah atau menghapus kolom, dan mempersingkat respons

• DR adalah cara yang baik untuk mengumpulkan informasi dan melakukan riset nyata dari titik awal yang terfokus

  • Fakta bahwa LLM yang melakukannya tidak berarti ia menjadi lebih bijak
  • LLM tidak memahami topik secara lebih mendalam
  • Diperlukan kemampuan yang lebih dalam untuk integrasi dan penerapan informasi
  • Karena keterbatasan arsitektur transformer, pembelajaran real-time itu sulit

• Saat membandingkan OpenAI Deep Research dengan Deep Research milik Perplexity, ada perbedaan "sempit dan dalam" vs "dangkal dan luas"

  • OpenAI memilih sumber berkualitas tinggi dan menggali topik tertentu secara mendalam
  • Perplexity memakai banyak sumber untuk memberikan cakupan permukaan atas ruang masalah
  • OpenAI memerlukan waktu lebih lama

• Saya sudah mencoba berbagai workflow lewat Deep Search/Research

  • Ada pendekatan imperatif (memilih sumber secara langsung lalu membuat laporan) dan deklaratif (menggunakan algoritma DFS/BFS)
  • Saya terpesona oleh alur end-to-end dari sistem seperti STORM

• STORM mendapat penilaian tinggi, tetapi GPT Researcher tidak

  • GPT Researcher bisa dikonfigurasi sesuai berbagai anggaran

• Ini adalah platform pengorganisasian informasi terbesar di internet, tetapi orang belum menemukan kata lain untuk menjelaskan produknya