Pelajaran Pahit bagi Pendiri AI (Bitter Lesson)

• Ringkasan empat tulisan pendiri startup AI Safety Andon Labs (YC w24), Lukas Petersson, menjadi satu
  • Secara historis, di bidang AI, pendekatan umum selalu menang
  • Para pendiri di bidang aplikasi AI saat ini sedang mengulangi kesalahan yang dulu dilakukan para peneliti AI
  • Model AI yang lebih baik akan memungkinkan aplikasi AI serbaguna, sekaligus menurunkan nilai tambah perangkat lunak yang terkait dengan model AI
• Bab 1: Sejarah berulang
• Bab 2: Tidak ada keunggulan kompetitif
• Bab 3: Jejak sejarah
• Bab 4: Anda adalah penyihir

---

Bab 1: Sejarah Berulang (History Repeats Itself)

tl;dr:

• Kemajuan AI terbaru memungkinkan lahirnya produk baru yang menyelesaikan beragam masalah
• Namun, sebagian besar produk bekerja dalam batas kemampuan model saat ini dan tidak memanfaatkan fleksibilitas yang merupakan kekuatan sejati AI
• Sejarah AI berulang kali menunjukkan bahwa pendekatan umum selalu menang. Richard Sutton menekankan hal ini dalam "The Bitter Lesson"
• Para pendiri AI masa kini cenderung mengulangi kesalahan yang pernah dialami para peneliti AI di masa lalu

Ringkasan esai Richard Sutton: The Bitter Lesson. (terjemahan Korea)

• Esai ini menyampaikan pelajaran berikut:
  • Peneliti AI mencoba mengintegrasikan pengetahuan ke dalam agen
  • Hal ini efektif dan memuaskan dalam jangka pendek
  • Dalam jangka panjang, kemajuan menjadi mandek dan bahkan terhambat
  • Pada akhirnya, terobosan datang melalui perluasan komputasi yang didasarkan pada pendekatan yang justru berlawanan
• Ia memperingatkan bahwa pola ini telah berulang kali diamati dalam riset AI, dan hingga kini pun belum berakhir

Produk AI dan The Bitter Lesson

• Produk AI umumnya terdiri dari model AI dan perangkat lunak di sekitarnya
• Ada dua cara untuk meningkatkan performa:
  1. Pekerjaan engineering untuk mengurangi kesalahan dengan membatasi perangkat lunak
  2. Menunggu sampai model yang lebih baik dirilis
• Semakin berkembang model, semakin berkurang nilai pekerjaan engineering
• Penurunan nilai prompt engineering setelah OpenAI merilis model baru menunjukkan hal ini

Jenis batasan dan produk AI

• Faktor pembatas dalam produk AI dapat dibagi menjadi dua:
  • Spesifisitas: perangkat lunak yang berfokus pada masalah tertentu (solusi vertikal)
  • Otonomi: kemampuan AI untuk menjalankan tugas sendiri
• Berdasarkan ini, produk AI dapat diklasifikasikan menurut spesifisitas (Vertical vs. Horizontal) dan otonomi (Workflow vs. Agent)
  • Vertical Workflow
    • Sistem yang bekerja dalam urutan tetap untuk menyelesaikan masalah tertentu
    • Harvey adalah contoh representatif, yaitu sistem workflow yang dirancang untuk menangani masalah di domain sempit seperti tugas hukum tertentu
  • Vertical Agent
    • Sistem yang beroperasi secara otonom dalam area tugas tertentu dan mengambil keputusan sendiri selama proses kerja
    • Devin adalah contoh representatif, yang menjalankan tugas berulang menggunakan alat dan data terbatas serta menyesuaikan langkah kerja sesuai kebutuhan
  • Horizontal Workflow
    • Sistem workflow umum yang dapat menyelesaikan berbagai masalah
    • ChatGPT adalah contoh representatif, yang merespons beragam jenis input mengikuti prosedur yang telah ditentukan, tetapi tidak memiliki otonomi penuh
  • Horizontal Agent
    • Sistem yang sepenuhnya otonom dan dapat menangani berbagai masalah
    • Claude computer-use adalah contoh representatif, yang menggunakan perangkat lunak standar perusahaan untuk menjalankan tugas sesuai instruksi pengguna dan memecahkan masalah dengan cara yang mirip manusia

Kaitan Vertical Workflow dan The Bitter Lesson

• Sebagian besar produk yang dipresentasikan pada Demo Day termasuk dalam bentuk Vertical Workflow
  • Reliabilitas model saat ini belum cukup tinggi sehingga pendekatan lain sulit diterapkan
  • Bahkan untuk masalah kompleks, ada kecenderungan membatasinya menjadi Vertical Workflow demi mencapai performa yang dapat diterima
• Solusi seperti ini bisa ditingkatkan melalui pekerjaan engineering, tetapi ada batasnya
  • Untuk masalah yang tidak dapat diselesaikan dengan model saat ini, strategi yang lebih baik adalah menunggu model yang lebih maju
  • Pengamatan Leopold Aschenbrenner: waktu menunggu model yang lebih baik kemungkinan lebih singkat daripada pekerjaan engineering

Hubungan The Bitter Lesson dan produk AI saat ini

• Para peneliti AI merekayasa solusi berbasis pengetahuan untuk mencapai "performa yang dapat diterima", tetapi pada akhirnya solusi umum yang memanfaatkan lebih banyak sumber daya komputasi melampauinya
• Cara pengembangan produk AI saat ini mirip dengan pola tersebut

Empat pengamatan dalam Bitter Lesson dan penerapan jenis batasan

Empat pengamatan utama yang disebutkan dalam Bitter Lesson juga tercermin jelas dalam batasan otonomi dan spesifisitas pada produk AI.
Penjelasannya untuk masing-masing batasan adalah sebagai berikut:

1. Pengamatan pertama: peneliti AI mencoba mengintegrasikan pengetahuan ke dalam agen

• Batasan otonomi:
  • Pengembang bereksperimen dengan agen otonom, tetapi reliabilitasnya rendah
  • Sebagai gantinya, mereka melakukan hardcode langkah kerja dalam bentuk workflow agar mengikuti prosedur yang sama seperti cara mereka sendiri menyelesaikan masalah
• Batasan spesifisitas:
  • Pengembang ingin membuat sistem analisis dokumen umum, tetapi mengalami kesulitan karena masalah reliabilitas
  • Sebagai gantinya, mereka fokus pada jenis dokumen tertentu seperti laporan keuangan, lalu melakukan hardcode metrik dan aturan verifikasi yang spesifik

2. Pengamatan kedua: ini efektif dalam jangka pendek dan memberi kepuasan bagi peneliti

• Batasan otonomi:
  • Melakukan hardcode workflow meningkatkan stabilitas
• Batasan spesifisitas:
  • Mengkhususkan sistem agar hanya menangani dokumen dan metrik dalam cakupan sempit meningkatkan akurasi

3. Pengamatan ketiga: dalam jangka panjang, kemajuan menjadi mandek dan bahkan terhambat

• Batasan otonomi:
  • Workflow yang di-hardcode tidak dapat menangani situasi baru sehingga menghasilkan keluaran yang tidak akurat
• Batasan spesifisitas:
  • Sistem yang hanya bisa menangani masalah tertentu tidak dapat memproses tugas terkait seperti dokumen gabungan atau analisis earnings call
  • Setiap tugas akhirnya memerlukan sistem khusus yang terpisah

4. Pengamatan keempat: terobosan datang berdasarkan perluasan sumber daya komputasi

• Batasan otonomi:

  • Model baru dapat menemukan pendekatan yang sesuai secara dinamis, memperbaiki kesalahan bila perlu, dan memungkinkan agen otonom yang andal

• Batasan spesifisitas:

  • Model baru dapat memahami seluruh dokumen bisnis secara menyeluruh dan mengekstrak informasi yang relevan, sehingga sistem khusus tidak lagi diperlukan

• Untuk masalah yang membutuhkan otonomi, produk yang lebih otonom menunjukkan performa yang lebih baik

• Saat menangani ruang input yang kompleks dan luas, produk yang kurang terspesialisasi memberikan hasil yang lebih baik

Penutup: startup AI dan The Bitter Lesson

• Tulisan ini adalah bagian pertama dari seri empat bagian yang mengeksplorasi peran startup dalam AI, dengan menyoroti pola historis bahwa model AI yang memanfaatkan pengetahuan domain terus digantikan oleh model yang memanfaatkan sumber daya komputasi
• Produk AI saat ini terlihat sangat mirip dengan pola tersebut
• Mengembangkan perangkat lunak untuk menutupi keterbatasan model saat ini adalah strategi yang berpeluang besar gagal, terutama ketika model berkembang cepat
• Catatan partner YC, Jarred: aplikasi LLM vertical workflow generasi awal akan digantikan oleh model GPT generasi berikutnya
• Saran Sam Altman: penting membangun startup yang tidak takut pada rilis model yang lebih baik, melainkan dapat menantikannya
• Banyak pendiri di layer aplikasi AI merasa bersemangat menantikan rilis model baru, tetapi ini bisa menjadi sinyal berbahaya
  • Jika model yang lebih baik dirilis, besar kemungkinan keunggulan kompetitif saat ini akan berkurang
  • Risiko ini makin jelas terutama dari sudut pandang performa produk yang mampu menyelesaikan masalah lebih sulit dengan lebih efektif
• Tulisan berikutnya akan mengeksplorasi dimensi lain, yaitu adopsi pasar, dan membahas bahwa performa yang lebih baik tidak selalu menjamin keberhasilan di pasar

---

Bab 2: Tidak Ada Keunggulan Kompetitif (No Powers)

tl;dr:

• Dalam sejarah AI, pendekatan yang mencoba melengkapi keterbatasan model dengan pengetahuan domain pada akhirnya sering kalah oleh pendekatan yang memilih generalisasi dengan memanfaatkan sumber daya komputasi
• AI vertikal (vertical AI) lebih dulu masuk ke pasar dengan cara meningkatkan akurasi melalui alur kerja (workflow) spesifik yang telah ditentukan sebelumnya untuk menutupi keterbatasan model saat ini
• AI horizontal (horizontal AI) memanfaatkan model serbaguna seperti ChatGPT dan terus berkembang, sehingga setiap kali model membaik, performanya berpotensi menjadi lebih unggul di berbagai bidang
• Dalam jangka panjang, AI horizontal kemungkinan akan unggul karena memiliki performa dan fleksibilitas yang lebih tinggi dibanding AI vertikal yang dibatasi oleh berbagai kendala

Tingkat kesulitan masalah dan kurva performa

• Figure 1 adalah contoh sederhana bahwa AI vertikal lebih dulu masuk ke pasar, tetapi AI horizontal dengan model yang telah ditingkatkan pada akhirnya melampaui performanya
• Untuk masalah dengan tingkat kesulitan tinggi (Figure 2), AI vertikal bahkan tidak dapat mencapai performa yang memadai, dan baru dapat diselesaikan ketika AI horizontal sudah cukup berkembang
• Masalah yang saat ini bisa diterapkan dengan AI vertikal relatif merupakan ‘masalah berkesulitan rendah’; dalam kategori ini AI vertikal bisa menikmati efek pemain pertama, tetapi daya saing jangka panjangnya belum pasti

Konsep ‘kolaborator jarak jauh’ yang ditawarkan AI horizontal

• Ke depan, AI horizontal berpotensi berkembang menjadi bentuk yang, seperti pekerja jarak jauh, diberi komputer dan akun lalu dapat mencari serta menggunakan data yang dibutuhkan sendiri
• UI seperti ChatGPT yang sudah akrab bagi banyak pengguna dapat diperkuat secara bertahap, sehingga tercipta kondisi yang memungkinkan adopsi cepat di perusahaan
• Karena AI horizontal langsung menyerap beragam kemampuan setiap kali model membaik, lebih mudah baginya mempertahankan keunggulan kompetitif dibanding AI vertikal

Kasus terdahulu: pengalaman dengan AcademicGPT

• Pada era GPT-3.5, AcademicGPT diluncurkan untuk mengatasi keterbatasan input panjang, tetapi ketika GPT-4 mulai menyediakan input panjang secara bawaan, solusi yang ada dengan cepat tersingkir
• Seperti kata partner YC Jared, ‘aplikasi LLM generasi pertama sebagian besar tersingkir oleh model generasi berikutnya’
• AI vertikal yang menyediakan banyak fungsi sekaligus juga berisiko mengalami proses yang sama ketika performa model berkembang

Analisis 7 Powers dari Helmer

• Bagian ini menelaah apakah AI vertikal dapat bersaing dengan AI horizontal melalui 7 sumber keunggulan kompetitif dari Hamilton Helmer (Switching Costs, Counter-Positioning, Scale Economies, Network Economies, Brand Power, Process Power, Cornered Resource)

• Switching Cost (biaya perpindahan)

  • Walaupun pengguna sudah terbiasa dengan UI atau workflow dari solusi AI vertikal tertentu, AI horizontal dapat diterapkan cukup dengan proses onboarding sederhana, seperti merekrut karyawan baru
  • Karena semakin banyak perusahaan yang sudah mengadopsi solusi AI horizontal seperti ChatGPT, kemungkinan proses perpindahannya tidak akan terlalu sulit
  • Dari sisi harga juga, AI horizontal diperkirakan dapat menghemat biaya karena mampu mengintegrasikan beberapa solusi vertikal sekaligus

• Counter Positioning (reposisi balik)

  • AI vertikal dapat memberikan nilai yang disesuaikan melalui solusi yang khusus untuk pasar tertentu, tetapi seiring model terus membaik, AI horizontal kemungkinan akan menunjukkan performa yang lebih baik secara keseluruhan
  • Setiap kali mengadopsi model baru, AI vertikal menghadapi dilema: kehilangan diferensiasi akibat ‘batasan’ yang ada, atau jika batasan itu dilepas, pada akhirnya menjadi mirip dengan model horizontal

• Scale Economy (ekonomi skala)

  • Seperti SaaS, AI vertikal juga dapat menurunkan biaya seiring skala, tetapi AI horizontal pun memiliki keunggulan karena bisa menyebarkan biaya dengan menggabungkan banyak bidang
  • Penghematan biaya dapat dipercepat dengan menerapkan model horizontal yang dikembangkan melalui investasi R&D skala besar ke berbagai penggunaan

• Network Economy (efek jaringan)

  • Baik AI vertikal maupun AI horizontal sama-sama bisa berkembang berdasarkan data pengguna, tetapi AI horizontal memiliki keunggulan besar karena dapat memperoleh umpan balik dari kelompok pengguna yang jauh lebih luas untuk meningkatkan performa model secara keseluruhan
  • Karena model meningkat secara menyeluruh dengan memanfaatkan data yang terakumulasi dari berbagai bidang, perkembangannya bisa melaju pada kecepatan yang sulit ditandingi AI vertikal

• Brand Power (kekuatan merek)

  • Kekuatan merek adalah keunggulan yang sulit diperoleh pada tahap startup kecil
  • Perusahaan dengan pengaruh merek besar seperti OpenAI atau Google adalah pengecualian, tetapi sebagian besar startup AI vertikal sulit menjadikan kekuatan merek sebagai senjata utama

• Process Power (kekuatan proses)

  • Kekuatan proses juga merupakan keunggulan yang diperoleh perusahaan besar melalui sistem operasional yang disempurnakan dalam waktu lama
  • Pada tahap startup awal, ini hampir tidak termasuk kategori yang relevan

• Cornered Resource (sumber daya eksklusif)

  • Sumber daya eksklusif hanya menjadi keunggulan kompetitif besar ketika data atau sumber daya tertentu dimiliki oleh satu perusahaan saja, dan sumber daya itu benar-benar diperlukan di bidang tersebut
  • Banyak startup AI mengklaim memiliki ‘data eksklusif’, tetapi dalam praktiknya data tersebut sering kali tidak sepenuhnya eksklusif, atau model tetap dapat belajar dengan cukup baik tanpa data itu
  • Sebagai pengecualian, perusahaan yang benar-benar mengamankan sumber daya eksklusif berpeluang mempertahankan daya saing meski AI horizontal terus berkembang

Penutup

• Pada akhirnya, bahkan dalam skenario ketika AI vertikal menikmati efek pemain pertama, kebanyakan AI vertikal akan sulit bertahan jika AI horizontal mencapai performa yang lebih tinggi
• Dari 7 Powers milik Helmer, hanya kasus yang benar-benar memiliki ‘Cornered Resource’ yang memungkinkan AI vertikal memperoleh momentum jangka panjang
• Seperti kasus AcademicGPT yang cepat runtuh setelah peluncuran GPT-4, AI vertikal yang diperkuat dengan banyak fungsi pun pada akhirnya dapat menghadapi alur serupa ketika model membaik
• Pada bab berikutnya (Bab 3), akan dibahas secara lebih konkret kapan dan bagaimana AI horizontal berbentuk ‘kolaborator jarak jauh’ akan menjadi kenyataan, serta hambatan teknis, regulasi, kepercayaan, dan ekonomi yang menghalanginya

---

Bab 3: Jejak dalam Sejarah (A Footnote in History)

• CEO Anthropic merilis wawancara yang menjelaskan konsep "kolaborator virtual (virtual collaborator)"
• Ini mirip dengan konsep yang oleh penulis disebut sebagai "produk AI horizontal (horizontal AI product)" dalam seri ini
• OpenAI diperkirakan akan segera mengumumkan "Operator", dan menurut benchmark yang bocor, performanya jauh melampaui Claude (pada benchmark OSWorld, Claude 22%, Operator 38%)
• Peningkatan performa ini masih berada dalam kisaran yang telah diperkirakan, dan penulis mempertahankan prediksi yang sama seperti 3 bulan lalu
• Pada bab sebelumnya dijelaskan mengapa aplikasi AI vertikal sulit mempertahankan daya saing
  • Selisih performa dengan solusi AI umum semakin menyempit
  • Jika produk AI horizontal menjadi kompetitif, hampir tidak ada cara bagi produk AI vertikal untuk bertahan
• Pertanyaan penting: "Kapan transisi dari AI vertikal ke AI horizontal akan terjadi?"
  • Jika itu 10 tahun lagi, mungkin masih masuk akal untuk membangun AI vertikal sekarang
  • Tetapi jika perubahan datang dalam 1–2 tahun, strategi yang dibutuhkan akan sepenuhnya berbeda
• Peralihan dari AI vertikal ke AI horizontal tidak akan terjadi di semua industri secara bersamaan
• Namun, karena pasar yang saat ini menjadi fokus sebagian besar startup AI adalah bidang yang relatif sederhana, perubahan diperkirakan akan terjadi pada waktu yang mirip di industri-industri utama
• Hingga 2027, diperkirakan produk AI vertikal akan sulit bertahan di sebagian besar industri
• "Adoption" berarti produk apa yang dipilih pengguna ketika mereka menyelesaikan masalah baru atau mengubah cara menyelesaikan masalah yang sudah ada
• Faktor berikut tidak dipertimbangkan
  • Pangsa pasar: dapat dipengaruhi oleh kontrak yang sudah ada dan faktor lain
  • Ukuran absolut: pasar akan meluas karena AI membuka kasus penggunaan baru, tetapi analisis ini hanya mempertimbangkan perubahan relatif
  • Nilai potensial: yang dinilai adalah solusi apa yang dipilih orang saat ini, tanpa memasukkan kemungkinan perbaikan di masa depan
• Sebagai contoh, jika arus berpindah dari A ke B, artinya dulu A lebih disukai, tetapi sekarang B dianggap sebagai pilihan yang lebih baik

Konsep AI vertikal/horizontal dan workflow/agent

• "AI vertikal (vertical)" dan "AI horizontal (horizontal)" mengacu pada jenis produk AI yang berbeda
• "Workflow" dan "agent" juga merupakan konsep untuk mengklasifikasikan produk AI
• Dalam dokumen ini, konsep workflow dan agent dijelaskan sebagai satu kesatuan dalam kategori produk AI horizontal
  • Kemungkinan besar perusahaan yang sama akan mengembangkan produk yang mencakup kedua fungsi tersebut
  • Sebagai contoh, ChatGPT dapat menambahkan fungsi agent sambil tetap mempertahankan fondasi workflow yang sudah ada

Masa lalu

• (1) Periode pra-ChatGPT adalah situasi ketika perangkat lunak tradisional mendominasi pasar
• (2) Dengan peluncuran ChatGPT, produk AI horizontal pertama yang benar-benar bermakna pun muncul
• (3) Setelah hadirnya API GPT-3.5, untuk pertama kalinya berbagai produk vertikal yang dikhususkan untuk AI mulai diluncurkan

Tahun ini

• (4) Pada 2025, performa model diperkirakan akan cukup stabil untuk digunakan sebagai agent yang praktis
  • Hingga kini, agent kebanyakan hanya digunakan untuk proyek riset atau uji coba terbatas, tetapi ke depan diperkirakan akan mulai diadopsi secara serius
  • Produk workflow vertikal yang ada saat ini juga berpotensi beralih ke bentuk agent AI
• (5) Meski agent muncul, workflow vertikal diperkirakan tetap mempertahankan posisi dominan hingga 2025
  • Ini dipengaruhi oleh kebiasaan pengguna yang enggan mengganti tool yang sudah dipakai, serta inersia para pengembang yang ingin terus memanfaatkan aset engineering yang telah dibangun
• (6) Produk AI horizontal utama seperti ChatGPT, Claude, dan Gemini diperkirakan akan memperluas fungsinya dan mencakup lebih banyak bidang vertikal
  • Fungsi-fungsi khusus yang sebelumnya dimiliki produk AI vertikal bisa dengan cepat terserap ke dalam produk AI horizontal
  • ChatGPT sendiri sudah mulai terintegrasi dengan aplikasi desktop

Masa depan dekat

• (7) Kesenjangan kemampuan antara agent AI horizontal dan pekerja manusia diperkirakan akan makin menyempit
  • Meski belum mencapai tingkat pakar, performanya diperkirakan cukup untuk mengotomatiskan banyak pekerjaan kantor umum
  • Akibatnya, alasan keberadaan solusi AI vertikal bisa berkurang
  • Contoh konkret:
    • Pengguna individu mungkin akan menyerahkan tugas kompleks seperti pelaporan pajak atau persiapan kerja kepada agent horizontal
    • Perusahaan mungkin akan menggantikan atau memangkas sebagian besar tenaga kerja level junior
    • Bisa muncul kasus di mana satu orang saja menciptakan nilai setara unicorn
• (8) Perangkat lunak tradisional diperkirakan akan tetap bernilai sebagai antarmuka yang dapat dimanfaatkan oleh agent
  • Kemungkinan akan lebih efisien dari sisi biaya bagi agent untuk memanfaatkan perangkat lunak yang sudah ada daripada membangun ulang semua perangkat lunak secara langsung
  • Analisisnya, perangkat lunak yang bersifat umum dan horizontal memiliki peluang lebih besar untuk bertahan
• (9) Produk AI vertikal yang bertahan kemungkinan hanya segelintir yang mengamankan sumber daya defensif yang disebut di bab 2, seperti data eksklusif dan paten
  • Mereka juga mungkin dapat menjual sumber daya tersebut dengan valuasi tinggi

2024 - apakah perkembangan sempat mandek?

• Klaim bahwa model AI mengalami stagnasi pada 2024 dinilai kurang meyakinkan
  • Bahkan sebelum peluncuran o3, performa model terus meningkat secara konsisten di berbagai bidang seperti GPT-4, Claude, dan model Open Weight
  • Skor benchmark seperti ARC-AGI dan GPQA Diamond juga menunjukkan peningkatan yang sangat tajam
• Anthropic berkembang cepat dari Claude 2 ke Claude 3, lalu ke Claude 3.5 Sonnet, dan muncul dugaan bahwa upgrade yang belum dipublikasikan juga telah digunakan secara internal
• Karena itu, pandangan bahwa 2024 adalah tahun ketika peningkatan model AI berhenti dinilai tidak memiliki dasar yang kuat

Hambatan potensial

• Model Stagnation: meski pada 2024 tidak ada stagnasi, tetap ada kekhawatiran bahwa perkembangan model bisa melambat atau berhenti setelah 2025

  • Ilya Sutskever di NeurIPS menyinggung batasan pendekatan pre-training tradisional, tetapi pada saat yang sama juga mengusulkan adanya jalur lain seperti Test-time compute
  • Lembaga riset AI utama dan perusahaan besar masih terus berinvestasi agresif pada sumber daya komputasi skala besar

• Regulation: jika regulasi tak terduga muncul, perkembangan AI bisa menghadapi pembatasan

• Trust Barriers: ada kekhawatiran pengguna terkait stabilitas dan keandalan agent

  • Dengan merujuk pada contoh historis bahwa ketakutan terhadap otomatisasi lift akhirnya hilang, ada perkiraan bahwa hambatan ini juga akan teratasi seiring waktu

• AI Labs Hesitate: Anthropic, OpenAI, dan pihak lain mungkin saja tetap membatasi sebagian interaksi pengguna meskipun kemampuan teknis sebenarnya sudah ada

• Expensive Inference: seperti pada kasus o3, inferensi berperforma tinggi bisa membutuhkan biaya yang sangat besar

  • Namun, biaya inferensi terus menurun seiring waktu, dan besar kemungkinan agent juga tidak akan menerapkan inferensi berperforma tinggi yang sama pada semua tugas

• Jika semua faktor di atas dipertimbangkan, memprediksi perkembangan teknologi tetap sulit, tetapi startup AI vertikal diperkirakan tidak punya banyak waktu tersisa

• Disajikan grafik nilai berbentuk U yang menunjukkan bahwa nilai dari fondasi engineering yang sudah ada dapat menghilang dengan cepat seiring makin canggihnya model AI

Catatan referensi

• Perluasan Test-time compute yang ditunjukkan pada o3 dijelaskan sebagai hasil yang sebenarnya sudah dapat diperkirakan dari riset-riset sebelumnya
• Seperti yang ditunjukkan dalam kasus AlphaZero, ada wawasan bahwa dalam lingkungan yang bisa diverifikasi, performa dapat dengan cepat mencapai tingkat supermanusia
• Ada analisis bahwa o3 sangat unggul di bidang seperti coding dan matematika, tetapi di bidang lain seperti penulisan kreatif tidak berbeda jauh dari o1
• Tersirat bahwa bagi para pendiri, arah yang lebih menguntungkan ke depan mungkin bukan membangun AI vertikal baru, melainkan menangani sumber daya lain yang lebih luas atau lebih eksklusif

---

Bab 4: Anda adalah penyihir (You’re a wizard Harry)

Pendiri seperti penyihir

• Memiliki kemampuan untuk menciptakan sesuatu dari ketiadaan
• Memulai perusahaan baru membutuhkan cara berpikir yang segar
• Perkataan Paul Graham (PG): "Ide tidak hanya harus benar, tetapi juga harus baru. Anda tidak boleh memulai sesuatu yang semua orang sudah setuju sebagai ide bagus."
• Banyak pendiri kehilangan kemampuan berpikir mandiri karena terpesona oleh pertumbuhan pendapatan rekan-rekan mereka yang mengesankan
• Ketika semua orang melakukan hal yang sama dan itu tampak berhasil, menjadi sulit untuk berpikir secara mandiri
• Penulis berusaha berpikir mandiri, dan berharap ide-ide ini terdengar buruk

Masa depan agent horizontal dan persaingan

• Agent horizontal yang akan mendominasi lapisan aplikasi AI diperkirakan akan dikembangkan oleh lab riset AI
• Perbedaan performa model mungkin menghasilkan satu pemenang tunggal, tetapi persaingan sengit antara Anthropic, OpenAI, GDM, dan xAI dinilai lebih mungkin terjadi
• Ini akan memicu persaingan harga yang menguntungkan pengguna akhir dalam jangka pendek
• Sekalipun lab AI tidak banyak menangkap nilai ekonomi dalam jangka pendek, mereka tetap diperkirakan akan menempati posisi yang sangat kuat
• Karena itu, masuk akal bagi para pendiri untuk memikirkan startup mereka dalam konteks hubungan dengan lab-lab tersebut

Pendekatan sebagai pelanggan

• Seperti dibahas di bab 2, membangun produk AI vertikal yang menggunakan API LLM memang memungkinkan, tetapi itu hanya bisa dilakukan bila ada akses eksklusif ke sumber daya penting
• Untuk membangun produk AI vertikal, upaya yang sangat besar harus dicurahkan untuk menemukan sumber daya semacam itu

Pendekatan sebagai pesaing

• Jika agen horizontal adalah masa depan, mengapa tidak membangunnya? Meninjau tiga pendekatan
• Merebut pasar lebih dulu
  • Lab AI hanya akan benar-benar bersaing dengan workflow vertikal ketika model sudah cukup andal sehingga agen horizontal bisa dibuat dengan upaya engineering yang minimal
  • Dengan menerapkan upaya engineering pada model sebelumnya, secara teori dimungkinkan untuk masuk pasar lebih dulu daripada lab, tetapi hal ini tidak pasti
  • Leopold Aschenbrenner berpendapat upaya ini bisa memakan waktu lebih lama daripada membangun model berikutnya: "Bisa jadi perlu waktu sampai pekerja jarak jauh mampu mengotomatisasi banyak tugas, dan selama itu model menengah mungkin masih belum sepenuhnya dimanfaatkan dan diintegrasikan"
  • Siapa pun yang masuk pasar lebih dulu, keunggulan ini diperkirakan tidak akan bertahan lama
• Wrapper API agen
  • Teman sekamar penulis bertanya, "Apakah di dunia ini tidak ada orang yang punya kemampuan UI?"
  • Ini menyiratkan dua masalah: 1) margin tidak berkelanjutan karena biaya API, 2) lab tidak merilis model terbaik mereka (ChatGPT menggunakan model eksklusif untuk pencarian, penelusuran web, dan lainnya)
  • Saat ini tidak ada yang menggunakan GPT API untuk bersaing langsung dengan ChatGPT, dan pola ini diperkirakan akan terulang pada agen horizontal
• Model open source
  • Model open source dapat menyediakan jalur lain
  • Perplexity menunjukkan bahwa mungkin untuk bersaing dengan lab dalam produk horizontal
  • Namun, model open source tampil baik pada benchmark sederhana, tetapi kesulitan pada tugas agen yang kompleks
  • Llama-3.1-405b tertinggal cukup jauh dari model terdepan di MLE-bench
  • Di Andon Labs, mereka mengkhususkan diri pada jenis benchmark ini, dan itu sejalan dengan apa yang kami lihat
  • Deepseek V3 dan R1 dirilis dengan hasil yang sangat mengesankan, tetapi o3 juga demikian, dan Anthropic diketahui memiliki versi yang lebih baik secara internal
  • Model open source mungkin bisa mendekati level terdepan, tetapi diragukan akan mampu melampauinya
  • Namun, itu mungkin cukup untuk bersaing dalam permainan horizontal
  • Biaya inferensi tetap akan sangat tinggi

Pendekatan sebagai pemasok

• Jika lab AI benar-benar menjadi sekuat itu, menjadi pemasok bagi mereka adalah posisi yang sangat baik
• Mereka jelas akan membutuhkan banyak daya komputasi dan listrik
• Jika analisis Leo benar, mereka mungkin membutuhkan lebih banyak dari yang diperkirakan
• Peluang ini memerlukan keahlian industri, yang mungkin tidak alami bagi para pendiri yang saat ini berada di lapisan aplikasi AI
• Namun, ingatlah bahwa Anda adalah penyihir
• Lab juga membeli data dari pihak ketiga
• Scale AI membuktikan bahwa ini adalah bisnis yang sangat baik
• Namun, masih dipertanyakan apakah lab AI bisa membuat "self-play" benar-benar berfungsi
• AlphaZero dilatih tanpa data eksternal, dan ini dianggap sebagai cawan suci bagi model AI masa depan
• Jika mereka tidak bisa membuat self-play berhasil, alternatifnya adalah menggabungkan berbagai dataset pelatihan lanjutan
• Dalam dunia seperti itu, menjual data kemungkinan besar akan menjadi pilihan yang baik

Pendekatan sebagai kontributor ekosistem

• Hal terakhir yang layak dipertimbangkan dalam hubungan dengan lab AI adalah menjadi kontributor ekosistem
• Ini berarti membangun alat yang membantu agen horizontal, tetapi yang penting adalah alat itu harus terpisah dari agen itu sendiri
• Seperti ditunjukkan pada Bab 3, software tradisional akan tetap bertahan karena agen memerlukan antarmuka yang efisien
• Agen mungkin bisa menulis software mereka sendiri, tetapi biaya inferensi bisa membuatnya tidak praktis
• Namun, pemain ekosistem berisiko menjadi komoditas, dan sebagian besar nilai bisa ditangkap di tempat lain
• Ini akan bergantung pada seberapa tinggi biaya inferensi (inference cost) untuk menjalankan agen horizontal
  • Jika biaya inferensi rendah, akan lebih umum bagi agen untuk menghasilkan sendiri software yang mereka butuhkan

Jika agen horizontal AI datang terlambat?

• Timeline sangat penting
  • Jika agen horizontal baru kompetitif 10 tahun lagi, membangun workflow AI vertikal sekarang akan menjadi ide yang sangat bagus
  • Dalam waktu selama itu, sangat mungkin untuk membangun perusahaan yang besar dan kokoh
• Namun, mengingat laju kemajuan lab AI, 10 tahun terasa tidak realistis
  • Kalau begitu, bagaimana dengan 4 tahun lagi?
  • Empat tahun mungkin tidak cukup untuk membangun perusahaan besar, tetapi cukup untuk memberi peluang iterasi yang memadai
  • Memulai dari lapisan aplikasi AI mungkin juga menguntungkan untuk kemudian beralih menjadi vendor atau pemain ekosistem

Epilog: Apakah ini kesalahan YC (Y Combinator)?

• Sepintas, YC mungkin terlihat seperti membuat pilihan yang salah
  • Saat ini YC memusatkan sebagian besar investasinya pada produk AI vertikal
  • Namun, pasar ini kemungkinan besar akan segera menghilang
• Namun, penulis kurang memiliki keahlian tentang VC (venture capital), sehingga tidak bisa menarik kesimpulan pasti
  • Penulis hanya merasa bingung dan membagikan kegelisahan ini
• YC mengklaim mengambil strategi investasi yang relatif netral
  • Berinvestasi pada orang-orang cerdas, lalu berharap mereka menemukan ide terbaik
  • Ini adalah strategi yang bagus, dan ratusan pendiri mungkin bisa memprediksi masa depan lebih baik daripada 14 partner YC
• Namun, penulis khawatir sistem batch YC bisa mendorong pola pikir jangka pendek
  • Di YC, menetapkan target mingguan sangat penting, dan bergerak dalam kelompok besar bagus untuk motivasi
  • Tetapi jika keragaman ide tidak cukup, itu bisa mendorong pemikiran jangka pendek
  • Dengan membuat produk AI vertikal, Anda bisa cepat mencapai MRR $5.000
  • Namun, apakah ini benar-benar cara membangun bisnis yang berkelanjutan?
  • Jika penulis berada dalam batch YC saat ini, kemungkinan besar akan tergoda untuk membuat produk AI vertikal
  • Selain itu, podcast YC "The Light Cone" juga banyak membela produk AI vertikal

[zkdlfrlwl2]

Pembedaan dan penjelasan tentang Vertical AI vs Horizontal AI cukup menarik.