Peta Industri ML/AI/Data 2024 dan Tren Terbaru

 (mattturck.com)
35 poin oleh xguru 2024-04-08 | 1 komentar | Bagikan ke WhatsApp

Peta industri MAD (ML, AI, Data) 2024 yang dirangkum dalam satu gambar beserta penjelasan 24 tema tahun ini

[Part I : Landscape]

  • Pada versi pertama tahun 2012 hanya ada 139 perusahaan, tetapi dalam ekosistem MAD 2024 kini tercakup 2.011 perusahaan
  • Ini berarti ada 578 perusahaan baru yang ditambahkan dari 1.416 perusahaan tahun lalu
  • Alasan begitu banyak perusahaan tercakup adalah karena dalam sekitar 10 tahun terakhir terjadi dua gelombang besar kemajuan teknologi secara beruntun: teknologi infrastruktur data dan teknologi ML/AI
    • Gelombang pertama adalah sekitar 10 tahun perkembangan teknologi infrastruktur data yang dimulai dari big data dan berakhir pada modern data stack
    • Gelombang kedua adalah perkembangan teknologi ML/AI yang dimulai dari AI generatif (Generative AI)
  • Ekosistem MAD berfokus untuk menunjukkan seluruh siklus hidup data, mulai dari pengumpulan, penyimpanan, pemrosesan, analisis, hingga pemberian nilai melalui aplikasi

Perubahan utama di area infrastruktur dan analitik

  • Area infrastruktur data (sisi kiri ekosistem MAD) tidak mengalami banyak perubahan besar belakangan ini
    • "Database Abstraction" diubah menjadi "Multi-Model Databases & Abstractions" untuk mencerminkan kemunculan DB multi-model all-in-one seperti SurrealDB dan EdgeDB
    • Bagian "Crypto / Web 3 Analytics" yang dibuat secara eksperimental tahun lalu dihapus
    • Bagian "Query Engine" juga dihapus (perusahaan terkait tetap tercakup)

Perubahan utama di area machine learning dan kecerdasan buatan

  • Karena ledakan jumlah perusahaan AI pada 2023, area ini mengalami perubahan struktural paling besar
  • Tiga kategori baru ditambahkan di samping MLOps
    • "AI Observability": startup yang menguji, mengevaluasi, dan memantau aplikasi LLM
    • "AI Developer Platforms": platform pengembangan aplikasi AI yang mirip MLOps, tetapi berfokus pada pelatihan, deployment, dan inferensi LLM
    • "AI Safety & Security": perusahaan yang menangani kekhawatiran khas LLM (hallucination, etika, kepatuhan regulasi, dll.)
  • "Horizontal AI/AGI" dipisah menjadi dua kategori: "Commercial AI Research" dan "Nonprofit AI Research"
  • "GPU Cloud" diubah menjadi "GPU Cloud / ML Infra" untuk mencerminkan penambahan fungsi infrastruktur inti pada penyedia cloud GPU

Perubahan utama di area aplikasi

  • Semua perusahaan di lapisan aplikasi kini menyebut diri mereka sebagai "perusahaan AI"
  • Kategori "Presentation & Design" ditambahkan ke "Horizontal Applications"
  • "Search" diubah menjadi "Search / Conversational AI" untuk mencerminkan kemunculan antarmuka chatbot berbasis LLM seperti Perplexity
  • Di bagian "Industry", "Gov't & Intelligence" diubah menjadi "Aerospace, Defense & Gov't"

Perubahan utama di area infrastruktur open source

  • Dibuat satu kategori tunggal "Data Management" yang mencakup "Data Access" dan "Data Ops"
  • Ditambahkan kategori baru bernama "Local AI" yang menyediakan alat infrastruktur untuk membawa AI dan LLM ke lingkungan pengembangan lokal

[Part II: 24 tema tahun 2024]

1. Data terstruktur vs data tidak terstruktur

  • Data mencakup data terstruktur yang bisa dimasukkan ke dalam baris dan kolom, serta data tidak terstruktur seperti teks/gambar/audio/video
  • Data terstruktur diekstrak, disimpan, dan ditransformasikan untuk tujuan analitik, lalu divisualisasikan dengan alat BI atau digunakan dalam model ML/AI tradisional
  • Data tidak terstruktur terutama digunakan untuk melatih dan menggunakan (inferensi) model AI generatif seperti LLM
  • Saat ini data tidak terstruktur (ML/AI) mendapat sorotan, sementara data terstruktur (modern data stack, dll.) tidak

2. Apakah modern data stack sudah mati?

  • Modern data stack (MDS) menangani pipeline data terstruktur dan hingga belum lama ini merupakan konsep yang paling banyak diperhatikan di industri perangkat lunak
  • MDS berpusat pada cloud data warehouse, dengan Fivetran/Airbyte di hulu, DBT di tengah, serta Looker/Mode di hilir
  • Ketika Snowflake sukses IPO dalam skala terbesar sepanjang sejarah, minat terhadap MDS meledak, yang kemudian mendorong pendirian startup dan investasi VC yang terlalu panas
    • Berbagai kategori seperti data catalog, data observability, ETL, dan reverse ETL menjadi jenuh hanya dalam 1~2 tahun
  • MDS memang merupakan solusi untuk masalah nyata, tetapi sekaligus juga merupakan aliansi pemasaran antar berbagai startup dalam rantai nilai data
  • Namun saat ini MDS menghadapi tekanan karena ① harus menggabungkan berbagai solusi vendor sehingga mahal, dan ② tidak lagi mendapat sorotan karena tersisih oleh AI generatif

3. Konsolidasi di area infrastruktur data dan pertumbuhan perusahaan besar

  • Pada 2024, hal-hal berikut diperkirakan akan terjadi di industri infrastruktur data dan analitik:
    • Banyak startup terkait MDS akan mencoba mengubah positioning menjadi "startup infrastruktur AI"
      • Sebagian mungkin berhasil, tetapi kebanyakan akan membutuhkan evolusi produk yang mendasar untuk beralih dari data terstruktur ke data tidak terstruktur
    • Industri infrastruktur data akhirnya akan mengalami konsolidasi pada tingkat tertentu
      • Selama ini M&A terbatas, tetapi pada 2023 terjadi akuisisi skala kecil dan menengah seperti Stemma (diakuisisi Teradata), Manta (diakuisisi IBM), dan Mode (diakuisisi Thoughtspot)
    • Kasus kegagalan startup akan meningkat tajam
      • Pendanaan VC mengering dan situasi terus memburuk. Banyak startup sudah memangkas biaya besar-besaran, tetapi pada akhirnya akan menghadapi kehabisan kas. Sepertinya sulit mengharapkan headline yang mencolok
    • Perusahaan yang sudah punya skala akan semakin fokus menjadi platform
      • Ini akan dicapai lewat akuisisi, tetapi mereka juga akan berupaya mencakup lebih banyak fungsi lewat pengembangan internal

4. Kondisi Databricks vs Snowflake

  • Snowflake di industri data terstruktur masih merupakan perusahaan yang sangat kuat dan mendapat valuasi tertinggi di antara saham teknologi (PER 14,8x)
    • Namun seperti banyak perusahaan perangkat lunak lain, pertumbuhannya melambat tajam
      • Pendapatan tahun fiskal 2024 mencapai US$2,67 miliar, tumbuh 38% YoY, dan proyeksi pertumbuhan 12 bulan ke depan adalah 22%
    • Di atas segalanya, perusahaan ini memberi kesan sedang kesulitan dalam inovasi produk
      • Respons terhadap AI lambat dan juga kurang agresif dalam M&A
      • Pergantian CEO yang agak mendadak baru-baru ini juga merupakan sinyal yang menarik
  • Databricks di industri data tidak terstruktur secara keseluruhan menunjukkan momentum yang kuat
    • Pendapatan tahun fiskal 2024 dikabarkan mencapai US$1,6 miliar dengan pertumbuhan lebih dari 50% (perusahaan tertutup)
    • Databricks sedang muncul sebagai pemain utama dalam AI generatif
      • Perusahaan ini agresif dalam M&A dan pengembangan produk internal, termasuk mengakuisisi MosaicML senilai US$1,3 miliar
      • Databricks bukan hanya repositori utama untuk data tidak terstruktur yang dipasok ke LLM, tetapi juga mengembangkan sendiri berbagai model mulai dari Dolly hingga DBRX yang baru diumumkan
  • Variabel baru dalam persaingan kedua perusahaan ini adalah peluncuran Fabric oleh Microsoft
    • Fabric yang diumumkan pada Mei 2023 adalah platform SaaS analitik data berbasis cloud end-to-end
    • Platform ini mengintegrasikan data lake OneLake milik Microsoft, alat BI PowerBI, Synapse, dan lainnya untuk mencakup seluruh area mulai dari integrasi data, engineering, hingga data science
    • Meski mungkin ada jarak antara pengumuman dan produk aktual, bila digabungkan dengan investasi Microsoft di AI generatif, ini bisa menjadi ancaman yang kuat
    • Fakta bahwa Databricks terutama berjalan di atas cloud Azure milik Microsoft juga menarik

5. Kondisi BI pada 2024 dan apakah AI generatif mengubah analitik?

  • Di antara area MDS dan pipeline data terstruktur, BI adalah bidang yang paling mendesak untuk diciptakan ulang
    • Pada MAD 2019, sempat ditunjukkan bahwa konsolidasi industri BI hampir selesai, dan pada 2021 kemunculan metric store juga telah dibahas
  • Namun transformasi BI/analitik berjalan lebih lambat dari perkiraan
    • Produk lama seperti PowerBI, Tableau, dan Looker masih mendominasi pasar, dan sering kali bahkan diberikan gratis karena dibundel dalam kontrak penjualan yang lebih besar
    • Ada sejumlah konsolidasi tambahan (Thoughtspot mengakuisisi Mode, Snowflake mengakuisisi Sisu), dan ada juga perusahaan muda yang mencoba pendekatan inovatif seperti dbt (semantic layer/MetricFlow) dan Trace (metric tree), tetapi semuanya masih tahap awal
  • Sementara itu, AI generatif dapat berdampak besar bukan hanya pada ekstraksi/transformasi data, tetapi juga pada analisis itu sendiri
    • Ada banyak pergerakan aktif seperti Code Interpreter milik OpenAI (kini Advanced Data Analysis) dan chatbot keuangan untuk Excel dari MS
    • Cloud vendor, Databricks, Snowflake, kubu open source, dan banyak startup sedang mengembangkan atau telah meluncurkan produk "text to SQL" yang menjalankan kueri DB dengan bahasa alami
  • Ini menandakan perubahan yang menarik dan berpotensi disruptif
    • Demokratisasi analitik telah lama menjadi cita-cita, dan jika bahasa alami menjadi antarmuka untuk notebook/DB/alat BI, jauh lebih banyak orang akan dapat melakukan analisis
  • Namun, di dalam industri BI sendiri juga ada pandangan skeptis
    • Ada yang menilai bahwa presisi SQL dan pemahaman konteks bisnis di balik kueri akan menjadi hambatan bagi otomatisasi

6. Munculnya modern AI stack

  • Sebagian besar pembahasan sejauh ini berkaitan dengan pipeline data terstruktur
  • Infrastruktur data tak terstruktur menghadapi fase yang sangat berbeda dari infrastruktur data terstruktur. Permintaan terhadap data yang akan dipasok ke LLM sangat tinggi
    • Setiap perusahaan yang bereksperimen atau menerapkan AI generatif sedang menemukan kembali klise bahwa "data adalah minyak baru"
    • Semua orang menginginkan kekuatan LLM, tetapi menginginkan model yang dilatih dengan data mereka sendiri (data perusahaan)
  • Baik perusahaan besar maupun startup berlomba-lomba masuk untuk menyediakan infrastruktur bagi AI generatif
  • Sejumlah perusahaan AI scale-up berupaya menangkap momentum dengan mengembangkan produk mereka secara agresif
    • Databricks, Scale AI (infrastruktur pelabelan untuk mobil otonom yang berkembang menjadi pipeline data enterprise lewat kemitraan dengan OpenAI dan lainnya), Dataiku (meluncurkan LLM Mesh untuk multi-vendor/multi-model), dll.
  • Sementara itu, generasi baru startup infrastruktur AI bermunculan di berbagai area
    • Vector DB: menyimpan data dalam format yang dapat dikonsumsi model AI generatif (vector embedding). Vendor spesialis seperti Pinecone, Weaviate, Chroma, dan Qudrant tumbuh pesat, sementara perusahaan DB lama seperti MongoDB juga agresif menambahkan fitur vector search. Di sisi lain, ada perdebatan bahwa perluasan context window akan membuat vector DB menjadi tidak diperlukan
    • Framework: berperan menghubungkan dan mengoordinasikan berbagai elemen, seperti LlamaIndex dan Langchain
    • Guardrails: memastikan hasil antara LLM dan pengguna tetap mematuhi aturan organisasi
    • Evaluators: menguji/menganalisis/memantau performa model AI generatif. Ini dipandang sebagai masalah sulit karena ketidakpercayaan terhadap benchmark publik
    • Router: mendistribusikan kueri pengguna ke beberapa model secara real-time untuk mengoptimalkan performa/biaya/pengalaman
    • Manajemen biaya: memantau biaya penggunaan LLM
    • Endpoint: API yang mengabstraksikan kompleksitas infrastruktur dasar seperti model
  • Melihat preseden MDS, saya enggan menggunakan istilah "modern AI stack"
    • Namun ada banyak kemiripan: startup-startup ini "hot" seperti perusahaan MDS dulu, bergerombol, dan menjalin kemitraan pemasaran/produk
  • Generasi baru startup infrastruktur AI ini akan menghadapi tantangan yang mirip dengan perusahaan MDS
    • Apakah tiap kategori cukup besar untuk melahirkan perusahaan bernilai miliaran dolar?
    • Bagian mana yang pada akhirnya akan langsung dibuat sendiri oleh Big Tech (perusahaan cloud, Databricks, Snowflake, dll.)?

7. Siklus hype AI, kita sudah sampai di mana?

  • AI selama beberapa dekade telah berulang kali mengalami musim panas dan musim dingin AI. Bahkan hanya dalam 10-12 tahun terakhir saja, sudah ada tiga siklus hype
    • Putaran 1: 2013-2015, dimulai ketika deep learning mendapat sorotan setelah ImageNet 2012
    • Putaran 2: sekitar 2017-2018, ledakan chatbot dan kebangkitan TensorFlow
    • Putaran 3: sejak November 2022 hingga sekarang, AI generatif
  • Siklus hype kali ini terasa begitu intens sampai bisa terasa seperti bubble AI. Ini berasal dari sejumlah alasan
    • Teknologinya sendiri sangat mengesankan, dan mudah dipahami bahkan oleh masyarakat umum di luar ranah teknis
    • Bagi VC yang memegang banyak dry powder (dana belum digunakan), ini menjadi satu-satunya area investasi ketika semua sektor teknologi lain sedang lesu
  • Seperti biasa, hype membawa berbagai kelebihan ("tanpa antusiasme yang nyaris fanatik, tidak ada pencapaian besar", dana mengalir ke proyek-proyek ambisius ala "biarkan seratus bunga mekar") dan kekurangan (semua orang tiba-tiba menjadi pakar AI dalam semalam, semua startup menjadi perusahaan AI, konferensi/podcast/newsletter AI membanjir, dan market map AI bermunculan di mana-mana)
  • Namun masalah utama dari siklus hype adalah reaksi balik yang tak terelakkan
  • Fase saat ini mengandung banyak "keunikan aneh (quirkiness)" dan risiko
    • Struktur hukum/tata kelola yang tidak biasa dari perusahaan terdepan (OpenAI)
    • Maraknya transaksi "mendapat saham sebagai imbalan dukungan compute power" yang belum cukup dipahami atau diungkapkan (ada kemungkinan round-tripping)
    • Banyak startup menjanjikan dijalankan oleh peneliti AI
    • Pola transaksi VC yang mengingatkan pada era suku bunga nol ("perebutan lahan", ronde pendanaan raksasa, valuasi mencengangkan untuk perusahaan yang baru lahir)
  • Ada tanda-tanda retak pada hype AI (lihat di bawah), tetapi untuk saat ini kita masih berada dalam fase ketika hal baru setiap minggu terus membuat semua orang terkejut. Melihat kabar dana AI Saudi senilai $40B dan semacamnya, aliran modal tampaknya belum akan berhenti dalam waktu dekat

8. Eksperimen atau kenyataan? Apakah 2023 itu palsu?

  • Mengingat hype-nya, kita perlu meninjau seberapa banyak hal yang benar-benar substantif telah terjadi sejauh ini, atau apakah ini sekadar eksperimen belaka
  • 2023 adalah tahun yang sangat sibuk
    • Semua perusahaan teknologi bergegas memasukkan AI generatif ke produk mereka
    • Dewan direksi perusahaan Global 2000 semuanya memerintahkan adopsi AI, dan bahkan perusahaan di industri yang teregulasi seperti Morgan Stanley/Citibank pun bergerak dengan kecepatan rekor
    • Konsumen menunjukkan minat yang sangat besar pada aplikasi AI generatif
  • Hasilnya, OpenAI ($2B ARR), Anthropic (proyeksi pendapatan 2024 sebesar $850M), Midjourney (40 orang menghasilkan pendapatan $200M tanpa pendanaan), dan Perplexity (MAU 0→10 juta) mencatat kesuksesan besar
  • Namun, haruskah kita melihatnya secara sinis? Ada beberapa kekhawatiran
    • Belanja perusahaan sering kali berhenti di PoC atau pencapaian yang mencolok, dan dalam banyak kasus berasal dari anggaran inovasi
      • Apakah ini benar-benar untuk menyelesaikan masalah bisnis, atau hanya karena para eksekutif tidak ingin terlihat tertinggal?
    • Aplikasi konsumen memiliki tingkat churn yang tinggi. Apakah ini hanya rasa penasaran sesaat?
    • Banyak orang, baik secara pribadi maupun dalam pekerjaan, masih belum tahu bagaimana seharusnya memanfaatkan AI generatif
    • Bahkan produk yang dibuat oleh pakar AI terbaik pun tidak semuanya akan terasa seperti sihir
      • Bagaimana kita harus memandang kasus Inflection AI, yang mengumpulkan $1.3B tetapi tetap tutup dengan sia-sia? Apakah ini bukti bahwa dunia tidak membutuhkan chatbot AI atau LLM lain?

9. Perusahaan LLM, apakah ternyata tidak terlalu terkomoditisasi?

  • Perusahaan LLM sedang menerima investasi modal ventura dan dana korporasi dalam skala yang sangat besar
  • Pertanyaan paling umum selama 18 bulan terakhir adalah ini: apakah kita pada akhirnya sedang menyaksikan pembakaran modal besar-besaran pada produk yang akan menjadi terkomoditisasi? Atau apakah perusahaan-perusahaan LLM ini akan menjadi AWS, Azure, atau GCP baru?
  • Fakta yang merepotkan bagi perusahaan LLM adalah bahwa tampaknya tidak ada satu pun LLM yang mampu membangun keunggulan performa yang berkelanjutan
    • Untuk saat ini, misalnya Claude 3 Sonnet dan Gemini Pro 1.5 lebih baik daripada GPT-4, dan GPT-4 lebih baik daripada Gemini 1.0 Ultra, tetapi keunggulan seperti ini tampaknya berubah setiap beberapa minggu
    • Ada juga volatilitas performa — ChatGPT pernah sempat "kehilangan akal sehat" dan "menjadi malas", lalu pulih sementara
  • Selain itu, performa model open source (Llama 3, Mistral, DBRX, dll.) juga cepat menyusul
  • Sementara itu, jumlah perusahaan LLM yang muncul di pasar jauh lebih banyak daripada perkiraan awal
  • Beberapa tahun lalu, pandangan dominan adalah bahwa hanya ada satu atau dua perusahaan LLM dengan pola pemenang-mengambil-semua, karena hanya segelintir orang di dunia yang memiliki keahlian untuk melakukan scaling transformer
  • Namun, tampaknya ada lebih banyak tim yang kompeten daripada yang diperkirakan
    • Selain OpenAI dan Anthropic, ada banyak startup yang melakukan riset AI dasar seperti Mistral, Cohere, Adept, AI21, Imbue, 01.AI, serta tim di Google, Meta, dan lainnya
  • Meski begitu, sampai saat ini perusahaan LLM mencatat hasil yang tidak buruk. Pendapatan OpenAI dan Anthropic tumbuh dengan sangat cepat
  • Walaupun "model" LLM mungkin menjadi terkomoditisasi, "perusahaan" LLM masih menghadapi peluang bisnis yang sangat besar
    • Mereka sudah menjadi perusahaan "full-stack" yang menyediakan aplikasi dan alat untuk konsumen/perusahaan/developer di atas model fondasi
  • Analogi dengan perusahaan cloud tampak cukup tepat
    • AWS, Azure, dan GCP memperoleh dan mempertahankan pelanggan melalui lapisan aplikasi/alat, lalu menghasilkan laba dari lapisan komputasi/penyimpanan yang pada umumnya tidak terlalu terdiferensiasi

10. Masa depan hybrid: LLM, SLM

  • Meski perhatian terhadap LLM besar (GPT-3, GPT-4, GPT-5, dll.) sangat tinggi, SLM (small language model) juga berkembang pesat
    • Llama-2-13b dari Meta, Mistral-7b/Mixtral 8x7b dari Mistral, Phi-2/Orca-2 dari MS, dan lain-lain
    • SLM memiliki biaya operasional yang rendah, mudah di-fine-tune, dan performanya juga baik
  • Model yang dikhususkan untuk tugas tertentu (coding, keuangan, dll.) juga mulai bermunculan
    • Model khusus coding seperti Code-Llama, Poolside AI, dll.
    • Model keuangan Bloomberg, model ilmu material Orbital Materials, dan model khusus industri lainnya
  • Di perusahaan, arsitektur hybrid yang menggabungkan berbagai model seperti ini sedang berevolusi dengan cepat
  • Meskipun harga menurun, LLM proprietary berukuran besar masih mahal dan juga memiliki masalah latensi, sehingga pengguna/pelanggan akan makin banyak melakukan deployment dengan menggabungkan berbagai model
    • Tren saat ini adalah menggabungkan model besar/kecil, komersial/open source, serta general-purpose/khusus sesuai kebutuhan dan anggaran

11. Apakah AI tradisional sudah mati?

  • Dengan kemunculan ChatGPT, teknologi AI yang sebelumnya dianggap paling mutakhir mendadak disebut sebagai "AI tradisional"
  • Namun AI tradisional (atau predictive AI) menangani data terstruktur dan bersifat saling melengkapi dengan AI generatif
  • AI tradisional sudah digunakan secara luas dalam skala besar di banyak perusahaan
  • Ke depan, perusahaan akan memikirkan tugas mana yang sebaiknya menggunakan LLM, tugas mana yang sebaiknya menggunakan model AI tradisional, dan bagaimana menggabungkan keduanya

12. Thin wrapper, thick wrapper, dan persaingan untuk menjadi full-stack

  • Thin wrapper: istilah populer pada 2023 dengan konotasi negatif untuk menyebut produk yang bergantung pada teknologi pihak ketiga seperti OpenAI
    • Kesulitan startup seperti Jasper mendukung pandangan ini
  • Namun seiring waktu, cara untuk diferensiasi juga mulai terlihat
    • Fokus pada masalah tertentu (vertikal)
    • Mengamankan fitur workflow, kolaborasi, dan integrasi mendalam
    • Melakukan pekerjaan di level model AI seperti fine-tuning model dan membangun sistem hybrid
  • Artinya, perusahaan harus menjadi full-stack (aplikasi + infrastruktur) sekaligus tetap terspesialisasi (narrow)

13. Area yang patut diperhatikan: AI agent, Edge AI

  • AI agent adalah topik besar sebagai tahap akhir otomasi
    • Namun, saat ini AI generatif masih menunjukkan banyak kelemahan sehingga belum memenuhi ekspektasi
    • Diperlukan perbaikan seperti penambahan kemampuan memori pada sistem AI
    • Meski begitu, ini tampaknya akan menjadi bidang paling menarik dalam 1–2 tahun ke depan
  • Edge AI juga menjadi perhatian
    • Model yang berjalan di perangkat tanpa GPU adalah dambaan lama
    • Penerapannya pada smartphone atau perangkat IoT memiliki potensi besar
    • Proyek open source seperti Mixtral, Ollama, dan Llama.cpp sedang berkembang aktif

14. AI generatif, sedang menuju AGI atau justru stagnan?

  • Terlepas dari perkembangan teknologi yang sangat cepat, ada kekhawatiran bahwa AI generatif dapat menghadapi batas karena ① keterbatasan sumber daya (komputasi, data) atau ② ketiadaan kemampuan reasoning
  • Diskusi serupa juga pernah ada pada 2018, dan setelah itu peningkatan input sumber daya menjadi sangat menonjol
  • Di bidang reasoning, ada kemajuan yang berarti seperti AlphaGeometry dari DeepMind
  • Batas sumber daya sulit dievaluasi. Jumlah komputasi terus meningkat (NVIDIA Blackwell), dan kendala data juga tampaknya masih bisa diatasi melalui hal seperti pembuatan data sintetis
  • Dari sudut pandang pelaku ekosistem startup, seberapa besar peningkatan performa GPT-5 dibanding GPT-4 akan menjadi barometer kecepatan kemajuan teknologi
    • Bahkan jika perkembangan AI generatif berhenti untuk sementara, tampaknya peluang bisnis akan tetap cukup besar untuk beberapa waktu

15. Perang GPU (apakah NVIDIA dinilai terlalu tinggi?)

  • Apakah ini era baru ketika komputasi menjadi sumber daya paling berharga di dunia, ataukah gelembung akibat produksi GPU berlebihan?
  • NVIDIA pada dasarnya memonopoli pasar GPU untuk AI dan menikmati masa booming, termasuk kenaikan harga saham hingga 5x lipat
    • Bisa jadi karena dana yang diinvestasikan VC ke AI mengalir ke NVIDIA
  • Namun, manufaktur hardware (pabrik TSMC) bukan hal yang mudah, sehingga nasib NVIDIA bergantung pada keberlanjutan boom saat ini
  • Ada juga tantangan dari pesaing seperti AMD dan Intel, tetapi dalam jangka panjang prospek produsen chip AI tampak cerah

16. Open source AI, berlebihan sampai kelewatan?

  • Selama setahun terakhir, open source AI mendapat sorotan besar
    • Llama dari Meta, Mistral, Gemma dari Google, dan lainnya menarik perhatian, dan HuggingFace juga terus tumbuh sambil meng-host sangat banyak model
    • Sebagian besar pekerjaan paling inovatif di bidang AI generatif sedang dilakukan di komunitas open source
  • Namun, gejala kelebihan juga muncul di komunitas open source
    • Ratusan ribu model AI open source telah dirilis, tetapi sebagian besar hanya setingkat mainan atau proyek akhir pekan
    • Ada juga banyak model yang peringkatnya sering berubah, menjadi terkenal dalam beberapa hari lalu menghilang
  • Pasar pada akhirnya akan melakukan koreksi sendiri sehingga hanya segelintir proyek open source yang sukses yang akan mendapat dukungan dari perusahaan cloud dan pihak lain. Namun sampai saat itu, situasi kemungkinan akan tetap kacau

17. Sebenarnya berapa biaya AI?

  • Ekonomi AI generatif adalah topik yang berkembang cepat
    • Untuk menantang Google di pasar pencarian, biaya memberikan jawaban berbasis AI harus lebih rendah daripada biaya menyajikan 10 tautan
    • Perusahaan software berbasis AI harus memastikan biaya inferensi tidak menggerus margin laba kotor
  • Dari sudut pandang pelanggan/pengguna model AI, ini kabar baik: persaingan penurunan harga terjadi lebih cepat dari perkiraan
    • Munculnya AI open source dan vendor inferensi komersial membuat switching cost bagi pelanggan menjadi sangat rendah, dan ini menekan OpenAI dan Anthropic
    • Penurunan harga model embedding secara serentak adalah salah satu contohnya
  • Dari sisi penyedia, biaya membangun/menyediakan layanan AI masih tinggi
    • Anthropic dikabarkan menghabiskan lebih dari setengah pendapatannya untuk biaya cloud
    • Biaya lisensi data juga tidak kecil
  • Dari sudut pandang pengguna, menikmati layanan gratis yang didukung VC juga bisa menjadi salah satu cara

18. Perubahan perusahaan raksasa dan ekonomi politik AI: apakah Microsoft yang menang?

  • Pertanyaan yang muncul sejak akhir 2022: apakah Big Tech akan mengambil sebagian besar nilai dari AI generatif?
  • Dalam AI, semakin banyak data, komputasi, dan peneliti, semakin besar keunggulannya. Big Tech sangat memahami hal ini dan meresponsnya secara agresif
  • MS tampaknya merespons paling efektif (seolah bermain catur 4-D)
    • Berinvestasi $13 miliar di OpenAI
    • Bermitra dengan pesaing open source Mistral
    • Mengakuisisi Inflection AI, pesaing ChatGPT
    • Pendapatan Azure juga sedang tumbuh pesat
  • Google/Amazon bermitra dan berinvestasi di Anthropic, Amazon juga bermitra dengan Hugging Face
  • Meta terlihat all-in pada AI open source
  • Perubahan yang datang dari Tiongkok juga patut diperhatikan
  • Seberapa besar ruang bagi startup untuk tumbuh akan menjadi kuncinya
    • Sejumlah kecil seperti OpenAI dan Anthropic berhasil mempercepat pelarian mereka lewat kemitraan yang baik
    • Namun masa depan banyak startup masih tidak jelas
    • Akuisisi Inflection AI, kasus CEO Stability AI, dan lain-lain mengisyaratkan bahwa startup "lapis kedua" sedang berjuang

19. Antara euforia dan sinisme terhadap OpenAI

  • OpenAI tetap menarik
    • Valuasi $86 miliar, pertumbuhan pendapatan yang cepat, konflik antarpemimpin(?), Sam Altman adalah Steve Jobs generasi ini
  • Pertanyaan-pertanyaan menarik:
    • Apakah OpenAI sedang mencoba melakukan terlalu banyak hal? Seolah ingin mengerjakan semua hal dalam AI, baik secara vertikal maupun horizontal—apakah ini terlalu dipaksakan?
      • Ada preseden Coinbase yang situasinya sempat mirip
      • Ini akan menjadi tantangan yang sangat sulit di tengah persaingan yang makin sengit
      • Isu ChatGPT, lesunya marketplace, dan lain-lain menunjukkan bahwa OpenAI pun bisa menghadapi kesulitan
    • Apakah OpenAI dan MS akan berpisah?
      • Dukungan MS sangat membantu OpenAI (sumber daya, pelanggan enterprise, dan lain-lain)
      • Namun MS dengan jelas menunjukkan bahwa mereka tidak bergantung pada OpenAI (kemitraan dengan Mistral, akuisisi Inflection AI, dan lain-lain) dan juga punya kemampuan AI internal yang memadai
      • Di sisi lain, OpenAI mungkin juga tidak ingin hanya bergantung pada MS. Mereka bisa saja ingin dapat di-deploy di cloud lain
      • Mengingat ambisi besar OpenAI dan dorongan MS untuk mendominasi, ada kemungkinan keduanya berubah menjadi pesaing

20. Akankah 2024 menjadi tahun AI enterprise?

  • Pada 2023, adopsi AI di perusahaan masih sebatas proof of concept
  • Penerima manfaat terbesar AI generatif pada 2023 adalah perusahaan seperti Accenture, yang menghasilkan pendapatan $2 miliar dari konsultasi AI
  • Ada harapan bahwa 2024 akan menjadi tahun pertama AI generatif enterprise benar-benar dimulai (AI tradisional sendiri sudah banyak diadopsi)
  • Namun masih banyak pekerjaan rumah yang harus diselesaikan:
    • Use case masih terbatas pada beberapa area seperti developer copilot, manajemen pengetahuan perusahaan, chatbot layanan pelanggan, dan sebagainya
    • Masih tidak jelas alat mana yang harus dipilih (komersial/open source, model besar/kecil, spesialisasi horizontal/vertikal, dan perlu kombinasi di antaranya)
    • Kekurangan talenta sangat serius (mencari developer saja sulit, apalagi ML engineer)
    • Masalah halusinasi dan black box adalah risiko serius dari sudut pandang perusahaan
    • Perlu validasi ROI (ada beberapa contoh, seperti Palo Alto Networks yang disebut berhasil memangkas biaya pengelolaan perjalanan bisnis hingga setengahnya)
  • Hal yang positif adalah perusahaan tampaknya ingin memakai anggaran OpEx, bukan anggaran inovasi
  • Namun untuk adopsi skala besar, tampaknya masih perlu 3–5 tahun

21. Akankah AI membunuh SaaS?

  • Salah satu ide yang populer dalam setahun terakhir
  • Argumennya, berkat AI, produktivitas coding meningkat 10x sehingga SaaS kustom bisa dibuat hanya oleh sedikit developer, dan SaaS lama pun tak lagi dibutuhkan
  • Ada juga argumen bahwa jika AI mengambil alih semuanya—HR, keuangan, penjualan, dan lain-lain—maka software terpisah tidak akan lagi dibutuhkan
  • Kedua skenario itu tampaknya sulit terwujud dalam bentuk sepenuhnya
  • Yang lebih mungkin adalah AI terintegrasi ke dalam SaaS yang ada dan membuatnya menjadi lebih kuat

22. Akankah AI membunuh venture capital?

  • Terlepas dari apakah AI bisa mengotomatiskan pemilihan perusahaan oleh VC dan peningkatan nilai pascainvestasi, perlu ada diskusi tentang apakah ukuran kelas aset VC itu masih tepat di era AI
  • Apakah VC terlalu kecil?
    • Perusahaan seperti OpenAI membutuhkan miliaran dolar, bahkan lebih banyak lagi
    • Perusahaan besar seperti MS menyediakan porsi besar dari pendanaan ini (kemungkinan besar dalam bentuk penyediaan komputasi)
    • Sebagian VC memang berinvestasi pada perusahaan foundation model besar, tetapi ini cukup jauh dari model investasi software VC tradisional
    • Investasi AI mungkin membutuhkan dana berskala mega (ada kabar Saudi akan membentuk dana AI $40 miliar bekerja sama dengan VC AS)
  • Atau justru VC terlalu besar?
    • Jika AI membuat produktivitas developer naik 10x dan memungkinkan penjualan/pemasaran otomatis
    • Mungkin akan datang era ketika tim kecil, atau bahkan perusahaan satu orang, bisa meraih pendapatan ratusan juta dolar dan melantai di bursa
    • Jika ada perusahaan satu orang dengan pendapatan $100 juta, apakah dari awal hingga EXIT benar-benar membutuhkan pendanaan VC?

23. Akankah AI menghidupkan kembali pasar konsumen?

  • Bisakah pasar konsumen yang lesu sejak era media sosial/mobile bangkit lagi lewat AI generatif?
  • Area-area yang menarik:
    • Pencarian: startup seperti Perplexity AI dan You.com yang menantang Google untuk pertama kalinya dalam puluhan tahun, memimpin evolusi dari search engine menuju answer engine
    • AI companion: terlepas dari kekhawatiran distopisnya, bagaimana jika setiap orang memiliki pendamping pribadi yang tak ada habisnya sabar dan membantu?
    • AI hardware: eksperimen menarik dalam hardware AI konsumen seperti Humane, Rabbit, dan VisionPro
    • Hiburan yang sangat dipersonalisasi: bentuk hiburan dan seni baru seperti apa yang akan lahir ketika alat AI generatif semakin maju dan makin murah?

24. AI dan blockchain: absurd atau menarik?

  • Pertemuan AI dan kripto adalah bahan meme Twitter yang sempurna
  • Namun, konsentrasi sumber daya AI seperti komputasi, data, dan talenta di segelintir perusahaan adalah hal yang mengkhawatirkan
  • Inti blockchain adalah membuat para partisipan berbagi sumber daya dan aset melalui jaringan terdistribusi
  • Ada area di antara keduanya yang layak dieksplorasi (topik yang sudah dipikirkan sejak beberapa tahun lalu)
  • Akselerasi proyek-proyek terkait seperti Bittensor (platform AI terdistribusi), Render (platform rendering GPU terdistribusi), dan Arweave (platform data terdistribusi) cukup menonjol
  • Kuncinya adalah apakah industri kripto bisa membantu dirinya sendiri, atau justru terjerumus menjadi memecoin dan penipuan bertema AI

BONUS: Topik-topik yang belum dibahas

  • Apakah AI akan membunuh kita semua? AI doomsday vs akselerasionis AI
  • Regulasi, privasi, etika, deepfake
  • Apakah AI hanya bisa dibuat di Silicon Valley?

[Part III: Financing, M&A & IPO]

Pendanaan

  • Investasi AI dan investasi di bidang lain menunjukkan pola "kisah dua pasar" yang sangat kontras
  • Investasi secara keseluruhan terus menurun dan pada 2023 tercatat sebesar $248,4 miliar, turun 42%. Beberapa bulan pertama 2024 menunjukkan sedikit pemulihan, tetapi trennya masih serupa
  • Infrastruktur data mengalami pendanaan yang sangat lesu karena berbagai alasan yang telah disebutkan sebelumnya, dengan Sigma Computing dan Databricks sebagai sedikit pengecualian
  • Sebaliknya, AI adalah cerita yang sepenuhnya berbeda
  • Ciri pasar investasi AI adalah sebagai berikut:
    • Modal terkonsentrasi pada sejumlah kecil startup, terutama OpenAI, Anthropic, Inflection AI, Mistral, dan lainnya
    • Porsi investor korporat (CVC) yang luar biasa tinggi, seperti MS, Google, dan NVIDIA
    • Dalam catatan transaksi CVC, terdapat ketidakjelasan antara uang tunai riil dan "saham yang diterima sebagai imbalan dukungan daya komputasi"
  • Transaksi penting sejak MAD 2023 adalah sebagai berikut (urut kronologis, bukan daftar lengkap):
    • OpenAI (pengembang model fondasi terkemuka): menggalang $10,3 miliar dalam 2 putaran, valuasi $86 miliar
    • Adept (pengembang model fondasi): menggalang $350 juta, valuasi $1 miliar
    • AlphaSense (platform riset keuangan): menggalang $475 juta dalam 2 putaran, valuasi $2,5 miliar
    • Anthropic (pengembang model fondasi): menggalang $6,45 miliar dalam 3 putaran, valuasi $18,4 miliar
    • Pinecone (platform vector DB): menggalang $100 juta, valuasi $750 juta
    • Celestial AI (platform optical interconnect): menggalang $275 juta dalam 2 putaran
    • CoreWeave (GPU cloud): menggalang $421 juta, valuasi $2,5 miliar
    • Lightmatter (pengembang chip optik): menggalang $308 juta dalam 2 putaran, valuasi $1,2 miliar
    • Sigma Computing (platform analitik cloud): menggalang $340 juta, valuasi $1,1 miliar
    • Inflection (pengembang model fondasi): menggalang $1,3 miliar, valuasi $4 miliar
    • Mistral (pengembang model fondasi): menggalang $528 juta dalam 2 putaran, valuasi $2 miliar
    • Cohere (pengembang model fondasi): menggalang $270 juta, valuasi $2 miliar
    • Runway (pengembang model video generatif): menggalang $191 juta, valuasi $1,5 miliar
    • Synthesia (platform pembuatan video untuk perusahaan): menggalang $90 juta, valuasi $1 miliar
    • Hugging Face (platform ML open source): menggalang $235 juta, valuasi $4,5 miliar
    • Poolside (pengembang model fondasi untuk coding): menggalang $126 juta
    • Modular (platform pengembangan AI): menggalang $100 juta, valuasi $600 juta
    • Imbue (pengembang agen AI): menggalang $212 juta
    • Databricks (solusi data/analitik/AI): menggalang $684 juta, valuasi $43,2 miliar
    • Aleph Alpha (pengembang model fondasi): menggalang $486 juta
    • AI21 Labs (pengembang model fondasi): menggalang $208 juta, valuasi $1,4 miliar
    • Together (cloud AI generatif): menggalang $208,5 juta dalam 2 putaran, valuasi $1,25 miliar
    • VAST Data (platform data deep learning): menggalang $118 juta, valuasi $9,1 miliar
    • Shield AI (pilot AI untuk kedirgantaraan/pertahanan): menggalang $500 juta, valuasi $2,8 miliar
    • 01.ai (pengembang model fondasi): menggalang $200 juta, valuasi $1 miliar
    • Hadrian (manufaktur komponen untuk kedirgantaraan/pertahanan): menggalang $117 juta
    • Sierra AI (chatbot AI untuk layanan pelanggan): menggalang $110 juta dalam 2 putaran
    • Glean (pencarian AI untuk perusahaan): menggalang $200 juta, valuasi $2,2 miliar
    • Lambda Labs (GPU cloud): menggalang $320 juta, valuasi $1,5 miliar
    • Magic (pengembang model fondasi untuk coding): menggalang $117 juta, valuasi $500 juta

M&A, transaksi privat

  • Sejak MAD 2023, pasar M&A relatif cukup sepi
  • Banyak perusahaan software tradisional tampak lebih fokus pada harga saham mereka sendiri dan bisnis secara keseluruhan daripada M&A
  • Lingkungan antimonopoli yang makin ketat khususnya juga menjadi beban bagi para calon pengakuisisi
  • Private equity (PE) bergerak relatif aktif, mencari peluang murah di pasar yang memburuk
  • Transaksi penting yang muncul di MAD adalah sebagai berikut (berdasarkan nilai transaksi):
    • Broadcom (produsen semikonduktor), akuisisi VMWare (perusahaan cloud), $69B
    • Cisco (infrastruktur jaringan/keamanan), akuisisi Splunk (monitoring/observability), $28B
    • Qualtrics (manajemen CX), go-private oleh Silver Lake/CPP, $12.5B
    • Coupa (platform manajemen pengeluaran), go-private oleh Thoma Bravo, $8B
    • New Relic (monitoring/observability), akuisisi oleh Francisco Partners/TPG, $6.5B
    • Alteryx (platform analitik), go-private oleh Clearlake/Insight, $4.4B
    • Salesloft (orkestrasi penjualan), akuisisi oleh Vista Equity, $2.3B
      • Vista juga mengakuisisi Drift, perusahaan chatbot AI untuk pengalaman pelanggan
    • Databricks (data lakehouse), akuisisi MosaicML (platform pengembangan AI), $1.3B
      • Juga melakukan akuisisi kecil seperti Arcion dan Okera
    • Thoughtspot (platform analitik), akuisisi Mode Analytics (BI), $200M
    • Snowflake (data warehouse), akuisisi Neeva (mesin pencari AI), $150M
    • DigitalOcean (cloud), akuisisi Paperspace (pengembangan AI), $111M
    • NVIDIA (chip AI), akuisisi OmniML (optimasi edge AI)
  • Akuisisi Inflection AI oleh MS juga merupakan kasus yang tidak biasa
  • Apakah 2024 akan menjadi tahun M&A AI bergantung pada momentum pasar
  • Di pasar bawah, banyak startup AI menjanjikan telah menerima investasi dalam 1-2 tahun terakhir. Pada boom AI sebelumnya, setelah investasi awal sering terjadi acquihire dengan nilai besar dibandingkan kinerja bisnis. Talenta AI masih tetap langka
  • Di pasar atas, konvergensi antara platform data terdepan dan platform AI sedang mendapatkan momentum, tetapi harganya kemungkinan tidak murah

IPO

  • AI juga menjadi topik panas di pasar saham. Saham "Magnificent 7" (NVIDIA, Meta, Amazon, MS, Alphabet, Apple, Tesla) naik lebih dari 49% pada 2023 dan mendorong kenaikan pasar saham secara keseluruhan
  • Namun, saham AI murni masih sangat sedikit. Beberapa saham AI yang ada masih menikmati premium (saham Palantir naik 167% pada 2023)
  • Ini kemungkinan menjadi kabar baik bagi banyak startup kandidat IPO terkait AI. Dipimpin oleh Databricks, perusahaan-perusahaan besar seperti Celonis, Scale AI, Dataiku, dan Fivetran sedang bersiap untuk IPO
  • Menarik juga untuk melihat posisi OpenAI dan Anthropic terhadap pencatatan di bursa
  • Sementara itu, pasar IPO 2023 sangat lesu. Hanya sedikit perusahaan terkait MAD yang berhasil melantai di bursa:
    • Klaviyo (otomasi pemasaran): IPO pada 2023.9, valuasi $9.2B
    • Reddit (memberi lisensi konten ke perusahaan AI): IPO pada 2024.3, valuasi $6.4B
    • Astera Labs (semikonduktor untuk AI/cloud): IPO pada 2024.3, valuasi $5.5B

Kesimpulan

  • Kita hidup di masa yang sangat istimewa. Kita berada di awal pergeseran paradigma.
  • Waktunya bereksperimen dan mencoba hal-hal baru. Kita baru saja memulai

Bacaan terkait