Setelah merekayasa balik 200 startup AI, ternyata 73% hanyalah rekayasa prompt sederhana

• Hasil reverse engineering terhadap 200 startup AI menunjukkan banyak perusahaan mengklaim memiliki teknologi sendiri, padahal kenyataannya beroperasi dengan memanggil API eksternal
• Dari perusahaan yang diteliti, 73% ternyata hanya menggunakan API OpenAI atau Claude apa adanya, lalu sekadar menambahkan UI atau fungsi sederhana di atasnya
• Cukup banyak startup yang mengusung “LLM proprietary” milik sendiri, tetapi pada praktiknya hanya wrapper GPT-4 yang mengirim permintaan ke api.openai.com, dan menjualnya dengan margin puluhan hingga ratusan kali lipat hanya dengan tambahan system prompt sederhana
• Sebagian besar layanan yang menonjolkan arsitektur RAG juga ternyata membungkus kombinasi stack standar 40 baris berupa OpenAI text-embedding-ada-002 · Pinecone/Weaviate · GPT-4 sebagai “infrastruktur proprietary”, dengan biaya sekitar 30 ribu dolar per bulan untuk 1 juta kueri namun menghasilkan pendapatan 150 ribu hingga 500 ribu dolar, atau margin 80–94%
• Sebaliknya, 27% sisanya terdiri dari perusahaan wrapper yang transparan soal stack mereka seperti “Built on GPT-4”, builder yang benar-benar melatih model sendiri, serta tim dengan pembeda teknis nyata seperti voting multimodel dan framework agen
• Hasil investigasi ini menunjukkan banyak startup AI sebenarnya adalah bisnis layanan berbasis API, tetapi tetap mengusung klaim “infrastruktur AI proprietary”; penulis menekankan bahwa investor, pelanggan, dan developer bisa memverifikasinya hanya dengan membuka tab Network di DevTools, sehingga ekosistem AI membutuhkan keterbukaan teknis yang lebih jujur

---

Ringkasan

• Dengan menelusuri trafik jaringan, kode, dan panggilan API dari aplikasi web milik 200 startup AI yang telah menerima investasi eksternal, investigasi ini menganalisis perbedaan antara klaim pemasaran dan stack teknologi yang sebenarnya
  • Titik awalnya adalah kecurigaan terhadap sebuah perusahaan yang mengklaim memiliki “infrastruktur deep learning proprietary”, tetapi sebenarnya hanya memanggil API OpenAI
  • Perusahaan ini telah menerima investasi sebesar 4,3 juta dolar dan menggalang dana dengan narasi bahwa mereka “membangun infrastruktur yang secara fundamental berbeda”
• Hasil investigasi menemukan kesenjangan yang berarti antara teknologi yang diklaim dan implementasi nyata pada 73% perusahaan, dan banyak di antaranya hanya membungkus API model pihak ketiga secara sederhana
  • Sampel investigasi mencakup 200 startup AI yang dikumpulkan dari YC, Product Hunt, posting “We’re hiring” di LinkedIn, dan lainnya; perusahaan yang berdiri kurang dari 6 bulan dikecualikan, dan fokus diberikan pada perusahaan yang telah menghimpun pendanaan eksternal serta memiliki klaim teknis yang spesifik
  • Metode investigasi dilakukan secara pasif pada level browser developer tools, tanpa akses ke sistem privat, tanpa melewati autentikasi, dan tanpa melanggar TOS

Metodologi investigasi

• Dengan memanfaatkan Playwright, aiohttp, dan lainnya, penulis menyusun pipeline analisis otomatis dan secara konsisten mengumpulkan tiga hal dari tiap situs startup
  • Menangkap header jaringan dan pola permintaan dengan capture_network_traffic(url)
  • Melakukan dekompilasi dan analisis bundle JS dengan extract_javascript(url)
  • Melacak pola panggilan API selama 60 detik dengan monitor_requests(url, duration=60)
• Untuk tiap situs, informasi berikut dicatat dalam bentuk terstruktur
  • claimed_tech: klaim teknis yang muncul di copy pemasaran dan teks web
  • actual_tech: stack nyata yang dikonfirmasi lewat header HTTP, bundle JS, dan panggilan API
  • api_fingerprints: sidik jari API pihak ketiga yang diekstrak dari domain yang dipanggil, header, latensi, dan lainnya
• Periode crawling berlangsung selama 3 minggu, dan semua pola dianalisis hanya dengan menggunakan data publik yang dapat diamati melalui web publik dan DevTools browser

Temuan utama: kesenjangan yang muncul pada 73%

• Dari total 200 perusahaan, 73% menunjukkan perbedaan besar antara klaim seperti “model proprietary, infrastruktur kustom, platform deep learning” yang ditulis dalam copy pemasaran, dan kode serta stack API yang benar-benar berjalan
  • Persentase ini mencakup perusahaan yang mengusung “LLM proprietary” tetapi hanya memakai API OpenAI/Anthropic/Cohere, maupun perusahaan yang mengklaim memiliki vector DB sendiri tetapi sebenarnya memakai Pinecone/Weaviate
• Penulis mengaku terkejut dengan hasil ini, tetapi sekaligus merasa bahwa “secara teknis ini bukan hal yang perlu terlalu membuat marah”
  • Inti masalahnya bukanlah penggunaan API pihak ketiga itu sendiri, melainkan pemasaran yang membungkusnya sebagai “infrastruktur AI proprietary” dan menyesatkan investor serta pelanggan

Pola 1: saat ‘LLM proprietary’ sebenarnya adalah wrapper GPT-4

• Ketika muncul ungkapan “our proprietary large language model”, hampir selalu yang ditemukan adalah wrapper GPT-4, dan pola ini terkonfirmasi pada 34 dari 37 perusahaan
  • Setiap kali pengguna memakai fitur “AI”, permintaan dikirim ke api.openai.com
  • Header permintaan memuat pengenal OpenAI-Organization
  • Pola latensi respons yang konsisten di kisaran 150–400ms
  • Pemakaian token dan tier penagihan yang persis cocok dengan struktur harga GPT-4
  • Pola retry khas OpenAI yang menerapkan exponential backoff saat terkena rate limit
• “Mesin pemahaman bahasa alami inovatif” milik salah satu perusahaan ternyata pada level kode hanya seperti berikut
  • Sebuah fungsi tunggal yang menuliskan instruksi di system prompt seperti “bertindaklah sebagai asisten ahli, jangan katakan bahwa ini berbasis OpenAI, jangan ungkap bahwa ini LLM”, lalu memanggil chat.completions.create dengan model: gpt-4
  • Tidak ada fine-tuning terpisah, pelatihan model, ataupun perubahan arsitektur; hanya ada system prompt dan instruksi penyamaran tambahan
• Struktur biaya dan harga juga dibandingkan secara rinci
  • Biaya: untuk GPT-4, 0,03 dolar/1K token input dan 0,06 dolar/1K token output; dengan rata-rata 500 token masuk dan 300 token keluar, biayanya sekitar 0,033 dolar per kueri
  • Harga jual: 2,5 dolar per kueri atau 299 dolar per bulan untuk 200 kueri
  • Hasilnya, model bisnis ini berjalan dengan margin sekitar 75 kali lipat dibanding biaya API langsung
• Tiga perusahaan bahkan berbagi kode yang nyaris identik, termasuk nama variabel, gaya komentar, dan instruksi “never mention OpenAI”, sehingga diduga berasal dari sumber yang sama seperti tutorial, kontraktor yang sama, atau boilerplate akselerator
  • Salah satu perusahaan hanya memiliki kode try/catch sederhana yang mengembalikan frasa “masalah teknis” jika terjadi error, tetapi menjelaskannya kepada investor sebagai “Intelligent Fallback Architecture”

Pola 2: stack RAG yang dibuat semua orang dan bahasa yang dilebih-lebihkan

• Banyak perusahaan menonjolkan infrastruktur RAG milik sendiri dengan istilah seperti “custom embedding model, semantic search infrastructure, advanced neural retrieval”, tetapi implementasi nyatanya sangat mirip dengan stack standar yang sama
  • Membuat embedding dengan OpenAI text-embedding-ada-002
  • Menggunakan Pinecone atau Weaviate sebagai vector store
  • Menambahkan konteks lalu menghasilkan jawaban dengan GPT-4
• Ketika peneliti mendekompilasi kode yang diperkenalkan dengan nama “Proprietary Neural Retrieval Architecture”, hasilnya adalah struktur yang hanya memanggil tiga tahap di atas apa adanya dalam sekitar 40 baris kode Python
  • Mengubah pertanyaan menjadi embedding
  • Mencari dokumen top-k di vector DB
  • Menggabungkan teks hasil pencarian lalu mengirimkannya ke GPT-4 sebagai system message
  • Mengirim pertanyaan pengguna bersama sebagai user message untuk menghasilkan jawaban
• Struktur biaya dan harga juga menunjukkan perbedaan yang sangat besar
  • Embedding OpenAI: $0,0001 per 1K token
  • Query Pinecone: $0,00004 per panggilan
  • GPT-4 completion: $0,03 per 1K token
  • Jika dijumlahkan, biaya per query berada di kisaran sekitar $0,002
  • Namun biaya yang dikenakan ke pelanggan sebenarnya adalah $0,5~2 per query, sehingga tercipta margin 250~1000 kali dibanding biaya API
• Sebanyak 42 perusahaan menggunakan stack dan struktur kode yang nyaris sama, dan 23 perusahaan tambahan berbagi pola yang lebih dari 90% serupa
  • Perbedaannya terutama hanya pada pilihan Pinecone vs Weaviate, nama variabel, atau ada tidaknya tambahan cache Redis
  • Ada juga kasus pemasaran yang menempelkan cache Redis lalu menyebutnya “optimization engine”, atau menambahkan logika retry lalu memasarkannya sebagai “Intelligent Failure Recovery System”
• Penelitian ini juga menghitung keekonomian startup pada skala 1 juta query per bulan
  • Biaya: embedding sekitar $100, hosting Pinecone sekitar $40, GPT-4 completion sekitar $30.000, total sekitar $30.140/bulan
  • Pendapatan: $150.000~500.000/bulan
  • Struktur bisnis dengan margin laba kotor tinggi di kisaran 80~94%

Pola 3: Arti sebenarnya dari ‘kami melakukan fine-tuning sendiri’

• Saat infrastruktur perusahaan yang menggunakan ungkapan “kami melakukan fine-tuning model sendiri” ditelusuri, mereka secara umum terbagi dalam dua kelompok besar
  • Sebagian kecil (sekitar 7%) benar-benar menjalankan job pelatihan sendiri melalui AWS SageMaker, Google Vertex AI, dan sejenisnya, menyimpan artefak model di bucket S3, lalu mengoperasikan endpoint inferensi terpisah serta pemantauan instance GPU
  • Sebagian besar menggunakan fine-tuning API milik OpenAI, dan pada dasarnya strukturnya lebih dekat ke “menyerahkan data contoh dan prompt ke OpenAI untuk disimpan”
• Kelompok pertama (pelatihan mandiri sungguhan) masih menampakkan infrastruktur pelatihan dan pipeline deployment sampai tingkat tertentu yang bisa diamati dari browser, sedangkan kelompok kedua umumnya hanya tampak sebagai satu pemanggilan endpoint OpenAI

Cara cepat membedakan perusahaan wrapper

• Pola traffic jaringan

  • Buka DevTools(F12) → tab Network di browser, lalu lihat request yang keluar saat menggunakan fitur AI dari layanan tersebut; dari situ bisa dilakukan pembedaan sederhana
    • api.openai.com
    • api.anthropic.com
    • api.cohere.ai
    • Jika domain seperti ini muncul secara langsung, pada dasarnya layanan itu bisa dianggap sebagai wrapper API model pihak ketiga
  • Waktu tunda respons juga berfungsi sebagai semacam sidik jari
    • Khususnya pada OpenAI API, ada pola latency khas dengan respons terkonsentrasi di rentang 200~350ms, sehingga backend model bisa diperkirakan dari sana

• Bundle JavaScript dan kebocoran key

  • Cara mudah lainnya adalah mencari kata kunci berikut di page source dan bundle JS
    • openai, anthropic, claude, cohere, sk-proj- (prefix project key OpenAI), dan sebagainya
  • Dalam proses investigasi, 12 perusahaan ternyata merilis frontend dengan API key yang tetap tertanam langsung di dalam kode, dan walaupun email pelaporan telah dikirim, tidak ada satu pun perusahaan yang merespons

• Matriks bahasa pemasaran

  • Pola antara bahasa yang muncul dalam marketing copy dan implementasi teknis yang sebenarnya dirapikan dalam bentuk tabel lalu disebut “Marketing Language Matrix”
    • Jika muncul istilah teknis yang konkret seperti “jenis instance GPU, arsitektur serving, ukuran model”, kemungkinan perusahaan tersebut benar-benar memiliki infrastruktur yang cukup mandiri menjadi lebih tinggi
    • Sebaliknya, makin sering hanya mengulang buzzword abstrak seperti “advanced AI”, “next-gen intelligence”, “proprietary neural engine”, makin besar kemungkinan bagian dalamnya hanyalah wrapper API pihak ketiga

Peta realitas infrastruktur dan lanskap startup AI

• Tulisan ini merangkum peta realitas infrastruktur startup AI saat ini melalui beberapa diagram
  • Banyak startup hadir dalam struktur berupa lapisan aplikasi tipis di atas penyedia model seperti OpenAI, Anthropic, Cohere
  • Di atas setiap lapisan itu, bertumpuk layanan yang mencoba melakukan diferensiasi lewat “workflow, UX, data domain, pipeline”, dan sebagainya
• Berdasarkan struktur ini, sebagian besar startup AI pada praktiknya adalah bisnis layanan/platform, dan terdapat jarak antara kenyataan itu dengan cara mereka memandang diri sebagai “perusahaan infrastruktur AI yang unik”

Mengapa masalah ini perlu diperhatikan

• Menjawab pertanyaan “kalau berfungsi dengan baik, memangnya kenapa?”, peneliti merangkum alasannya dari sudut pandang empat pemangku kepentingan
  • Investor: dana yang saat ini diinvestasikan ke banyak perusahaan sebenarnya tidak masuk ke riset AI/pengembangan model, melainkan secara nyata ke rekayasa prompt dan lapisan workflow
  • Pelanggan: mereka membayar harga dengan premium lebih dari 10 kali di atas biaya API sebenarnya, padahal dalam banyak kasus fungsi serupa bisa dibuat sendiri setara proyek akhir pekan
  • Developer: di balik kesan glamor “startup AI” yang terlihat dari luar, dalam banyak kasus kenyataannya hanya layanan wrapper dengan hambatan masuk rendah, sehingga perlu menyadari bahwa mereka sendiri juga bisa membuat hal serupa dalam waktu singkat
  • Ekosistem: ketika 73% “perusahaan AI” melebih-lebihkan atau menyesatkan soal teknologinya, itu berarti keseluruhan keadaan mendekati gelembung, dan menciptakan insentif yang tidak sehat

Spektrum wrapper: tidak semua wrapper itu buruk

• Melalui diagram “Wrapper Spectrum”, dijelaskan bahwa bahkan di antara perusahaan wrapper pun ada lapisan kualitas yang berbeda
  • Di satu ujung ada wrapper yang sekadar menambahkan UI tipis di atas API pihak ketiga
  • Di ujung lainnya ada wrapper tingkat tinggi yang menyediakan workflow spesifik domain, UX yang unggul, orkestrasi model, pipeline data yang bernilai, dan sebagainya
• Pesan intinya bukan “apakah itu wrapper atau bukan”, melainkan kejujuran dan cara memberikan nilai
  • Perusahaan yang tetap menggunakan API pihak ketiga namun mengungkapkannya secara transparan, serta membangun diferensiasi dalam pemecahan masalah, pengalaman, dan data, dinilai secara positif

27% yang melakukannya dengan benar

• Kategori 1: pembungkus transparan (Transparent Wrappers)

  • Perusahaan-perusahaan dalam kelompok ini secara eksplisit menuliskan frasa seperti "Built on GPT-4" di homepage mereka, dan dengan jelas menyatakan bahwa yang mereka jual adalah workflow, UX, dan pengetahuan domain
    • Contoh: layanan yang menyediakan otomatisasi dokumen hukum dengan kombinasi GPT-4 + template hukum
    • Contoh: layanan berbasis Claude yang dikhususkan untuk routing tiket dukungan pelanggan
    • Contoh: layanan workflow konten yang menggabungkan beberapa model dan proses review manusia

• Kategori 2: pembangun nyata (Real Builders)

  • Kelompok ini adalah perusahaan-perusahaan yang benar-benar melatih model mereka sendiri
    • AI kesehatan yang mengoperasikan model self-hosted untuk kepatuhan HIPAA di bidang medis
    • Layanan yang melatih dan mengoperasikan model risiko kustom untuk analisis keuangan
    • Layanan yang mengembangkan dan menerapkan model computer vision khusus dalam otomasi industri

• Kategori 3: kombinasi inovatif (Innovators)

  • Ini mencakup perusahaan yang menggunakan model pihak ketiga, tetapi membangun struktur baru yang benar-benar substantif di atasnya
    • Sistem yang menggabungkan output dari beberapa model untuk mewujudkan peningkatan akurasi berbasis voting
    • Sistem yang membuat framework memori dan agen untuk menjalankan tugas-tugas kompleks
    • Termasuk kasus yang memperkenalkan bentuk baru arsitektur retrieval
  • Kesamaan di antara perusahaan-perusahaan ini adalah mereka dapat menjelaskan arsitektur mereka secara rinci, dan benar-benar memiliki struktur yang mereka bangun sendiri

Pelajaran yang didapat: masalah lebih penting daripada stack, dan kejujuran

• Hasil investigasi selama 3 minggu dapat diringkas sebagai berikut
  • Masalah yang ingin diselesaikan lebih penting daripada stack teknologi itu sendiri, dan dalam praktiknya banyak produk terbaik justru memiliki struktur yang bisa disebut “sekadar wrapper”
  • Namun, kejujuran penting dalam dimensi yang terpisah, dan perbedaan antara wrapper yang cerdas dan wrapper yang menipu terletak pada transparansi
  • Demam emas AI menciptakan insentif yang mendorong klaim palsu karena ekspektasi investor dan pelanggan yang menginginkan “AI proprietary”
  • Dan membangun di atas API bukanlah sesuatu yang memalukan, masalahnya adalah menyembunyikan hal itu lalu membungkusnya sebagai “arsitektur jaringan saraf proprietary”

Kerangka evaluasi dan saran praktis

• Uji kemungkinan direplikasi dalam 48 jam

  • Diajukan sebuah tolok ukur sederhana untuk menilai semua “startup AI”
    • "Apakah teknologi inti mereka bisa direplikasi dalam 48 jam?"
    • Jika bisa, maka secara teknis itu termasuk wrapper, dan
      • jika mereka secara jujur mengungkap stack-nya, maka itu perusahaan yang baik-baik saja
      • jika mereka menyembunyikannya sambil mengklaim “infrastruktur AI proprietary”, maka itu perusahaan yang sebaiknya dihindari

• Saran untuk founder

  • Prinsip-prinsip berikut diajukan untuk founder
    • Ungkapkan stack secara jujur
    • Bersaing lewat UX, data, dan keahlian domain
    • Jangan mengklaim membuat sesuatu yang sebenarnya tidak dibuat
    • Terimalah bahwa “Built with GPT-4” bukan kelemahan, melainkan penjelasan yang jujur

• Saran untuk investor

  • Poin-poin verifikasi berikut diajukan untuk investor
    • Minta diagram arsitektur
    • Minta tagihan API dari OpenAI, Anthropic, dan lainnya untuk memeriksa tingkat ketergantungan yang sebenarnya
    • Nilailah perusahaan wrapper secara sesuai sebagai perusahaan wrapper
    • Berikan insentif kepada tim yang secara jujur mengungkap stack mereka

• Saran untuk pelanggan

  • Item tindakan berikut diajukan untuk pelanggan
    • Buka tab Network di browser dan periksa request yang keluar
    • Tanyakan langsung tentang infrastruktur dan cara penggunaan model
    • Tinjau apakah Anda membayar markup lebih dari 10x secara tidak perlu untuk panggilan API
    • Nilai berdasarkan hasil nyata dan kemampuan menyelesaikan masalah, bukan klaim teknis

Ringkasan satu kalimat tentang realitas ‘startup AI’

• “Sebagian besar ‘startup AI’ lebih mirip bisnis layanan yang mengganti biaya karyawan dengan biaya API”
  • Ini bukan model bisnis yang salah, melainkan realitas yang perlu diakui apa adanya dan dijelaskan secara jujur

Perkembangan dan reaksi setelah investigasi

• Minggu pertama: awalnya diperkirakan sekitar 20~30% akan menggunakan API pihak ketiga, tetapi disebutkan bahwa hasilnya jauh lebih besar
• Minggu kedua: seorang founder bertanya kepada peneliti, “bagaimana Anda bisa masuk ke lingkungan production kami?”, dan peneliti menjelaskan bahwa ia hanya melihat tab Network di browser
• Minggu ketiga: dua perusahaan meminta agar hasil investigasi diturunkan, tetapi artikel tersebut tidak menyebut nama perusahaan tertentu dan hingga kini tetap mempertahankan posisi itu
• Kemarin: seorang VC meminta agar perusahaan-perusahaan portofolionya diaudit (audit) sebelum rapat dewan berikutnya, dan peneliti menyebut telah menerima permintaan itu

Rencana publikasi data dan alat

• Berdasarkan riset ini, ada rencana untuk membuka metodologi dan alat

• Yang akan dipublikasikan di GitHub (gratis)

  • Kode lengkap infrastruktur scraping
  • Teknik untuk mengekstrak fingerprint API
  • Script deteksi yang bisa dijalankan siapa saja
  • Kumpulan pola waktu respons untuk tiap API AI utama

• Analisis lanjutan (khusus member)

  • Kasus “AI unicorn” dengan valuasi 33 juta dolar per bulan yang ternyata hanya menggunakan biaya OpenAI 1.200 dolar per bulan
  • Struktur yang diperkenalkan sebagai “model 100 juta parameter” padahal sebenarnya hanya terdiri dari 3 system prompt
  • Kode production yang disajikan secara publik (sisi klien, cuplikan yang dianonimkan)
  • Kerangka 5 pertanyaan yang langsung mengungkap wrapper
  • Studi kasus yang membandingkan presentasi investor dengan infrastruktur yang sebenarnya

Pesan penutup dan perlunya ‘era AI yang jujur’

• Investigasi dilakukan dengan cara membagikan pola tanpa mengungkap nama perusahaan, dan menegaskan keyakinan bahwa pasar pada akhirnya akan menghargai transparansi
• Secara nyata terkonfirmasi bahwa 18 perusahaan memang sedang menciptakan teknologi baru dalam arti yang sesungguhnya, dan
  • kepada mereka disampaikan pesan dukungan: "kalian tahu siapa diri kalian, teruslah membangun"
• Setelah investigasi, 7 founder menghubungi secara pribadi, dan
  • sebagian bersikap defensif, sebagian berterima kasih, dan tiga orang meminta bantuan tentang cara mengalihkan pemasaran dari “proprietary AI” menjadi “built on best-in-class APIs”
  • Seorang founder mengaku, “kami tahu bahwa kami sedang berbohong, para investor mengharapkan itu, semua orang juga melakukannya, sekarang bagaimana cara kami berhenti?”
• Di bagian akhir artikel, kembali ditekankan bahwa demam emas AI tidak akan berakhir, tetapi era kejujuran harus dimulai, dan dirangkum bahwa siapa pun bisa memeriksa kebenarannya sendiri hanya dengan membuka tab Network di DevTools (F12)