1 poin oleh GN⁺ 4 jam lalu | 1 komentar | Bagikan ke WhatsApp
  • Seiring perusahaan beralih dari pilot model tunggal ke sistem produksi multi-model, kebutuhan akan lapisan routing dan gateway semakin besar
  • OpenRouter adalah lapisan yang menangani routing, keandalan, optimasi biaya, dan kepatuhan di antara agen dan penyedia model
  • Dalam 6 bulan terakhir, throughput mingguan meningkat dari 5 triliun token menjadi 25 triliun token, dan dengan laju pertumbuhan saat ini, throughput tahun ini diperkirakan akan melampaui 1 kuadriliun token
  • Saat ini mendukung lebih dari 8 juta pengembang yang membangun untuk 400+ model, menopang transisi AI ke aplikasi dan agen produksi
  • Dana ini akan digunakan untuk memperluas infrastruktur, memperkuat fitur enterprise, dan berinvestasi pada routing cerdas, sambil membangun lapisan fondasi untuk era AI multi-model

Series B senilai $113 juta

Indikator pertumbuhan dan skala penggunaan

  • Throughput mingguan OpenRouter telah meningkat dari 5 triliun token menjadi 25 triliun token selama 6 bulan terakhir
  • Jika melihat laju pertumbuhannya, throughput tahun ini diperkirakan akan mencapai lebih dari 1 kuadriliun token
  • OpenRouter mendukung lebih dari 8 juta pengembang yang membangun untuk 400+ model
  • Seiring AI bergerak dari tahap eksperimen ke aplikasi dan agen produksi, permintaan terhadap infrastruktur yang dapat berjalan andal lintas penyedia, modalitas, dan berbagai use case terus meningkat

Peralihan ke produksi multi-model

  • Ketika organisasi beralih dari pilot model tunggal ke sistem produksi multi-model, dibutuhkan lapisan routing dan gateway untuk menangani kompleksitas tersebut
  • OpenRouter adalah lapisan yang menangani routing, keandalan, optimasi biaya, dan kepatuhan di antara agen dan penyedia model
  • Komposisi investor kali ini berfokus pada perusahaan infrastruktur dan platform, menunjukkan bahwa lapisan ini kian menempati posisi penting dalam stack AI

Fitur utama

  • Inferensi multimodal

  • Kontrol enterprise

  • Routing cerdas

    • Menyediakan failover tingkat penyedia, optimasi biaya dan latensi, serta routing yang sadar kualitas melampaui sekadar load balancing sederhana

Rencana selanjutnya

  • Dana ini akan digunakan untuk memperluas infrastruktur, memperkuat fitur enterprise, dan melanjutkan investasi pada routing cerdas
  • OpenRouter berencana terus memperluas lapisan infrastruktur untuk era AI multi-model yang membantu menemukan model dan penyedia yang tepat untuk setiap permintaan

1 komentar

 
GN⁺ 4 jam lalu
Komentar Hacker News
  • Butuh waktu cukup lama sampai saya menerima OpenRouter. Awalnya saya tidak paham kenapa perlu menaruh satu proxy lagi di depan LLM, tetapi dalam praktiknya ternyata ini menambah nilai yang cukup besar

    1. Gesekannya paling kecil untuk mendukung dan mencoba semua model
    2. Menyediakan batas pembayaran. Kalau dipasang ke layanan publik, hard limit seperti ini sangat berguna untuk mencegah seseorang menyalahgunakannya dan menghabiskan 1 juta dolar dalam semalam
    3. Papan peringkatnya memang punya kekurangan, tetapi tetap menjadi sinyal yang menarik untuk melihat model mana yang populer. Ada keterbatasan karena mayoritas pengguna OpenAI/Anthropic tidak lewat OpenRouter, dan sulit membedakan apakah banyak pengguna yang berpindah atau hanya satu pelanggan besar yang berpindah
      Dalam situasi ketika biaya API menjadi cukup signifikan di banyak perusahaan, layanan seperti OpenRouter yang membantu mengukur pengeluaran dan memudahkan eksperimen maupun perpindahan penyedia terlihat bernilai
    • Hal baik lainnya adalah mereka mempublikasikan status cache per jam untuk semua kombinasi model/penyedia. Berdasarkan itu, saya menelusuri daftar peringkat penyedia dan menemukan bahwa cukup banyak hosting pihak ketiga berbasis open source ternyata memang berada di lapisan paling bawah https://dirac.run/posts/cache-hit-rates-agents
    • Setidaknya bagi saya, pengurangan gesekan terbesar adalah pembayaran terintegrasi yang membantu menghindari prosedur birokratis tambahan di lingkungan perusahaan. Konversi/abstraksi API cenderung menciptakan lebih banyak masalah daripada yang diselesaikannya
      Saya lebih suka pembayaran diintegrasikan, tetapi API penyedia tetap dipakai secara langsung, atau digunakan lewat semacam proxy “HTTP mentah”. Ada banyak unified API gateway, tetapi saya belum melihat produk yang hanya menambahkan pembayaran/autentikasi di depan API penyedia native
    • Tahukah Anda bahwa kalau memasukkan uang ke akun OpenAI, uang itu kedaluwarsa setelah 1 tahun? Saat saya mengalaminya langsung, itu hilang begitu saja seperti kredit promosi tanpa refund maupun peringatan, dan itu sangat menjengkelkan
      OpenRouter bagus karena menaruh penghalang antara penyedia dan pengguna, padahal para penyedia itu seharusnya bertindak seperti utilitas. Kalau OpenAI dibiarkan begitu saja, rasanya mereka bisa mulai bertingkah seperti operator telekomunikasi
    • Poin-poin yang bagus. Eksperimen yang mudah memang membantu pengembangan, tetapi ketika skala membesar, saya dengan hati-hati menyarankan untuk berpindah ke API pihak pertama dari sisi harga
      OpenRouter juga tempat yang bagus untuk mencari akses LLM gratis, tetapi ada syaratnya. Input dan output harus dianggap masuk ke database pelatihan seseorang. Jika mampu membayar, sebaiknya gunakan model berbayar dengan perlindungan privasi, tetapi model gratis sangat bagus untuk belajar dan bereksperimen. Terutama bagus bagi pelajar muda yang tidak punya kartu kredit atau dana untuk mempelajari pemrograman API dan LLM
    • Saat ini OpenRouter merusak caching pada DeepSeek V4, padahal di V4 caching adalah fitur harga yang sangat penting
      https://news.ycombinator.com/item?id=48319827
  • Saya adalah salah satu pendiri sekaligus COO OpenRouter. Banyak pertanyaan tentang alasan kami menggalang investasi
    Pertama, OpenRouter tetap merupakan perusahaan yang dipimpin dan dikendalikan oleh para pendiri, dan kami berniat bertahan lama sambil membuat produk yang bagus untuk para builder di seluruh dunia. Pada dasarnya kami adalah para pengoprek yang suka membangun sesuatu, dan ketika membuat sesuatu dengan AI, kami berusaha membuat hal yang ingin kami pakai sendiri
    Soal penggalangan dana, saya percaya perusahaan yang kuat harus punya neraca keuangan yang solid. Kami menangani pengeluaran dalam skala besar dan memiliki komitmen pengeluaran besar di seluruh ekosistem. Mengamankan kas agar mampu bertahan apa pun yang terjadi ke depan adalah bentuk pengurangan risiko yang bertanggung jawab dan membuat perusahaan sangat tangguh
    Ini juga menjadi sinyal bagi pelanggan besar dan mitra penyedia bahwa kami bisa terus melayani dalam jangka panjang dan membayar tagihan kami. Kami tidak membutuhkan modal ventura untuk terus berekspansi, dan bisnis kami sebenarnya sehat, tetapi Anda tentu tidak ingin baru menggalang dana ketika 100 juta dolar itu benar-benar dibutuhkan
    Bagi karyawan saat ini dan masa depan, ini juga menjadi validasi yang baik bahwa nilai yang kami bangun bersama itu nyata. Kami juga memandang serius kewajiban untuk memberikan hasil bagi investor; kami tidak semata-mata memaksimalkan valuasi, dan kami punya privilese untuk memilih dengan siapa kami ingin bekerja. Bagian ini memang jarang dibahas di industri startup secara umum, tetapi menurut saya penting

    • OpenRouter berencana memakai 100 juta dolar itu untuk apa? Anda mengatakan itu akan “membuat perusahaan sangat tangguh” dan menjadi “validasi yang baik bagi karyawan”, tetapi rasanya ada hal-hal yang lebih menarik yang bisa dilakukan dengan 100 juta dolar
    • Saya suka produknya. Pembayaran/autentikasi terintegrasi menyelesaikan masalah besar, jadi terima kasih
      Daripada soal investasinya, saya lebih penasaran dengan strategi jangka panjang. Dalam 3–5 tahun, Anda melihat OpenRouter berada di posisi mana, dan taruhan produk apa yang paling Anda antisipasi sekarang? Saya juga penasaran apakah penggalangan dana ini berarti ada rencana ekspansi ke area-area yang berdekatan
    • Apakah mungkin mempertahankan pembayaran terintegrasi sambil tetap memberi akses mentah ke API penyedia? Unified API memang hebat saat berjalan mulus, tetapi untuk use case yang tidak biasa atau fitur API baru, itu sering menambah kerepotan
    • Fitur yang paling terasa kurang bagi saya adalah pembedaan penyedia tanpa retensi data dan kemampuan untuk menilai apakah sebuah model sesuai dengan aturan yang saya definisikan. Saat ini tidak ada cara untuk menyembunyikan penyedia yang tidak memenuhi aturan ZDR
    • Saya sempat mencoba OpenRouter. Sekitar setahun lalu saya menguji produknya, tetapi melalui OpenRouter saya tidak bisa mendapatkan structured output dari model Gemini milik Google
  • Dari sudut pandang sebagai pengguna berat OpenRouter, beberapa hari lalu saya tanpa sengaja juga menulis posting promosi yang berdekatan https://news.ycombinator.com/item?id=48317294, tetapi untuk menguji model baru tanpa harus menyentuh API tiap penyedia yang berbeda-beda—masalah yang belakangan makin sering berulang—ini memang jelas cara terbaik
    Namun, saya agak tidak paham dengan orang-orang yang menjalankan seluruh backbone agen di atas OpenRouter memakai model mahal seperti Claude Opus. Pada level biaya seperti itu, fee 5% jadi cukup signifikan, jadi lebih baik memakai penyedia API asli. Meski begitu, jelas memang ada yang memakainya, dan itu adalah pendapatan murni

    • Untuk hal seperti itu, rasanya lebih baik diimplementasikan sebagai library open source yang menyediakan patch dukungan dari para penyedia. Saya tidak paham kenapa harus ada perusahaan yang berperan sebagai proxy, dan kenapa tidak cukup menjalankan lapisan tipis yang relatif sederhana di mesin saya sendiri
      Bahkan dari sudut pandang seorang system programmer bodoh yang bekerja di dalam AI, saya paham bahwa ada banyak software yang tampak tidak perlu dan menjual sedikit kemudahan dengan imbalan uang. Apakah OpenRouter cuma salah satu dari itu? Saya penasaran apakah mereka benar-benar meng-host model secara langsung, atau hanya memusatkan pembayaran untuk berbagai penyedia
    • Saat ini ada banyak pemborosan token yang bodoh. Ada juga arus kerja yang dirancang untuk memakai token sebanyak mungkin. Karena suasana takut ketinggalan, biaya ekonomi token tidak dievaluasi dengan hati-hati. Tapi orang-orang mulai sadar, dan pengeluaran seperti ini tidak berkelanjutan sehingga akan berbalik
    • Uptime bisa jadi lebih baik. Karena permintaan akan dirutekan lewat salah satu dari Anthropic, Amazon Bedrock, AWS Claude Platform, Google Vertex Europe, atau Google Vertex
    • Membayar 5% lebih untuk pembayaran terintegrasi dan batas penggunaan rasanya wajar. Semuanya jadi lebih mudah
    • Kemudahan memang ada harga premiumnya
  • Apakah “Open” di OpenRouter berarti sama seperti “Open” di OpenAI? Saya tidak bisa menemukan repositori atau kode yang di-host. Saya kira bentuknya adalah produk cloud yang menempel pada alat open source yang bisa self-hosting, tapi sepertinya hanya yang kedua yang ada

    • Saya juga mengira ini open source, tapi setelah dicek ternyata bukan. Katanya disebut “Open” karena merutekan ke model terbuka milik pihak ketiga. Ini lapisan receh gaya VC lagi ya
    • Open pada OpenRouter sama seperti Open pada OpenSea. Pendirinya sama. Mau menafsirkannya bagaimana, terserah masing-masing
    • Jujur saja, siapa pun bisa membuat sesuatu seperti OpenRouter dalam beberapa malam dengan Claude Code
      Ini cuma proxy
    • Open di sini berarti lapisan API tunggal yang memungkinkan model di bawahnya diganti-ganti
  • Selama masih banyak eksperimen di ranah LLM, dan selama “model yang sedang populer sekarang” terus berubah di antara beberapa frontier lab, OpenRouter sepertinya akan tetap sangat populer
    Begitu situasinya mulai stabil, kemungkinan besar baik model frontier maupun model open source akan terkonsolidasi. Kalau itu terjadi, kegunaan OpenRouter akan berkurang. Saat Anda ingin mencoba 20 model dari 10 lab, overhead 5% sangat layak dibayar, tetapi jika Anda hanya butuh 5 model dari 2 penyedia dan bisa membuatnya lebih murah dengan menyesuaikan opsi API tiap penyedia, itu jadi lebih sulit diterima

  • Salah satu hal yang dipermudah OpenRouter adalah manajemen API key. Akan bagus kalau penyedia lain juga memungkinkan atau mempermudah hal-hal seperti menerbitkan key baru, expiry/limit per key, dan semacamnya
    Ada banyak kegunaan untuk ini, misalnya saat membagikan fitur AI/asisten ke pihak luar. Fungsinya tetap bisa dipakai, tetapi kerugiannya bisa dibatasi jika key dibagikan atau dipakai untuk tujuan lain, dan kita jadi tidak perlu terlalu mengandalkan prosedur bypass yang lebih rapuh seperti guardrail

  • Benarkah perlu uang VC hanya untuk menaruh satu proxy di depan API lain? Tepatnya itu dipakai untuk apa? Marketing? Ini sudah dikenal, memangnya mau marketing apa lagi
    Infrastruktur? Apa perlu infrastruktur sebanyak itu untuk mem-proxy request? Tinggal bayar Cloudflare saja
    Mau merekrut lebih banyak engineer? Tapi bukankah kalian justru tenaga penjual terbaik untuk menjual snake oil bahwa engineer sudah tidak dibutuhkan lagi
    Jadi $100 juta itu sebenarnya mau dipakai untuk apa

    • Mereka mengambil uang itu karena memang bisa mendapatkannya. Itu berfungsi sebagai bukti sosial, sehingga pelanggan bisa diyakinkan bahwa mereka sedang membangun sesuatu dengan nilai yang lebih dalam. Padahal kenyataannya kemungkinan besar itu akan dipakai untuk mengembangkan channel agar di masa depan pelanggan dan data yang mereka titipkan bisa dijadikan produk
    • Jawaban dari salah satu co-founder OpenRouter ini tampaknya relevan: https://news.ycombinator.com/item?id=48340940
  • Salah satu fitur bagus OpenRouter yang belum saya lihat disebut di sini adalah meta-model milik OpenRouter. Ini secara otomatis merutekan prompt ke model dengan performa yang sesuai
    Jadi tidak semua harus dikirim ke Opus, yang sangat menghemat uang, dan ketika Anda menanyakan hal yang lebih kompleks, itu akan otomatis dikirim ke Opus sehingga hasil buruk juga bisa dihindari

  • “Selama 6 bulan terakhir, throughput mingguan OpenRouter meningkat dari 5 triliun token menjadi 25 triliun token
    Wah, itu lebih dari 41 juta token per detik. Skalanya luar biasa untuk tim kecil yang totalnya hanya sekitar 48~50 orang

    • Jika diasumsikan itu adalah biaya token upstream, dan bahkan setelah mempertimbangkan rasio token pemrosesan per kueri, mungkin itu paling banyak hanya beberapa ribu request per detik. Tetap mengesankan, tetapi untuk tim startup 50 orang yang membakar jutaan dolar per bulan, itu juga terasa kira-kira segitu skalanya
      Jika penyedia email menerima ribuan pesan per detik, dan bahkan meneruskannya ke upstream untuk deteksi spam, apakah itu akan terasa sama mengesankannya? Dalam kasus itu jumlah tokennya mungkin malah lebih tinggi, tetapi entah benar atau salah, rasanya HN akan lebih cuek
      Di satu sisi ini menunjukkan seberapa jauh industri ini sudah melangkah dari sisi skala, dan di sisi lain ini menunjukkan betapa besarnya ledakan data dan pemrosesan bahkan pada request yang secara nominal sederhana. Tetap saja, jelas tim ini sangat kuat, dan ini pencapaian yang patut dipuji
    • Untuk memberi gambaran, kalau satu token dianggap 4 byte, itu sekitar 164 MB/s trafik. Kalau dilihat begitu, rasanya jadi sedikit kurang mencengangkan
  • Menarik juga kalau bisa melihat spreadsheet keuangan untuk kasus ini. Biasanya investor Seri B mengharapkan hampir imbal hasil 10x. Apakah OpenRouter bisa membenarkan valuasi $1,1 miliar? Untuk peran sebagai “manajer”/perantara, itu benar-benar terasa tinggi. Tentu saja ini AI, tetapi saya juga sudah cukup tua untuk ingat masa ketika setiap perusahaan dot-com mendapat valuasi miliaran dolar

    • Kalau mereka bisa dengan mudah merutekan sebagian besar token dunia, mungkin bisa. Bagaimana kalau suatu hari fee 5% itu justru dibayar penyedia, dan OpenRouter mengambil porsi lebih besar di sisi infrastruktur/perutean. Ada banyak cara untuk menjadi perusahaan $10 miliar
    • Seperti biasa, dalam jangka panjang data pengguna akan menjadi produknya