Databricks Mengakuisisi Neon, Perusahaan Spesialis Postgres Serverless

• Databricks telah mencapai kesepakatan untuk mengakuisisi Neon, yang menyediakan Postgres serverless berfokus pada developer
• Neon menyediakan platform database serverless yang dioptimalkan untuk developer dan sistem AI melalui arsitektur pemisahan storage dan compute
• Setelah adopsi Neon, porsi database yang dibuat oleh AI agent tumbuh pesat dari 30% menjadi lebih dari 80%
• Databricks dan Neon berbagi filosofi open source serta DNA inovasi infrastruktur
• Setelah akuisisi, dukungan untuk platform Neon dan roadmap berorientasi masa depan akan diperkuat dengan sumber daya Databricks

---

Pengumuman Akuisisi dan Signifikansinya

• Databricks telah mencapai kesepakatan untuk mengakuisisi Neon, yang menyediakan Postgres serverless berfokus pada developer
• Para co-founder Neon adalah segelintir pakar dunia yang mampu merancang Postgres dengan struktur pemisahan penuh antara storage dan compute
• Tim ini selama ini berfokus pada penyediaan platform Postgres serverless untuk mendukung developer dalam skala besar di era AI

Misi Inovasi Berbasis Postgres

• Para co-founder Neon berkumpul sekitar 4 tahun lalu dengan tujuan merevolusi arsitektur database yang sudah usang
• Tujuan utamanya adalah sebagai berikut
  • Memprediksi standardisasi de facto Postgres dan membangun visi platform serverless
  • Berfokus pada kecepatan agar developer dapat membuat instance baru dalam hitungan detik
  • Berupaya menghilangkan kekhawatiran over/under-provisioning melalui autoscaling database dan penyederhanaan operasional
  • Memudahkan pengujian dan eksperimen database dengan dukungan branching dan forking instan
• Tim Neon mencapai tujuan tersebut dengan membangun arsitektur yang memungkinkan storage dan compute diskalakan secara independen
• Sejak peluncurannya, developer memuji kecepatan, kesederhanaan, serta fitur branching/forking ala Git

Perubahan di Era AI Agent

• Setelah Neon mencapai GA, AI agent menyumbang 30% dari seluruh pembuatan DB, dan belakangan meningkat menjadi lebih dari 80%
• AI agent kini memiliki kebutuhan yang serupa dengan developer
• Keunggulan Neon meliputi
  • Ekosistem open source Postgres: LLM terbaru dilatih menggunakan data Postgres, sehingga AI agent mahir menggunakan Neon
  • Kecepatan: Karena dibutuhkan kecepatan yang melampaui manusia, provisioning instance super cepat menjadi keharusan
  • Skalabilitas dan harga yang fleksibel: Berkat arsitektur serverless terpisah, biaya dapat dibuat sangat rendah dan mampu mendukung banyak AI agent
  • Branching dan forking: Eksperimen dan verifikasi menjadi mudah untuk menghadapi berbagai percobaan dinamis dari AI agent

DNA Bersama Databricks dan Neon

• Para pendiri Nikita Shamgunov, Heikki Linnakangas, dan Stas Kelvich adalah pakar teknologi database yang terkenal di industri
• Mereka memiliki pengalaman luas dan orisinalitas masing-masing, termasuk di SingleStore dan sebagai committer Postgres
• Databricks dan Neon sama-sama menekankan inovasi teknologi mutakhir di lapisan infrastruktur serta nilai open source
• Apache Spark dan Postgres sama-sama terhubung sebagai proyek open source yang bermula di UC Berkeley

Visi Ke Depan dan Manfaat bagi Pengguna

• Pasar database OLTP (sekitar 100 miliar dolar AS) saat ini masih didominasi produk dari beberapa dekade lalu
• Kini saatnya developer dan AI agent memimpin inovasi
• Databricks dan Neon menargetkan platform DB yang paling ramah developer dan ramah AI agent
• Pelanggan dan mitra Neon yang ada dapat mengharapkan dukungan dan inovasi berkelanjutan serta realisasi roadmap yang sudah direncanakan
• Melalui sumber daya Databricks, penguatan platform dan pertumbuhan yang stabil akan terjamin
• Visi ke depan akan dibagikan secara lebih rinci di Data + AI Summit (San Francisco, 9–12 Juni)

[GN⁺]

Komentar Hacker News

• Saya merasa data warehousing sedang cepat menjadi komoditas berkat open source. Ada perusahaan yang saya kenal pernah menyimpan lebih dari 2 petabyte data di Cloudera, tetapi alih-alih pindah ke cloud (Databricks), mereka membangun platform analitik sendiri dengan Iceberg, Trino, dan Superset lalu menghemat biaya sampai 5 kali lipat. Operator k8s kelas enterprise sekarang sudah cukup bagus, dan S3 on-premise juga sangat mumpuni. Hardware dan networking yang bagus juga tersedia, seperti server dengan 128 CPU dan memori 1TB. Bukan cuma Trino, StarRocks dan Clickhouse juga menyediakan chart/operator Helm k8s kelas enterprise. Valuasi Databricks sebesar 60 miliar dolar adalah beban mereka sendiri. Mereka harus membenarkan harga itu, sementara bisnis inti mereka sendiri juga sedang terkomoditisasi. Neon mengisi celah di lini produk mereka yang belum punya DB operasional (row-oriented)
  • Dari sudut pandang enterprise, ini bukan komoditisasi. Tempat kerja saya sebelumnya tidak mengizinkan software open source, perusahaan yang mungkin sudah tidak ada lagi 10 tahun ke depan, atau perusahaan yang menaruh data di luar tenant kami. Kami malah menyambut baik model harga “hubungi kami”, dan adopsi Databricks masuk dalam 3 pencapaian terbesar saya karena kami jadi tidak perlu lagi memikirkan platform data. Risiko adopsi platform baru terlalu besar, jadi (proyek open source apa pun) tidak bisa dipercaya. Kami pernah mengadopsi solusi startup, tetapi karena mereka memakai MongoDB dan tim operasi kami tidak punya cukup keahlian, alih-alih belajar kami malah membeli layanan dengan dukungan lengkap seperti Atlas. Kami juga hanya memakai firewall yang kami kenal, bukan Azure firewall yang asing, dan membuat berbagai kontrak. Hasilnya, kebutuhan rekrutmen berkurang, jalur kontak jadi satu, dan efisiensi kerja tercapai. Lisensi startup mungkin hanya 5~10 ribu dolar per tahun, tetapi support bisa memakan biaya jauh lebih besar seperti 40 ribu dolar. Startup dan enterprise benar-benar dua dunia yang berbeda
  • Saya menganalisis pelanggan dengan data skala terabyte memakai StarRocks open source lewat operator k8s, dan di lingkungan saya Databricks terasa hampir tidak diperlukan
  • Saya sudah beberapa tahun memakai ClickHouse tanpa masalah. Fitur-fiturnya sangat luas dan ini database yang terasa andal. Berkat fitur external dictionary, integrasi dengan datastore lain seperti Postgres dan Redis juga mudah
  • Kalau mencari alternatif Cloudera open source berbasis Kubernetes operator, saya sudah 5 tahun mengembangkan stackable.tech. Di sisi S3 open source on-premise, di situlah masalahnya. Saya tidak merekomendasikan MinIO, dan selain itu hampir tidak ada solusi yang benar-benar siap untuk enterprise
  • Data warehousing sudah menjadi komoditas sejak puluhan tahun lalu. Ada sejarah panjang soal harga dan metrik performa, dan produk SnowBricks tidak memenuhi itu. Bedanya cuma antara hard sell dan soft sell
  • Saya tidak paham kenapa harus membeli DB operasional dari Databricks. Buat saya ini cuma tampak seperti perjuangan Databricks mempertahankan valuasi pasarnya
  • Jika Databricks hanya butuh row DB, mereka pasti sudah membangun Postgres sendiri. Fakta bahwa mereka membayar Neon sebesar ini memberi sinyal bahwa mereka menginginkan sesuatu yang istimewa dari Neon, seperti “storage dan compute yang dapat diskalakan secara independen”
  • Saya penasaran mereka memakai apa untuk ETL
• Minggu lalu saya melamar ke neon, lalu kabar akuisisi muncul, dan pagi ini saya langsung menerima penolakan. Penolakan paling membahagiakan yang pernah saya alami. Ini jadi ketiga kalinya berturut-turut saya hampir masuk ke perusahaan yang kemudian diakuisisi, jadi sekarang saya cuma ingin stabilitas. Selamat untuk tim neon. Saya suka neon dan sedang memakainya, dan saya berharap akuisisi ini tidak terlalu banyak mengubahnya
  • Saya masuk ke Kenna Security sebelum akuisisi, lalu sebulan kemudian mereka diakuisisi Cisco. Itu pengalaman yang benar-benar buruk, dan saya tidak akan pernah lagi bekerja di perusahaan dengan kepemimpinan Kenna atau di Cisco
  • Pengalaman saya justru kebalikannya. Bergabung saat masa akuisisi adalah waktu yang paling menarik. Dalam kasus saya, pengalaman integrasi pasca-akuisisi itulah yang sering membuat saya diincar recruiter
  • Saat menjadi engineering manager tahun pertama, saya berada di tengah proses akuisisi dan membantu memilih siapa yang dipertahankan serta merombak tim sambil bertahan melewati dua kali PHK. Moral tim jatuh parah dan budaya organisasinya sama sekali tidak cocok. Saya mengalami burnout berat, istirahat beberapa bulan, dan sekarang kembali bahagia bekerja sebagai IC
  • Dugaan saya tim neon akan dimasukkan ke teknologi Online Tables milik Databricks. Dari sisi produk ini juga masuk akal
  • Kalau ada yang bergabung saat valuasi lama neon dan vesting-nya baru saja selesai, saya penasaran bagaimana rasanya tiba-tiba mendapat uang dalam jumlah besar
• Databricks adalah software sampah paling menyebalkan yang pernah saya pakai. Heran ada orang yang mau memakainya secara sukarela
  • Databricks dimulai pada 2013 saat Spark masih kurang bagus, dan mereka membuat Spark jadi lebih baik dan lebih cepat. Produknya masih berpusat pada Spark, tetapi menurut saya kombinasi Iceberg dan DuckDB lebih cocok untuk 95% perusahaan. Lebih murah, lebih cepat, lebih mudah dikelola, dan di Definite kami juga membangun platform data dengan asumsi itu (termasuk ETL, BI, dan Data Lake)
  • Databricks itu Jira-nya dunia data. Tidak ada yang benar-benar ingin memakainya, produknya biasa saja, dan karena berusaha cocok untuk semua pengguna, setiap fiturnya malah terasa serba tanggung. Sekarang ada jauh lebih banyak alternatif yang lebih baik, jadi saya tidak akan memilih Databricks atas kemauan sendiri
  • Saya benar-benar sulit setuju. Sebagai orang berlatar Hadoop, Databricks itu utopia. Stabil, cepat, dan bisa diskalakan sangat baik untuk dataset besar. Hanya saja keluhan terbesar saya adalah harganya terlalu mahal
  • Dulu saya menyukai platform Databricks. Pada 2020~2021, dibanding AWS, Azure, dan Snowflake, praktis cuma Databricks yang merupakan alternatif masuk akal. Sekarang produknya berantakan karena terlalu banyak fitur, terlalu sering berubah, dan berbagai akuisisi, bahkan penamaan fiturnya pun kacau
  • Ternyata software ala IBM (semua orang memakainya jadi kami juga pakai) memang masih punya pasar
  • Sejujurnya Databricks itu produk yang sangat membosankan. Kalau mengingat akhir 2010-an, Spark-as-a-Service memang luar biasa, saat banyak perusahaan gagal menjalankan Spark secara stabil sendiri. Layanan first-party dari hyperscaler juga masih lemah, dan memang ada masalah seperti kompatibilitas Jupyter pada format notebook Databricks, tetapi cluster on-prem yang tidak stabil jauh lebih menyakitkan sehingga kami rela membayar premiumnya. Saat itu Databricks memang bisnis bernilai 1 miliar dolar yang hebat. Namun Spark-aaS saja tidak cukup untuk menjadi unicorn. AWS EMR perlahan mengejar sebagai pesaing, dan pada akhirnya Databricks pun habis-habisan menggembungkan produk demi strategi pertumbuhan, membanjiri pasar dengan buzzword seperti data, lake, dan house. Pada 2025, kemunduran Databricks adalah sisi pahit dari enshittification. Suatu hari mungkin saja Larry Ellison akan mengakuisisinya dan menghapusnya dari pasar. Saya tidak paham kenapa orang masih memilih Databricks untuk proyek baru sekarang, tetapi perusahaan enterprise yang sudah memakainya lebih dari 5 tahun juga tidak bisa keluar begitu saja. Pangsa pasarnya mungkin akan terus turun, tetapi untuk sementara mereka masih akan terus menghasilkan uang. Begitulah siklus industri, dan pada akhirnya entropi selalu menang. Saya tidak akan terlalu membencinya. Mereka pernah membangun sejarah yang cukup bagus
  • Mereka terlalu menekankan Serverless, padahal batasan dan jebakan tersembunyinya terlalu banyak sampai benar-benar bikin frustrasi
  • Saya ragu apakah hosting Spark benar-benar se-revolusioner itu. Dan saya selalu curiga Spark sendiri terlalu kompleks untuk 90% kebutuhan pengolahan data perusahaan mapan. Saya tidak mengerti kenapa valuasi perusahaan ini setinggi itu
  • Kalau cookie dinonaktifkan, situs webnya sama sekali tidak bisa dibuka, dan itu red flag yang fatal. Sulit percaya tempat yang bahkan tidak bisa membuat situs web dengan benar akan membuat produk digital yang bagus
• Databricks seburuk Oracle. Saya yakin mereka akan merusak Neon atau membuatnya mahal. Dalam jangka menengah sampai panjang saya akan mencari alternatif Neon
  • Strategi M&A Databricks memang seperti mencekik perusahaan yang mereka akuisisi. Mereka sedang kesulitan menghadapi perubahan besar di open source seperti Iceberg dan DuckDB. Mereka mencoba berinovasi lewat akuisisi, tetapi karena budaya perusahaan, perusahaan yang diakuisisi malah runtuh. Saya mungkin bias karena berasal dari industri big data (mantan Snowflake), tetapi tren open source yang makin kuat jelas terlihat. Saya sangat penasaran bagaimana perubahan ini akan berkembang
• Kutipan dari artikel: “Tahun lalu, saat Neon beralih ke GA, 30% database yang dibuat berasal dari AI agent, dan ketika kami cek lagi baru-baru ini, proporsi itu sudah melampaui 80%. Artinya AI membuat database 4 kali lebih banyak daripada manusia.” Ini data yang memicu banyak alarm. Sepertinya Databricks ingin membungkus Postgres sebagai solusi AI. Dunia sekarang benar-benar aneh
  • Saya penasaran berapa banyak dari database itu yang benar-benar aktif dipakai
• Selamat untuk tim Neon. Saya sangat menyukai apa yang kalian buat. Tetapi terus terang saya tidak melihat kaitan atau sinergi yang jelas dengan Databricks, dan saya berharap Neon tetap menjadi produk terpisah. Kalau tidak, pasar akan kehilangan satu lagi penyedia Postgres yang benar-benar solid
  • Karena ketergantungannya pada Azure cukup tinggi, sepertinya tidak akan langsung hilang. Ini tampak seperti langkah Databricks untuk berekspansi dari DB analitik ke ranah DB transaksional juga
  • FAQ-nya memang mengatakan akan tetap beroperasi mandiri, tetapi menurut saya hasil akhirnya sudah bisa ditebak
• Saya ingat postingan pertama tim Neon di HN. Waktu itu saya juga berkomentar bahwa idenya keren, dan walau saya belum butuh memakainya langsung, saya pikir suatu hari nanti akan saya gunakan. Tetapi melihat berita akuisisi seperti ini membuat saya jadi ragu. Saya khawatir sekarang fokusnya akan lebih ke kepentingan pemilik daripada pengguna. Secara teori seharusnya kepentingannya sejalan, tetapi dalam praktiknya jarang benar-benar begitu
  • Saya juga ingat postingan pertama Neon. Pemisahan storage-compute terasa segar, dan saya juga sempat bertanya tentang Pageserver. Dua tahun kemudian saya sendiri akhirnya mengerjakan storage terpisah yang mirip di Turso database. Sekali lagi selamat untuk tim Neon
  • Berita akuisisi ini juga membuat saya berhenti sejenak. Sulit percaya bahwa memprioritaskan pengguna AI itu selaras dengan kepentingan developer. Saya berharap teknologi yang berkaitan dengan inti PostgreSQL bisa mendapat manfaat dari komunitas open source
• Selamat kepada tim Neon. Produk yang hebat. Tentu saja kalau menerima dukungan VC, hasil seperti ini pada dasarnya tak terhindarkan. Saya berharap Nikita dan yang lain tetap kuat dan tidak larut ke dalam Databricks
• Ini perkembangan yang sangat menarik. Saya rasa arah konvergensi OLTP dan OLAP memang benar. Saya pernah punya pengalaman bersama OP membangun sistem HTAP di SingleStore. Kami mencoba membuat OLTP dan OLAP berjalan dalam satu database (mendukung keduanya lewat satu kali copy), tetapi HTAP tidak benar-benar berhasil. OLTP sebaiknya tetap di Postgres, OLAP tetap di data warehouse/lake, dan replikasi di antaranya harus dirancang secara efisien. Replikasi sinkron sangat sulit. Penyimpanan kolumnar juga tidak bagus menerima write OLTP. Saya penasaran apakah Databricks dan Neon bisa mewujudkan skenario “memakai langsung tabel Postgres terbaru di Unity Catalog” (tanpa melewati Debezium, Kafka, Flink, Iceberg, dan Spark yang mengelola status Iceberg)
  • Pertanyaan apakah yang dimaksud OP adalah pendiri Neon, Nikita Shamgunov (sebelumnya pendiri MemSQL/SingleStore)
• Selamat untuk tim Neon. Jujur saja saya agak kecewa. Saya berharap Neon bisa mengisi kekosongan yang muncul setelah CockroachDB beralih ke business source. Setelah diakuisisi Databricks, Neon terasa kurang menarik. Sulit percaya perusahaan besar akan menjaga infrastruktur penting dengan baik. Permintaan untuk PostgreSQL yang “modern” jelas ada, tetapi dari akar masalahnya tak satu pun alternatif yang benar-benar menjauh dari persoalan itu (harga, kompatibilitas, keterbukaan source, dll.). Saat mencari alternatif Postgres, saya membandingkan hal-hal berikut (1) AWS RDS sudah kami pakai, tetapi mahal, dan ada masalah skalabilitas serta operasional (2) AWS Aurora menyelesaikan sebagian masalah operasional, tetapi membawa kekurangan lain, mirip dengan keterbatasan alternatif Postgres lain yang wire-compatible (3) CockroachDB sangat menarik, tetapi ada masalah kompatibilitas toolchain dan kompatibilitas mendalam, dan saat itu masih open source (4) Neon tampak belum cukup matang jadi kami belum mengadopsinya, tetapi sangat menarik dan terasa bisa menyelesaikan banyak masalah (5) Yugabyte juga teknologi yang menarik, tetapi juga punya berbagai masalah kompatibilitas Saya juga sempat mempertimbangkan hosting Postgres sendiri, tetapi beban operasional Kubernetes dan Postgres terasa terlalu berat. Fitur replikasi dan operasional mandiri masih belum cukup matang, dan saat upgrade, proses unload/reload seluruh data sangat merepotkan. Skalabilitas maupun otomatisasinya juga tidak mudah
  • Menanggapi perbandingan dengan Yugabyte karena query engine-nya tampak berbasis Postgres, ada yang mengingatkan bahwa Neon itu sendiri memang Postgres
  • Membagikan pengalaman singkatnya bahwa “alternatif Postgres modern terbaik adalah Postgres itu sendiri (5 tahun dari sekarang)”
  • Saya ingin mendengar lebih lanjut apa yang dimaksud dengan “kekurangan yang sama” dari alternatif PostgreSQL lain yang wire-compatible