Akuisisi Quickwit oleh Datadog

 (quickwit.io)
1 poin oleh GN⁺ 2025-01-11 | 1 komentar | Bagikan ke WhatsApp
  • Tim Quickwit akan bergabung dengan Datadog dan fokus pada pengembangan produk baru, sambil berencana merilis versi baru Quickwit dengan Apache License 2.0 agar komunitas dapat melanjutkannya
  • Titik awalnya adalah keterbatasan skalabilitas Elasticsearch dan biaya operasional yang tinggi, dan Quickwit menargetkan mesin pencari yang lebih dari 10 kali lebih efisien biaya serta dapat diskalakan hingga multi-petabyte
  • Binance membangun layanan log 100PB dengan Quickwit dan mengindeks 1.6PB per hari, sementara Mezmo juga menangani ribuan pelanggan dan log berskala petabyte di produksi
  • Minat open source, pertumbuhan pendapatan, dan pertimbangan Series A terus berlanjut, tetapi struktur tim yang tersebar di Tokyo, Paris, dan New York memperbesar beban penskalaan sehingga mereka meninjau peluang akuisisi
  • Pembaruan besar direncanakan untuk Quickwit dan tantivy, dan versi baru Quickwit akan mencakup distributed collect, agregasi cardinality, serta peningkatan performa dan memori

Bergabung dengan Datadog dan keberlanjutan open source

  • Tim Quickwit akan bergabung dengan Datadog dan fokus membuat produk baru bersama Datadog
  • Agar komunitas dapat terus melanjutkan Quickwit, mereka berencana segera merilis versi baru dengan Apache License 2.0
  • Baik Quickwit maupun tantivy sama-sama dijadwalkan menerima pembaruan besar
    • Versi baru Quickwit akan mencakup distributed collect yang telah lama diminta komunitas
    • Agregasi cardinality, peningkatan performa dan memori, serta fitur tambahan lainnya juga akan disertakan

Masalah yang ingin diselesaikan Quickwit

  • Quickwit berawal dari gagasan kolaborasi jangka panjang tiga insinyur: Paul, Adrien, dan François
  • Pemicunya adalah tantivy, proyek pribadi Paul pada 2020
    • tantivy sudah dikenal sebagai alternatif populer untuk Lucene
  • Masalah inti yang dibidik tim adalah skalabilitas dan biaya operasional Elasticsearch
    • Elasticsearch tidak dapat diskalakan secara efektif
    • Biayanya menjadi terlalu tinggi
    • Kompleksitas operasional meningkat
  • Tujuannya adalah membangun mesin pencari yang dapat dikelola operator dengan tenang, mampu diskalakan hingga skala multi-petabyte, dan setidaknya 10 kali lebih efisien biaya

Tim terdistribusi dan pengembangan open source awal

  • Pengembangan dimulai dengan struktur tim terdistribusi: Adrien di San Francisco, Paul di Tokyo, dan François di Paris
  • Mereka memanfaatkan perbedaan zona waktu untuk menciptakan siklus pengembangan follow-the-sun
  • Pemilihan Rust sangat memengaruhi kecepatan pengembangan awal dan stabilitas
    • Demo pertama yang dibuat dengan dataset Common Crawl naik ke halaman depan HN
    • Hampir tidak ada bug, dan satu-satunya pengecualian yang disebut adalah error Python "'NoneType' object has no attribute"
  • Versi pertama dirilis pada 13 Juli 2021
  • Open source adalah pilihan strategis sekaligus pilihan yang terasa alami bagi para insinyur
  • Eksposur di HN memicu percakapan dengan pengguna awal, tetapi semakin banyak percakapan, semakin jelas fitur yang masih kurang sehingga banyak implementasi tambahan diperlukan

Kasus penggunaan berskala besar dan kontribusi ke ekosistem Rust

  • Pertemuan dengan tim engineering Mezmo dan Binance menjadi titik balik bagi Quickwit untuk berkembang menjadi produk nyata berskala besar
  • Binance membangun layanan log 100PB dengan Quickwit
    • Mengindeks 1.6PB per hari
  • Mezmo menjalankan Quickwit di produksi untuk menangani ribuan pelanggan dan log berskala petabyte
    • Sambil memberikan pengalaman pengguna yang sama, biaya infrastruktur dan kompleksitas berkurang secara signifikan
  • Kemitraan ini membantu memantapkan Quickwit sebagai mesin pencari multi-petabyte yang efisien biaya
  • Dalam proses pengembangan Quickwit, tim juga berkontribusi ke berbagai library di ekosistem Rust
    • tantivy: library mesin pencari full-text yang menjadi fondasi Quickwit
    • chitchat: protokol keanggotaan klaster dengan deteksi kegagalan yang terinspirasi oleh Cassandra dan DynamoDB
    • Bitpacking: algoritme SIMD untuk kompresi integer melalui bitpacking
    • Whichlang: library deteksi bahasa yang cepat dan ringan untuk Rust
    • Mrecordlog: write-ahead log efisien yang dirancang untuk multi-tenancy

Proses memilih Datadog

  • Pada musim panas 2024, Quickwit mengalami peningkatan minat open source, lonjakan pendapatan, dan perhatian aktif dari VC
  • Perusahaan menilai bahwa ini adalah saat yang tepat untuk membuka babak baru dan mendorong putaran Series A
  • Namun, struktur tim yang tersebar di Tokyo, Paris, dan New York sudah cukup membebani, dan ekspansi bisa memperbesar kesulitan ini
  • Quickwit akhirnya memutuskan mencari rumah baru dan meninjau peluang akuisisi
  • Datadog tampak menonjol jelas di antara para kandidat
    • Kemampuan Datadog dalam menghadirkan pengalaman pengguna
    • Mesin pencari Quickwit berskala petabyte
    • Kesesuaian peluang untuk membangun solusi kuat yang diterapkan di lingkungan pelanggan
  • Keraguan awal tentang bergabung dengan perusahaan besar memudar setelah percakapan dengan tim Datadog
  • Dari percakapan dengan tim Datadog, mereka melihat kapasitas intelektual, kerendahan hati, dan budaya yang tulus

Komunitas dan pelanggan

  • Tim Quickwit menyampaikan terima kasih kepada karyawan, investor, kontributor, teman, dan para pendukung
  • Pelanggan yang disebut antara lain Mezmo, Formal, Radiant Security, MatterLabs, Fly.io
  • Komunitas juga menerima ucapan terima kasih sebagai pihak yang telah menjadi bagian dari perjalanan Quickwit

Bacaan terkait

1 komentar

 
GN⁺ 2025-01-11
Opini Hacker News

  • Sebagai salah satu pendiri Quickwit, rasanya benar-benar seperti kembali ke titik awal melihat akuisisi Datadog masuk halaman depan HN
    Perjalanan Quickwit sejak awal terkait erat dengan HN, dan prosesnya tercatat apa adanya dalam postingan-postingan halaman depan HN: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
    Semua kemunculan di halaman depan ini adalah tonggak penting, dan kami menulis artikel engineering dengan sepenuh hati karena ingin menambahkan sesuatu yang bernilai bagi komunitas. Saya yakin HN memainkan peran penting dalam kesuksesan Quickwit, dengan memberi visibilitas, umpan balik positif, komentar kritis, hingga prospek yang menghubungi kami secara langsung

    • Sepertinya ada tautan yang terlewat, tetapi bagaimanapun Tantivy itu luar biasa
      Saya suka pg_search https://www.paradedb.com/blog/introducing_search; meski dibuat oleh perusahaan lain, tampaknya dibangun di atas Tantivy, dan ini adalah salah satu keunggulan besar open source. Namun saya khawatir pengembangannya akan berhenti setelah akuisisi ini. Saya penasaran bagaimana pengembangan Tantivy secara terbuka terus-menerus membantu pendapatan Datadog
    • Selamat. Fakta bahwa tim kalian membuat Tantivy saja sudah merupakan kontribusi besar bagi open source
      Sebagai orang yang tidak pernah benar-benar menyukai produk berbasis Apache Lucene (Solr, Elastic), saya sangat senang Tantivy hadir sebagai open source. Scoring BM25, dukungan bahasa Asia yang benar, kecepatan, penggunaan memori, dan lainnya sangat bagus
      https://github.com/quickwit-oss/tantivy
      Menurut saya Datadog membuat pilihan cerdas. Selama Tantivy sendiri tetap berlisensi Apache 2 secara permanen dan dapat hidup berdampingan secara berkelanjutan dengan komunitas open source, itu sudah cukup. Kalian pantas menikmati kesuksesan komersial

  • Quickwit awal tahun ini tampaknya sempat ingin menambahkan lisensi enterprise lewat PR #5529, tetapi dalam pengumuman ini justru dikatakan akan merilis ulang lisensinya menjadi Apache License 2.0 agar komunitas bisa terus melanjutkannya
    Isinya kira-kira: “Kami akan fokus membuat produk baru bersama Datadog, dan agar komunitas open source dapat terus berjalan, kami akan segera merilis pembaruan besar untuk Quickwit dan tantivy serta melisensikan ulang di bawah Apache License 2.0”
    Pada akhirnya kita mendapatkan Quickwit dengan lisensi yang lebih bebas, tetapi jika membaca yang tersirat, pengembangannya tampak akan berkurang secara signifikan. Dari pengalaman saya menggunakannya, produknya stabil sehingga tidak banyak yang bisa dikeluhkan, tetapi saya tadinya menantikan apa lagi yang akan mereka hadirkan ke depan

    • Mungkin pekerjaan pengembangan penuh waktu harian oleh timnya sendiri akan berhenti. Kemungkinan karena mereka akan mengintegrasikan dan mengembangkan layanan yang mirip tetapi tertutup di dalam Datadog
      Meski begitu, tampaknya mereka ingin merilis produk saat ini dengan lisensi yang kompatibel dengan OSI agar komunitas bisa mengambil alih, dan ini kompromi yang cukup baik. Bisa saja jauh lebih buruk
      Datadog juga bukan perusahaan yang sama sekali tidak terkait dengan open source. Vector, tool pipeline observability yang mereka buka untuk penggunaan umum, adalah produk yang cukup solid: https://vector.dev/

  • Agak disayangkan belakangan ini beberapa database modern diakuisisi. Mereka punya potensi untuk menghadirkan banyak inovasi
    https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/

    • Berbicara sebagai karyawan Supabase, OrioleDB akan tetap sepenuhnya open source dengan lisensi yang permisif
      Supabase sedang menyediakan kanal distribusi awal agar tim OrioleDB bisa fokus pada storage engine ketimbang hosting, serta menerima banyak masukan pengguna dan laporan bug. Tujuan bersama kami adalah mengembangkan OrioleDB menjadi kandidat storage engine bawaan Postgres yang dipakai bukan hanya di Supabase, tetapi di mana saja
    • Akuisisi tidak selalu berarti akhir dari inovasi. Kadang justru memungkinkan inovasi yang dibangun bertahun-tahun menjangkau basis pengguna yang jauh lebih besar
      Saya sudah bertemu para pendiri ketiga perusahaan itu, dan saya yakin mereka semua sungguh-sungguh ingin membawa karya mereka ke dunia. Sebagai catatan, ParadeDB tetap independen dan tidak punya rencana untuk dijual dalam waktu dekat

  • Hitung mundur dimulai sampai Datadog menemukan cara menagih berdasarkan node, CPU, container, RAM(KB), dan jumlah karakter Unicode yang diindeks

    • Mereka sudah melakukannya. Misalnya, untuk container, paket Pro menyertakan 5 per host; proyek hobi saya saja lebih banyak dari itu, dan setelahnya ada biaya tambahan per container
      Model harganya cukup rumit, sehingga lama-lama mulai muncul pertanyaan apakah fitur-fitur bagus ini benar-benar sepadan dengan harga setinggi itu
    • Bukankah mereka sudah begitu? Log ditagih berdasarkan GB yang dikumpulkan, dan monitoring ditagih per node

  • Mezmo mengatakan mereka memasukkan Quickwit ke produksi untuk menangani ribuan pelanggan dan log berskala petabyte, sekaligus memangkas biaya serta kompleksitas infrastruktur secara signifikan; sulit rasanya melihat secara positif bahwa tak lama setelah itu Quickwit dijual ke pesaing

    • Itu risiko yang harus ditanggung ketika mengembalikan kontribusi ke open source
      Sisi baiknya bagi semua orang lain adalah, kalau Datadog merusaknya, ini sinyal bahwa akan ada cukup banyak permintaan untuk fork
    • Kalau mereka sendiri yang mengerjakannya, itulah esensi open source; dan kalau mereka punya kontrak dengan Quickwit, rasanya mustahil tidak ada klausul yang menangani situasi seperti ini

  • Tulisan terkait: Binance built a 100PB log service with Quickwit(6 bulan lalu, 228 poin, 195 komentar) https://news.ycombinator.com/item?id=40935701
    Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog(1 tahun lalu, 145 poin, 51 komentar) https://news.ycombinator.com/item?id=38902042

    • Sepertinya harus membuat produk sukses yang mengancam vendor legacy besar yang tidak bisa bergerak cepat, lalu menargetkan acqui-hire dengan cepat

  • Mereka berkata, “Sejak musim panas ini suasananya berubah. Tarikan open source makin kuat, pendapatan melonjak, dan VC makin aktif mendekati kami. Inilah saatnya membuka babak baru perusahaan dan menggalang Series A.” Secara retoris, kenapa harus saat itu?
    Jawaban realistisnya ada di situ. VC tidak puas hanya dengan perusahaan yang tumbuh cepat dan punya teknologi bagus. Entah itu up round yang bisa membuat nilai portofolio mereka tampak naik, atau jika pasar tidak cukup panas untuk Series A bernilai tinggi, mereka akan mendorong exit

    • Itu keputusan yang sudah diambil saat menerima pendanaan seed, bukan saat mencari pendanaan lanjutan
      Kalau ingin membangun perusahaan tumbuh yang menguntungkan, dana VC bukan jalan itu
    • Saya penasaran apa yang sebenarnya terjadi kalau para pendiri tidak mau bekerja sama. Bisakah VC memaksa penjualan dengan syarat yang lebih buruk? Saya tidak begitu paham di mana batas antara permintaan sopan dan paksaan, serta siapa yang benar-benar punya leverage
    • Seed round kami 100% berbentuk SAFE, jadi para VC tidak punya hak untuk memaksa kami melakukan apa pun
      Redaksi kalimat di blog itu bisa sedikit menimbulkan salah paham. VC yang dimaksud François kemungkinan bukan VC yang sudah berinvestasi di Quickwit, melainkan VC lain yang mengetahui situasi perusahaan dan menghubungi kami karena ingin ikut dalam eventual Series A
      Secara umum, kami hanya merasa berada di “persimpangan jalan”, dan tidak ada yang memelintir tangan siapa pun
    • Kalau pendiri sudah mengambil seed, lalu menemukan product-market fit dan mulai menghasilkan pendapatan yang berulang, bukankah wajar untuk menaikkan Series A demi melakukan ekspansi?

  • Saya benar-benar tidak suka Datadog. Di perusahaan kami, nama Datadog dipakai seperti makian untuk merujuk pada cara menjual atau memasarkan yang tidak boleh dilakukan
    Sekitar 2015–2018 saya benar-benar muak karena gaya sales mereka. Telepon dan email tanpa henti berdatangan, dan puncaknya adalah presentasi Lambda di AWS re:Invent saat Lambda baru diumumkan. Seluruh tim pergi untuk mendengarkan karena ingin mencoba Lambda lebih awal, tetapi ternyata itu presentasi dari karyawan Datadog yang pada dasarnya menyalin secara dangkal blog “lambda up and running” dari Barr dan mengemasnya seperti stand-up comedy; pembicaranya terus menekankan bahwa ia karyawan Datadog. Rasanya seperti mencoba membuat orang minum dan senang-senang agar merasa Datadog itu keren
    Serius bertanya: sejak saat itu, apakah perusahaan ini sudah berubah sampai layak dilihat lagi?

    • Apa hubungannya itu dengan produk sebenarnya?
    • Setelah bergabung dengan Datadog, ada banyak kemungkinan hasil
      Seperti kata mantan manajer saya, di laporan laba rugi tidak ada pos untuk “orang baik”, dan seseorang harus membayar biayanya. Jadi mudah merasa cemas sambil membayangkan jalan yang gelap
      Namun salah satu kemungkinan hasilnya adalah munculnya pesaing open source yang efektif terhadap ekosistem Grafana, dan itu saja bisa membantu mencegah ekosistem lainnya melakukan relicensing. Bisa juga menjadi win-win, para pendiri menemukan jalan yang berkelanjutan tanpa pertarungan uang dan kekuasaan. Saya ingin melihatnya secara positif, dan hanya waktu yang akan membuktikan
    • Pengalaman saya justru sebaliknya. Tim sales mereka cukup menghargai waktu kami
    • Setuju. Begitu mereka mendapatkan domain kami, setiap engineer dibombardir email seperti “Re: meeting next week”
    • Kami malah tidak pernah mendapat tawaran sales yang mengajak minum seperti itu

  • Saya baru saja pindah dari Elastic ke Quickwit, dan ini bikin menghela napas. Ada rekomendasi database log lain yang open source dan berbasis object storage?

    • Loki dari Grafana Labs cukup bagus: https://grafana.com/oss/loki/
      Sekitar 3 tahun lalu produknya berubah cukup cepat dan sebagian besar dokumentasinya ada di git, jadi upgrade versi minor agak merepotkan, tetapi sekarang saya rasa sudah jauh lebih matang
    • Saya sarankan mencoba SigNoz
      Dibangun di atas ClickHouse, cepat dan skalabel
      https://github.com/SigNoz/signoz
      Sebagai catatan, saya adalah maintainer SigNoz
    • Sebaiknya lihat VictoriaLogs: https://docs.victoriametrics.com/victorialogs/
      Ini executable tunggal berukuran kecil, langsung berjalan dengan konfigurasi default, dan menyimpan semua data dalam satu direktori. Dukungan object storage akan segera ditambahkan

  • Saya penasaran Datadog akan membuat apa dengan teknologi ini. Beberapa bulan lalu, sepertinya perusahaan ini memperkenalkan diri sebagai pesaing open source Datadog

    • Melihat press release, ada petunjuk bahwa mereka ingin menawarkan model self-hosted untuk pelanggan yang tidak bisa memakai SaaS murni karena regulasi
      Industri teregulasi seperti keuangan, asuransi, dan layanan kesehatan harus memenuhi persyaratan residensi data, privasi, dan regulasi sambil tetap mempertahankan visibilitas ke seluruh sistem. Jika log harus tetap berada di lingkungan pelanggan atau wilayah tertentu, observabilitas yang mulus dan perolehan insight menjadi sulit, dan Datadog tampaknya ingin memenuhi kebutuhan ini melalui Quickwit tanpa menambahkan berbagai alat log
    • Mereka ingin mengirim tagihan yang lebih besar ke pelanggan enterprise
    • Bisa juga justru diakuisisi agar teknologi ini tidak bisa dipakai untuk membuat sesuatu yang lebih jauh. Karena itu mengancam pembaruan kontrak enterprise yang sudah ada
    • Niat untuk melindungi moat mereka sendiri cukup jelas. Sepertinya Datadog tidak akan terus berinvestasi di sini. Karena ini pesaing yang cukup langsung
      Apa yang terjadi dengan Vector open source yang dulu mereka akuisisi? Apakah orang-orangnya masih dipekerjakan?
    • Menurut saya, bisa jadi mereka ingin mengganti infrastruktur yang ada dengan ini untuk menekan biaya