Turbopuffer - Teknologi pencarian cepat di object storage

• Pada akhir 2022, saat memperluas infrastruktur Readwise, mereka ingin menambahkan fitur rekomendasi artikel dan pencarian semantik yang menggunakan vector embedding
• Biaya database relasional saat itu $5k per bulan, tetapi biaya pencarian vektor melebihi $20k per bulan, sehingga implementasi fitur dibatalkan karena biayanya terlalu tinggi
• Mesin pencari yang ada mahal dan sulit dioperasikan: dengan perkembangan object storage, NVMe SSD, AI, dan teknologi vektor, dibutuhkan mesin pencari baru
• Database vektor yang ada menggunakan penyimpanan in-memory sehingga biayanya tinggi
  • Biaya dapat ditekan secara signifikan dengan memanfaatkan object storage (S3, GCS) dan caching SSD
  • Contoh: penyimpanan in-memory $2+/GB, object storage $0.02/GB

Desain turbopuffer

• Mengembangkan mesin pencari yang sesuai untuk masa kini
• Mencapai efisiensi biaya dan performa sekaligus dengan memanfaatkan object storage dan caching cerdas
• Dapat menangani puluhan miliar vektor dan jutaan tenant
• Mesin pencari berbasis object storage
  • Mesin pencari yang ada menggunakan arsitektur disk replika dari database relasional
  • Mesin pencari membutuhkan throughput tulis yang tinggi dan toleransi latensi tulis yang longgar
  • Menjaga performa sambil menekan biaya melalui object storage serta caching SSD/memori
• Implementasi database native object storage
  • Membangun database yang menjadikan object storage sebagai fondasi utama
  • Menyediakan keandalan tinggi dan skalabilitas tanpa batas
  • Menjaga ketersediaan tinggi melalui multi-tenancy dan sharding
• Contoh pelanggan
  • Cursor: editor kode AI, mengelola puluhan miliar vektor sambil menurunkan biaya 10x
  • Suno: fitur radio
  • Dot: fitur memori
  • Shapes: fitur memori

Ringkasan GN⁺

• turbopuffer sangat meningkatkan efisiensi biaya dan performa mesin pencari dengan memanfaatkan object storage dan caching cerdas
• Bertujuan mengatasi tingginya biaya dan sulitnya operasional pada mesin pencari yang ada
• Merancang mesin pencari baru yang sesuai dengan perkembangan AI dan teknologi vektor
• Membuktikan penghematan biaya dan peningkatan performa melalui contoh pelanggan awal seperti Cursor
• Proyek lain dengan fungsi serupa antara lain ElasticSearch dan Vector DBs

[GN⁺]

Komentar Hacker News

• Pernah bekerja dengan Simon, dan dia sangat memahami bidangnya

  • Pernah bekerja bersama terkait pencarian di Shopify, dan banyak berdiskusi tentang stack pencarian yang ideal
  • Menginginkan sistem ideal yang dapat mengekspresikan ranking melalui API pencarian di cloud, serta melakukan boosting berdasarkan berbagai atribut menggunakan matematika dataframe

• Berharap Turbopuffer dapat bekerja seperti dataframe Polars sehingga ranking bisa diekspresikan di API pencarian

  • Menginginkan kemampuan untuk menjalankan first pass menggunakan matematika dataframe lalu menjalankan model re-ranking

• Juga sangat menyukai desain situs web Fixie.ai

  • Fixie.ai adalah salah satu pelanggan Turbopuffer

• Di Hetzner, biaya RAM adalah $200/TB/bulan, 18 kali lebih murah dibanding tempat lain

  • Dengan mengurangi kompleksitas, target bisa dicapai lebih cepat

• pg_vector sudah ada sejak sebelum 2022, dan tidak memerlukan penyimpanan in-memory

  • Dapat melakukan pencarian vektor untuk lebih dari 100 juta dokumen

• Bertanya-tanya apakah memungkinkan membangun pendekatan menggunakan Lucene dengan node cache SSD di depan object storage

  • Pernah menyaksikan deployment Elasticsearch skala besar, dan akan luar biasa jika semuanya bisa ditaruh di S3

• Terdengar seperti versi source-available tertutup dari Quickwit

  • Tautan Quickwit

• Bertanya-tanya apakah ada solusi umum untuk menyimpan database besar yang hanya-baca di S3 dan melakukan query langsung

  • Duckdb bisa membuka file parquet lewat http dan melakukan query, tetapi memicu banyak request kecil
  • Menginginkan satu file dan indeks yang bisa di-cache untuk mengelola jutaan objek

• Latensi baca ClickHouse di bawah 100ms, latensi tulis di bawah 1 detik

  • ClickHouse juga cocok untuk logging, analitik real-time, dan RAG

• Tidak terlalu paham tentang database vektor, tetapi mengira ini terutama digunakan untuk RAG dan pekerjaan terkait AI lainnya

  • Perlu menggali lebih dalam

• Menganggap pendekatan object-storage-first sangat cocok secara alami dengan cloud