Morphik - Basis pengetahuan AI native open source

• Alat open source yang memungkinkan pencarian dan pengelolaan data multimodal secara terpadu seperti gambar, PDF, dan video
  • Dioptimalkan untuk menangani dokumen teknis dan visual dibanding pendekatan RAG tradisional
• Dengan memanfaatkan embedding ColPali, setiap halaman diproses seperti gambar penuh, menghadirkan fitur pencarian semantik yang memahami tata letak, tipografi, hingga konteks visual
• Dapat membuat graf pengetahuan khusus domain yang mampu menghubungkan entitas di berbagai dokumen, serta mendukung system prompt kustom maupun yang sudah dilatih sebelumnya
• Mencari berbagai dokumen seperti PDF, gambar, dan video melalui satu API, serta mendukung MCP
• Fitur ekstraksi metadata cepat dan skalabel, serta mendukung bounding box, klasifikasi, dan lainnya
• Mendukung integrasi alur kerja dengan Google Suite, Slack, Confluence, dan lainnya
• Juga mencakup fitur Cache-Augmented-Generation berbasis KV cache yang meningkatkan kecepatan generasi berbasis dokumen
• Fitur dasar tersedia sebagai open source dengan lisensi MIT, sehingga bisa mulai digunakan gratis, sementara sebagian fitur lanjutan berbayar dan disediakan di namespace ee

Pengenalan konsep dan fitur utama

• Pencarian multimodal (ColPali)

  • Setiap halaman PDF diproses sebagai gambar, menghasilkan representasi multivektor tingkat halaman alih-alih per token teks
  • Gambar, PDF, video, dan struktur visual (tabel, diagram, format, dll.) juga dapat dipahami maknanya dan dicari
  • Mendukung kueri multimodal terpadu melalui satu endpoint

• Graf pengetahuan (Knowledge Graphs)

  • Dapat membuat graf pengetahuan khusus domain hanya dengan satu baris kode
  • Bisa memakai prompt yang sudah dikonfigurasi sebelumnya atau dikustomisasi pengguna

• Ekstraksi metadata yang cepat dan skalabel (Rules Processing)

  • Mengekstrak otomatis bounding box, label, informasi klasifikasi dan lainnya dari dokumen
  • Memproses dokumen berukuran besar dengan cepat dan stabil

• Beragam fitur integrasi (Integrations)

  • Mendukung integrasi langsung dengan Google Workspace, Slack, Confluence dan lainnya

• Cache-Augmented-Generation (Cache-Augmented-Generation)

  • Membuat KV cache per dokumen untuk meningkatkan kecepatan generasi
  • Berguna di lingkungan dengan banyak kueri berulang

[blizard4479]

Saya pernah mengujinya beberapa bulan lalu karena ingin memakainya, tetapi ternyata membutuhkan sumber daya GPU yang jauh lebih besar dari perkiraan dan kecepatannya juga turun cukup banyak, jadi rasanya sulit untuk diadopsi oleh perusahaan skala kecil. Bahkan untuk pencarian dengan 2 GPU A10 saja butuh sekitar 30 detik sampai 1 menit, ngeri,,