Nemo - Platform Penemuan Data Facebook

 (engineering.fb.com)
9 poin oleh xguru 2020-10-14 | 1 komentar | Bagikan ke WhatsApp
  • Organisasi berskala besar membangun sistem pencarian data internal dan mesin metadata mereka secara terpisah

→ Netflix(Metacat), Lyft(Amundsen), Linkedin(DataHub), Uber(Databook)

→ Platform yang memudahkan penggunaan ulang dengan mencari metadata seperti data apa saja yang dibuat/dicari oleh siapa/kapan

  • Mengintegrasikan Hive, Scuba, Cubrick, berbagai dasbor, serta dataset AI

  • Menggunakan Unicorn yang dipakai untuk pencarian social graph

  • Mendukung kueri bahasa alami dengan spaCy: "Berapa jumlah WAU (pengguna aktif mingguan) di Instagram?"

Bacaan terkait

1 komentar

 
xguru 2020-10-14

Nemo tidak dirilis sebagai open source, sementara alat dari perusahaan lain dirilis sebagai open source.

Lyft - Amundsen https://github.com/amundsen-io/amundsen

Netflix - Metacat https://github.com/Netflix/metacat

Linkedin - DataHub https://github.com/linkedin/datahub