Overture Maps Foundation Merilis Dataset Peta Terbuka Pertama Berskala Global

 (overturemaps.org)
1 poin oleh GN⁺ 2023-07-28 | 1 komentar | Bagikan ke WhatsApp
  • Rilis resmi pertama dari dataset peta terbuka kelas pasar yang terdiri dari 4 layer inti, menyediakan data berbasis peta global yang dapat digunakan bebas oleh siapa pun
  • Layer Places of Interest(POI) mencakup data lebih dari 59 juta tempat di seluruh dunia, menjadi fondasi bagi layanan berbasis lokasi seperti navigasi dan pencarian lokal
  • Tersusun dalam struktur multilayer yang mengintegrasikan Buildings·Transportation·Administrative Boundaries, mulai dari bangunan, jaringan jalan, hingga batas administratif
  • Semua layer diformat dengan skema data Overture Maps, mendukung pengumpulan dan pemanfaatan dalam cara standar yang interoperabel
  • Titik balik untuk mengatasi biaya pengumpulan dan pemeliharaan data peta global yang kian sulit ditanggung satu organisasi, melalui kolaborasi model aset bersama

Ringkasan rilis

  • Overture Maps Foundation(OMF) merilis dataset peta terbuka pertamanya dengan versi Overture 2023-07-26-alpha.0
  • Terdiri dari 4 layer data unik: Places of Interest(POIs), Buildings, Transportation Network, Administrative Boundaries
  • Setiap layer menggabungkan beragam sumber data peta terbuka dan melalui serangkaian pemeriksaan kualitas untuk validasi dan integrasi(conflation)
  • Dirilis dengan skema data Overture Maps yang dipublikasikan pada Juni 2023
  • Dataset Places mencakup lebih dari 59 juta tempat di seluruh dunia, menjadi elemen dasar untuk navigasi, pencarian lokal, dan berbagai aplikasi berbasis lokasi
  • Dataset dapat diunduh dari halaman download

Komposisi dan latar belakang yayasan

  • Didirikan pada Desember 2022 oleh AWS, Meta, Microsoft, TomTom
  • Saat ini lebih dari selusin perusahaan pemetaan, geospasial, dan teknologi berpartisipasi; anggota baru yang bergabung mencakup ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn, Sparkgeo
  • Berlandaskan premis bahwa data peta harus menjadi aset bersama yang menopang aplikasi masa depan
  • Seiring meningkatnya tuntutan terhadap akurasi, keterkinian, dan asal-usul data peta, biaya serta kompleksitas pengumpulan dan pemeliharaan data peta global telah melampaui kapasitas satu organisasi

Detail layer data

  • Places of Interest

    • Mencakup lebih dari 59 juta record POI yang sebelumnya belum pernah dirilis sebagai data terbuka
    • Diturunkan dari data yang dikontribusikan anggota pendiri Meta dan Microsoft kepada OMF, menyediakan baseline data tempat global
    • Ke depan, data akan terus ditingkatkan, diperbarui, dan diperluas dengan menggabungkan sumber daya yang tersedia seperti data pemerintah terbuka, data pemetaan lokal crowdsourcing, serta teknik AI/ML
    • Menggunakan lisensi CDLA Permissive v2.0, sehingga dapat digunakan bebas oleh pembuat peta maupun penyedia layanan lokasi

  • Buildings

    • Mencakup lebih dari 780 juta footprint bangunan unik di seluruh dunia
    • Dikembangkan dengan menggabungkan beberapa proyek data terbuka seperti OpenStreetMap, footprint bangunan yang dihasilkan AI Microsoft, Esri

  • Transportation

    • Representasi jaringan jalan global yang diturunkan dari data OpenStreetMap
    • Menyusun ulang data yang dibangun komunitas ke dalam format data Overture, menyediakan segmentasi yang konsisten dan linear reference system
    • Mendukung penambahan data seperti batas kecepatan atau volume lalu lintas real-time

  • Administrative Boundaries

    • Dataset terbuka global untuk batas administratif negara dan wilayah
    • Nama wilayah diterjemahkan ke dalam lebih dari 40 bahasa untuk mendukung penggunaan internasional

Skema data dan interoperabilitas

  • Semua layer diformat dengan skema data OMF yang baru dirilis
  • Dirancang agar pengembang layanan peta dapat mengumpulkan dan menggunakan data dengan cara yang terstandardisasi dan terdokumentasi, serta interoperabel

Tujuan publikasi dan rencana ke depan

  • Merilis data secara publik untuk mengumpulkan umpan balik publik; umpan balik dapat dikirim melalui GitHub atau email
  • Rilis mendatang direncanakan akan mengintegrasikan sumber data terbuka baru
  • Melakukan konversi tambahan tiap layer ke skema OMF
  • Berencana mengimplementasikan Global Entity Reference System, sistem ID stabil yang memungkinkan data ditambahkan secara konsisten ke fitur peta

Bacaan terkait

1 komentar

 
GN⁺ 2023-07-28
Pendapat di Hacker News

  • Overture Maps adalah proyek para pemain besar di bidang geospasial, yaitu TomTom, Amazon, Microsoft, dan lainnya—tanpa Google—untuk memanfaatkan dataset terbuka seperti OpenStreetMap bersama data proprietari milik mereka sendiri dan metode pemrosesannya
    Ini adalah konsorsium yang ingin memperkaya data geospasial berbasis data terbuka dengan proses proprietari masing-masing, lalu mendistribusikan kembali hasilnya dengan Community Database License Agreement - CDLAv2 yang relatif permisif, tetapi tetap merahasiakan data sumber dan proses yang diperlukan untuk membuat dataset tersebut
    Di komunitas OpenStreetMap ada banyak diskusi, tetapi secara umum masuknya sumber daya sebanyak ini ke ekosistem sekitar OSM dipandang positif

    • Para mapper OSM cukup tidak puas dengan editan dari perusahaan anggota Overture
      Baik editan yang dilakukan kontraktor berupah rendah maupun impor massal hasil ekstraksi AI dari citra satelit, keduanya menjadi masalah
    • Saya penasaran bagaimana itu bisa dilakukan
      Sepengetahuan saya, OSM dilisensikan sedemikian rupa sehingga jika digabungkan dengan data lain, keseluruhannya harus dibuka dengan lisensi yang sama
    • Rasanya akan sangat berguna jika setidaknya nama sumber data saja dibuka
      Misalnya, dalam analisis akses layanan kesehatan berbasis geospasial yang sedang saya kerjakan, akan sangat bernilai jika layer places bisa dipercaya sebagai sumber lokasi penyedia layanan kesehatan yang cukup akurat
      Menghubungkan data CMS dan data paket asuransi kesehatan, lalu melakukan geocoding dengan OSM Tiger geocoder itu pekerjaan besar, jadi data yang sudah dibersihkan akan sangat membantu

  • Jika Anda mencari peta itu sendiri seperti Google Maps, saya sangat merekomendasikan Protomaps https://protomaps.com/
    Semua data peta berada di dalam format PMTile berupa satu file, dan data vektor yang diperlukan untuk area/zoom tertentu bisa diambil melalui range request ke file tersebut
    Misalnya, Anda bisa mengunggah myfile.pmtiles ke S3, lalu membuat Lambda menerima x/y/z dari path, meminta range yang tepat, dan membiarkan CloudFront melakukan cache respons tile
    Setelah itu Anda bisa langsung memakai tiles.mydomain.com atau domain CloudFront, lalu di frontend mengambil dan merender tile dengan sesuatu seperti Leaflet
    Di Leaflet, gunakan plugin/library protomaps dan berikan URL seperti "[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>;)"; di sini 20230408 bersesuaian dengan 20230408.pmtiles di bucket S3
    Bagus juga karena Anda bisa memasukkan file pmtiles baru ke bucket dan memperbarui klien agar memakai sumber baru, serta karena tile berbentuk vektor, tema bisa diterapkan di sisi klien sesuai keinginan
    Anda tidak harus memakai tileset seluruh dunia yang lebih dari 100GB; dengan tool dari developer yang sama, Anda juga bisa mengunduh hanya wilayah geografis tertentu https://app.protomaps.com/downloads/small_map
    File .pmtiles memang sedikit di atas 100GB, tetapi seluruh setup bisa berjalan dalam satu-dua jam paling lama, dan biaya operasionalnya seharusnya jauh lebih rendah daripada Google Maps

    • Demonya tidak terlalu membantu
      Tampaknya berhenti pada level zoom yang arbitrer, sehingga detail yang mungkin saya pedulikan saat mengevaluasi solusi ini tidak ada
      Jika menggali repositori GitHub, ada https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu..., yang setidaknya lebih detail meski belum cukup untuk sepenuhnya menggantikan Google Maps
    • Keren, tetapi saya harus mendorong peta raster ke endpoint saya
      Saya penasaran apakah ada cara mudah untuk memakai peta MVT, membuat tile secara instan, menambahkan backend CGI dan caching, lalu merendernya dengan Leaflet
      Saya punya proyek renderer peta pribadi kecil yang dibuat dengan Leaflet, dan saat ini memakai tiga sumber tile: Google, OSM, dan Esri; akan bagus jika sumbernya bisa bertambah
    • Maksudnya satu eksekusi Lambda untuk setiap tile?

  • “Batas administratif: dataset terbuka global untuk batas administratif negara dan wilayah, serta mencakup nama wilayah yang diterjemahkan ke lebih dari 40 bahasa untuk mendukung penggunaan internasional” — ini sepertinya akan menarik
    Kalau ingatan saya benar, untuk menghindari sengketa, Google Maps mengubah tampilan garis batas berdasarkan sudut pandang lokasi tempat peta diminta
    Di banyak negara, tidak menampilkan batas secara “benar” adalah tindak pidana
    Sumber terkait: https://qz.com/224821/see-how-borders-change-on-google-maps-...

    • Jika Anda tidak sedang membuat pesaing Google Maps, dalam 99% kasus Anda tidak akan membutuhkan negara-negara dengan batas sengketa
      Jika pengguna Anda bukan dalam skala jutaan, bahkan di dalam negara-negara seperti itu pun kemungkinan besar tidak ada yang akan peduli

  • Menyediakan data memang bagus, tetapi ketika benar-benar mencoba mengambilnya, kelihatannya seolah dibuat serumit mungkin
    Katanya harus mengimpor memakai DuckDB; saya tidak paham kenapa tidak mendukung berkas dump MySQL saja
    Saya juga bertanya-tanya kenapa pengguna harus punya DuckDB, dan apakah DuckDB memang sepopuler itu
    Tautan yang diberikan juga tidak berfungsi, jadi tampaknya tidak ada yang benar-benar bisa dipakai, dan saya tidak tahu bagaimana cara menggunakannya
    Selain itu mereka juga mensyaratkan Amazon S3 dan semacam bahasa kueri nonstandar untuk mengaksesnya, yang sulit saya mengerti
    Rasanya bukan cuma saya yang merasa begitu; caranya harus lebih umum daripada sekarang

    • Saya sempat ingin bilang bahwa mengunci data di balik akun AWS atau Azure itu agak tidak sopan, tetapi secara realistis tidak mengherankan kalau penyedia cloud besar ingin membuat orang memakai lebih banyak layanan cloud mereka
      Kalau AWS atau Azure mau, tidak ada yang menghalangi mereka membuka s3:Get dan s3:List pada bucket tersebut agar bisa dibaca tanpa autentikasi

  • Sebagai kontributor AllThePlaces, saya tertarik pada topik ini https://www.alltheplaces.xyz/
    AllThePlaces adalah proyek open source yang mengumpulkan spider Scrapy untuk merayapi situs web waralaba dan jaringan ritel yang kemungkinan muncul di name-suggestion-index, dan data lokasinya dikumpulkan dengan lisensi CC-0 http://nsi.guide/
    Dari hampir 1.700 spider, proyek ini mengumpulkan data sedikit di bawah 3 juta tempat menarik
    Overture Maps terlihat seperti proyek yang cukup tertutup dan proprietari, dan keterbukaannya tampaknya terbatas pada klaim bahwa dataset dan spesifikasi skemanya bisa diunduh
    Pertama, tidak ada penjelasan terbuka tentang bagaimana datanya dibuat, sehingga pengguna akhir sulit mendapat jaminan atas akurasi dan kelengkapannya
    Batas administratif sangat rumit, mencakup batas yang disengketakan, ambiguitas besar dalam definisi batas, serta kompromi antara performa algoritme yang memakai data batas administratif dan presisi batas
    Kita tidak tahu Overture Maps mengikuti definisi batas yang mana, atau apakah ia bisa mendukung beberapa definisi
    Ada kemungkinan Microsoft menyediakan informasi geografis ld+json/microdata yang diperoleh dari perayapan internet BingBot, tetapi data ini terkenal tidak akurat: field sering tercampur atau disalahgunakan, halaman web tetap ada walau nama field berisi “CLOSED” untuk menunjukkan toko sudah tutup 5 tahun lalu, dan spesifikasi jam buka juga sangat ambigu
    Di AllThePlaces, banyak spider membutuhkan penilaian manusia yang cukup kompleks untuk merangkai data berantakan yang dipublikasikan organisasi seperti toko atau waralaba restoran di situs web mereka
    Bahkan untuk informasi lokasi yang mungkin membutuhkan akurasi dan presisi ±1–5 m, seperti toko individual di dalam pusat perbelanjaan, sumber otoritatif biasanya menyediakan data dengan presisi 1 mm tetapi akurasi ±10–100 m
    Tempat seperti AllThePlaces, Overture Maps, dan Google Maps pun tetap membutuhkan editor manusia yang melakukan survei lapangan—yakni editor OpenStreetMap—untuk menandai lokasi yang akurat dan menstandarkan definisi lokasi
    Definisi juga diperlukan, misalnya apakah lokasi titik dianggap sebagai pusat poligon beraturan terbesar yang bisa dimasukkan ke dalam seluruh poligon tak beraturan, pusat massa lempeng bidang, atau lokasi pintu masuk utama
    Jika Overture Maps mengandalkan BingBot untuk data tempat, mereka akan melewatkan sangat banyak tempat menarik yang tidak akan pernah ditemukan BingBot
    Misalnya ada kasus ketika semua lokasi dan field terkait baru dikembalikan jika memakai panggilan REST/JSON/GraphQL API yang tidak terdokumentasi, atau memodifikasi parameter panggilan API pencari toko yang teramati
    Pengembang web sering melakukan hal bodoh seperti menuliskan di robots.txt agar merayapi 10 ribu halaman berukuran lebih dari 1 GB dari sitemap yang diperbarui 5 tahun lalu, tetapi tidak mengizinkan 10 panggilan API cepat untuk memperoleh 5 MB data terbaru
    Karena data AllThePlaces berlisensi CC-0, Overture Maps bebas mengambil dan memakainya, serta bisa mencocokkannya dengan sumber lain seperti data perayapan BingBot, basis data pemerintah tentang fasilitas komersial berizin, dan data geocoding alamat pos
    Namun kekacauan data dari berbagai sumber akan mendekati tingkat yang hampir mustahil dicocokkan bahkan oleh manusia, dan Overture Maps mungkin harus memutuskan apakah akan menerima duplikasi atau mengorbankan kelengkapan
    Selain itu, tidak ada alat publik yang memungkinkan orang lain mereproduksi data yang sama
    Pengguna AllThePlaces sering menjadi korban pihak ketiga yang merusak internet seperti Cloudflare dan Imperva, pemblokiran geografis khusus, dan kadang mekanisme pembatasan permintaan yang berlebihan
    Jika Overture Maps mengandalkan perayapan BingBot, mereka akan punya sedikit keunggulan dibanding AllThePlaces karena Cloudflare, Imperva, firewall pelanggan, dan sejenisnya sengaja mengizinkan BingBot, tetapi untuk menangkap sebanyak mungkin tempat menarik di seluruh dunia, rentang ISP residensial dan perangkat lunak penghindar deteksi bot semakin dibutuhkan
    Harus ada orang di puluhan negara, dan situs web yang menargetkan tiap negara harus dirayapi dari ruang alamat ISP residensial negara tersebut
    Kalau tidak, hasil akhirnya adalah pandangan dunia ala Amerika, pandangan dunia ala Eropa, atau sesuatu yang lain yang bukan gambaran utuh
    Jika Overture Maps punya lokasi waralaba/merek tertentu yang salah karena masalah pembersihan data, sumber yang buruk, atau mungkin sumber yang tidak otoritatif, waralaba/merek itu tidak punya repositori perangkat lunak untuk membuka isu atau mengirim patch
    Contoh pusat perbelanjaan Australia yang ditangkap AllThePlaces: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...

    • Pernyataan bahwa “tidak ada alat publik yang memungkinkan orang lain mereproduksi data yang sama” itu benar, dan sebenarnya itulah inti Overture
      Overture dibuat agar perusahaan swasta bisa memanfaatkan data publik seperti OpenStreetMap sambil tetap menggabungkannya dengan data dan proses proprietari mereka sendiri
      Niatnya adalah membagikan hasilnya dengan lisensi baru yang relatif permisif bernama Community Database License Agreement, tetapi tetap mempertahankan proses dan data dasarnya sebagai proprietari
    • Sangat setuju
      Di sini juga ada kemasan promosi yang jelas
      Mereka tampaknya mempresentasikan peta semacam ini sebagai dukungan yang “dapat dipercaya” atau “resmi”, lalu ingin memakainya sebagai dasar penilaian untuk aktivitas berbasis data yang bernilai, meski bukan perdagangan, keselamatan, klaim asuransi, atau keamanan
      Saya bertanya-tanya, bentuk pemulihan apa yang bisa dimiliki publik atau pengawasan publik dalam hal ini

  • Repositori GitHub ada di sini: https://github.com/OvertureMaps/data
    Lisensinya tampak sangat permisif, dan meski saya tidak terlalu memahami kondisi ekosistem peta terbuka saat ini, ide GERS juga terlihat bagus
    https://docs.overturemaps.org/gers/

    • Lisensi CDLA memang agak berbau “not invented here”, tetapi setidaknya terlihat seperti lisensi permisif sungguhan, bukan open source palsu
      Menariknya, dua dari empat layer menggunakan ODbL

  • Tidak jelas bagaimana Overture bisa mencuci lisensi data OSM di sini
    Tertulis: “Transportasi: layer transportasi OMF merepresentasikan jaringan jalan global yang diturunkan dari data proyek OpenStreetMap. Data yang dibangun komunitas ini disusun ulang ke dalam format data Overture untuk menyediakan pembagian data yang konsisten serta sistem referensi linear yang mendukung penambahan data seperti batas kecepatan atau lalu lintas waktu nyata”
    ODbL milik OSM sangat jelas bahwa kredit harus diberikan kepada kontributor OSM
    Sulit dipercaya bahwa CDLA Permissive v2.0 secara ajaib membuat Overture bisa mengakalinya
    Koreksi: saya melewatkan bahwa setiap dataset memakai lisensi berbeda
    Tema transport memakai ODbL, jadi pengguna yang kurang hati-hati pasti akan tersandung

    • Data baru yang dibuat oleh Overture Maps tampaknya bisa diunggah ke OSM jika diinginkan
      Lisensi CDLA bersifat permisif: https://cdla.dev/permissive-2-0/
      Menurut penafsiran saya, mereka bukan berusaha menghindari kredit OSM, melainkan mempertahankan kredit dan lisensi OSM untuk bagian yang diambil dari OSM, lalu melisensikan sisanya dengan CDLA 2.0 agar bisa dipakai siapa saja
    • Overture mungkin terlihat tidak bersahabat terhadap OpenStreetMap, tetapi saya tidak melihat adanya pencucian lisensi di sini
      Artikel itu menyatakan dengan jelas bahwa lisensi CDLA berlaku untuk data yang disediakan Meta dan Microsoft, bukan data OSM
      Sayang memang Meta dan Microsoft tidak menyumbangkan data mereka ke OSM dan malah merilisnya dengan lisensi lain, tapi begitulah dunia bekerja

  • Bagus sekali
    Suatu saat Google sepertinya akan mencoba memeras lebih banyak pendapatan dari Maps daripada sekarang, dan pada saat itu sistem peta kolaboratif seperti ini akan benar-benar mendapatkan momentum
    Akan bagus jika ada cara mendanai orang untuk membeli citra satelit lalu memasukkannya ke sistem semacam ini
    Misalnya, Sunnyvale membayar mahal untuk citra kota yang dipakai saat membahas lalu lintas, penetapan zonasi, dan sebagainya; akan bagus jika citra seperti itu bisa dimasukkan ke dataset publik

    • Tidak ada alasan teknis khusus yang membuat citra seperti itu tidak bisa dikontribusikan
      Kalau ingatan saya benar, Google juga memakai citra milik pemerintah daerah dalam produknya
      Satu kota mungkin bukan sumber yang cukup besar untuk diperhatikan Google, tetapi khususnya di Eropa saya pernah melihat pemberitahuan hak cipta pemerintah nasional atau regional saat melihat citra
      Namun sekarang ada banyak sumber citra satelit, jadi Google mungkin tidak terlalu haus akan materi baru
      Para pemasok komersial yang bekerja sama dengan Google mungkin memotret seluruh daratan utama AS kira-kira setiap 12 bulan sekali
      Yang tampaknya lebih dibutuhkan adalah foto udara untuk tingkat zoom yang sangat tinggi
      Saya bukan ahli geospasial, tetapi citra seperti ini tampaknya digabungkan dengan LIDAR atau citra multispektral untuk membuat peta ketinggian beserta materi visual, dan biaya perolehannya terlihat cukup mahal

  • Apa bedanya ini dengan OpenStreetMap?

    • OpenStreetMap adalah komunitas orang-orang yang membuat basis data peta yang sepenuhnya terbuka
      Mencakup segala macam detail, dari jalan, toko, dan sungai hingga tempat wisata, jalur hiking, dan rumah sakit
      Siapa pun bisa berkontribusi, dan sebagai orang yang cukup terlibat di OSM, saya bisa bilang kalau Anda ingin memasukkan sesuatu ke peta, terutama di sekitar wilayah Anda sendiri, itu akan disambut baik
      Overture adalah grup baru berisi perusahaan-perusahaan yang mendistribusikan beberapa dataset dengan lisensi terbuka, tetapi metode yang mereka gunakan untuk membuatnya tetap proprietari
      Sebagian data yang mereka buka adalah milik mereka sendiri, dan banyak dataset merupakan pengemasan ulang data OpenStreetMap
    • Saya juga penasaran soal hal yang sama, dan FAQ Overture langsung menjawab pertanyaan itu
      Overture adalah proyek peta berpusat pada data, bukan komunitas editor peta individu, sehingga tujuannya adalah melengkapi OSM
      Mereka menggabungkan OSM dengan sumber lain untuk membuat dataset peta terbuka baru, dan data Overture disediakan agar dapat digunakan oleh komunitas OpenStreetMap dengan lisensi data terbuka yang kompatibel
      Perusahaan anggota Overture didorong untuk berkontribusi langsung ke OSM
    • Dalam beberapa hal, OSM lebih mengesankan daripada Wikipedia
      Di dekat rumah saya ada jalan kerikil yang mungkin hanya dipakai sekitar 20 orang per hari, dan karena proyek konstruksi di dekatnya, sebagian jalan itu dipindahkan beberapa meter ke samping
      OSM langsung mencerminkan kenyataan baru itu keesokan harinya
    • OSM pada dasarnya adalah peta buatan manusia, sedangkan ini pada dasarnya buatan mesin
    • Ini memungkinkan data OpenStreetMap dicuci lisensinya ke dalam sistem proprietari supaya perusahaan besar bisa memakainya tanpa perlu berkontribusi balik

  • Apakah sudah ada yang memasukkannya ke BigQuery?
    Saya tahu nuansanya sedang “boo Google”, tetapi saya hanya ingin melakukan join dengan beberapa tabel lain yang saya punya di BigQuery
    Saya penasaran apakah ada semacam BigQuery komunitas yang bisa dipakai alih-alih harus memelihara impor sendiri