Menghitung semua yurt/ger di Mongolia dengan machine learning
(monroeclinton.com)- Sebuah proyek dilakukan untuk secara langsung menghitung jumlah Yurt (ger) di seluruh Mongolia dengan memanfaatkan algoritme machine learning
- Model YOLO dilatih untuk mengidentifikasi yurt berdasarkan citra satelit tunggal, dan pelabelan data skala besar diotomatisasi
- Dengan menggunakan server terdistribusi, Docker Swarm, FastAPI, dan lainnya, sekitar 120 worker memproses tile gambar secara paralel dan mengagregasikan hasilnya
- Pada akhirnya ditemukan 172.689 yurt, dan hasil ini membantu memahami pertumbuhan kota Mongolia serta masalah infrastruktur permukiman
- Juga memberikan wawasan tentang distrik ger di Mongolia, latar belakang sosialnya, dan tantangan pengembangannya
Menghitung yurt di Mongolia dengan machine learning – gambaran proyek
Rasa ingin tahu tentang masyarakat Mongolia modern
- Alih-alih menganalisis data untuk memahami sejarah Kekaisaran Mongol dan wajah Mongolia modern, penulis secara aktif menjelajahi tampilan satelit Google Maps
- Dari foto satelit Ulaanbaatar, terlihat hamparan kelompok yurt yang sangat luas hingga beberapa kilometer, lalu diputuskan untuk menghitung sendiri berapa jumlah pastinya
Persiapan data dan pelabelan
- Citra satelit berbentuk tile (256x256 px) dikumpulkan secara otomatis dari Google Maps, berpusat pada area sekitar Ulaanbaatar
- Tile dimuat ke Label Studio lalu yurt diberi label satu per satu secara manual dengan bounding box, sehingga menghasilkan data anotasi (annotated data)
- YOLO11 (ultralytics) dipilih sebagai algoritme deteksi objek, dan dataset beranotasi digunakan untuk melatih model
Pelatihan model dan perluasan dataset
- Selain melatih model berbasis YOLO11, tingkat otomatisasi ditingkatkan dengan pendekatan loop umpan balik berulang pelabelan–pelatihan ulang–pelabelan
- Pada awalnya akurasi rendah karena data kurang, tetapi penambahan label secara iteratif dan perluasan jumlah sampel meningkatkan tingkat deteksi
- Alih-alih memakai laptop, pelatihan model dilakukan dalam skala besar dengan menyewa resource GPU dari vast.ai di lingkungan container Docker. Setelah pelatihan selesai, hasil model dan metadata otomatis diunggah ke penyimpanan S3
Membangun sistem pencarian skala nasional
Optimasi cakupan pencarian
- Jumlah tile pada tiap level zoom dihitung berdasarkan seluruh luas wilayah Mongolia
- Karena kepadatan penduduk rendah, untuk mengecualikan area tak berpenghuni, titik-titik yang kemungkinan merupakan permukiman manusia diekstrak dengan overpass turbo
- Berdasarkan area sekitar titik-titik tersebut (buffer 2 km), kumpulan tile yang benar-benar perlu diperiksa dipangkas secara signifikan
Pemrosesan terdistribusi skala besar
- Dengan memanfaatkan Docker Swarm, dibangun klaster yang terdiri dari 8 server (total 128 vCPU)
- Peran dipisahkan antara server API (FastAPI) dan worker:
- API: mengelola area pencarian dan kumpulan tile yang akan dialokasikan ke worker, serta mengelola progres dan status
- Worker: menerima area pencarian dari API, mendeteksi yurt pada tile terkait dengan model, lalu mendaftarkan hasilnya ke API
Agregasi hasil
- Sekitar 270.000 area pencarian dan jutaan gambar diproses secara paralel
- Pada akhirnya terkonfirmasi 172.689 yurt berdasarkan hasil deteksi dengan probabilitas 40% atau lebih
- Dataset dipublikasikan untuk analisis seperti penggunaan lahan, hotel, dan distribusi yurt di sekitar tambang kecil
Yurt dan konteks sosial Mongolia
Sejarah dan perubahan kawasan ger (yurt)
- Secara historis, yurt adalah bentuk hunian tradisional kaum nomaden Mongolia, tetapi dalam proses urbanisasi dan industrialisasi, kegunaannya berubah ke berbagai arah
- Pada awal abad ke-20, yurt juga digunakan untuk tujuan publik seperti sekolah sementara, dan seiring arus masuk penduduk ke kota besar, distrik ger terbentuk di tempat-tempat seperti Ulaanbaatar
"Dalam sensus 1979, 51% dari total penduduk tinggal di kawasan perkotaan, mencerminkan urbanisasi pesat pada 1970-an. Karena kekurangan perumahan dan infrastruktur, distrik ger meluas ke pinggiran kota."
Urbanisasi dan tantangan infrastruktur
- Penduduk yang datang dari pedesaan membawa yurt ke kota dan menggunakannya sebagai tempat tinggal dalam kondisi infrastruktur formal yang belum tersedia
- Pemberlakuan undang-undang terkait kepemilikan tanah pada 2002 memulai proses formalisasi hukum atas permukiman warga distrik ger
- Pemerintah mendorong kebijakan redevelopment seperti Ulaanbaatar 2020 Master Plan, tetapi laju implementasi nyatanya cenderung lambat
"Pemilik tanah di distrik ger menjual atau menukar lahannya kepada pengembang untuk pembangunan apartemen baru, tetapi nilai apartemen sering kali lebih rendah daripada nilai tanah, atau laju pengembangannya lambat"
Implikasi dan prospek ke depan
- Hal ini menunjukkan bahwa formalisasi distrik ger dan penyediaan infrastruktur masih menjadi tantangan sosial dan kebijakan
- Tujuan jangka panjang pemerintah Mongolia adalah menyediakan perumahan, air, listrik, dan infrastruktur perkotaan lainnya di distrik ger
- Diperlukan perumusan kebijakan berbasis data dan pelacakan berkelanjutan
Pertanyaan eksplorasi tambahan
- Faktor utama yang memicu urbanisasi dan industrialisasi di Mongolia maupun negara lain
- Perbedaan antara orang Mongolia yang menetap di kota dan mereka yang tetap tinggal
- Kendala yang dihadapi pemerintah dalam pengembangan distrik ger
- Latar belakang yang menyebabkan perbedaan kecepatan pembangunan antarnegara
Referensi
- Merujuk pada makalah, laporan, dan basis data utama terkait kebijakan, sosiologi, dan infrastruktur
- “Distributional Effects of Ger Area Redevelopment in Ulaanbaatar, Mongolia.”
- Ulaanbaatar 2020 Master Plan and Development Approach for 2030.
- “Educational Import: Local Encounters with Global Forces in Mongolia.”
- Mongolia: A Country Study. Federal Research Division, Library of Congress.
- Poverty Mapping in Mongolia with AI-Based Ger Detection Reveals Urban Slums Persist after the COVID-19 Pandemic. arXiv.
Penutup
- Dengan teknologi dan data, persoalan sosial ditelaah dan sudut pandang baru tentang latar sosial serta pola hunian ditawarkan
- Ini adalah contoh penerapan praktis dari kombinasi berbagai teknik dan alat open source (machine learning, Docker, FastAPI, dll.)
1 komentar
Komentar Hacker News
Saat membahas distrik ger/yurt di kota, menurut saya kita tidak boleh meremehkan pentingnya budaya hidup nomaden dan budaya ger itu sendiri. Belakangan ini, akibat perubahan iklim (penggurunan) dan alasan ekonomi, banyak orang terpaksa meninggalkan kehidupan nomaden dan pindah ke dekat kota seperti Ulaanbaatar, tetapi sering kali mereka datang ke kota dengan enggan sambil menganggapnya sebagai hal sementara. Bukan cuma soal kekurangan perumahan; pindah sepenuhnya ke apartemen atau bangunan permanen juga terasa berat secara psikologis karena itu melambangkan mereka benar-benar meninggalkan kehidupan nomaden. Karena itu, orang sering mendirikan ger di samping bangunan permanen, menambahkannya di halaman rumah kerabat, atau memperluas penggunaannya sebagai cara mempertahankan identitas budaya. Contoh seperti ini bisa dilihat di foto-foto pertama
Beberapa tahun lalu saya menyeberangi Mongolia dengan sepeda motor, dan ada satu hal yang membuat saya terkejut: bahkan rumah permanen yang bagus pun selalu punya ger di halaman belakang. Dari sudut pandang orang luar, saya heran kenapa perlu rumah kedua, tetapi ketika saya tanya ke orang lokal, mereka memandang saya seolah pertanyaan itu aneh. Ger memang sudah tertanam sangat dalam dalam budaya; semacam simbol status sekaligus ruang untuk menjamu tamu, menikmati hidup di luar ruang, dan dipakai untuk banyak keperluan lain
Saya ingin bercerita tentang pengalaman di sebuah istana di Khiva, Uzbekistan. Jelas itu adalah istana tradisional dengan gerbang masuk dan banyak ruangan mewah, tetapi di salah satu sudut halaman bagian dalam yang sepenuhnya dikelilingi tembok, ada tempat melingkar khusus untuk mendirikan ger. Para khan di wilayah ini juga membanggakan garis keturunan dari Jenghis Khan, dan bahkan jika tinggal di dalam kota, ada pandangan bahwa menghabiskan malam di bawah atap permanen tidak pantas bagi seorang khan; kerabat yang datang berkunjung pun konon tidak menyukai pemandangan seperti itu
Wiki Istana Toshhovli
[Foto tempat melingkar di halaman resepsi](https://en.wikipedia.org/wiki/Toshhovli_Palace#/media/File:KhivaTach_Khaouli_reception_yard_Iwan.JPG)
Mongolia sedang mengalami perpindahan besar-besaran dari padang rumput akibat beberapa musim dingin yang sangat keras belakangan ini, sehingga jumlah ternak turun tajam dan sebagian besar orang berbondong-bondong ke kota. Bahkan kalau mereka mau, memang tidak ada cukup tempat di bangunan permanen
Dari yang saya dengar, kemungkinan mereka sudah punya setidaknya satu ger, dan memindahkannya juga relatif mudah saat diperlukan. Misalnya, saya pernah dengar bahwa untuk acara khusus mereka kembali lagi ke rumah di pedesaan
Saya lebih setuju dengan tafsir bahwa tinggal di ger itu sekadar pilihan budaya, ketimbang pandangan bahwa itu pasti akibat kegagalan kebijakan publik. Dulu Jenghis Khan juga tinggal di ger; dalam praktiknya, ada orang yang memilih hidup di ger karena kebutuhan, dan ada pula yang memilihnya atas kemauan sendiri. Jadi sulit menyimpulkan bahwa pemandangan seperti itu sendiri pasti negatif
Di Ulaanbaatar ada ger yang terstandarisasi. Suku cadang maupun ger jadi bisa dengan mudah dibeli di pasar besar. Pada 2017 harganya sekitar $1.000 per unit. Dengan uang sebanyak itu, orang bisa mendapatkan rumah kecil yang terisolasi dengan baik dan mudah dipindahkan, dan di Mongolia orang bisa menetap hampir di mana saja di luar kota (meski kalau bersama 2.000 ekor domba, sebaiknya penggunaan padang rumput dibicarakan dengan warga setempat). Pada akhirnya, memilih ger bukan cuma soal tradisi dan budaya, tetapi juga keputusan yang rasional dalam situasi tersebut
Sebagai catatan, demi sopan santun, tenda rumah bergaya Turki disebut yurt, sedangkan yang bergaya Mongolia disebut ger. Lalu bercanda bahwa di Prancis itu disebut shabadou, di Kanada plumbus, dan di Amerika flip. Ditambah lelucon bahwa dia agak terusik kalau ada orang lokal melihat shabadou miliknya lalu menyebutnya ger
Saya penasaran apakah ada bentuk pondasi tertentu yang dibuat untuk menempatkan ger
Ada komentar bahwa jumlah yurt di Mongolia yang menerapkan machine learning adalah 0
Saya justru menduga jumlahnya lumayan banyak
Awalnya saya mengira yurt itu nama profesi atau jenis orang, jadi saya salah paham dengan judulnya
Terima kasih, itu pengalaman yang lucu buat saya
Sebagai non-penutur asli, saya jadi bertanya-tanya kalimat apa yang lebih tepat. Disebut juga alternatif seperti “menghitung semua yurt di Mongolia dengan machine learning”
Rasanya sayang bahwa 89.259 yurt yang garis batasnya sudah ditandai di OpenStreetMap (OSM) tidak dimanfaatkan sebagai input. Meski begitu, kemungkinan memang ada masalah saat menyelaraskan garis batas itu dengan citra Google Maps
Statistik tag ger Mongolia di OSM
Diduga model juga kurang bagus menangkap yurt yang berada di batas tile. Dan dibanding populasi 3 juta orang, jumlah itu terasa jauh lebih sedikit dari dugaan
Soal bagian “jumlah ger sedikit dibanding 3 juta orang”, kalau hasil hitungannya benar 172.700 unit, dan diasumsikan tiap ger ditempati satu keluarga dengan 4 orang per ger (mungkin sebenarnya lebih banyak), itu berarti sekitar 690 ribu orang, atau 20% dari populasi Mongolia yang 3,5 juta. Angka itu tampak cukup masuk akal
Sebelum mengklik tautannya saya juga sempat memperkirakan angkanya. Dari 3 juta penduduk Mongolia, 1,5 juta tinggal di ibu kota. Kalau diasumsikan sekitar 1 juta orang tinggal di luar kawasan urban, dan 1 ger untuk 4 orang, hasilnya 250 ribu unit. Kalau ditambah penggunaan sekunder seperti untuk tamu, gudang, atau di halaman rumah, saya menaksir sekitar 300 ribu, hampir dua kali hasil aplikasi ML itu
Ide memakai OSM dan semacamnya sebagai label memang sering muncul dalam proyek geografi/machine learning. Tetapi lisensi OSM melarang adopsi citra Google Maps, jadi bahkan untuk riset pun ada banyak persoalan hukum terkait perolehan atau redistribusi gambar. Google mendapat sublisensi dari berbagai sumber citra eksternal dan mengelola IP dengan ketat. Masalah penyelarasan citra/label juga besar, dan label itu sendiri bisa berupa koordinat GPS, bukan citra. Selain itu, struktur yang bisa dipindah seperti ger pada dasarnya membuat kelengkapan dan konsistensi label menurun. Kelengkapan OSM juga sangat bergantung pada seberapa aktif komunitas lokalnya. Meski begitu, OSM tetap bisa dipakai untuk validasi silang antara label buatan sendiri dan hasil prediksi. Untuk deteksi berbasis tile, biasanya prediksi di tepi dibuang, lalu duplikasi ditangani dengan overlapping window dan NMS
Jika jumlahnya 172 ribuan, itu tetap angka yang sangat besar, dan ditekankan bahwa rasio jumlah ger terhadap populasi kemungkinan jauh melampaui negara mana pun di dunia
Saya ingin menekankan bahwa mengunduh langsung citra satelit Google Maps dilarang dalam syarat layanan. Biasanya sangat mudah diblokir, jadi saya heran mereka bisa mengunduh tile untuk seluruh Mongolia
Ada yang menanggapi bahwa selain monopoli pasar, mereka tidak paham alasan kebijakan seperti itu
Ada juga pendapat bahwa kalau diblokir, tinggal buat akun baru
Hasilnya menarik, jadi saya penasaran berapa sebenarnya tingkat false positive-nya. Apakah tangki penyimpanan, silo, atau kolam renang luar ruang ikut salah diklasifikasikan sebagai ger?
Ini mengingatkan pada proyek Geo/ML yang saya temui saat kuliah, jadi menyenangkan sekali melihat topik seperti ini lagi setelah sekian lama. Pemerintah Australia juga menghabiskan banyak uang setiap tahun untuk pekerjaan serupa, tetapi dibanding hasil penulis ini, pemerintah kami tampak jauh lebih tidak efisien. Rasanya frustrasi melihat kenyataan bahwa kami bahkan tidak mampu mengklasifikasikan sebidang tanah dengan benar, apalagi menghitung objek kecil berbentuk ger dengan baik
Dari hasil “mendeteksi total 172.689 ger dengan skor akurasi prediksi di atas 40%”, saya penasaran bagaimana cara menafsirkan 'prediction score'
Awalnya saya salah paham dengan judulnya, mengira semua yurt di Mongolia sedang “menggunakan” machine learning
Disebutkan bahwa mereka memakai solusi semi-komersial (gratis untuk tujuan pendidikan), dan saya penasaran dengan topologi/arsitektur model deep learning-nya. Saya juga ingin tahu apakah ada pendekatan yang lebih baik