Pencarian Semua Teks di Dalam Kota New York
(alltext.nyc)- Menganalisis lebih dari 8 juta gambar Google Street View dengan AI untuk mengekstrak 138 juta teks jalanan
- Data tersebut dibangun menjadi basis data teks jalanan NYC yang dapat dicari untuk membuat mesin pencari
- Karya seniman media Yufeng Zhao ini memetakan distribusi lokasi kata-kata tertentu (misalnya pizza, Broadway, luxury, beware, gold, iglesia, jerk, dll.) untuk memvisualisasikan karakteristik budaya, komersial, dan regional
- Sebuah eksperimen untuk membaca lanskap jalanan NYC sebagai semacam "kode sumber", sekaligus cara baru menjelajahi data perkotaan
Gambaran Proyek
- Tujuan: Mengumpulkan dan membuat semua teks yang terlihat di seluruh NYC dapat dicari
- Sumber data: Google Street View (2007~2025, 8 juta+ gambar)
- Teknologi: Pengenalan teks dalam gambar (OCR), pemetaan koordinat lokasi
- Batasan cakupan: Hanya mencakup teks dalam jangkauan pandang jalan yang bisa direkam kendaraan (gang, taman, dan tulisan kecil tidak termasuk)
Contoh Visualisasi Utama
- Pizza: Persebaran toko pizza di seluruh NYC
- Broadway: Semua penanda Broadway di seluruh borough dan area dengan konsentrasi teater
- Luxury: Frasa promosi kompleks hunian baru, terkonsentrasi di area Hudson Yards
- Beware: Terkonsentrasi di kawasan hunian pinggiran dengan rumah dan pagar, hampir tidak ada di Manhattan
- Gold: Distrik berlian dan jalan pertokoan pembelian emas
- Iglesia: Lokasi gereja di komunitas berbahasa Spanyol
- Jerk: Area Flatbush dan Jamaica yang memiliki banyak restoran masakan Jamaika
- Unisex: Distribusi geografis toko gabungan cukur rambut dan salon kecantikan
Contoh Teks yang Menarik
- Fedders: Logo merek A/C built-in era 1950~90-an, fenomena ‘Fedders house’
- Yodock: Merek penghalang plastik untuk trotoar area konstruksi
- 4Cars (Acars): Iklan tempel ilegal pembelian mobil bekas, hasil salah baca OCR
- Sabrett: Merek gerobak hot dog ikonik NYC, tersebar di area wisata
- Halal: Toko dan gerobak makanan halal, dimulai pada 1980-an dan menjadi bagian dari budaya kuliner kota
- Siamese: Nama jenis sambungan selang pemadam kebakaran
- Surveillance: Papan pemberitahuan kamera pengawas, tersebar di fasilitas publik dan swasta
Interpretasi dan Makna
- Proyek ini menafsirkan ulang kota sebagai peta berbasis teks, menampilkan jejak komersial, budaya, keselamatan, dan infrastruktur secara visual
- Distribusi geografis kata-kata tertentu sangat terkait dengan lingkungan budaya, industri, dan karakteristik sosial
- Kata-kata terkait peringatan dan pengawasan mencerminkan budaya keselamatan dan kontrol NYC serta sifat terdokumentasinya ruang publik
- Data ini dapat dimanfaatkan bukan hanya untuk visualisasi sederhana, tetapi juga sebagai bahan penelitian sejarah kota, sosiologi, dan branding
4 komentar
Isi artikelnya sangat halu.
"all text in nyc"adalah mesin pencari yang menemukan teks dalam gambar Google Street View di New York City. Cari kata atau frasa apa pun untuk melihat di mana itu muncul di seluruh kota—di papan toko, grafiti, iklan, dan poster protes.Situs pada artikel ini pada dasarnya menjalankan OCR pada semua Street View untuk mencari kata tertentu.
Sudah diperbarui ya.
Sangat menarik, tapi kalau dipikir ini dibuat bukan oleh pemerintah atau perusahaan seperti Google, rasanya jadi agak menakutkan
Saya merasa dunia ini dipenuhi data
Komentar Hacker News
Tulisan lain tentang situs ini juga sangat menarik: proyek Street View dari The Pudding
The Pudding adalah salah satu konten terbaik yang bisa ditemukan di internet saat ini
Sudah ditambahkan ke bagian paling atas
Di YouTube ada orang-orang yang merekam video berjalan kaki di berbagai kota. Secara pribadi, saya sangat menyukai video berjalan kaki di Tokyo/Jepang. Saya juga berpikir akan keren jika dibuat peta 3D dari video semacam itu. Ini bukan bidang keahlian saya, tapi rasanya mungkin sudah ada perusahaan yang pernah mencobanya. Ada sangat banyak data di dalam video seperti itu. Mungkin bahkan bisa dipakai gratis untuk pelatihan robot (misalnya robot pengantar yang berjalan di tengah keramaian)
Secara teknis, sepertinya ini akan menjadi kombinasi SLAM, photogrammetry, dan VIO, tetapi karena tidak ada IMU maka bagian itu harus diestimasi dari videonya. Kecepatan frame dan kedipan pencahayaan mungkin juga terlalu cepat
Contoh tautan: jalan-jalan di jalanan Tokyo, contoh lain
Serupa dengan itu, kalau ada alat yang bisa merekonstruksi denah lantai dari gambar diam seperti foto properti, itu akan sangat berguna. Meskipun perlu input manual sebagian, tetap akan cukup berguna
Dulu ada seseorang yang membuat video YouTube sambil berkeliling kawasan toko elektronik di Tokyo. Anehnya, tempat-tempat terbaik untuk membeli smartphone atau komponen robot justru berada di gedung-gedung yang sama sekali tidak mencolok, dan tanpa pengetahuan lokal orang benar-benar tidak akan tahu tempat itu ada. Jika ini benar-benar diwujudkan seperti yang Anda usulkan, itu akan sangat membantu para pelancong menemukan tempat-tempat seperti ini. Saya benar-benar ingin melihatnya
Akan sangat menarik kalau fitur seperti ini ditambahkan ke pencarian Google Maps. Saya cukup sering merasa pencarian informasi di Google Maps kurang memadai. Baru-baru ini saya mencoba mencari tempat yang menjual kopi manual brew di selatan Gran Canaria, dan ternyata hanya ada satu tempat di dalam hotel, dan butuh 30 menit untuk menemukannya. Saya mencari dengan kata kunci filter yang biasa saya pakai seperti "pourover" atau "v60", tetapi sulit ditemukan jika kafe tidak secara jelas menyebutkannya di deskripsi atau ulasan. Teks di foto yang diambil pelanggan (misalnya papan menu) sepertinya sama sekali tidak diindeks
Kalau mencari V60, rasanya kebanyakan hasilnya akan mobil Volvo, tapi saya penasaran berapa banyak sebenarnya foto di kafe yang memuat kata-kata seperti itu
Kalau kedai kopi belum memperhatikan kata-kata seperti itu, sekarang mungkin patut mulai dipikirkan. Sejujurnya saya juga rasanya akan membuka situs ini lagi
Saya menulis ini karena penasaran dengan GitHub orang yang menyiapkan datanya. Saya ingin tahu kira-kira berapa banyak sumber daya komputasi yang dibutuhkan untuk menganalisis data New York. Saya ingin mencoba di kota saya juga, tapi rasanya anggaran saya terlalu kecil. Lihat yz3440 GitHub (komentar-komentar di bawah benar. Sebenarnya yang perlu dikhawatirkan bukan komputasinya melainkan biaya Google Maps API. Kalau dilakukan gratis, penulisnya mungkin butuh waktu bertahun-tahun. Saya iri dengan anggaran penulisnya)
Saya perkirakan biaya komputasi OCR akan murah. Dengan PC pribadi yang cukup kencang, semalam atau sekitar seminggu mungkin sudah cukup. Masalahnya adalah biaya penggunaan Google Maps API. Kecuali ini diakui sebagai proyek seni dan biayanya dibebaskan, bebannya besar. Lihat harga Maps Platform Untuk kota besar dengan banyak panorama, biayanya bisa ribuan dolar setelah melewati free tier
Menurut artikelnya, digunakan 8 juta panorama, jadi hanya Street View API saja kemungkinan menghabiskan sekitar 30 ribu dolar (API gambar statis resolusinya lebih rendah jadi kemungkinan malah 2x lebih mahal). OCR tampaknya akan jauh lebih murah jika tidak mendesak. Misalnya, GPU biasa yang menjalankan server PaddlePaddle bisa menangani 4MP per detik. Dengan perangkat keras seharga beberapa ribu dolar, pekerjaan ini tampaknya bisa selesai dalam 3–6 bulan (tergantung resolusi dan ukuran model)
Kalau 8 juta gambar, itu berarti 13,2 gambar per detik selama seminggu. Yang saya penasaran adalah apakah datanya diambil dengan Google API, atau mereka bekerja sama dengan Google
Setelah menghitungnya bersama Claude, hasilnya kalau mengunduh seluruh foto jalanan Taipei dari gmap api tiap 3 meter, biayanya sekitar 8.000 dolar. Mahal, tapi bukan angka yang mustahil
Menarik bahwa kata makian seperti "fuck" disensor. Saya tidak tahu apakah otak orang benar-benar terpengaruh hanya karena membaca kata itu ditulis lengkap dengan sengaja
Kata itu sebenarnya bisa ditemukan di foto aslinya. Mungkin berbeda kalau ada penyensoran terpisah di versi StreetView
Mungkin karena SEO atau kebijakan ramah keluarga (atau keduanya). Sebagai referensi, ada juga larangan kata makian pada 1 menit pertama video YouTube
Kalau mencari "Fool", ada sangat banyak kesalahan OCR, misalnya karena tertutup dan sebagainya contoh hasil pencarian "Surgery of the Fool" adalah yang terbaik
Ini tampaknya akan sangat berguna untuk OSINT (analisis intelijen sumber terbuka). Saya jadi penasaran apakah badan intelijen sudah memiliki hal seperti ini dalam skala global
Proyek yang sangat keren. Kalau ditambah embedding seperti CLIP sehingga bukan hanya teks, tetapi juga pencarian vektor berbasis makna seperti "orang berkelahi", "kucing dan anjing", "Tesla merah", "badut", "anak dan anak anjing", itu akan 10 kali lebih keren
Sebagai proyek terkait, ada juga All Text in NYC dan All text in Brooklyn
Ini mengingatkan saya pada layanan bernama NY Cerebro. Layanan itu memungkinkan pencarian berbasis makna dengan ratusan kamera jalan publik di seluruh New York City nycerebro.vercel.app (misalnya mencari "scaffolding")
Saya kaget resolusi kamera jalan publiknya sangat rendah. Ditambah pantulan lampu kendaraan, hasilnya kurang memuaskan
Layanan ini dulu adalah proyek juara 1 dalam hackathon NVIDIA dan Vercel