Melacak harga bahan makanan Austria lewat scraping

• Di tengah meningkatnya tekanan harga pangan dan energi di Austria, Mario Zechner membuat sendiri platform pelacakan harga berbasis toko online jaringan ritel besar, dipicu oleh pengumuman pemerintah tentang basis data harga yang terbatas
• Prototipe pertama dibuat dalam 2 jam untuk seluruh produk dari dua jaringan besar, lalu kemudian ditambahkan data toko Jerman dan Slovenia, normalisasi kategori, pencocokan produk serupa, serta alat analisis
• Setelah digabung dengan data yang disediakan secara anonim yang dikumpulkan sejak 2017, pola harga produk private label dari dua jaringan besar yang sama hingga satuan sen bisa dilihat hingga riwayat masa lalu
• Data harga historis menunjukkan contoh harga yang disamakan pada hari yang sama atau selisih 1–2 hari, shrinkflation, serta kasus produk identik yang hingga 40% lebih mahal dibandingkan di Jerman
• Pasar bahan makanan Austria memiliki rasio produk diskon yang tinggi, sekitar 40%, sehingga meski ritel mengklaim menurunkan harga normal, struktur diskon bergilir bisa membuat rata-rata pembayaran justru naik

---

Pengumuman basis data harga pemerintah dan awal proyek pribadi

• Inflasi Austria lebih tinggi daripada rata-rata UE, dengan tekanan besar terutama pada kebutuhan pokok seperti energi dan pangan
• Pada Mei, pemerintah mengumumkan akan membuat basis data harga pangan bersama jaringan ritel bahan makanan besar
  • Menteri terkait mengatakan skala pekerjaannya besar sehingga akan memakan waktu hingga musim gugur
  • Cakupannya hanya 16 kelompok produk, seperti tepung dan susu
  • Frekuensi pembaruan direncanakan sekali seminggu
• Setelah mendengar hal ini, Mario Zechner membuat prototipe yang mencakup seluruh produk dari dua jaringan besar hanya dalam 2 jam
• Platform ini bekerja dengan cara melakukan crawling toko online milik ritel
  • Sebagian besar toko memiliki API
  • Data yang dikumpulkan dinormalisasi agar bisa dibandingkan antar-toko
  • Setelah itu data disediakan dalam bentuk yang bisa dipublikasikan dan dianalisis

Perluasan platform dan data harga sejak 2017

• Setelah platform awal, data toko dari Jerman dan Slovenia juga ditambahkan
• Untuk menormalisasi kategori produk yang berbeda di tiap toko serta mencocokkan produk yang sama atau mirip, ditambahkan teknik data science ringan
• Seorang pengguna anonim di Twitter menyediakan data yang telah di-crawl dari dua jaringan besar sejak 2017
• Zechner mengintegrasikan data ini ke platform dan menambahkan alat analisis
• Analisis awal menghasilkan temuan yang menunjukkan kenaikan harga cukup besar bahkan setelah memperhitungkan kenaikan harga energi

Kesamaan harga antar-jaringan dan perubahan harga serentak

• Analisis pertama sebelum platform dibangun dilakukan dengan membandingkan secara manual produk termurah yang dijual sendiri oleh dua jaringan besar
  • Contohnya adalah produk seperti susu atau tepung private label toko
  • Harga 40 pasangan produk sama persis hingga satuan sen
• Sebuah NGO melihat hal ini di Twitter dan melakukan analisis yang sama pada 600 pasangan produk, dengan pola yang sama muncul
• Setelah data historis diintegrasikan, waktu perubahan harga produk yang sama di dua jaringan bisa dibandingkan
• Harga produk private label murah di dua jaringan tampak berubah pada hari yang sama, atau dengan selisih 1–2 hari, lalu mencapai harga yang sama
• Pola seperti ini terlihat bukan hanya pada private label murah, tetapi juga pada produk private label kelas menengah
• Zechner melihat kemungkinan kolusi diam-diam (tacit collusion), yaitu harga dalam pasar oligopoli menjadi selaras tanpa koordinasi eksplisit
  • Platform serupa lainnya juga disebut melihat pola yang sama
  • Pola ini disebut mulai muncul sejak periode ketika inflasi naik tajam

Shrinkflation dan perbedaan harga antarnegara

• Analisis platform juga mengonfirmasi kasus shrinkflation
  • Ini berarti isi produk berkurang, tetapi harganya sama atau lebih tinggi
  • Contoh yang muncul adalah deterjen cucian
• Ada juga kasus produk yang sama hingga 40% lebih murah di Jerman
  • Jerman disebut sebagai negara dengan pendapatan rata-rata dan biaya hidup yang lebih tinggi
• Ada pula produk yang hanya diproduksi di Austria tetapi lebih murah di luar Austria
• Billa disebut sebagai REWEDE versi Austria
• Merek Austria Red Bull juga memiliki contoh harga diskon di Austria yang lebih mahal daripada harga normal di Jerman

Struktur diskon dan dampak nyata dari “penurunan harga”

• Di pasar bahan makanan Austria, porsi diskon sangat besar
  • Di pasar bahan makanan yang kompetitif pada umumnya, rata-rata sekitar 10–20% produk disebut mendapat diskon
  • Di Austria, rasionya disebut 40%
• Diskon membuat konsumen sulit mengetahui harga yang benar-benar akan dibayar
  • Konsumen sulit mengetahui harga sampai pergi ke toko dan melihat diskon hari itu
  • Jaringan ritel mengirim selebaran diskon lewat pos, dan juga memakai metode mengumpulkan stiker lalu menempelkannya pada produk di kasir
  • Aplikasi juga disebut sebagai sarana untuk memperoleh informasi pengguna
• Setelah pemberitaan negatif, jaringan ritel bahan makanan memasang pemberitahuan di toko bahwa “tahun ini kami sudah menurunkan harga 450 produk”
  • Jumlah total produk disebut sekitar 22.000
  • Jaringan tersebut juga menyediakan daftar produk yang harganya diturunkan dalam bentuk PDF yang dapat dibaca mesin
• Zechner mencocokkan produk dalam PDF itu dengan basis datanya
  • Secara permukaan, klaim penurunan harga terbukti benar
  • Namun sebagian produk merupakan bagian dari pola harga bergilir yang telah berulang selama bertahun-tahun, bukan penurunan harga permanen
• Ada juga kasus yang lebih halus
  • Ada produk yang harga normalnya diturunkan, tetapi harga diskon yang berlaku berkala dinaikkan
  • Meski penurunan harga normal memang benar, jika konsumen membeli produk yang sama setiap minggu, kenaikan harga diskon dapat membuat rata-rata pembayaran menjadi lebih tinggi daripada sebelumnya

[GN⁺]

Pendapat Hacker News

• Saya pernah tinggal di Austria dan Jerman, dan bahwa harga supermarket Austria jauh lebih mahal itu 100% benar, termasuk untuk produk buatan Austria
  Alasannya, orang Jerman sangat sensitif terhadap harga dan selalu membandingkan, sementara orang Austria rata-rata tidak terlalu peduli, dan supermarket memanfaatkan hal ini. Austria punya kepadatan penduduk rendah dan banyak toko yang sulit dijangkau seperti di wilayah pegunungan, sehingga biaya logistik lebih tinggi; PPN juga sedikit lebih tinggi, dan upah tenaga kerja tidak terampil di supermarket serta logistik juga sedikit lebih tinggi daripada di Jerman
  Selain itu, toko dari perusahaan yang sama di Austria juga terlihat lebih bagus daripada di Jerman, penataannya rapi, dan antreannya cenderung lebih pendek, sehingga biaya operasionalnya lebih besar. Pada akhirnya, kalau konsumen mementingkan harga seperti di Jerman dan tidak terlalu peduli estetika, harga akan turun; dan kalau mereka mulai berjalan sedikit lebih jauh untuk mencari supermarket yang lebih murah, harga juga bisa turun

  • Jerman adalah negara yang berpusat pada mobil, jadi di kota rata-rata kebanyakan perjalanan seperti ke kantor atau gym dilakukan dengan mobil, sehingga lebih mudah pergi lebih jauh ke supermarket termurah
    Di Austria, transportasi umum atau sepeda jauh lebih baik, jadi orang tidak sengaja memutar hanya untuk mampir ke toko bahan makanan termurah. Di wilayah Austria yang memakai mobil, kepadatan penduduknya terlalu rendah sehingga persaingan antar-supermarket juga tidak banyak
  • Perlu ditambahkan juga bahwa pasar bahan makanan Austria pada dasarnya adalah struktur perusahaan besar yang didominasi oleh 3 perusahaan. Mereka jarang bersaing langsung dengan menaruh toko tepat bersebelahan
  • Belanda dan Jerman juga mirip. Saya tinggal dekat perbatasan, dan sering kali sayuran organik asal Belanda di toko bahan makanan Jerman jauh lebih murah daripada membeli sayuran yang sama di Belanda
    Sebagian karena PPN Belanda yang lebih tinggi, tetapi menurut saya sebagian besar berasal dari fakta bahwa orang Belanda begitu saja membayar harga yang lebih mahal dibanding orang Jerman
  • Namun, kondisi-kondisi ini tidak berubah selama 2 tahun terakhir, jadi belum cukup untuk menjelaskan lonjakan harga saat ini
  • Kanada dan AS juga mirip. Kanada selalu lebih mahal dan pilihannya juga lebih sedikit

• Sebagai developer Austria sekaligus konsumen, saya sudah mengamati masalah ini dari dekat sepanjang tahun ini, dan sangat membuat frustrasi bahwa kita diperas tanpa alasan yang sah, tetapi tidak ada yang berubah dan tidak ada yang peduli
  Luar biasa bahwa Mario terus mengejar topik ini dan tidak muak dengan kegilaan menyebalkan ini

  • Jika proyek seperti ini menciptakan kesadaran luas dan berujung pada perlawanan konsumen yang terorganisasi, orang-orang akan mulai peduli
    Agar perusahaan tidak berperilaku buruk, perlu ada orang dewasa di ruangan. Kita berangkat dari asumsi bahwa jika tidak diawasi, perusahaan akan berperilaku buruk, dan ini lebih merupakan hipotesis untuk diuji daripada pernyataan pasti
    Setidaknya, ketika tidak ada konsekuensi, perusahaan akan berperilaku lebih buruk; dulu mereka tidak punya “alasan bagus” untuk menaikkan harga, tetapi sekarang inflasi menjadi kedok untuk kenaikan harga
    Proyek data indeks seperti ini terlihat sangat berpotensi menjadi sebuah bidang, apalagi sekarang ketika sistem kecerdasan buatan dan machine learning memudahkan pengamatan perubahan dan tren. Kuncinya adalah bagaimana mendapatkan kesimpulan dan pengamatan yang cukup jelas untuk memicu kemarahan sosial-ilmiah sehingga orang mau bertindak
    Atau mungkin kita harus begitu saja menerima bahwa perusahaan memakai teknologi ini untuk mengoptimalkan segalanya agar merugikan konsumen, dan tidak menggunakannya untuk perlawanan ala white hat terhadap hal itu
  • Saya bukan orang Austria, tetapi tinggal di Austria. Awalnya saya pikir harga naik seperti di mana-mana setelah Covid, tetapi melihat harga terus naik seperti sekarang, ini mulai terasa seperti mesin pengeruk uang tunai yang terang-terangan
    Namun kalau semua orang diberi tambahan 500 euro per tahun sebagai Klima bonus, saya juga tidak tahu apa yang mereka harapkan. Saya bertanya-tanya bagaimana itu bisa menurunkan inflasi, dan sepertinya jaringan toko bahan makanan memanfaatkannya
  • Harganya tidak menjadi mahal tanpa alasan; harga Austria tinggi karena alasan yang persis sama dengan mengapa harga di Jerman rendah. Karena harga yang ditetapkan itulah yang menghasilkan uang paling banyak bagi perusahaan
    Entah harganya tinggi atau rendah, alasannya selalu sama. Harga itu menghasilkan uang paling banyak
  • Baru-baru ini, seorang influencer nutrisi LinkedIn di India hanya membaca apa adanya tabel informasi gizi di bagian belakang Bournvita, produk cokelat malt yang dicampurkan ke susu, tetapi terkena DMCA dan hampir digugat
    Perusahaan seperti ini benar-benar sensitif ketika sesuatu mulai memengaruhi keuntungan mereka. Mungkin bukan Bournvita, bisa juga aditif susu serupa untuk anak-anak
  • Keserakahan dan mengejar keuntungan lebih tinggi juga merupakan alasan yang cukup bagi mereka

• Jika mirip dengan Inggris, ada begitu banyak shrinkflation sehingga perbandingan harga akan memerlukan harga per gram. Caranya dengan mengecilkan ukuran produk dan mengganti bahan dengan yang lebih murah; meski kemasannya tampak sama, lapisan udara di kemasan cokelat batangan bertambah, ada celah kosong 1 cm di bawah tutup cone es krim, bagian bawah wadah mentega dibuat cekung, dan sisi kemasan yang dulu lurus kini menyempit
  “Trik” seperti ini sudah ada sejak dulu, tetapi makin banyak digunakan. Semua supermarket memiliki basis data seluruh stok, jadi pada dasarnya tanpa biaya mereka bisa mengirim daftar harga terbaru semua produk setiap 5 menit. Badan legislatif tampaknya tidak mencari, atau tidak berniat mencari, saran ahli, tetapi setidaknya ini sebuah awal

  • Di Inggris sudah ada kewajiban menampilkan harga per gram, tepatnya harga satuan dalam £/KG
    Masalahnya, jika toko bahan makanan membuat orang menggunakan kartu “loyalty”, mereka bisa menjadikan semuanya “harga promosi”, lalu menghindari persyaratan penampilan harga satuan. Mereka hanya menampilkan £/KG dari harga asli yang lebih tinggi, sehingga konsumen tidak bisa membandingkan dengan mudah
    Ini bisa dihindari dengan berbelanja di Aldi atau Lidl, tetapi saya tidak akan terkejut jika mereka pun segera tergoda oleh harga khusus kartu loyalty. Tentu saja, mereka juga sudah melakukan shrinkflation
    Contoh: https://www.tesco.com/groceries/en-GB/products/296117381 — “£3.00 / £10.71/kg”, tetapi harga Clubcard adalah £2.00
  • Sepertinya supermarket Inggris diwajibkan oleh hukum untuk menampilkan berat isi satu produk. Ini seharusnya berat bersih tanpa bobot kemasan, jadi mestinya bisa dianalisis cukup cepat

• Sebagai orang Austria, proyek perbandingan harga itu bagus, tetapi hal yang paling jelas di depan mata adalah harga toko bahan makanan di Jerman, untuk produk yang sama, 20–40% lebih rendah
  Penjelasan jaringan supermarket paling banter mencurigakan. Misalnya jumlah toko per kapita lebih banyak daripada di Jerman, atau mereka harus membeli dari distributor Austria yang lebih mahal. Saya juga pernah mendengar cerita serupa bahwa Belgia lebih mahal daripada Prancis
  Untuk mengubah situasi, diperlukan perbandingan harga di seluruh Eropa

  • Masalah sebenarnya di Austria adalah lingkungan bisnis yang buruk dengan pajak tinggi dan banyak regulasi. Pada akhirnya hanya tersisa beberapa pemain yang mendominasi bidang ini
    Perusahaan kecil bahkan tidak punya ruang untuk berinovasi di area seperti kebebasan memilih produk atau jam operasional, sehingga sulit sekali untuk masuk sejak awal
  • Apakah Anda menduga ada alasan lain? Misalnya, cara seperti itu bisa berhasil di Austria tetapi tidak di Jerman? Saya penasaran penjelasan seperti apa yang Anda anggap “tidak mencurigakan”
  • Saya berada di Yunani, dan harga persik yang diproduksi lokal lebih mahal daripada persik Yunani yang sama yang dijual di Rumania. Saya melihatnya hari ini dan terkejut; saya tidak tahu bagaimana orang Yunani tahan dengan situasi yang tidak masuk akal ini. Harga bensin juga jauh lebih tinggi

• Kalau mengumpulkan harga layanan dan produk secara online, ada sangat banyak hal menarik yang terlihat, dan biasanya itu adalah trik yang merugikan pelanggan
  Menurut saya sudah saatnya UE membuat aturan agar perusahaan menyediakan data harga lewat API terstandardisasi. Dengan begitu semua orang diuntungkan dan trik-trik seperti ini bisa ditekan
  Saya benar-benar membuat scraper paket liburan Disney World, dan menemukan cara mendapatkan penawaran yang lebih murah, misalnya dengan membeli tiket hotel secara terpisah hanya untuk sebagian dari total masa menginap. Suatu hari saya berencana menjadikannya indeks inflasi liburan
  1 - https://mousetrack.co.uk

• Tulisan yang sangat menarik. Menilai harga bahan makanan dan menyesuaikan belanja untuk mengoptimalkan waktu dan biaya itu sangat melelahkan, tetapi dengan dataset berskala besar seperti ini, hal tersebut bisa menjadi jauh lebih mudah
  Saya penasaran apakah ada analisis harga serupa untuk AS

  • Cara lain adalah melihat margin laba penjual. Perusahaan besar di AS semuanya perusahaan publik, jadi jika Anda berbelanja di tempat seperti Costco, Walmart, Target, Kroger, atau Albertsons, Anda bisa tahu bahwa Anda tidak membayar lebih dari beberapa persen di atas biaya yang dikeluarkan peritel untuk menjualnya kepada Anda
    Tentu saja margin laba tiap barang di dalam toko berbeda-beda, tetapi hampir semua makanan non-siap saji yang memiliki masa simpan termasuk dalam kategori margin laba paling rendah
    Winco, Aldi, dan Lidl juga dikenal sebagai toko bahan makanan dengan margin yang sangat rendah

• Saya tidak tahu bagaimana server Mastodon lain, tetapi server ini bertahun-tahun cahaya lebih maju daripada Twitter dari sisi kenyamanan membaca
  Saya berharap suatu hari nanti ada yang menulis buku pengungkapan tentang apa sebenarnya yang salah dengan perusahaan itu dan pendekatan desain produknya

  • Insentifnya berbeda. Perusahaan publik beranggotakan ribuan orang yang mengejar pertumbuhan permanen dan proyek komunitas pasti punya tujuan berbeda
    Yang pertama punya lebih banyak sumber daya, tetapi yang kedua lebih berorientasi pada misi
  • Sepertinya ini tampilan default Mastodon. Anda juga bisa memakai frontend terpisah
  • Ini mode gelap gaya Mastodon default dengan layar satu panel
    Ada juga “tampilan lanjutan” multi-panel yang katanya mirip Tweetdeck
    Ada orang yang menyukai mode gelap, tetapi di perangkat e-ink keterbacaannya benar-benar buruk. Karena tema tidak bisa diubah kalau tidak login ke instance tertentu, saya sudah membuka permintaan isu terkait hal itu

• Thread yang luar biasa, dan menunjukkan kekuatan warga yang cerdas dan punya kemampuan teknis

  • Konsumen Austria yang sering pergi ke luar negeri atau ke Jerman sudah lama tahu bahwa mereka ditipu, tetapi tidak bisa membuktikannya; sekarang mereka bisa membuktikannya. Pertanyaan yang lebih penting adalah apa hasilnya nanti. Data menunjukkan dengan jelas bahwa peritel besar bekerja sama dalam penetapan harga
    Dugaan saya, tidak akan terjadi apa-apa. Lembaga regulator pemerintah yang seharusnya mengawasi hal ini kemungkinan besar akan menyimpulkan tidak ada masalah. Menurut saya mereka sudah dibeli agar setelah selesai berkarier di politik, mereka bisa menjadi pelobi atau “konsultan” bagi para peritel ini
    Sekitar 6 tahun lalu, tiga perusahaan telekomunikasi terbesar di Austria menaikkan harga bersama-sama pada waktu yang persis sama, tetapi lembaga pemerintah terkait menutup kasus itu dengan alasan tidak ada bukti bahwa ketiganya bersekongkol melakukan penetapan harga, dan itu bisa saja kebetulan
    Negara ini sangat korup sampai busuk hingga ke akarnya. Sebagai konsumen dan pembayar pajak, kami secara legal diperas dari segala arah dengan restu pemerintah, dan saya rasa hal serupa juga terjadi di banyak negara lain

• Sebagai orang Austria, saya mengirim tautan ini ke beberapa jurnalis dan teman. Saya penasaran bagaimana ini bisa diubah menjadi tindakan yang dapat dijalankan agar dunia politik bergerak dan konsumen juga terbantu