Silurian (YC S24) Diluncurkan – Teknologi Simulasi Bumi

• Silurian sedang membangun foundation model untuk simulasi Bumi, dan memilih prakiraan cuaca sebagai bidang penerapan pertamanya karena prediksi yang lebih cepat bahkan satu hari saja memiliki nilai besar
• Prakiraan cuaca yang ada selama ini membaik kira-kira 1 hari setiap 10 tahun, tetapi belakangan GPU dan deep learning modern mempercepat laju tersebut
• Sejak 2022, riset prakiraan cuaca berbasis deep learning menjadi aktif di NVIDIA, Google DeepMind, Huawei, Microsoft, dan lainnya; model berbasis data dapat menghasilkan hasil yang lebih baik daripada simulasi fisika atmosfer tradisional
• GFT(Generative Forecasting Transformer), yang dibuat berdasarkan pengalaman Microsoft ClimaX dan Aurora, mensimulasikan cuaca global hingga 14 hari ke depan dengan resolusi sekitar 11 km
• Tujuan jangka panjangnya adalah memodelkan hingga infrastruktur yang terdampak cuaca seperti jaringan energi, pertanian, logistik, dan pertahanan; saat ini mereka memublikasikan prediksi jalur badai hurikan 2024

---

Memulai simulasi Bumi dari prakiraan cuaca

• Silurian adalah tim yang dibuat oleh Jayesh, Cris, dan Nikhil, yang mengembangkan foundation model untuk simulasi Bumi
• Target penerapan pertamanya adalah prakiraan cuaca, dan hasil prediksi hurikan terbaru dapat dilihat di hurricanes2024.silurian.ai
• Tujuannya adalah memperluas model dan mendorongnya hingga batas yang secara fisik dapat diprediksi
• Dalam jangka panjang, mereka ingin memodelkan hingga infrastruktur yang terdampak cuaca
  • Jaringan energi
  • Pertanian
  • Logistik
  • Pertahanan

Prakiraan deep learning dan performa GFT saat ini

• Sistem prediksi tradisional selama ini meningkatkan performa sekitar 1 hari setiap 10 tahun; misalnya, prakiraan 6 hari hari ini menjadi seakurat prakiraan 5 hari sepuluh tahun lalu
• Sejak 2022, riset sistem deep learning cuaca meningkat pesat di NVIDIA, Google DeepMind, Huawei, Microsoft, dan lainnya
• Model-model ini memiliki sangat sedikit atau bahkan tidak ada hukum fisika bawaan, dan mempelajari prediksi hanya dari data
• Jayesh dan Cris merasakan langsung potensi teknologi ini saat masing-masing memimpin proyek ClimaX dan Aurora di Microsoft
  • Foundation model tersebut menghasilkan hasil yang lebih baik daripada prediksi ECMWF, yang dianggap sebagai standar dalam prakiraan cuaca
  • Data pelatihan yang digunakan hanyalah sebagian dari data yang tersedia
• Musim panas ini, Silurian membangun foundation model miliknya sendiri, GFT(Generative Forecasting Transformer)
  • Ini adalah frontier model dengan 1,5 miliar parameter
  • Mensimulasikan cuaca global hingga 14 hari ke depan
  • Resolusinya sekitar 11 km
• Meski catatan historis hanya memiliki sedikit data cuaca ekstrem, GFT telah menunjukkan performa yang sangat baik dalam prediksi jalur hurikan 2024
• Prediksi hurikan dapat diperiksa langsung di hurricanes2024.silurian.ai
• Visualisasinya menggunakan alat visualisasi cuaca open source cambecc/earth

[GN⁺]

Komentar Hacker News

• Senang karena kini dimungkinkan untuk melakukan prediksi ensemble untuk siklon tropis

  • Kecewa dengan perbandingan antara model ML dan model HRES dari ECMWF
  • HRES adalah satu realisasi cuaca yang mungkin terjadi, bukan estimasi terbaik dari cuaca rata-rata
  • NeuralGCM berada di peringkat atas papan peringkat WeatherBench
  • Ingin membandingkan performa model di WeatherBench

• Model yang tidak menanamkan fisika justru membuat prediksi yang lebih baik hanya dengan data

  • Pepatah NLP, "setiap kali kita memecat seorang ahli linguistik, performa meningkat", tampaknya juga berlaku untuk para fisikawan

• Silurian sedang membangun model fondasi untuk mensimulasikan Bumi

  • Jika berhasil, penasaran apa lagi yang ingin mereka simulasikan

• Antusias dengan potensi komersial ClimaX

  • Penasaran apakah ada industri tertentu yang sudah menghubungi terkait potensi komersialnya (misalnya eksplorasi sumber daya alam)

• Sebagai organisasi nirlaba, kami membangun model serupa untuk daratan

  • Ingin membantu mengganti land mask dengan embedding daratan
  • Ini akan sangat membantu dalam melakukan downscaling efek regional

• Penasaran apa perbedaannya dibanding GraphCast yang dirilis Google tahun lalu

• Bingung dengan model cuaca

  • Penasaran apakah pendekatan ML lebih stabil secara numerik dibanding simulasi berbasis fisika
  • Penasaran bagaimana perbandingannya dari sisi kebutuhan komputasi
  • Pernah punya pengalaman mengonversi model dari FORTRAN ke Verilog di masa lalu

• Penasaran apakah pendekatan ini pernah diterapkan pada gempa bumi yang tidak dapat diprediksi

• Pendekatan ini tampaknya seperti contoh lain dari "The Bitter Lesson"

• Penasaran apa lagi yang akan disimulasikan di masa depan

  • Membangun demo di San Francisco yang bisa mencari objek dengan bahasa alami
  • Sudah mencoba embedding Clay, tetapi performanya lebih buruk daripada embedding caption OSM yang di-fine-tune dengan CLIP