Magnitude - Framework Pengujian AI-Native Open Source untuk Aplikasi Web

• Framework pengujian E2E open source berbasis AI untuk aplikasi web
• Menulis test case dengan mudah menggunakan bahasa alami, lalu agen AI penalaran menyusun rencana pengujian, dan agen AI visual mengenali serta beradaptasi dengan perubahan UI untuk menjalankan pengujian
• Menggabungkan LLM multimodal dan model visi untuk melakukan pengujian UI yang cepat dan akurat, dan rencananya disimpan sehingga selalu bisa dijalankan dengan cara yang sama
• Saat masalah terjadi, agen penalaran secara otomatis menyelesaikan masalah tersebut
• Mendukung integrasi CI/CD dan eksekusi pengujian dengan cara yang mirip Playwright. Pengujian dapat dijalankan di lingkungan CI (seperti GitHub Actions)
• Mengapa tidak menggunakan OpenAI Operator atau Claude Computer Use?
  • Magnitude dirancang dengan memisahkan perencanaan dan eksekusi
  • Dibanding API untuk pekerjaan desktop/web umum, ini dioptimalkan untuk eksekusi pengujian dari sisi kecepatan, keandalan, dan biaya
  • Menyediakan runner khusus tersendiri untuk memaksimalkan keandalan, kecepatan, dan efisiensi biaya
• Rekomendasi LLM
  • Model planner: gunakan LLM multimodal umum (rekomendasi: Gemini 2.5 Pro)
  • Model executor: gunakan Moondream, LLM visi yang cepat
• Contoh 1

  test('can add and complete todos', { url: 'https://magnitodo.com' })  
      .step('create 3 todos')  
          .data('Take out the trash, Buy groceries, Build more test cases with Magnitude')  
          .check('should see all 3 todos')  
      .step('mark each todo complete')  
          .check('says 0 items left')  
  

• Contoh 2

  test('can log in and create company')  
      .step('Log in to the app')  
          .data({ username: '[e-mail]', password: 'test' })  
          .check('Can see dashboard')  
      .step('Create a new company')  
          .data('Make up the first 2 values and use defaults for the rest')  
          .check('Company added successfully');