Catatan tentang alat eksekusi kode JavaScript analysis baru di Claude

• Anthropic merilis "Analysis Tool" untuk antarmuka chatbot Claude.ai
• Alat ini mirip dengan mode code interpreter milik ChatGPT dari OpenAI, dan memungkinkan Claude menulis serta menjalankan kode lalu memanfaatkan hasilnya dalam percakapan
• Pengguna dapat mengaktifkan fitur ini dari halaman feature flag Claude

Cara eksekusi kode JavaScript

• Code Interpreter ChatGPT dan Google Gemini bekerja dengan menulis kode Python lalu menjalankannya di server sandbox yang aman
• Claude menggunakan JavaScript alih-alih Python, dan menjalankannya langsung di dalam browser
• Dieksekusi di Web Worker yang terbatas, dan berkomunikasi dengan halaman utama melalui intersepsi pesan console.log()
• Diimplementasikan sebagai alat bernama repl, dan Anda dapat meminta Claude melalui prompt untuk menjelaskan fungsi repl

repl

• repl adalah JavaScript REPL
• Digunakan untuk soal matematika yang kompleks atau analisis file pengguna berukuran besar
• Dapat membaca data dari file yang dibagikan dengan fungsi fs.readFile()
• Bisa menggunakan library seperti Lodash dan Papa Parse
• Ini bukan lingkungan Node.js, dan Anda harus menggunakan sintaks import bergaya React
• Interaksi antara alat analisis dan Claude Artifacts agak membingungkan
  • Kode dari alat analisis tidak berada di lingkungan yang dibagikan dengan Artifact
  • Jika ingin memakai ulang kode dari alat analisis di Artifact, seluruh kode harus ditulis ulang
• File yang diunggah saat ini ditambahkan ke konteks Claude sehingga ada batas ukuran, dan hanya format teks yang berfungsi

Ringkasan GN⁺

• Alat analisis baru Claude berbeda dari ChatGPT atau Google Gemini karena berbasis JavaScript dan berjalan langsung di browser
• Fitur pemrosesan file disertakan sehingga tampak berguna untuk tugas analisis data
• Namun, saat ini masih hanya mendukung file berformat teks dan integrasinya dengan Artifact agak terbatas, sehingga tampaknya masih ada ruang untuk perbaikan
• Bagi pengguna yang lebih menyukai solusi berbasis Python seperti dari OpenAI atau Google, ini mungkin terasa agak asing
• Jika ke depannya dukungan untuk pemrosesan file biner atau fitur tambahan seperti SQLite tersedia, kegunaannya diperkirakan akan semakin tinggi

[GN⁺]

Komentar Hacker News

• Ide menjalankan JavaScript di sisi klien untuk mengurangi biaya server terasa menarik

  • Kemungkinan ada efek penghematan biaya bagi Anthropic karena tidak perlu menjalankan server setiap saat

• Dalam instruksi khusus untuk model, tertulis bahwa "ini mirip dengan sintaks antArtifact yang digunakan untuk Artifacts, tetapi tidak sama"

  • Menarik bahwa di system prompt ada frasa yang terkesan seperti model sedang meminta maaf

• Sedang mencari pola yang tepat untuk menjalankan kode JavaScript yang tidak tepercaya di sandbox browser, dan tampaknya Anthropic sudah memecahkan masalah ini

  • Kode JavaScript mereka terlalu diobfuscate sehingga sulit direkayasa balik

• Sudah mencoba melakukan pengujian pembuatan kode di Claude dan ChatGPT

  • Saat mengerjakan Python, Sonnet (versi sebelum 3.5) lebih unggul daripada ChatGPT dalam keterbacaan, struktur, dan pemahaman prompt
  • Setelah beralih ke proyek JavaScript, Sonnet 3.5 menjadi lebih bertele-tele dan perlu revisi, sedangkan ChatGPT lebih ringkas dan akurat
  • Sedang memperhatikan apakah Claude akan membaik jika lebih fokus pada JavaScript

• duckdb-wasm akan menjadi tambahan yang bagus

  • Sedang digunakan di Definite, dan penilaian terhadap duckdb cukup positif

• JavaScript adalah bahasa yang sempurna untuk pekerjaan ini

  • Menantikan lingkungan coding sandbox tempat AI bisa bekerja dengan leluasa

• Ini adalah kemajuan yang luar biasa, tetapi rasanya tidak terlalu berguna sampai masalah konteks teratasi

  • Ekspektasi terhadap Anthropic tinggi, dan senang karena ini tidak menjadi pasar winner-takes-all seperti yang diperkirakan pada 2021