Skyvern (YC S23) – Agen AI open-source untuk otomatisasi browser

 (github.com/Skyvern-AI)
4 poin oleh GN⁺ 2024-10-25 | 1 komentar | Bagikan ke WhatsApp
  • Skyvern mengotomatiskan alur kerja manual berbasis situs web dengan LLM dan computer vision, serta menyediakan SDK yang kompatibel dengan Playwright dan no-code workflow builder
  • Berbeda dari otomatisasi browser tradisional yang bergantung pada parsing DOM dan XPath sehingga rapuh terhadap perubahan layout, Skyvern menggunakan Vision LLM untuk memahami elemen di layar dan merencanakan serta menjalankan tindakan yang diperlukan
  • Skyvern menyatakan dapat memetakan elemen visual ke tindakan bahkan pada situs web yang baru pertama kali dilihat, dan menerapkan alur kerja yang sama ke banyak situs tanpa XPath atau selector yang telah didefinisikan sebelumnya
  • SDK menyediakan perintah page.act, page.extract, page.validate, page.prompt, dan page.agent, menambahkan pencarian elemen berbasis natural language prompt ke aksi Playwright yang sudah ada
  • Tersedia opsi eksekusi lokal, Docker Compose, Skyvern Cloud, kontrol Chrome yang sudah ada, browser tunneling, akurasi 64.4% di WebBench, lisensi AGPL-3.0, serta pengecualian fitur anti-bot pada managed cloud

Masalah yang ingin diselesaikan Skyvern

  • Skyvern adalah proyek yang mengotomatiskan alur kerja berbasis browser dengan LLM dan computer vision
  • Menyediakan SDK kompatibel Playwright yang menambahkan kemampuan AI di atas Playwright
  • Juga menyediakan no-code workflow builder agar pengguna teknis maupun nonteknis bisa mengotomatiskan alur kerja manual di situs web mana pun
  • Otomatisasi browser tradisional sering bergantung pada skrip kustom per situs, parsing DOM, dan interaksi berbasis XPath, sehingga bisa rusak saat layout situs berubah
  • Skyvern tidak hanya memakai interaksi XPath yang didefinisikan dalam kode, tetapi mempelajari dan berinteraksi dengan situs web melalui Vision LLM

Cara kerja dan desain

  • Skyvern terinspirasi oleh desain agen otonom berbasis tugas yang dipopulerkan oleh BabyAGI dan AutoGPT
  • Lalu menambahkan kemampuan berinteraksi dengan situs web melalui library otomatisasi browser seperti Playwright
  • Menggunakan swarm beberapa agen untuk memahami situs web, merencanakan tindakan, dan mengeksekusinya
  • Keunggulan pendekatan ini diringkas dalam tiga poin
    • Dapat memetakan elemen visual ke tindakan yang diperlukan tanpa kode kustom, sehingga bisa berjalan bahkan pada situs web yang belum pernah dilihat sebelumnya
    • Karena tidak mencari XPath atau selector yang sudah ditentukan sebelumnya selama navigasi, pendekatan ini lebih tahan terhadap perubahan layout situs
    • Satu alur kerja dapat diterapkan ke banyak situs web, dan interaksi yang diperlukan di tiap situs dapat diinferensikan
  • Laporan teknis Skyvern 2.0 dapat dilihat di Skyvern 2.0: State-of-the-art web navigation with 85.8 on WebVoyager eval

Metode eksekusi

  • Skyvern Cloud adalah versi managed cloud yang memungkinkan menjalankan Skyvern tanpa mengelola infrastruktur sendiri
  • Skyvern Cloud dapat menjalankan banyak instance Skyvern secara paralel, serta mencakup mekanisme penanganan deteksi anti-bot, jaringan proxy, dan CAPTCHA solver
  • Eksekusi lokal dapat dimulai dengan pip install "skyvern[all]" lalu skyvern quickstart
  • skyvern quickstart dan skyvern run server secara default menggunakan database SQLite di ~/.skyvern/data.db
    • Untuk memakai container Postgres lokal, tambahkan --postgres
    • Untuk memakai database yang sudah ada, tambahkan --database-string
    • Docker Compose menggunakan layanan Postgres bawaan
  • Menjalankan Docker Compose akan mengontainerisasi Postgres, API, dan UI sekaligus, lalu dimulai dengan docker compose up -d setelah mengatur API key LLM di .env
  • UI secara default dapat diakses di http://localhost:8080

SDK dan ekstensi Playwright berbasis AI

  • Skyvern SDK adalah ekstensi yang menambahkan otomatisasi browser berbasis AI ke Playwright
  • Cara instalasi dibedakan menurut bentuk penggunaan
    • Python SDK / cloud API: pip install skyvern
    • Server lokal dan packaged UI: pip install "skyvern[all]" lalu skyvern quickstart
    • Server lokal dan UI dengan Postgres: pip install "skyvern[all]" lalu skyvern quickstart --postgres
    • Packaged UI yang terhubung ke API yang sudah ada: pip install "skyvern[ui]" lalu skyvern run ui --api-url <api-url> --api-key <api-key>
    • TypeScript: npm install @skyvern/client
  • Pada objek page, ditambahkan empat perintah AI
    • page.act(prompt): menjalankan tindakan dari bahasa alami seperti “klik tombol login”
    • page.extract(prompt, schema): mengekstrak data terstruktur dengan JSON schema opsional
    • page.validate(prompt): memvalidasi status halaman dan mengembalikan bool
    • page.prompt(prompt, schema): mengirim prompt arbitrer ke LLM dengan response schema opsional
  • page.agent menyediakan perintah alur kerja tingkat lebih tinggi
    • page.agent.run_task(prompt): menjalankan tugas kompleks multi-langkah
    • page.agent.login(credential_type, credential_id): autentikasi memakai kredensial yang disimpan di Skyvern, Bitwarden, atau 1Password
    • page.agent.download_files(prompt): mengunduh file setelah navigasi
    • page.agent.run_workflow(workflow_id): menjalankan workflow yang sudah dibuat sebelumnya
  • Aksi Playwright yang sudah ada mendukung pencarian elemen berbasis AI melalui parameter prompt opsional
    • page.click("#btn") diganti menjadi page.click(prompt="Click login button")
    • page.fill("#email", "a@b.com") diganti menjadi page.fill(prompt="Email field", value="a@b.com")
    • page.select_option("#country", "US") diganti menjadi page.select_option(prompt="Country dropdown", value="US")
    • page.upload_file("#file", "doc.pdf") diganti menjadi page.upload_file(prompt="Upload area", files="doc.pdf")
  • Ada tiga mode interaksi
    • Playwright tradisional: memakai selector CSS/XPath
    • Berbasis AI: memakai bahasa alami
    • AI fallback: mencoba selector lebih dulu, lalu beralih ke AI jika gagal

Kontrol browser tingkat lanjut

  • Skyvern dapat mengontrol browser Chrome milik pengguna yang sudah ada
  • Pendekatan ini memungkinkan penggunaan browser yang sudah memiliki cookie, login, dan extension
  • Remote debugging Chrome dapat diaktifkan di chrome://inspect/#remote-debugging
  • Perintah skyvern init browser dapat membuka halaman remote debugging, menunggu hingga pengguna mengaktifkannya, lalu menyimpan konfigurasi
  • Skyvern Cloud juga dapat mengontrol Chrome yang berjalan di mesin lokal
    • Perintah skyvern browser serve --tunnel sekaligus menjalankan Chrome dan membuat tunnel ke Skyvern Cloud
    • Ini berguna untuk mengotomatiskan situs yang sudah login atau berada di balik VPN
  • Saat mengekspos browser melalui tunnel, --api-key harus selalu digunakan

Kinerja dan evaluasi

  • Skyvern menyatakan telah mencatat performa SOTA dengan akurasi 64.4% pada WebBench benchmark
  • Laporan teknis dan evaluasinya dapat dilihat di Web Bench: A new way to compare AI browser agents
  • Juga diklaim sebagai agen dengan performa tertinggi pada tugas WRITE
    • Contoh tugas WRITE mencakup pengisian formulir, login, dan pengunduhan file
    • Kategori ini terutama digunakan untuk tugas yang berdekatan dengan RPA

Tasks dan Workflows

  • Task adalah unit dasar penyusun di dalam Skyvern
  • Setiap Task adalah satu permintaan untuk menavigasi situs web dan mencapai tujuan tertentu
  • Task memerlukan url dan prompt
  • Secara opsional dapat mencakup data schema dan error codes
    • data schema digunakan saat output harus mengikuti schema tertentu
    • error codes digunakan saat eksekusi Skyvern harus dihentikan dalam situasi tertentu
  • Workflow adalah cara menghubungkan beberapa Task menjadi satu unit kerja
  • Contoh workflow
    • Untuk mengunduh semua invoice setelah 1 Januari, alurnya bisa terdiri dari membuka halaman invoice, memfilter tanggal, mengekstrak daftar invoice target, lalu mengunduh tiap invoice
    • Otomatisasi pembelian e-commerce bisa terdiri dari membuka produk, menambahkannya ke keranjang, memvalidasi status keranjang, lalu checkout
  • Fitur workflow yang didukung mencakup Browser Task, Browser Action, Data Extraction, Validation, For Loops, File parsing, Sending emails, Text Prompts, HTTP Request Block, Custom Code Block, dan upload file ke block storage
  • Conditionals ditandai sebagai “Coming soon”

Fitur utama

  • Livestreaming mengirim viewport browser secara real-time ke mesin lokal agar pengguna bisa melihat apa yang dilakukan Skyvern di web
    • Berguna untuk debugging, memahami interaksi, dan intervensi bila perlu
  • Form Filling dapat mengisi input form di situs web secara default
    • Jika informasi diberikan melalui navigation_goal, Skyvern akan memahami isinya dan mengisi formulir
  • Data Extraction mengekstrak data dari situs web
    • Jika data_extraction_schema ditentukan dalam prompt utama dalam format jsonc, output akan mengikuti struktur schema tersebut
  • File Downloading mengunduh file dari situs web
    • File yang diunduh akan otomatis diunggah bila block storage dikonfigurasi, dan bisa diakses dari UI
  • Authentication mendukung berbagai metode autentikasi agar otomatisasi tugas di balik login menjadi lebih mudah
  • Dukungan 2FA tersedia dalam beberapa cara
    • 2FA berbasis QR, misalnya Google Authenticator, Authy
    • 2FA berbasis email
    • 2FA berbasis SMS
    • Dokumentasi terkait ada di 2FA support
  • Status integrasi password manager
    • Didukung: Bitwarden
    • Didukung: Custom Credential Service, HTTP API
    • Tidak didukung: 1Password
    • Tidak didukung: LastPass

Integrasi dan LLM yang didukung

  • Skyvern mendukung Model Context Protocol(MCP) sehingga dapat menggunakan LLM yang mendukung MCP
  • Dokumentasi MCP ada di MCP server documentation
  • Mendukung integrasi Zapier, Make.com, dan N8N
  • Provider LLM yang didukung adalah sebagai berikut
    • OpenAI: GPT-5.5, GPT-5.4, GPT-5, GPT-4.1, o3, o4-mini
    • Anthropic: Claude 4.7 Opus, Claude 4.6 Sonnet/Opus, Claude 4.5 Haiku/Sonnet/Opus
    • Azure OpenAI: semua model GPT yang di-deploy pada subscription Azure
    • AWS Bedrock: Claude 4.7, Claude 4.6 Sonnet/Opus, Claude 4.5 Sonnet/Opus
    • Gemini: Gemini 3.1 Pro, Gemini 3 Flash, Gemini 2.5 Pro/Flash
    • Ollama: model yang di-host secara lokal melalui Ollama
    • OpenRouter: akses model melalui OpenRouter
    • OpenAI-compatible: custom API endpoint yang mengikuti format OpenAI API melalui liteLLM
  • Pengaturan LLM lebih detail tersedia di LLM Configuration docs

Contoh penggunaan nyata

  • Otomatisasi pengunduhan invoice dari banyak situs web
  • Otomatisasi proses lamaran kerja
  • Otomatisasi pengadaan material untuk perusahaan manufaktur
  • Pendaftaran akun atau pengisian formulir di situs web pemerintah
  • Pengisian formulir contact us secara acak
  • Pencarian penawaran asuransi di situs web perusahaan asuransi multibahasa

Pemecahan masalah dan perintah operasional

  • Bug yang diketahui pada pip install skyvern==1.0.31 dapat menyebabkan (sqlite3.OperationalError) table organizations already exists
    • Hapus file SQLite yang tersisa di ~/.skyvern/data.db, upgrade ke 1.0.32 atau lebih baru dengan pip install --upgrade skyvern, lalu jalankan skyvern quickstart
    • Jika harus tetap memakai 1.0.31, bisa gunakan uv pip install skyvern
  • Jika pip install skyvern gagal dengan ResolutionImpossible, penyebabnya bisa konflik penyelesaian dependensi litellm / fastmcp pada 1.0.31
    • Upgrade ke 1.0.32 atau lebih baru, atau gunakan uv pip install skyvern
  • Perintah yang berguna untuk debugging
    • skyvern run server: menjalankan server Skyvern secara terpisah
    • skyvern run ui: menjalankan UI Skyvern
    • skyvern status: memeriksa status layanan
    • skyvern stop all: menghentikan semua layanan
    • skyvern stop ui: menghentikan UI
    • skyvern stop server: menghentikan server

Lisensi dan telemetri

  • Skyvern secara default mengumpulkan statistik penggunaan untuk memahami cara pemakaiannya
  • Untuk mematikan telemetri, set environment variable SKYVERN_TELEMETRY ke false
  • Repositori open-source Skyvern didukung oleh managed cloud
  • Logika inti disediakan dalam repositori open-source ini dengan lisensi AGPL-3.0
  • Langkah anti-bot yang termasuk dalam penawaran managed cloud dinyatakan sebagai pengecualian dari logika inti repositori open-source

Bacaan terkait

1 komentar

 
GN⁺ 2024-10-25
Pendapat di Hacker News

  • Penasaran bagaimana orang melihat fitur computer use Claude yang baru-baru ini diumumkan Anthropic
    Sekarang computer use Claude relatif baru dirilis, saya ingin tahu apa pembeda inti Skyvern

    • Saya bekerja di bidang ini, dan kemampuan Claude untuk menghitung piksel dan berinteraksi dengan layar menggunakan koordinat yang tepat tampak seperti inovasi yang cukup berguna untuk memperbaiki pendekatan yang ada
      Pendekatan yang ada biasanya menggambar kotak batas yang ditampilkan di sekitar elemen yang bisa diinteraksi, meminta LLM mengeluarkan pemanggilan tool seperti click('A12'), lalu memetakan A12 ke elemen HTML sebenarnya untuk menjalankan aksi Selenium/JS. Menggambar kotak batas semacam ini secara heuristik juga sulit, dan jika click handler terpasang pada elemen DOM lain, menjalankan aksi yang benar juga bisa menjadi sulit
      Untuk kasus otomatisasi, menjalankan aksi tingkat tinggi seperti click(x, y) atau type("foo") langsung pada layar tanpa memetakan kembali elemen visual ke elemen HTML kemungkinan bisa lebih efektif. Namun saat ini, jika HTML diberikan sebagai konteks ke LLM, performanya cenderung lebih baik dibandingkan hanya memakai penalaran visual murni. Karena itu saya lebih optimistis terhadap pendekatan Claude, dan khususnya sangat menantikannya jika penalaran visual terus membaik
    • Produk dan peluncuran Anthropic benar-benar keren, dan mengesankan bahwa mereka bisa melakukan banyak hal dengan berinteraksi dengan situs web hanya melalui penggunaan tool + mikro-agen + tangkapan layar + koordinat
      Namun saya ragu para pesaing akan diam saja tanpa membuat sesuatu yang serupa. Tim xAI, Gemini, OpenAI, Mistral, dan MetaAI tidak akan hanya menunggu, dan bidang ini kemungkinan besar akan menjadi poros besar di masa depan, jadi sepertinya tidak akan ada satu perusahaan yang mengambil semuanya
      Selain itu, penting juga dari mana nilai nyata dalam sistem seperti ini berasal. Demo dan produk keren yang cukup bisa dipakai kemungkinan besar tidak cukup, dan kebanyakan orang menginginkan otomatisasi alur kerja nyata. Untuk penggunaan pribadi mungkin itu cukup, tetapi perusahaan kemungkinan menginginkan sesuatu yang lebih kompleks
      Terakhir, apakah ini hanya akan dioptimalkan untuk Claude juga merupakan poin kunci. Jika ingin menjalankannya dengan LLM open source sendiri, atau ingin terus berganti memakai model terbaik di pasar, fleksibilitas seperti itu mungkin sulit didapat dari solusi yang disediakan vendor besar. Sebab Anthropic punya insentif untuk membuat orang memakai Claude secara internal
      Poin terakhir inilah yang memberi harapan. Pengguna open source Skyvern bisa memilih model yang mereka inginkan dan tidak terikat pada Claude. Ini juga bisa dijalankan pada model open source seperti Gemini, GPT-4O, dan Llama 3.2

  • Ini mungkin bukan wrapper AI pertama di atas Playwright yang keluar minggu ini, dan rasanya juga bukan contoh pertama bulan ini
    Penggunaan dari sudut pandang otomatisasi proses bisnis terlihat lebih meyakinkan daripada otomatisasi pengujian. Otomatisasi pengujian jauh lebih menekankan ketepatan dan keterulangan proses, tetapi dalam otomatisasi bisnis, selama hasilnya benar, sering kali tidak terlalu masalah jika jalurnya aneh
    Namun pada video contoh, mereka harus menulis prompt yang cukup besar agar bisa berjalan, dan data payload beberapa KB pun harus dimasukkan dalam format teks biasa, bukan CSV. Jika harapannya ini menggantikan orang-orang yang merasa generator kode Playwright langsung terlalu teknis dan sulit, saya tidak yakin ada begitu banyak orang yang bisa melakukan salah satunya tetapi tidak bisa melakukan yang lain
    Selain itu, tampaknya pengguna harus menyerahkan kredensial login situs web dan bahkan informasi kartu kredit dalam bentuk teks biasa. Jika akun Skyvern pengguna diretas, cara menangani data sensitif harus sangat solid agar konsekuensi serius bisa dihindari
    Saya juga melihat pihak yang membuat wrapper Playwright berbasis LLM cenderung melebih-lebihkan frekuensi perombakan situs web. Terutama ketika menargetkan situs lama atau situs pemerintah. Misalnya, saya sudah menjalankan kumpulan otomatisasi browser Playwright yang panjang untuk berinteraksi dengan situs pemerintah selama beberapa tahun, tetapi hanya pernah melakukan pemeliharaan sekali ketika prosedur kerja instansinya berubah. Bahkan jika memakai Skyvern, karena prosedurnya berubah, prompt dan payload juga tetap harus diubah
    Perbedaannya dengan otomatisasi Playwright adalah kita bisa memverifikasi keberhasilan/kegagalan tiap langkah dan akurasi pencatatan data dengan assertion, sehingga kita tahu bahwa prosedur perlu diperbarui. Di Skyvern, saya tidak melihat opsi seperti itu, jadi saya khawatir perubahan prosedur bisa terlewat dan sistem mulai memasukkan data yang salah atau melewatkan langkah

    • Memang benar struktur prompt dan payload saat ini termasuk cukup kompleks, tetapi kami bisa membantu pengguna membuat payload ini dengan LLM
      Pengguna teknis ingin belajar lebih jauh dan membuat payload sendiri, sementara pengguna nonteknis mulai dengan meminta LLM membantu membuat prompt Skyvern final. Itu tidak terduga, tetapi alurnya terasa sangat natural
      Tahap 1 adalah membuatnya dengan cara yang kompleks, yaitu Playwright; tahap 2 adalah tahap saat ini, membuat padanan Playwright dengan prompt yang kompleks; dan tahap 3 adalah membuat sesuatu yang menghasilkan padanan Playwright dengan prompt yang lebih sederhana. Setiap tahap menurunkan hambatan teknis yang diperlukan untuk membuat otomatisasi
      Menurut saya frekuensi perubahan situs web adalah proposisi nilai yang lebih kecil untuk otomatisasi berbasis LLM. Nilai terbesarnya adalah kemampuan menangani situasi yang sangat dinamis. Misalnya, ketika mengotomatisasi situs e-commerce yang penawaran popup-nya berubah setiap minggu, Skyvern hampir tidak perlu memedulikannya, tetapi skrip Playwright bisa rusak
      Alasan saya menyukai contoh Geico juga karena itu menunjukkan dengan baik sesuatu yang dulu sangat sulit diotomatisasi. Formulirnya berubah setiap kali dijalankan, tetapi Skyvern melewatinya dengan mudah
      Dari sisi akurasi data, kami sedang merilis fitur workflow yang merangkai beberapa task. Hal menarik dari fitur ini adalah kita bisa menambahkan langkah agar Skyvern memverifikasi sendiri hasilnya sebelum melanjutkan. Misalnya, setelah memasukkan n produk ke keranjang, ia bisa pergi ke keranjang dan memverifikasi kondisi keranjang tersebut
      Seperti yang bisa diduga, ini menjadi fondasi agar agen lain dapat menggunakan tool semacam ini untuk membuat workflow sendiri dengan prompt yang lebih sederhana. Singkatnya, ini adalah langkah pertama dalam perjalanan panjang untuk membuat otomatisasi proses bisnis dengan LLM semakin mudah

  • Pada titik ini, membangun startup di atas LLM pihak ketiga tampaknya membutuhkan nyali yang sangat besar, atau model bisnis yang mengejar pendapatan jangka pendek.
    Jika horizon waktunya bukan beberapa bulan melainkan beberapa tahun, risikonya besar. Anthropic baru kemarin masuk ke bidang ini, dan OpenAI serta Google kemungkinan besar akan segera menyusul.

    • Banyak perusahaan seperti Vercel dan Supabase membangun bisnis besar dengan “membungkus” AWS.
      Mereka secara harfiah bersaing dengan AWS sekaligus menggunakan AWS untuk menyediakan produk mereka. Pasar ini besar, dan ada ruang untuk berbagai pendekatan.
      Jelas bahwa OpenAI, Anthropic, dan Google akan membangun bisnis besar di bidang ini, tetapi tidak ada alasan untuk menutup kemungkinan bahwa pihak lain bisa menemukan ide bagus dan mewujudkannya dengan bergantung pada penyedia infrastruktur besar.
    • Saya tidak tahu apa maksudnya “masuk”. Saya kurang tahu apa yang terjadi.

  • Menarik bahwa ini dijadikan open source dengan AGPL.
    Mungkin jawabannya sudah ada di dokumentasi, tetapi setelah mencari sekilas di source, sepertinya mereka tidak memakai LangChain dan berencana membuat integrasi agar bisa diberikan ke komunitas itu di masa depan. Saya penasaran apa yang digunakan Skyvern saat membuat logika chain pemikiran/tindakan, dan apakah jika mulai dari awal sekarang mereka akan mempertimbangkan arah LangChain/Graph.

    • Awalnya kami menggunakan framework AutoGPT.
      Jejaknya masih banyak tersisa di tempat seperti task dan step, tetapi ketika kami mencoba memperluas dan mengerjakan hal yang lebih kompleks, kami menyadari framework itu sangat membatasi.
      Misalnya, saat ini kami menggunakan arsitektur multi-agent yang menjalankan micro-agent untuk menganalisis SVG atau mengisi autocomplete dinamis, dan struktur seperti ini akan sangat sulit dilakukan dengan framework yang ada.
      Framework seperti LangChain bagus untuk prototyping awal, tetapi terlalu membatasi ketika ingin mendorong batasnya.

  • Jika “otomasi browser” terasa membingungkan, maksudnya adalah membuat program memanipulasi situs web target, seperti keluarga Selenium.
    Biasanya caranya adalah memasukkan event ketikan keyboard dan pergerakan/klik mouse ke situs web target milik orang lain agar situs tersebut melakukan sesuatu. Setelah memahami ini, penjelasan lainnya akan masuk akal.

  • Setiap kali melihat alat otomasi workflow LLM seperti ini, saya punya beberapa pertanyaan tentang masing-masing use case dan dampak jangka panjangnya.
    Pertama, saya bertanya-tanya apakah ini sekadar mengakali friksi yang muncul karena kurangnya interoperabilitas antaralat. Misalnya, apakah pekerjaan itu akan lebih efisien jika pemilik situs web menyediakan layanan REST? Jika alat seperti ini ada, apakah perusahaan jadi tidak menyediakan endpoint layanan meskipun sebenarnya masuk akal untuk menyediakannya?
    Kedua, jika ada alasan yang sah mengapa endpoint layanan tidak tersedia, misalnya alasan keamanan, workflow otomasi bisa dipakai untuk melewati langkah keamanan tersebut. Bisakah pelaku jahat menggunakan alat ini untuk menonaktifkan layanan penting? Bisakah pihak pembuat alat menjadi pelaku seperti itu? Bisakah reseller menggunakannya agar barang dengan permintaan tinggi tidak bisa dibeli konsumen biasa?
    Ketiga, jika ini dipakai untuk mengakali backlog pemeliharaan pada alat dan proses internal, keberadaan alat seperti ini bisa menjadi alasan bagi manajemen untuk makin menunda pemeliharaan. Pada akhirnya, ini bahkan bisa menjadi dependensi inti dalam workflow staf dukungan.
    Keempat, jika ini dipakai dengan niat baik untuk mengakali antipola dalam desain situs web, apakah pemilik situs web akan terdorong untuk merusak workflow tersebut? Apakah ini pada akhirnya hanya satu tahap dalam perlombaan senjata?
    Pikiran seperti ini muncul setiap kali saya melihat software ditumpuk di atas proses yang rumit, lalu alih-alih menyederhanakan proses dasarnya, justru menutupinya dengan menambahkan satu lapis kompleksitas lagi. Jelas proyek ini akan berguna, tetapi saya penasaran dengan efek jangka panjangnya.

    • Situs web yang tidak punya API biasanya karena salah satu dari dua alasan. Pertama, mereka ingin melindungi data seperti LinkedIn, dan kedua, mereka tidak punya kapasitas atau malas membuat API, seperti situs web kecil atau portal pemerintah.
      Skyvern menyelesaikan masalah ini, tetapi jika biaya LLM turun, ini juga bisa membuat situs-situs seperti itu tidak perlu membuat API.
      Kami tidak ingin Skyvern dipakai di situs web yang melarang perilaku seperti ini. LinkedIn adalah contoh utamanya. Khususnya, alasan kami tidak meng-open-source-kan kode terkait anti-bot atau captcha juga karena kami menerima permintaan seperti “manipulasi rekomendasi Reddit”. Kami tidak ingin mendukung pelaku jahat seperti itu.
      Secara keseluruhan, saya melihat otomasi browser AI punya efek bersih yang positif. Jika kebutuhan API berkurang, kebutuhan untuk memelihara API dan UI sekaligus juga berkurang, pengalaman menjadi lebih sederhana, kode berkurang, dan sistem menjadi lebih sederhana.
      Untuk bagian terakhir, saya tidak 100% yakin. Biasanya saya berasumsi alasan perusahaan tidak membuat API adalah karena tidak ada anggaran. Dengan kata lain, saya menganggap alasannya bukan niat jahat. Perusahaan seperti LinkedIn akan berusaha memblokir upaya otomasi, tetapi kami tidak ingin ikut dalam permainan kucing-kucingan seperti itu.

  • Saya penasaran apakah Skyvern bisa mengambil data dari banyak situs web dengan struktur berbeda lalu menggabungkan data terstruktur itu menjadi satu file CSV atau JSON.
    Misalnya, bisakah ia mengambil suku bunga rekening deposito dari beberapa situs web bank, mengekstrak nama bank, logo bank, nama produk, dan suku bunga untuk tiap rekening, lalu menjalankan kueri yang tersimpan secara terjadwal, misalnya harian atau mingguan?

    • Secara teori bisa. Anda perlu mengaturnya menggunakan fitur workflow, lalu merangkai beberapa task untuk mengumpulkan informasinya.

  • Saya penasaran apakah ada pengalaman menjalankan Skyvern di situs web maskapai.
    Misalnya, untuk mengekstrak ketersediaan kursi award tiket miles dari titik A ke titik B. Maskapai tampaknya selalu mengubah tampilan dan punya langkah anti-scraping yang kuat.

    • Kami belum pernah membantu use case persis itu, tetapi kami sedang melakukan integrasi dengan sebuah perusahaan untuk mengotomatiskan pembelian tiket Alaska dan Southwest atas nama orang sungguhan.
      Itu akan menjadi cara untuk beta test transaksi kartu kredit dan memvalidasi keandalannya.

  • Saya sedang membuat sesuatu yang mirip dalam skala lebih kecil, dan bidang ini tampaknya cukup menjanjikan.
    Dengan membatasi cakupan masalah pada interaksi/scraping satu halaman, hasilnya sangat stabil dan berguna di perusahaan. Namun otomasi bergaya agent juga terlihat menarik.

    • Ini khususnya berguna dalam situasi yang sangat dinamis.
      Misalnya, mengisi formulir kontak di ratusan situs web sangat sulit ditangani variasinya dengan kode biasa, tetapi bukan masalah besar bagi AI agent.

  • Saya penasaran apakah ada angka untuk WebArena(https://webarena.dev) atau VisualWebArena(https://jykoh.com/vwa).

    • Belum ada. Dataset internal kami terlalu bias sehingga belum kami bagikan secara publik, tetapi akan tersedia dalam beberapa minggu.