Show HN: Autotab - Ekstensi Chrome berbasis AI untuk membuat skrip Selenium

• Autotab adalah ekstensi Chrome berbasis AI yang bekerja di browser lokal dan juga menargetkan pembuatan skrip Selenium
• Pengguna dapat mengajarkan tugas kepada Autotab seperti menjelaskannya kepada manusia, dengan menyampaikan alur kerja melalui pesan video atau dokumen
• Saat ini digunakan oleh perusahaan Fortune 500 dan perusahaan berorientasi teknologi yang berkembang cepat untuk mengurangi hambatan dalam perekrutan, onboarding, dan administrasi
• Cakupan penerapannya luas, mencakup berbagai pekerjaan berulang berbasis browser seperti pengumpulan data, pengisian formulir, pengiriman pesan, dan pemicu refund
• Jika belum yakin apakah suatu tugas dapat ditangani, pengguna dapat mengirim rekaman tugas dan menerima jawaban dalam 24 jam; perusahaan yang mempertimbangkan pengganti BPO dapat menghubungi secara terpisah

---

Cara belajar dan menjalankan tugas di browser lokal

• Autotab adalah agen AI serbaguna yang mempelajari dan menjalankan tugas yang diberikan pengguna dengan cara yang mirip dengan cara manusia bekerja
• Tugas dilakukan di browser lokal pengguna, dan pengguna dapat melihat proses yang dijalankan Autotab
• Alur kerja tertentu dapat disampaikan seperti melakukan serah-terima pekerjaan kepada manusia

  • Pelatihan berbasis pesan video dan dokumen

    • Prosedur kerja dapat dijelaskan melalui pesan video atau dokumen yang telah disiapkan
    • Strukturnya memungkinkan workflow yang kompleks disampaikan sesuai cara manusia menjelaskan pekerjaan

Pekerjaan berulang yang ditargetkan di perusahaan

• Autotab telah diterapkan di perusahaan Fortune 500 dan perusahaan berorientasi teknologi yang membutuhkan ekspansi cepat
• Kasus penggunaan utamanya adalah situasi ketika perekrutan, onboarding, dan pekerjaan administrasi tidak mampu mengikuti laju pertumbuhan
• Contoh tugas yang dapat dijalankan adalah sebagai berikut
  • Pengumpulan data: menemukan lead, mengumpulkan informasi untuk laporan, migrasi sistem secara menyeluruh
  • Pengisian formulir: memasukkan data ke formulir pemerintah, aplikasi admin internal, serta sistem vendor seperti ERP·RMS·TMS
  • Eksekusi tindakan: mengirim pesan di platform apa pun, memicu refund, dan menjalankan tindakan sesuai konteks

Pertanyaan dan pemeriksaan kelayakan penerapan

• Jika tidak yakin apakah suatu tugas dapat ditangani, kirim rekaman tugas ke [e-mail] untuk menerima jawaban dalam 24 jam
• Perusahaan yang ingin mengganti BPO dengan cara lain dapat menghubungi [e-mail]

[GN⁺]

Opini Hacker News

• Sebagai orang yang membuat proyek Selenium, saya melihat otomatisasi pengujian akan menjadi salah satu killer app AI
  Saya penasaran bagaimana mereka memastikan AI tidak berhalusinasi soal detail dalam kode yang dihasilkan

  • Untuk saat ini, sebagai pengaman dasar, mereka memeriksa apakah XPath Selenium memilih tepat satu elemen di DOM
    Ke depannya, tampaknya yang terbaik adalah menyediakan pratinjau real-time di mana browser yang dicerminkan mengikuti persis tindakan terakhir, sehingga jika terjadi kesalahan atau hasilnya tidak sesuai niat, bisa langsung di-debug

• Saya ingin mencoba mengotomatiskan aplikasi web sistem agen saya secara bermakna. Rasanya seperti otomatisasi yang secara rekursif menangani otomatisasi
  Sedikit promosi: https://github.com/agi-merge/waggle-dance
  Biasanya saya tidak memakai Chrome, tapi saya mengerti kenapa dimulai dari Chrome. Tetap saja, saya berharap ada versi Firefox atau Safari juga

  • Saya melihat waggledance.ai, dan hal-hal yang bisa dilakukannya terlihat keren dan menarik
    Namun selain UI yang dibuat dengan baik, saya penasaran apa yang diberikan waggledance yang tidak tersedia dari jawaban GPT-4
    Dari pengalaman saya, cara membuat dan memecah tugasnya cukup mirip dengan hasil yang didapat saat bertanya ke ChatGPT
  • Dukungan untuk browser lain juga pasti ada dalam rencana suatu saat nanti

• Saya pernah menulis sendiri skrip Selenium untuk mengotomatiskan pekerjaan ayah saya. Misalnya mengambil nama dari spreadsheet, memasukkannya ke kotak pencarian di sebuah situs web, lalu mengulangi tindakan yang sama untuk ratusan orang, dan itu menghemat banyak waktu
  Jika otomatisasi browser bisa dibuat lebih mudah hanya dengan menunjukkannya langsung ke mesin, hidup banyak orang akan jauh lebih mudah, jadi saya ingin segera mencobanya

  • Membantu hal seperti ini sangat sesuai dengan arah yang kami harapkan. Saya ingin mendengar kesan Anda setelah mencobanya, dan jika bersedia berdiskusi, email ada di profil saya

• Saya ingin mengunggah ini ke server dan menyediakannya lewat BrowserBox, agar otomatisasi juga bisa dibuat dari mobile
  Alasan awal saya membuat BrowserBox juga sebagai platform pengiriman alat penulisan web scraping yang tidak terikat pada ekstensi, tetapi karena browser jarak jauhnya sendiri akhirnya menjadi produk, kami belum sampai ke alat penulisan otomatisasi
  Terima kasih sudah membuat ini dan merilisnya sebagai MIT. Saya melihat cara penulisan web scraping yang dipandu manusia dan diperkuat AI sebagai masa depan bidang ini
  Namanya juga bagus. autotab
  Nama BrowserBox SaaS yang akan segera saya rilis adalah Cloudtabs, jadi ada sedikit “sinergi” juga
  https://github.com/BrowserBox/BrowserBox

  • BrowserBox terlihat keren, tetapi dari README saja sulit mengetahui mesin browser apa yang dipakai. Saya penasaran apakah itu buatan sendiri

• Di https://ray.run/ kami sedang membuat hal yang hampir persis sama untuk Playwright. Saya tidak ragu masa depan penulisan pengujian ada di arah ini, dan rencananya akan diluncurkan minggu depan
  Pendekatannya tampaknya sedikit berbeda. LLM hanya dipakai untuk identifikasi elemen, sedangkan generator sebenarnya dibuat dengan https://ray.run/browser-extension

  • Saat pengunjung mengatur prefers-reduced-motion, latar belakang animasinya harus dimatikan
    Atau sebaiknya dimatikan saja secara umum. Cukup mengganggu

• Saya penasaran apa bedanya dengan fitur Recorder di Chrome
  Di DevTools > Recorder, kita bisa merekam user journey dan mengekspornya sebagai skrip Puppeteer

  • Perbedaan terbesarnya mungkin autotab menghasilkan skrip Python. Ini lebih mudah diintegrasikan ke codebase Python yang sudah ada
    Ke depannya, saya pikir akan lebih mudah membangun lebih banyak fitur berkat fleksibilitas kode Python dan ekosistemnya. Misalnya tugas berbasis browser tidak sepenuhnya deterministik, dan sering kali membutuhkan lebih banyak kecerdasan selama otomatisasi, seperti merangkum informasi halaman web atau mengisi jawaban yang sesuai secara dinamis ke kotak teks

• Setelah melihat investasi YC, saya mengetahui bahwa ini pendiri https://www.ztool.co. Saya penasaran apakah ini pivot, atau produk yang melengkapi ztool

  • Ini jelas lebih dekat ke pivot. Namun produk ZTool sendiri juga telah mengalami beberapa perubahan besar selama ini
    Hal yang kami bangun dan pelajari dari berbicara dengan pengguna selama beberapa bulan terakhir dapat dirangkum menjadi dua alasan kami mengerjakan autotab
    Pertama, software yang dihasilkan AI belum siap untuk pengguna non-teknis. Di ZTool, kami berfokus membuat orang yang tidak bisa coding dapat membuat otomatisasi dengan mudah, tetapi sekarang kami melihat output model sebaiknya berupa kode. Karena itu autotab berfokus pada pengguna yang bisa meninjau dan memodifikasi kode Python
    Kedua, cara menyampaikan niat itu penting. Membuat representasi terstruktur dari “pekerjaan ini menyebalkan” ternyata membutuhkan banyak usaha mental. Demo AI berfokus pada penyampaian niat dengan prompt singkat, tetapi itu tidak bekerja dengan baik di domain yang kompleks. Cara menyampaikan niat lewat browser terasa sangat intuitif dan akrab, sehingga terlihat kuat

• Tertulis “menjalankan sesi Chrome yang dikendalikan Selenium lalu login ke Google”; saya penasaran mengapa login Google menjadi persyaratan

  • Bagian ini sekarang sudah diperbaiki, sehingga Anda bisa mendapatkan API key di autotab.com/dashboard dan mengautentikasi hanya dengan key itu saat menjalankan autotab record. Tidak perlu lagi login ke Google di browser Selenium
  • Saat ini login autotab sendiri hanya mengizinkan login Google, tetapi kami akan segera menambahkan login nama pengguna/kata sandi dan opsi lain
    Bergantung pada masukan, kami juga bisa membuat opsi agar pengguna membawa OpenAI API key mereka sendiri

• Saya penasaran apakah ini bisa merekam workflow atau macro yang dapat digunakan seperti shortcut di jendela browser yang sudah terbuka, atau hanya terbatas pada proses otomatisasi yang membuka jendela browser dan menjalankan beberapa tindakan
  Misalnya, jika ada beberapa tab terbuka dan di tiap tab ada elemen yang sama seperti tombol layar penuh YouTube, saya ingin tahu apakah Autotab bisa merekam sesuatu seperti “keluar dari layar penuh, pindah ke tab berikutnya, jadikan video di halaman itu layar penuh”

  • Jika Anda selalu membuka video YouTube di dalam instance browser yang dijalankan skrip autotab, sampai batas tertentu mungkin bisa, tetapi jawaban singkatnya sekarang tampaknya sulit
    Macro seperti ini sangat menarik, dan kami sudah banyak membicarakan bagaimana browser bisa dirancang untuk AI dan otomatisasi seperti ini
  • Saya penasaran macro seperti apa yang ingin Anda definisikan. Ini area yang ingin saya pelajari lebih jauh

• Agar ini menjadi semanfaat mungkin, LLM yang memiliki kumpulan aturan harus bisa menafsirkan dan bertindak berdasarkan situasi dinamis di halaman
  Misalnya saat hendak menambahkan barang ke keranjang, jika LLM mendeteksi aturan bahwa barangnya habis stok, ia melakukan tindakan lain
  Saya penasaran apakah logika percabangan berbasis aturan yang diperkuat LLM seperti ini akan mungkin di software ini ke depannya

  • Sangat setuju, dan kami sedang aktif mengerjakannya
    Ada dua pertanyaan menarik. 1) Format apa yang paling efektif bagi pengguna untuk menyampaikan niat; mungkin bukan point-and-click 2) Yang menjadi kunci adalah bagaimana merepresentasikan output model agar bisa diaudit dan diedit