Devin, insinyur perangkat lunak AI pertama

• Devin adalah insinyur perangkat lunak AI otonom penuh pertama di dunia
• Devin dapat bekerja bersama insinyur manusia atau secara mandiri, sehingga para insinyur bisa fokus pada masalah yang lebih menarik
• Devin dapat merencanakan dan menjalankan tugas rekayasa yang kompleks, serta menggunakan alat pengembang seperti shell, editor kode, dan browser

Kemampuan Devin

• Devin telah membuat kemajuan dalam penalaran dan perencanaan jangka panjang, dan dapat menjalankan tugas rekayasa yang kompleks sambil membuat ribuan keputusan.
• Devin dapat berkolaborasi dengan pengguna, melaporkan progres secara real-time, menerima umpan balik, dan bersama-sama menentukan pilihan desain.
• Devin dapat mempelajari teknologi yang belum dikenal, membangun dan men-deploy aplikasi, menemukan dan memperbaiki bug dalam codebase, serta melatih dan melakukan fine-tuning model AI miliknya sendiri.

Performa Devin

• Dalam benchmark pengodean SWE-bench, Devin menunjukkan tingkat keberhasilan 13,86% dalam menyelesaikan issue GitHub nyata, jauh melampaui rekor terbaik sebelumnya sebesar 1,96%.
• Devin dievaluasi pada subset acak 25% dari dataset, dan sementara model lain dibantu dengan diberi tahu file yang tepat untuk diedit, Devin bekerja tanpa bantuan.

Tentang Cognition

• Cognition adalah laboratorium riset applied AI yang berfokus pada penalaran.
• Tujuannya adalah mengembangkan rekan kerja AI yang memberikan kemampuan melampaui alat AI masa kini.
• Cognition menerima pendanaan Seri A sebesar 21 juta dolar yang dipimpin oleh Founders Fund, dan didukung oleh para pemimpin industri.

Mempekerjakan Devin

• Devin saat ini masih dalam tahap akses awal, dan jika ingin menggunakan Devin untuk tugas rekayasa, Anda dapat menghubungi Cognition.

Bergabunglah dengan kami

• Tim Cognition berukuran kecil, dan tim pendirinya memiliki 10 medali emas IOI, serta terdiri dari para pemimpin dan builder yang pernah bekerja di Cursor, Scale AI, Lunchclub, Modal, Google DeepMind, Waymo, dan Nuro.
• Membangun Devin adalah langkah pertama, dan tantangan tersulit masih menanti.

Opini GN⁺

• Insinyur perangkat lunak AI bernama Devin melambangkan masa depan pengembangan perangkat lunak, dan memiliki potensi untuk sangat meningkatkan efisiensi pekerjaan rekayasa melalui perpaduan otomatisasi dan AI.
• Fakta bahwa AI menunjukkan tingkat keberhasilan setinggi ini dalam menyelesaikan masalah rekayasa nyata merupakan pencapaian yang patut diperhatikan, dan ini menunjukkan seberapa baik kemajuan teknologi AI dapat diintegrasikan ke dalam lingkungan kerja nyata.
• Namun, dampak etis dan sosial dari AI yang menggantikan pekerjaan manusia perlu dipertimbangkan. Diperlukan pendekatan yang hati-hati terhadap dampak adopsi AI pada lapangan kerja dan perubahan peran manusia.
• Alat pengembangan berbasis AI lain dengan fungsi serupa adalah GitHub Copilot, yang banyak digunakan sebagai alat bantu penulisan kode bagi pengembang.
• Saat mengadopsi teknologi seperti Devin, perlu mempertimbangkan keamanan data, perlindungan privasi, serta masalah transparansi dan akuntabilitas terhadap keputusan AI. Penting untuk memahami dan mengelola dampak keputusan AI terhadap bisnis dan pengguna.

[yangeok]

Pengen coba pakai Devin gratis nih

[GN⁺]

Komentar Hacker News

• Sebagai developer sekaligus product manager, saya mencoba coding dengan AI, tetapi gagal karena panjang konteks, output model yang buruk, dan ketiadaan arsitektur. Saya belum bisa melakukan pekerjaan berguna dengan AI yang melampaui bantuan Leetcode. Bahkan untuk tugas mengekstrak selector dari halaman HTML sederhana, saya mencoba beberapa model AI tetapi tidak berhasil. Saya sangat menantikan kemajuan teknologi, tetapi saya ingin produk yang benar-benar berfungsi.
• Manusia mencari pekerjaan yang memberi makna dan kepuasan. Dengan kemajuan teknologi, para perajin menjadi yang pertama kehilangan kegunaannya. Masyarakat mengirim pesan bahwa jika Anda tidak menghasilkan nilai, martabat Anda tidak diakui. Dengan menyerahkan seni dan rekayasa kepada AI, bahkan orang yang tidak memahaminya pun bisa memanfaatkannya dengan murah. Ini menimbulkan pertanyaan tentang siapa yang diuntungkan oleh kemajuan teknologi, dan di mana posisi manusia di masa depan.
• Scott Wu adalah salah satu dari sedikit orang yang mendapat skor sempurna sejak 1989, dan saya bertemu dengannya di olimpiade competitive programming. Senang melihat ia memanfaatkan bakatnya yang luar biasa.
• Saya tidak terlalu terkesan dengan situs web yang memungkinkan upload file berukuran sebarang tanpa autentikasi. Saya mengunggah file 500MB ke server.
• Jika AI memang hebat, itu harus digunakan untuk hal yang baik. Sebagai software engineer senior, menulis kode bukan 90% dari pekerjaan; yang penting adalah memecah kebutuhan yang kompleks menjadi tugas yang jelas, menemukan celah dalam requirement, menulis kode seminimal mungkin, dan memahami codebase. Yang dibutuhkan bukan "AI software engineer", melainkan "AI human liaison".
• Demonya mengesankan, tetapi cakupannya terbatas sehingga saya ragu seberapa baik ia akan bekerja dalam situasi nyata. Ada pertanyaan apakah ia bisa menangani software architecture, apakah solusinya hanya sebatas reproduksi, dan seberapa sering akan muncul kasus ketika solusi yang hanya 90% benar itu tidak cukup.
• Sebagai orang yang punya pengalaman backend development, LLM memberi peningkatan produktivitas yang luar biasa untuk code generation jika Anda sangat memahami library/framework/bahasa dasarnya. Namun Anda tetap harus mengetahui semuanya, dan AI belum bisa melakukan semuanya secara otomatis.
• Demonya mengesankan dan selamat atas peluncurannya, tetapi saya penasaran apakah bug yang dihadapi Devin bisa diselesaikan dengan perbaikan sederhana. Misalnya, membungkus kode dengan try-catch untuk menyelesaikan KeyError memang membuat kode berjalan, tetapi itu tidak selalu solusi yang ideal.
• LLM masih berada pada tahap "membuat sajak". Apakah ia bisa melangkah ke "penalaran rasional" masih belum jelas, tetapi coding membutuhkan penalaran rasional untuk masalah yang kompleks. Mengingat cepatnya perubahan, saya tidak menutup kemungkinan apa pun.
• Sebagai orang yang bekerja di bidang ini, penggunaan AI dalam coding saat ini masih berada pada level alat bantu dan autocomplete tingkat lanjut. Perusahaan seperti Pythagora melihat bahwa campur tangan manusia itu penting, dan LLM bisa dianggap sebagai developer junior yang antusias dan bertindak cepat sesuai instruksi. Dengan prompt internal dan sedikit arahan manusia, ia bisa menghasilkan hasil yang mengagumkan.