AI membunuh wawancara teknis. Sekarang apa?

• Proses rekrutmen dibenci semua orang. Manajer perekrutan, perekrut, dan pelamar sama-sama tidak menyukainya
• Wawancara teknis adalah salah satu tahap yang paling buruk reputasinya, dan kebanyakan interviewer juga tidak menyukainya
• Pekerjaan nyata sering kali berfokus pada integrasi API sederhana, tetapi dalam wawancara justru sering muncul pertanyaan tentang teori dan algoritma yang kompleks
  • Seperti ketika pengembang Homebrew, yang konon dipakai oleh 90% engineer Google, gagal dalam wawancara karena tidak bisa mengubah binary tree di papan tulis

Perubahan dalam beberapa tahun terakhir (faktor yang melemahkan wawancara)

• Dalam wawancara jarak jauh, ada kasus kandidat mematikan kamera dan menyewa joki
• Ada juga kasus pekerja Korea Utara mencoba melamar kerja dengan memanfaatkan video deepfake
• Dengan hadirnya alat coding otomatis seperti GitHub Co-pilot dan Cursor, serta LLM seperti Claude dan OpenAI, soal coding dasar maupun tanya jawab kini bisa diselesaikan dengan mudah
• AI makin mungkin terlibat dalam seluruh proses, mulai dari penulisan CV, lamaran massal, hingga wawancara video, tetapi tulisan ini berfokus pada wawancara teknis itu sendiri

Dasar-dasar wawancara teknis

Hampir semua perusahaan yang merekrut developer memiliki proses yang kurang lebih merupakan variasi dari hal-hal berikut

• Tugas awal Hackerrank
  • Berfungsi sebagai filter untuk merekrut developer junior atau intern
  • Soal bisa dikerjakan secara online dengan leluasa
• Dasar-dasar ilmu komputer (Comp Sci Fundamentals)
  • Biasanya menanyakan struktur data, algoritma, Big O, dan sejenisnya
  • Sering ditujukan untuk developer junior
• Wawancara coding
  • Menilai kemampuan menulis kode nyata yang bisa dijalankan
  • Melalui contoh proyek sederhana, interviewer memeriksa penggunaan bahasa pemrograman dasar dan kemampuan pemecahan masalah
• Arsitektur/desain
  • Lebih sering ditujukan untuk developer senior daripada junior
  • Menilai desain sistem, skalabilitas, database, serta desain API

Penggunaan AI dalam wawancara

• Karena AI, fungsi penyaringan dari tugas awal seperti Hackerrank melemah drastis
• Wawancara dasar ilmu komputer dan wawancara coding juga makin mudah ditembus karena tingkat kesulitannya masih berada dalam cakupan jawaban LLM
• Wawancara arsitektur/desain masih relatif aman untuk saat ini, tetapi dalam jangka panjang area ini juga bisa terancam seiring perkembangan AI

Apa pilihan kita?

• 1. Menghentikan wawancara teknis jarak jauh
  • Jika interviewer mengawasi langsung di samping kandidat, penggunaan AI menjadi sulit
    • Dengan asumsi semua tahap lain lolos, ini bisa menjadi wawancara coding tatap muka
• 2. Menggunakan software gaya Pearson Vue
  • Modelnya adalah memasang program pengawasan yang memantau lewat kamera
  • Ini tetap tidak sempurna karena berbagai cara untuk mengakalinya sudah banyak diketahui (bahkan ada subreddit khusus terkait hal ini)
• 3. Mengabaikan masalahnya
  • Mengandalkan permintaan moral seperti "jangan gunakan AI"
  • Akibatnya, orang yang memakai AI justru diuntungkan, sehingga perusahaan makin sulit memilih kandidat yang tepat
• 4. Mengizinkan penggunaan AI
  • Bentuk evaluasi bergeser dari kemampuan coding murni ke kemampuan menulis prompt untuk LLM dan melakukan refactoring dengan baik
  • Dalam masa transisi ini, tetap dibutuhkan kemampuan coding untuk mengoreksi sendiri kesalahan output AI
• 5. Pendekatan hybrid
  • Model campuran, misalnya mengecek dulu kemampuan memanfaatkan AI secara jarak jauh lalu melakukan verifikasi akhir secara offline

Solusi yang mungkin

• Dalam jangka panjang, pendekatan nomor 4 dan 5 tampak paling realistis
• Sekalipun menerapkan RTO, tidak mungkin memanggil semua kandidat jarak jauh untuk datang offline, jadi perlu pendekatan yang efisien
• Mengubah format wawancara itu sendiri juga bisa menjadi alternatif lain
  • Saat ini, banyak wawancara coding berhenti pada tugas kecil setingkat FizzBuzz atau implementasi kalkulator
  • Dengan bantuan AI, tingkat kesulitan tugas bisa diperluas lebih dari 10 kali lipat, menjadi evaluasi melalui proses membangun aplikasi utuh
  • Bisa juga mencoba wawancara yang lebih panjang, sekitar 2 jam, yang menggabungkan arsitektur dan coding
• Dalam model seperti ini, kandidat bisa diminta membangun aplikasi, mengembangkannya, dan menambahkan fitur baru
  • Saat codebase makin besar, ada keuntungan untuk menilai apakah kandidat bisa menjaga konsistensi dan menunjukkan kemampuan yang lebih dalam, bukan sekadar jawaban permukaan
• Melalui proses ini, hal-hal berikut bisa dievaluasi
  • Kemampuan dasar menggunakan alat seperti git dan IDE
  • Kemampuan memberi prompt yang efektif ke LLM dan "memrogram" agar menghasilkan output yang lebih baik
    • Kemampuan memahami dan menggabungkan output LLM, lalu menyelesaikan kode dalam bentuk yang tetap maintainable
    • Apakah kandidat mampu menyelesaikan aplikasi dengan skala dan skalabilitas di atas tingkat tertentu dalam waktu yang terbatas
  • Kemampuan menjaga kualitas dan logika yang konsisten
• Pendekatan evaluasi yang lebih menyeluruh seperti ini berpotensi menjadi alternatif wawancara coding di era AI

Ringkasan

• Wawancara teknis tampaknya akan menghadapi perubahan besar dalam waktu dekat
• Untuk saat ini, penggunaan AI mungkin masih terlihat relatif lambat atau canggung, tetapi lama-kelamaan AI bisa makin tersembunyi
• Skenario yang bisa muncul akibat hal ini
  • Tingkat kelulusan bisa naik, tetapi sebagai gantinya kasus gagal saat masa kerja nyata (probation) bisa bertambah
  • Beban developer junior untuk lebih cepat mengejar standar teknis tinggi perusahaan bisa makin besar
• Jika cara memanfaatkan AI untuk lolos wawancara FAANG makin menyebar, laju perubahan ini kemungkinan akan semakin cepat

[scheee]

Saya khawatir yang perlu dilakukan adalah mengurangi ketidakcocokan antara wawancara teknis dan pekerjaan nyata, bukan malah menyalahkan AI yang tidak bersalah.

[whitelips]

Mungkin karena perubahan ini, perusahaan tempat saya bekerja melakukan live coding saat wawancara tanpa soal pendahuluan.

[cnaa97]

Tempat saya bekerja kini sedang menuju kebijakan yang mengizinkan penggunaan AI dalam wawancara teknis.. Karena input menentukan output, justru untuk melihat kemampuan dalam mengajukan pertanyaan..

[cronex]

Saya rasa tidak masalah memakai AI.
Tapi hasil yang keluar dari sana harus benar-benar dijadikan 100% milik sendiri.
Kalau saya yang jadi pewawancara, saya akan memberi tugas coding secara online lalu saat wawancara tatap muka meminta kandidat menjelaskan kode tersebut. Tentu saja saya juga akan mengajukan pertanyaan tambahan.
Kalau sampai tidak bisa menjelaskan kode yang dia kirim—entah dia sendiri yang menulis atau AI yang menulisnya—dan juga tidak bisa menjawab pertanyaan tentangnya, ya harus gagal.

[bbulbum]

> Bentuknya adalah menilai kemampuan menggunakan prompt dengan baik pada LLM dan kemampuan refactoring, alih-alih keterampilan coding.

Saya merasa kemampuan ini akan menjadi semakin penting.

[alucard]

Bukan salah AI; masalahnya bukankah format tugas wawancara yang sejak awal rapuh, semacam “carilah optimal answer, lalu semuanya beres”, dan sekarang masalah itu baru terlihat? Dalam pekerjaan nyata pun kita juga akan memanfaatkan AI, jadi kenapa harus dibatasi? Haha, apa pun sarana yang digunakan, yang penting output-nya keluar. Hanya saja, memang perlu ada penilaian yang transparan tentang bagaimana sarana itu dimanfaatkan.

[jamsya]

Saya setuju. Dengan munculnya AI, tes coding asal-asalan yang jauh dari pekerjaan nyata akan tersingkir secara alami dari pasar, dan perusahaan yang menggunakan metode rekrutmen yang lebih baiklah yang akan mendapatkan talenta-talenta terbaik. Ini pertarungan yang menarik antara tombak dan perisai.

[xguru]

Program curang Interview Leetcode
Ini cocok sebagai contoh kasus kecurangan AI dalam wawancara teknis yang dibahas di tulisan ini

[GN⁺]

Pendapat Hacker News

• Proses wawancara terbaik mencakup pair programming dengan anggota tim dan wawancara via telepon. Dalam beberapa menit sudah bisa diketahui apakah kandidat mampu bekerja dengan baik, dan proses ini menghasilkan tim paling produktif sepanjang lebih dari 20 tahun karier

  • Masalahnya adalah kebutuhan akan proses yang dapat diskalakan dan throughput tinggi telah merusak banyak bagian dari budaya software
  • Pola pikir seperti "Kami harus memproses ratusan kandidat, dan metrik proses lebih penting daripada hasil" adalah masalahnya

• Code review sangat berguna sebagai alat evaluasi

  • Penting untuk meminta kandidat melakukan review kode
  • Junior, mid, senior, dan staff bisa melihat hal yang sangat berbeda pada codebase yang sama
  • Seiring kode buatan AI menjadi hal umum, penting untuk memilih developer yang dapat meninjau kualitas dan ketepatan kode secara efisien
  • Pernah mengalami wawancara di perusahaan YC yang menjadikan code review sebagai ronde pertama, dan dari sana akhirnya membuat aplikasi open source

• Sekitar tahun 2005 pernah diminta melakukan whiteboard coding di sebuah SME, tetapi tidak boleh menggunakan komputer

  • Saat ditanya mengapa memakai whiteboard, jawabannya adalah karena meniru praktik terbaik Google
  • Pada akhirnya tetap coding di whiteboard, tetapi mengatakan bersedia melakukannya lagi jika disediakan komputer
  • Akhirnya memilih pergi ke tempat lain

• Jika AI bisa menyelesaikan semua pertanyaan wawancara teknis, perusahaan A harus memikirkan mengapa mereka tidak mempekerjakan AI saja

  • Mungkin perlu menilai apakah engineer mampu mengevaluasi apakah suatu fitur bisa diimplementasikan, dan dalam wawancara kandidat bisa diminta memikirkan contoh permintaan fitur
  • Sering kali perusahaan tidak benar-benar memahami nilai engineer dengan jelas, sehingga sulit menilai nilai kandidat

• Teknik perekrutan untuk menghindari AI adalah meminta developer junior membawa kode dan menjelaskannya

  • Dibahas apa yang akan mereka ubah, bagaimana cara mengubahnya, apakah mereka menggunakan pattern, dan sebagainya
  • Untuk developer senior, diberikan kode yang kompleks lalu diminta menganalisisnya secara real-time
  • Menggunakan AI untuk mempersingkat pekerjaan rutin itu tidak masalah, tetapi mereka harus mampu berpikir kritis terhadap hasilnya

• Sebagai interviewer, di perusahaan non-FAANG digunakan proses wawancara yang sederhana

  • Menanyakan resume kandidat, ekspektasi, dan kemampuan mereka, lalu meminta mereka menunjukkan kode yang pernah ditulis
  • Proses ini cepat dan efektif

• Pasar kerja saat ini kacau, jadi tampaknya akan sulit mendapatkan pekerjaan sampai benar-benar menabrak tembok

  • Sudah memiliki 26 tahun pengalaman, tetapi tidak sempurna, dan mencoba menipu biasanya tidak berhasil

• Menggunakan soal Leetcode tingkat menengah/lanjut selama 30-45 menit dalam wawancara hanya bisa mengungkap dua tipe orang

  • Orang yang mendekati masalah dari nol dan orang yang sudah tahu solusinya
  • Jika tidak tahu algoritma Kadane, itu sama saja dengan mendekati masalah dari awal
  • Tidak tahu metode wawancara yang paling optimal, tetapi secara pribadi punya gaya yang disukai
  • Pertanyaan wawancara seharusnya punya test case, makin lama makin kompleks, berfokus pada struktur data, dan memberi kandidat kesempatan untuk membuat trade-off serta mengambil keputusan

• Masalahnya bukan AI, melainkan perusahaan tidak tahu cara memilih kandidat dengan tepat

  • Bahkan dasar-dasar psikometri pun tidak diterapkan
  • Proses seleksi terbaik adalah membiarkan orang baru benar-benar bekerja selama beberapa minggu

• Dalam wawancara terakhir, diminta mengerjakan tugas dengan menggunakan alat termasuk AI

  • Dalam wawancara live coding juga menjalani proses serupa
  • Menggunakan alat untuk memverifikasi keterampilan dan praktik yang baik adalah pilihan yang wajar