- Gim menebak angka yang diperkenalkan sebagai teka-teki wawancara Microsoft menanyakan soal binary search dan nilai harapan, tetapi dalam kondisi angka dipilih secara acak, kesimpulan bahwa gim ini “merugikan peserta” adalah keliru
- Aturannya adalah menebak angka antara 1 hingga 100 dengan mempersempit pilihan melalui petunjuk; semakin banyak jumlah tebakan yang diperlukan untuk menebak dengan benar, hadiah yang dimulai dari $5 akan berkurang, dan pada akhirnya peserta harus membayar
- Kritik bahwa Ballmer bisa sengaja memilih angka yang sulit memang benar; bahkan dengan strategi binary search, ada 37 angka tertentu yang baru ditemukan pada tebakan ke-7 sehingga peserta membayar $1
- Jika angkanya acak, baik kode Perl maupun perhitungan probabilitas menunjukkan nilai harapan gim ini adalah $0.20, sehingga memberikan nilai harapan positif bagi peserta
- Jika aturannya tanpa rentang hadiah $0 dan peserta langsung membayar mulai tebakan ke-6, nilai harapannya menjadi -$0.49, sesuai dengan kesimpulan Ballmer
Aturan teka-teki menebak angka
- Steve Ballmer memperkenalkan dalam sebuah video singkat sebuah teka-teki yang katanya ia berikan kepada kandidat wawancara Microsoft
- Seseorang memikirkan angka antara 1 hingga 100, dan setiap kali pelamar menebak, ia mendapat petunjuk “terlalu tinggi” atau “terlalu rendah” untuk mempersempit rentang
- Hadiah berubah sesuai jumlah tebakan saat angka berhasil ditebak
- Tebakan pertama: $5
- Tebakan kedua: $4
- Tebakan ketiga: $3
- Tebakan keempat: $2
- Tebakan kelima: $1
- Tebakan keenam: $0
- Tebakan ketujuh: peserta membayar $1
- Tebakan kedelapan: peserta membayar $2
- Tebakan kesembilan: peserta membayar $3
- Pertanyaan intinya adalah “apakah sebaiknya menerima permainan ini?”
- Kesimpulan Ballmer adalah “Tidak”, dengan dua alasan
- Ia bisa memilih angka yang paling sulit ditebak
- Bahkan jika ia memilih angka secara acak, nilai harapannya negatif sehingga peserta akan membayar uang kepada Ballmer
Bagian yang benar dari Ballmer: ia bisa memilih angka secara adversarial
- Alasan pertama Ballmer bahwa ia bisa memilih angka yang sulit memang benar
- Dalam kondisi angka dipilih secara acak, strategi binary search adalah optimal
- Namun meskipun menggunakan binary search, jika Ballmer memilih angka tertentu, peserta harus membayar $1
- Angka-angka tersebut adalah 2, 5, 8, 11, 14, 17, 20, 22, 24, 27, 30, 33, 36, 39, 42, 45, 47, 49, 52, 55, 58, 61, 64, 67, 70, 72, 74, 77, 80, 83, 85, 87, 90, 93, 96, 98, 100
- Untuk angka-angka lainnya, peserta menerima $0 atau hadiah positif
- Angka yang menghasilkan $0 adalah 1, 4, 7, 10, 13, 16, 19, 23, 26, 29, 32, 35, 38, 41, 44, 48, 51, 54, 57, 60, 63, 66, 69, 73, 76, 79, 82, 86, 89, 92, 95, 99
- Untuk angka lainnya, peserta menerima sebagian uang Ballmer
Contoh angka 59
- Ballmer memilih 59 dalam video tersebut
- Dengan strategi binary search, angka itu dapat ditemukan dalam 5 tebakan dengan urutan 50, 75, 62, 56, 59
- Dalam kasus ini, pewawancara Emily Chang menerima $1
- Tebakan Emily Chang yang sebenarnya adalah 50, 75, 60, 55, 57, 58, 59, dan cukup dekat dengan penyelesaian 5 langkah ala binary search
Jika dipilih secara acak, nilai harapannya positif
- Jika diasumsikan Ballmer memilih angka secara acak, kesimpulan bahwa nilai harapannya negatif adalah keliru
- Kode Perl menghitung untuk setiap angka 1–100 berapa tebakan yang diperlukan dengan binary search, lalu menjumlahkan hadiah dan mengambil rata-ratanya
- Hasil perhitungan menunjukkan nilai harapan gim ini adalah $0.20
- Hasil yang sama juga dapat dikonfirmasi dari sudut pandang probabilitas
- Pada tebakan pertama, memilih 50; peluang berhasil 1/100 dan hadiahnya $5
- Pada tebakan kedua, memilih 25 atau 75; peluang berhasil 2/100 dan hadiahnya $4
- Pada tebakan ketiga, memilih 12, 37, 62, 88; peluang berhasil 4/100 dan hadiahnya $3
- Pada tebakan keempat, memilih 6, 18, 31, 43, 56, 68, 81, 94; peluang berhasil 8/100 dan hadiahnya $2
- Setelah itu berlanjut dengan cara yang sama
- Rumus nilai harapannya adalah
5 * 1/100 + 4 * 2/100 + 3 * 4/100 + 2 * 8/100 + 1 * 16/100 + 0 * 32/100 + -1 * 37/100, dan hasilnya 0.2 - Suku terakhir
-1 * 37/100menunjukkan angka-angka yang masih mungkin tersisa setelah mencapai akhir binary search
Titik yang mungkin menyebabkan kesalahan
- Salah satu kemungkinannya adalah Ballmer tidak bermaksud menyertakan rentang hadiah $0
- Jika aturannya adalah “$5, $4, $3, $2, $1, lalu peserta membayar $1, $2, $3”, nilai harapannya menjadi -$0.49
- Dalam variasi ini, kesimpulan Ballmer bahwa “nilai harapannya negatif” menjadi sesuai
1 komentar
Komentar Hacker News
Tulisan itu mengisyaratkan bahwa pewawancara menganggap angkanya dipilih secara acak, tetapi sebenarnya Ballmer juga bisa memilihnya secara adversarial
Namun jika kandidat mengasumsikan pilihan adversarial dari Ballmer, ia bisa mengubah probabilitas dengan memilih tebakan pertama yang berbeda. Penulis asli juga melihatnya dimulai dari 50, tetapi karena sifat binary search, jika nilai awal yang menyimpang dari 50 dipilih dengan offset acak setiap kali, serangan adversarial sederhana yang menargetkan heuristik bisa dicegah sambil tetap mendapatkan sebagian besar keunggulan binary search
Saya ingin melihat analisis algoritme optimal untuk memilih offset acak dalam menghadapi pilihan adversarial sederhana seperti ini
Saya bisa membayangkan Ballmer berkata, “Bukan, tebakan pertama harus dimulai dari 50. Semua orang tahu begitu, kan”
Artinya, cukup ada maksimal 64 angka di masing-masing sisi tebakan pertama. Seperti yang dikatakan, jika offset ini dipilih secara acak, sebagian besar contoh adversarial yang menargetkan celah binary search akan dinetralkan, dan mungkin bahkan menghilangkan keunggulan pilihan adversarial itu sendiri. Namun dalam kasus itu mungkin diperlukan distribusi yang disesuaikan dengan offset
Saya juga ingin melihat analisis seperti itu
Intinya adalah, meskipun Ballmer memilih secara acak dan kandidat bermain optimal terhadapnya, nilai harapan game ini tetap negatif, dan itu saja sudah cukup untuk yakin bahwa game ini merugikan kandidat
Tulisan itu tidak menjawab pertanyaan yang lebih sulit: “jadi berapa nilai harapan sebenarnya?” Namun jika kandidat memilih tebakan pertama secara acak antara 40–60 lalu melakukan binary search dari sana, tampaknya Ballmer tidak akan menjadi jauh lebih diuntungkan dibanding saat ia memilih angka awal secara acak
Dalam salah satu keseimbangan Nash yang ditemukan simulasi, pihak Ballmer memilih campuran angka di dekat kedua ujung rentang. Tidak selalu 1 atau 100, tetapi di sekitarnya. Hasilnya, pemain Ballmer menang dengan nilai harapan sekitar 0,85–1,00 dolar per ronde
Akibatnya, strategi pihak yang menebak juga menjadi memulai binary search dari ekstrem rentang, dengan harapan menebak salah satu sisi. Ini mirip penendang dan kiper dalam tendangan penalti sepak bola yang sama-sama memilih arah. Kiper ingin memilih sisi yang sama, sedangkan penendang menginginkan sisi berlawanan. Namun karena ada 100 pilihan, rasanya gawangnya terlalu lebar
Sekarang saya berpikir jika pilihan yang tersisa tidak diikat pada pola binary search, keseimbangannya akan berubah total dan hasil pemain akan membaik. Namun tiap rentang akan memiliki pilihan strategi sendiri, sehingga perhitungannya jauh lebih berat. Dan karena mengerjakan ini membuat saya menghindari pekerjaan selama 2 jam, itu tidak bagus. Tetap saja, saya penasaran apa yang terjadi jika batasan binary search dilepas
Baru-baru ini saya menjalani wawancara untuk peran senior di bidang pembayaran, sebuah domain yang kompleks, dan saya sudah bekerja di bidang ini selama lebih dari 10 tahun
Saya memahami pembayaran secara mendalam bukan hanya di AS, tetapi juga di Inggris dan sebagian besar yurisdiksi UE, jadi wawancaranya berjalan tanpa cela. Karena ini peran senior, pengaruh, komunikasi yang halus, dan manajemen konflik lebih penting daripada keahlian topik, dan bagian itu juga saya tangani dengan baik. Mereka sengaja memasangkan seorang senior manager menyebalkan yang terus-menerus menyela, dan umpan balik lanjutannya mengatakan bahwa cara saya menangani konflik itu adalah sebuah masterclass
Ronde terakhir dilakukan dengan seorang pihak bisnis yang menganggap dirinya sendiri sebagai pakar domain de facto, dan ia terus melemparkan pertanyaan trivia tentang pembayaran. Sepertinya rencananya adalah menyapu sebanyak mungkin trivia sampai menemukan satu alasan untuk menolak
Pertanyaan terakhirnya adalah apakah saya punya pengalaman benar-benar menjalankan pembayaran real-time, dan saya punya pengalaman melakukannya di beberapa negara. FedNow di AS baru diperkenalkan sangat baru-baru ini, jadi pengalaman saya sebatas membaca spesifikasinya dan mengevaluasi beberapa vendor untuk memutuskan apakah akan membangun sendiri atau membeli. Ia menggunakan itu sebagai dasar untuk memberi rekomendasi negatif, dengan alasan saya tidak punya pengalaman pembayaran real-time
Sejujurnya, saya tidak ingin bekerja di lingkungan seperti itu. Itu bank besar di AS, dan masalah terbesarnya bukan inovasi produk atau fokus pelanggan, melainkan gangguan operasional. Terlepas dari keahlian pembayaran, itu adalah area yang pernah saya selamatkan di beberapa perusahaan besar, dan saya juga menyampaikan poin itu dengan jelas. Namun kalau beruntung, kita tidak perlu bersusah payah dulu untuk mengetahui bahwa tempat seperti itu tidak menyenangkan
Itu tampak sebagai sinyal bahwa perusahaan bukan hanya memiliki budaya beracun, tetapi juga menerima budaya tersebut. Tempat seperti itu menarik orang-orang yang cenderung menyukai konflik, dan ketika jumlah orang seperti itu sudah cukup banyak, merekalah yang membentuk budaya
Ini jarang dikatakan, tetapi konflik adalah kegagalan kepemimpinan. Sering kali konflik bisa diselesaikan hanya dengan satu pemimpin sangat senior menjentikkan jari dan berkata, “Tolong kalian berdua wujudkan ini.” Namun kepemimpinan bisa terlalu jauh dari lapangan sehingga gagal menyelaraskan tim, atau secara bawaan mendukung konflik internal tim atas nama kompetisi. Apa pun alasannya, tempat seperti itu bisa menjadi neraka untuk bekerja
Pada akhirnya, caranya adalah terus turun sampai ke titik di mana kandidat kemungkinan tidak tahu jawabannya saat itu juga. Tujuannya bukan untuk bersikap bermusuhan atau tidak sopan, melainkan ingin melihat apakah mereka bisa mengatakan “saya tidak tahu.” Tidak tahu adalah bagian sehari-hari dari pekerjaan teknis, tetapi jika seseorang tidak nyaman mengatakannya, itu bisa menjadi masalah besar
Secara umum, kandidat yang paling kompeten adalah yang paling nyaman menjawab “saya tidak tahu.” Sikap defensif selalu saya anggap sebagai sinyal bahaya
Manajemen yang beracun lebih menyukai konsultan dan penasihat eksternal yang dibayar berlebihan daripada karyawan internal yang dibayar jauh lebih sedikit
Rasanya benar-benar menjengkelkan ketika Anda sepenuhnya siap dan sangat memenuhi syarat, tetapi prosesnya terasa seperti kuis trivia, bukan evaluasi nyata atas keterampilan dan pengalaman. Seperti yang dikatakan orang lain, perilaku seperti ini adalah sinyal jelas budaya yang beracun
Yang lebih konyol, seharusnya justru kebalikannya. Jika ingin membesarkan tim atau menggantikan seseorang, Anda seharusnya berusaha mencari orang yang lebih baik daripada siapa pun yang saat ini ada
Jika mereka mencari-cari hal remeh atau menggali detail yang tidak relevan demi menemukan alasan untuk menolak, itu sinyal bahaya besar. Artinya mereka tidak tertarik pada inovasi atau pemecahan masalah nyata. Begitu juga dengan masalah seperti gangguan operasional tanpa akhir yang sudah pernah kita selesaikan di perusahaan lain
Dalam situasi seperti itu, yang terbaik adalah mengatakan maaf karena sudah membuang waktu mereka lalu pergi. Namun saya juga paham, kalau pekerjaan itu ada di wilayah Anda, godaan untuk menahan omong kosong seperti itu memang besar. Meski begitu, terkadang lolos dari peluru itu adalah berkah terselubung. Bahkan jika saat itu Anda sedang menganggur dan uang mulai menipis, seperti saya dulu
Semacam mengorek leluhur seseorang sampai jawabannya menjadi “petani”
“Haruskah menerima permainan ini?”
Tentu saja. Saya suka permainan, dan tujuan permainan adalah bersenang-senang. Untuk sekitar 20 dolar pertama, itu masih bisa dianggap biaya untuk menikmati permainan menyenangkan selama 10 menit
Setelah selesai, saya bisa berkata “saya pernah kehilangan 20 dolar saat melakukan binary search dengan Steve Ballmer,” dan itu kalimat yang bagus untuk dipakai di meja makan, jadi bagi saya nilainya lebih dari 20 dolar
Mungkin hal seperti inilah yang membuat Microsoft kehilangan pengaruh pada era Ballmer. Terlalu terpaku pada hal teknis dan terlalu buruk dalam melihat sisi manusia
Jika Anda menjawab seperti ini dalam wawancara, saya pasti tidak akan merekrut Anda. Saya benar-benar pernah mewawancarai kandidat seperti ini sekali. Ketika ditanya “bagaimana Anda akan melakukan ini?”, ia menjawab “itu tidak boleh dilakukan, menurut saya kita harus melakukan hal lain.” Dia tidak direkrut
Selama bertahun-tahun saya perlahan menyadari bahwa binary search adalah alat pemecahan masalah yang luar biasa, terutama pada sistem yang terlalu besar dan kompleks sehingga sulit di-debug
Baru-baru ini seorang rekan mengalami masalah dengan tool rendering Figma yang tidak memiliki source code. Saat mengekspor desain tertentu, prosesnya terlalu lama, dan selama beberapa hari rekan itu mengubah ini-itu secara acak tanpa hasil. Satu percobaan memakan waktu berjam-jam, dan kadang browser-nya mati
Solusi yang saya sarankan adalah menghapus setengah elemen lalu melihat dampaknya terhadap waktu ekspor. Setelah itu, ulangi pada kelompok yang masih gagal. Dalam beberapa jam, kami menemukan elemen yang pada dasarnya menyebabkan infinite loop
Setiap kali menjauh satu langkah dari perangkat akhir, misalnya workstation, kami naik dua langkah ke atas jaringan. Dengan begitu kami bisa memperluas cakupan dengan mudah sekaligus sangat cepat mempersempit “sampai sini normal, di sini rusak”
Admin menggunakan binary search untuk cepat menangkap pelanggan yang bertanggung jawab, dengan secara selektif mengubah isi pesan lewat penambahan karakter spasi ekstra di suatu tempat dalam pesan
Hapus sebagian kode, cek apakah masih rusak, lalu hapus lagi, dan seterusnya
Apakah ada nama untuk kesalahan ketika seseorang mengaitkan kesuksesan hidupnya dengan kecerdasannya sendiri, lalu menganggap dirinya lebih pintar daripada semua orang dan benar dalam segala hal?
Semacam kebalikan dari impostor syndrome
Bagian kedua, “saya superior dan tahu segalanya”, bisa dibilang sekadar watak buruk yang klasik
https://en.wikipedia.org/w/index.php?title=Luciferianism&old...
Godaan bahwa jika Anda pintar, Anda seharusnya menjadi penjaga dunia. Godaan untuk membangun dunia berdasarkan pembelajaran dan kebenaran tertinggi Anda sendiri, serta merasa mampu menemukan kebenaran semacam itu lebih mudah dan cepat daripada orang biasa. Dengan begitu moralitas diberi lisensi, dan tujuan membenarkan cara. Seolah-olah perbuatan jahat yang dilakukan sekarang akan dibayar kembali dengan kebaikan dua kali lipat nanti
Ada juga fundamental attribution error dan efek Dunning-Kruger. Dari sisi perilaku, illusory superiority berpadu dengan moral licensing, ditambah efek disinhibisi ketika orang yang sangat sukses mengambil risiko lebih besar. Risiko itu termasuk yang berdampak negatif pada orang lain
Sepertinya semua efek ini bergabung dalam kadar tertentu. Masalahnya tampaknya bukan harus kecerdasan, melainkan setidaknya kekuasaan yang dirasakan individu. Misalnya orang yang percaya dirinya secara bawaan lebih baik dalam X akan merasa memiliki kekuatan lebih besar, dan hambatannya berkurang untuk mengekspresikan superioritas atau mendominasi orang lain
Kita semua pernah melihat orang yang bergantung pada kejayaan masa lalu, tidak memahami bahwa mereka kini bukan lagi di masa puncak, dan berusaha menggunakan kekuatan yang sudah tidak lagi mereka miliki. Bagi saya, itulah kebalikan sejati dari impostor syndrome. Sebuah kondisi ketika persepsi tentang diri sendiri dan dinamika sosial tidak bergerak mengikuti perubahan zaman
Narcissistic personality disorder
Antisosial
Dulu saya punya rekan yang punya pertanyaan wawancara favorit. Pertanyaannya terkait struktur data graf, dan setiap kali kandidat menjawab, mereka sering kali tetap gugur
Anehnya, seiring waktu, semua kandidat yang menjawab pertanyaan itu gugur. Jadi kami semua berkumpul untuk melihat pertanyaan apa yang ia ajukan, dan ketika mencoba menyelesaikannya bersama, kami sadar bahwa solusinya sendiri salah
Ternyata sepanjang kariernya ia menggugurkan orang dengan satu pertanyaan ini
Itu pengalaman yang membuat kami semua rendah hati, dan menjadi pelajaran bahwa semuanya harus dicek ulang sebelum mengajukan pertanyaan. Sebagian besar kandidat yang diwawancarai sebenarnya cukup layak direkrut. Kadang, pihak yang salah bisa jadi Anda sendiri
Kalau salah langsung gugur? Apakah ada begitu banyak pelamar sempurna sampai bisa menyaring hampir semua orang?
Jika saya kandidat, pertanyaan pertama saya adalah “Apakah Anda akan bermain adil, dan bagaimana saya bisa memverifikasinya?”
“Kedua, ketika ada uang yang signifikan dipertaruhkan, saya memverifikasi input. Bukan berarti saya tidak mempercayai Anda secara pribadi, melainkan saya akan menganggap situasinya sendiri tidak dapat dipercaya. Bagaimana ini bisa diverifikasi, atau Anda ingin saya melanjutkan dengan asumsi bahwa itu sudah terverifikasi?”
Itu pertanyaan-pertanyaan bagus, tetapi cara menanyakannya juga penting. Software engineering bukan hanya engineering murni; komunikasi sangat penting
Seperti kebanyakan pertanyaan wawancara, saya berharap ini adalah pertanyaan untuk melihat bagaimana seseorang mengembangkan pemikiran dan menunjukkan proses penyelesaiannya
Jika pewawancara mengajukan pertanyaan ini dan Anda menemukan kesalahannya, justru kemungkinan itu membantu Anda direkrut
Ada poin menarik lain di sini. Ketika jelas bahwa Chang tidak mendekati pertanyaan ini secara eksplisit dengan binary search dan expected value, Ballmer berusaha cukup keras dan secara diplomatis mengalihkan arah dari pembahasan pertanyaan persis ini
Tidak mengejutkan. Ia jurnalis profesional. Yang mengejutkan adalah Ballmer, seperti banyak pewawancara teknis, begitu menyukai pertanyaan ini sampai-sampai ia tidak bisa menahan diri untuk mengangkatnya, meski tidak terlalu terkait dengan pertanyaan Chang
Benar-benar penasaran seperti apa solusi ekuilibrium Nash-nya
Seperti yang dikatakan di salah satu komentar, pihak yang menebak sepertinya akan mengembalikan angka acak di sekitar pencarian biner. Namun saya penasaran apakah pihak yang memilih memakai distribusi awal yang seragam, atau distribusi yang tidak seragam. Pasti ada seseorang di HN yang tahu atau bisa menjelaskannya
Tentu ada kesenjangan besar antara permainan 5 angka dan permainan 100 angka. Seiring jumlah pilihan bertambah, strategi campuran optimal bisa saja menjadi stabil, atau sejauh yang saya tahu, bisa juga menjadi makin aneh. Kalau ada yang benar-benar mengeksplorasi permainan dengan 6, 7, dan seterusnya angka, saya sangat ingin diberi tahu
Dalam strategi lain, kandidat punya strategi menebak “angka tipuan”, dan Ballmer punya strategi “tidak memilih angka tipuan”
Kandidat tidak bisa memaksa Ballmer untuk memakai tipuan