Pelacakan Waktu Build Pengembang untuk Menentukan Perlu Tidaknya Upgrade MacBook M3

Seberapa berharga upgrade ke MacBook M3?

• Untuk mengetahui apakah upgrade mesin pengembang dari chip M1/M2 ke M3 layak dilakukan.
• Sulit untuk mengukur produktivitas pengembang secara kuantitatif.
• Loop umpan balik yang cepat meningkatkan efisiensi pengembang.

Pengumpulan telemetri build

• Melacak telemetri build di laptop pengembang menggunakan Go hot reloader.
• Mengembangkan alat build internal untuk melacak metrik tingkat sistem, metrik runtime, telemetri build, dan lainnya.
• Mengirim event telemetri ke data warehouse.

Analisis data

• Analisis dimulai setelah menghasilkan data berkualitas tinggi dan membangun dataset yang cukup.
• Waktu build dapat berbeda pada setiap sistem, sehingga perbandingan rata-rata sederhana tidak memungkinkan.
• Menggunakan code interpreter baru dari OpenAI untuk analisis data.

Pembuatan asisten OpenAI

• Mengekspor data ke CSV dan memberikannya ke asisten OpenAI untuk dianalisis.
• Menggunakan model gpt-4-1106-preview untuk analisis data.

Pembersihan data (sumber daya, pembatalan, dll.)

• Mengecualikan build yang gagal atau dibatalkan.
• Karena build yang dijalankan dengan daya baterai dapat mengalami penurunan performa, hanya build yang dijalankan dengan daya AC yang dipertimbangkan.

Tidak semua build itu sama

• Proyek Go terdiri dari berbagai 'package', dan compiler hanya melakukan kompilasi ulang ketika ada perubahan.
• Waktu build diklasifikasikan menjadi instan (<3 detik), cepat (<30 detik), sedang (30 detik-1 menit), dan lambat (1 menit+).

Perbandingan M1 dan M2

• Setelah membersihkan data daya AC dan build yang berhasil, dilakukan perbandingan platform M1 dan M2.
• M2 Max jauh lebih cepat daripada M1 Pro dalam kecepatan build.

Perbandingan internal M3

• Perbandingan waktu build antara M2 Pro 16GB dan M2 Max 32GB menunjukkan bahwa memori tidak terlalu berpengaruh besar.
• Perbedaan performa antara M3 Pro dan M3 Max tidak cukup untuk membenarkan selisih harganya.

Perbandingan gabungan M1, M2, M3

• Perbandingan waktu build antar platform M1, M2, dan M3 menunjukkan bahwa M2 memberikan peningkatan besar dibanding M1.
• M3 memberikan sedikit peningkatan dibanding M2.

Apakah memori benar-benar tidak membuat perbedaan?

• Ditemukan bahwa memori tidak terlalu memengaruhi waktu build.
• Melalui analisis data waktu linker, dipastikan bahwa memori memengaruhi performa linking.

MacBook M3 akan datang!

• Diputuskan bahwa laptop baru Space Black M3 Pro akan membantu meningkatkan produktivitas pengembang.
• Pengguna M1 akan di-upgrade ke M3 Pro dengan memori 36GB.
• Pengguna M2 akan menunggu upgrade karena performa saat ini masih baik.

Pendapat GN⁺

• Studi ini menunjukkan bahwa mengurangi waktu build pengembang berdampak langsung pada peningkatan produktivitas.
• Menarik bahwa meskipun memori tidak terlalu memengaruhi waktu build, memori dapat memengaruhi waktu linker.
• Metode analisis data menggunakan OpenAI dapat menjadi contoh yang bermanfaat bagi perusahaan atau pengembang lain.

[GN⁺]

Komentar Hacker News

• Ringkasan komentar pertama:

  • Tulisannya bagus dan metode pengumpulan serta analisis datanya beragam.
  • Namun, akan lebih sederhana dan akurat jika laptop diletakkan berdampingan lalu waktu kompilasi diukur dalam skenario yang sama.
  • Mengumpulkan statistik untuk seluruh perusahaan dapat menimbulkan bias. Misalnya, bisa ada perbedaan antara laptop yang digunakan karyawan baru dan karyawan lama.
  • Menunjukkan bahwa pengambilan sampel mungkin tidak sepenuhnya acak dan representatif.

• Ringkasan komentar kedua:

  • Sebagai ilmuwan, ia tertarik pada cara para programmer menangani data.
  • Membuat grafik yang indah dan menggunakan ChatGPT untuk mengotomatisasi analisis dengan cepat.
  • Namun, meskipun ada variabilitas berdasarkan memori dan jenis chip, ia tidak menggunakan regresi linear.
  • Ia membuat histogram, tetapi sulit untuk dibandingkan. Nilai rata-rata dan error bar bisa ditambahkan, atau bisa menggunakan fungsi distribusi kumulatif.

• Ringkasan komentar ketiga:

  • Membagikan pengalaman menjalankan proyek untuk meng-offload stack pengembangan ke AWS demi meningkatkan produktivitas pengembang alih-alih membeli laptop baru.
  • Ini adalah proyek yang berlangsung selama beberapa tahun, dan pada akhirnya menyimpulkan bahwa meng-upgrade laptop akan menjadi pilihan yang lebih baik.

• Ringkasan komentar keempat:

  • Mantan kontributor inti Chromium dan Node.js, serta saat ini merupakan kontributor inti gRPC Core/C++.
  • Tidak terlalu peduli pada waktu build. Yang penting adalah ukuran dan kualitas layar, serta kecepatan perangkat penyimpanan.
  • Menggunakan Bazel untuk proyek pribadi, dan sistem build memberi dampak lebih besar daripada perkembangan CPU.

• Ringkasan komentar kelima:

  • Membagikan hasil riset pribadi tentang pengembangan iOS.
  • Perbedaan performa antara M2 Pro dan M1 Pro tidak besar. M3 Pro berada di tingkat yang mirip dengan M2 Pro.
  • Pada akhirnya ia membeli M1 Pro bekas dan puas. Nilai performa per biaya sangat baik.

• Ringkasan komentar keenam:

  • Saran mengenai penggunaan AI untuk analisis data.
  • Menggunakan alat seperti R atau Stata lebih sederhana dan dapat direproduksi.
  • Memahami data dan mengetahui mekanisme pembentukannya adalah pekerjaan tersulit dalam analisis data.
  • Mempertanyakan apakah teknologi AI saat ini mampu melakukan hal tersebut.

• Ringkasan komentar ketujuh:

  • Fakta bahwa para pengembang dapat menjalankan seluruh lingkungan di laptop lokal merupakan pencapaian besar.
  • Menyebutkan bahwa pengalaman menjalankan seluruh sistem perusahaan pada satu mesin adalah hal yang jarang.

• Ringkasan komentar kedelapan:

  • Komentar dari penulis artikel.
  • Membahas profiling kompilasi Go, membangun hot-reloader, dan analisis dataset build menggunakan AI.
  • Menyimpulkan bahwa upgrade dari M1 ke M3 Pro layak dilakukan. Perbedaan antara M2 dan M3 tidak besar sehingga tidak layak di-upgrade.

• Ringkasan komentar kesembilan:

  • Menjelaskan proses mengekspor data ke CSV dan membuat 'assistant' beserta prompt yang menjelaskan tujuannya.
  • Berpendapat bahwa akan menjadi perubahan besar jika Microsoft mengintegrasikan proses ini ke Excel.

• Ringkasan komentar kesepuluh:

  • M3 Pro menunjukkan performa yang sedikit lebih baik daripada M2, dan jauh lebih baik daripada M1 Pro.
  • M3 memiliki efisiensi daya terhadap performa dan performa rendering yang lebih baik, tetapi ia memutuskan menunggu upgrade sampai M3 Ultra dengan bandwidth memori yang lebih besar hadir.