Uji Generative AI untuk Desain Papan Sirkuit

Uji Generative AI untuk Desain Papan Sirkuit

Pengantar

• Menguji apakah chatbot berbasis AI dapat membantu pekerjaan presisi seperti desain papan sirkuit.
• LLMs (large language models) sering kali dapat salah memahami detail.
• Pendekatan deterministik penting dalam desain elektronik.
• Produk AI saat ini memiliki sisi yang dibesar-besarkan, tetapi dengan pendekatan yang tepat, kegunaan praktis tetap bisa ditemukan.
• Menguji LLMs pada tugas desain sulit yang rutin dilakukan oleh para ahli.
• Model yang digunakan dalam pengujian: Gemini 1.5 Pro dari Google, GPT-4o dari OpenAI, Claude 3 Opus dari Anthropic.

Mengajukan pertanyaan bodoh

• Desain papan sirkuit membutuhkan banyak pengetahuan.
• Dicoba metode belajar dengan mengajukan pertanyaan sederhana kepada LLMs.
• Contoh: "Berapa delay per satuan panjang trace pada papan sirkuit?"
• Claude 3 Opus memberikan jawaban yang paling akurat.
• Google Gemini 1.5 menunjukkan performa yang rendah karena materi berkualitas buruk yang diambil dari internet.

Mencari komponen

• Insinyur berpengalaman dapat dengan cepat menemukan komponen yang dibutuhkan.
• Kemampuan AI dalam mencari komponen diuji.
• Contoh: mencari komponen untuk motor driver robot yang menggunakan optical Ethernet.
• Semua model gagal merekomendasikan komponen yang sesuai.
• Banyak rekomendasi komponen disesuaikan untuk aplikasi rata-rata.

Parsing datasheet

• Data yang diperlukan untuk desain papan sirkuit terdapat di datasheet PDF.
• Kemampuan LLMs mengekstrak data dari PDF diuji.
• Metode paling efektif adalah mengunggah seluruh datasheet ke LLM lalu melakukan kueri detail secara interaktif.
• Gemini 1.5 menunjukkan performa paling andal untuk tugas ini.
• Berhasil membuat pin table dan footprint BGA.

Desain sirkuit

• Diuji apakah LLMs dapat melakukan desain sirkuit itu sendiri.
• Contoh: merancang preamp untuk mikrofon elektronik.
• Claude 3 Opus memberikan jawaban terbaik.
• Namun, masih terdapat beberapa keputusan yang salah dan desain sirkuit yang tidak akurat.
• LLMs unggul dalam tugas ekstraksi dan transformasi informasi, tetapi kesulitan dalam sintesis desain orisinal.

Kesimpulan

• Desain papan sirkuit menuntut presisi yang tinggi.
• LLMs dapat berguna untuk menulis kode.
• Claude 3 berguna untuk mempelajari domain baru.
• Gemini berguna untuk mengekstrak data dari datasheet.
• GPT-4o tidak memberikan jawaban yang paling berguna dalam pengujian ini.
• LLMs unggul dalam pencarian informasi dan pembuatan kode, tetapi memiliki keterbatasan pada domain yang berada di luar distribusi data pelatihannya.

Opini GN⁺

• Kegunaan LLMs: LLMs dapat berguna dalam desain papan sirkuit untuk pencarian informasi dan pembuatan kode. Secara khusus, model ini menunjukkan kekuatan dalam mengekstrak informasi yang diperlukan dari datasheet.
• Keterbatasan: LLMs kesulitan dalam sintesis desain orisinal. Hal ini mungkin berkaitan dengan keterbatasan data pelatihan.
• Riset masa depan: Untuk meningkatkan kemampuan LLMs dalam desain sirkuit, diperlukan fine-tuning pada tugas pembuatan netlist. Selain itu, mungkin dibutuhkan lebih banyak data dan pelatihan.
• Pemanfaatan nyata: Saat ini LLMs dapat digunakan sebagai alat bantu dalam desain sirkuit, tetapi tetap memerlukan peninjauan dan koreksi dari ahli. Otomatisasi penuh masih memiliki keterbatasan.
• Sudut pandang kritis: Jawaban LLMs sering disesuaikan untuk aplikasi rata-rata sehingga bisa gagal memenuhi kebutuhan spesifik. Ini dapat menimbulkan masalah penting dalam desain nyata.

[GN⁺]

Komentar Hacker News

• Sonnet 3.5 menunjukkan performa yang jauh lebih baik daripada Opus, dan biayanya juga lebih rendah. Opus lebih baik daripada GPT-4. GPT-4o memiliki kemampuan penalaran yang lemah.
• Ini adalah contoh yang bagus yang menunjukkan keterbatasan LLM zero-shot. Pendekatannya tampak keliru.
• Untuk kasus yang membutuhkan pendekatan holistik, arsitektur generatif berbasis difusi tampaknya lebih cocok daripada prediksi token berikutnya.
• Menggunakan LLM untuk desain sirkuit mirip dengan penggunaannya untuk tugas kompleks lainnya. Ini berguna untuk mengekstrak data spesifik dari sumber data tertentu.
• Untuk menggunakan LLM di bidang tertentu, fine-tuning diperlukan. Kita belum sampai pada tahap AGI yang mampu bekerja mahir di semua bidang.
• Saya pikir menggunakan jaringan saraf untuk menyelesaikan masalah kombinatorial adalah pemborosan waktu. Saya ingin mendengar pendapat yang berlawanan.
• Sirkuit yang dihasilkan AI memiliki biaya dan ukuran tiga kali lebih besar daripada yang dirancang oleh ahli. Banyak koneksi yang diperlukan juga hilang.
• Saya ingin membandingkannya dengan Flux.ai.
• Ini mengingatkan saya pada penjelasan tentang masalah NP-lengkap. Proses memeriksa apakah jawaban yang diberikan komputer benar terasa menjengkelkan.
• Diskusi tentang sirkuit yang berevolusi tidak lengkap tanpa menyebut penelitian Dr. Adrian Thompson pada era 90-an.
• AI generatif untuk desain sirkuit akan segera menjadi bentuk yang dominan. AI tidak akan bisa menghasilkan sirkuit tanpa blok fungsi yang kuat.
• Saya terpikir ide untuk memindai papan sirkuit datar dan menggunakan machine learning untuk membuat skematik. Kelayakan realisasinya rendah.
• Kita membutuhkan AI yang membaca datasheet dan menghasilkan sirkuit Spice. Tujuannya adalah membangun library komponen simulasi.