Tumpukan AI Engineering
1. Struktur 3 lapis tumpukan AI Engineering: semua layanan AI dibangun di atas tiga lapisan inti.
1.1 Pengembangan aplikasi (Application Development)
- Dengan memanfaatkan foundation model, siapa pun dapat dengan cepat mengembangkan aplikasi AI.
- Diferensiasi layanan bergantung pada desain prompt, UI/UX pengguna, dan sistem evaluasi.
- Karena semakin banyak tim menggunakan model yang serupa, antarmuka yang ramah pengguna dan alat otomatisasi evaluasi menjadi penting.
1.2 Pengembangan model (Model Development)
- Semakin terspesialisasi, seperti fine-tuning, inference optimization, dan dataset engineering.
- Penggunaan dan kustomisasi model berskala besar meningkat, disertai kemunculan berbagai LLM open source dan model multimodal.
- Keandalan dan kualitas menjadi inti utama (misalnya evaluasi respons terbuka dan pengelolaan kualitas label).
1.3 Infrastruktur (Infrastructure)
- Deploy model, pengoperasian klaster GPU skala besar, penskalaan layanan, pemantauan, dan penanganan gangguan.
- Laju inovasi infrastruktur relatif lebih lambat, tetapi sangat memengaruhi kinerja dan pengelolaan biaya.
2. AI Engineering vs ML Engineering: perubahan yang mendasar
2.1 Cara memanfaatkan model
- ML tradisional: melatih model sendiri (Machine Learning from scratch).
- AI modern: memanggil/memanfaatkan model besar yang telah dipra-latih (using pre-trained models) menjadi arus utama.
- Evaluasi menjadi semakin penting dibanding pengembangan model itu sendiri (terutama saat menangani hasil open-ended).
2.2 Perubahan sumber daya dan skill engineering
- Kemampuan mengoperasikan klaster GPU berskala ratusan hingga ribuan unit (Scalable GPU infrastructure).
- Saat diproduksikan ke layanan nyata, dibutuhkan pengelolaan data berskala besar dan pemanfaatan sumber daya yang sangat efisien.
2.3 Inovasi evaluasi (Evaluation)
- Evaluasi jawaban singkat (closed-ended) → perlu kemampuan menangani hasil terbuka (open-ended output).
- Pengembangan sistem evaluasi otomatis dan semi-otomatis (Auto evaluation system) berlangsung aktif.
3. Kustomisasi model: prompt vs fine-tuning
3.1 Berbasis prompt (Prompt-based)
- Perubahan perilaku melalui desain prompt (Prompt Engineering) dan pengelolaan konteks (tanpa perubahan parameter internal model).
- Membutuhkan sedikit data. Eksperimen cepat, biaya rendah.
- Keterbatasan: performa menurun pada tugas berkesulitan tinggi atau saat kompleksitas meningkat.
3.2 Fine-tuning
- Mengubah bobot model secara langsung, membutuhkan data dalam jumlah besar, cocok untuk kebutuhan performa tinggi.
- Biaya/waktu meningkat, tetapi dalam jangka panjang kualitas layanan, kecepatan, dan biaya sama-sama membaik.
4. Perincian konsep "pelatihan"
- Pre-training: pembangunan awal foundation model berukuran besar, yang hanya dilakukan oleh sebagian perusahaan/institusi raksasa.
- Fine-tuning: pelatihan yang disesuaikan dengan masalah tertentu atau data pelanggan, berdasarkan bobot model yang sudah ada.
- Post-training: istilah ini sering dipakai campur aduk, tetapi dalam praktiknya mencakup fine-tuning maupun pembaruan berkelanjutan.
5. Dataset engineering: perubahan posisi data
- Beralih terutama ke data tidak terstruktur (unstructured) seperti teks, gambar, dan multimodal.
- Tingkat kesulitan pelabelan meningkat: sangat dibutuhkan keahlian untuk menghadapi hasil terbuka yang tidak dapat diprediksi.
- Hakikat diferensiasi layanan berpindah ke data: mengamankan dataset berkualitas tinggi menjadi daya saing itu sendiri.
- Pentingnya kualitas data, etika, dan penanganan privasi (Privacy/Ethics) juga semakin menonjol.
6. Tren pengembangan aplikasi AI
- Ketika berbagai organisasi menggunakan model yang sama (foundation model),
- prompt engineering (desain input),
- antarmuka produk (UI/UX, chatbot, ekstensi web, dll.),
- dan desain loop umpan balik pengguna menjadi kunci.
- Implementasi layanan AI ringan di edge, mobile, dan lingkungan sejenis menjadi peluang baru.
Perubahan pendekatan pengembangan:
- Sebelumnya: desain data/model → kemudian diproduktisasi
- Sekarang: prototyping produk cepat → investasi pada data/model bila diperlukan (Product first, Model/Data later)
7. AI vs full-stack engineering: runtuhnya batas
- Peran developer frontend serta full-stack web/mobile semakin meluas.
- Kemampuan menggabungkan AI dengan antarmuka menjadi daya saing.
- Di era foundation model + plugin, meluncurkan layanan AI dengan mudah tanpa backend yang kompleks menjadi mungkin.
- Pola penggunaan: prototyping cepat → umpan balik pengguna → perbaikan berulang.
8. Kesimpulan dan prospek masa depan
- AI engineering berkesinambungan dengan ML engineering yang ada, tetapi juga menuntut skalabilitas dan inovasi yang belum pernah ada sebelumnya.
- Foundation model dan ekosistem AI open source adalah inti dari perubahan ini.
- Di era kelebihan informasi, kebutuhan untuk membangun framework yang jelas dan best practice semakin besar.
[Referensi dan ringkasan]
- Sumber asli: Chip Huyen, 『AI Engineering』
Belum ada komentar.