Kalau runtime CPU yang dipakai cuma untuk inferensi sederhana, kondisinya masih agak mendingan. Tapi karena layanan LLM yang dituntut belakangan ini, trafik naik ya naik, kapasitas juga ikut membengkak, jadi tiap hitung biaya rasanya pengin ngamuk wkwk
Banyak hal yang terasa relevan di sini.
Komentar-komentarnya juga bagus; ketika seseorang merangkum dan menyampaikannya seperti ini, lalu menyediakan wadah untuk itu, rasanya pembahasan tersebut menjadi lebih lengkap melalui sanggahan, dukungan, dan tambahan.
Tambahan: belakangan ini saya sering melihat ungkapan "teknologi yang membosankan", dan dalam bahasa Inggris ternyata boring technology.
> Sebaliknya, jika pekerjaannya sekadar ‘yang penting bisa jalan’, memanfaatkan AI bisa jadi efisien.
Bukan hanya developer tentu saja, tapi karena ada banyak orang dengan kecenderungan yang berbeda-beda, saya merasa bahwa orang yang kebetulan bekerja sebagai developer namun tidak suka atau takut menulis maupun melihat kode, dan yang pola pikirnya lebih ke yang penting berjalan daripada menafsirkan struktur yang sistematis atau sudut pandang maintainability, cenderung lebih kuat ketergantungan atau kepercayaan membutanya pada AI. Bisa jadi saya salah juga.
Ada paket yang dependensinya pada pytorch+cuda cuma berbeda di versinya saja... benar-benar kacau.
Padahal fiturnya juga nyaris tidak ada, tapi untuk tiap daemon kecil dependensinya terpasang sampai hampir 2 GB..
Saya juga sedang membuat solusi RAG karena kebutuhan, sampai memakai 4 GPU H100 yang langka itu, tetapi jika mempertimbangkan bukan hanya investasi langsung pada hardware melainkan juga biaya listrik, berbagai biaya solusi pendinginan, dan lain-lain, saya terus merasa bahwa memanggil API saja akan jauh lebih baik.
Awalnya saya juga mulai menguji dengan Ollama, lalu setelah memastikan bahwa itu bahkan tidak bisa menangani 3 pengguna bersamaan dengan baik, saya langsung beralih ke vLLM dan entah bagaimana menyusun solusi RAG, tetapi (dengan asumsi 10 pengguna bersamaan) hanya untuk ini saja sudah hampir perlu memakai penuh 2 GPU H100. Pekerjaan embedding maupun pencarian juga saya jalankan lewat vLLM, jadi 4 H100 benar-benar terasa mepet. Padahal VRAM per kartu sekitar 90GB.
Tentu saja, saya sendiri tidak terlalu paham AI, dan karena harus menyesuaikan kebutuhan departemen + aturan keamanan internal perusahaan sana-sini, saya jadi nekat saja mencobanya... Saya jadi bertanya-tanya apakah ini memang pendekatan yang benar. ChatGPT Enterprise, ya? Saya benar-benar merasa itu harganya sangat worth it.
Saya juga punya pemikiran yang mirip, tetapi agak sulit mengungkapkannya dengan kata-kata. mental model adalah penamaan yang tepat. Sepertinya saya perlu lebih sering memakainya.
Saya sangat suka Django! Saya juga berutang banyak dalam berbagai hal dan merasa sangat berterima kasih. Meskipun Django sekarang mungkin sedikit kurang populer dibanding dulu. Sebenarnya saya juga ragu apakah Django pernah benar-benar jadi sangat panas, dan saya percaya Django akan terus bertahan lama sebagai framework yang stabil dan dicintai secara konsisten!
Ini memang tepat seperti yang saya butuhkan dan sedang saya buat, ternyata mereka sudah membuatnya... Saya memakai Claude Code Max, dan saat mengembangkan beberapa proyek sekaligus, ini benar-benar software yang saya butuhkan.
Itu memang kompleksitas yang tak terhindarkan. Bukan lagi HTML templat sederhana seperti dulu
Kalau runtime CPU yang dipakai cuma untuk inferensi sederhana, kondisinya masih agak mendingan. Tapi karena layanan LLM yang dituntut belakangan ini, trafik naik ya naik, kapasitas juga ikut membengkak, jadi tiap hitung biaya rasanya pengin ngamuk wkwk
Banyak hal yang terasa relevan di sini.
Komentar-komentarnya juga bagus; ketika seseorang merangkum dan menyampaikannya seperti ini, lalu menyediakan wadah untuk itu, rasanya pembahasan tersebut menjadi lebih lengkap melalui sanggahan, dukungan, dan tambahan.
Tambahan: belakangan ini saya sering melihat ungkapan "teknologi yang membosankan", dan dalam bahasa Inggris ternyata boring technology.
> Sebaliknya, jika pekerjaannya sekadar ‘yang penting bisa jalan’, memanfaatkan AI bisa jadi efisien.
Bukan hanya developer tentu saja, tapi karena ada banyak orang dengan kecenderungan yang berbeda-beda, saya merasa bahwa orang yang kebetulan bekerja sebagai developer namun tidak suka atau takut menulis maupun melihat kode, dan yang pola pikirnya lebih ke yang penting berjalan daripada menafsirkan struktur yang sistematis atau sudut pandang maintainability, cenderung lebih kuat ketergantungan atau kepercayaan membutanya pada AI. Bisa jadi saya salah juga.
Ada paket yang dependensinya pada pytorch+cuda cuma berbeda di versinya saja... benar-benar kacau.
Padahal fiturnya juga nyaris tidak ada, tapi untuk tiap daemon kecil dependensinya terpasang sampai hampir 2 GB..
Saya juga sedang membuat solusi RAG karena kebutuhan, sampai memakai 4 GPU H100 yang langka itu, tetapi jika mempertimbangkan bukan hanya investasi langsung pada hardware melainkan juga biaya listrik, berbagai biaya solusi pendinginan, dan lain-lain, saya terus merasa bahwa memanggil API saja akan jauh lebih baik.
Awalnya saya juga mulai menguji dengan Ollama, lalu setelah memastikan bahwa itu bahkan tidak bisa menangani 3 pengguna bersamaan dengan baik, saya langsung beralih ke vLLM dan entah bagaimana menyusun solusi RAG, tetapi (dengan asumsi 10 pengguna bersamaan) hanya untuk ini saja sudah hampir perlu memakai penuh 2 GPU H100. Pekerjaan embedding maupun pencarian juga saya jalankan lewat vLLM, jadi 4 H100 benar-benar terasa mepet. Padahal VRAM per kartu sekitar 90GB.
Tentu saja, saya sendiri tidak terlalu paham AI, dan karena harus menyesuaikan kebutuhan departemen + aturan keamanan internal perusahaan sana-sini, saya jadi nekat saja mencobanya... Saya jadi bertanya-tanya apakah ini memang pendekatan yang benar. ChatGPT Enterprise, ya? Saya benar-benar merasa itu harganya sangat worth it.
Saya juga punya pemikiran yang mirip, tetapi agak sulit mengungkapkannya dengan kata-kata.
mental model adalah penamaan yang tepat. Sepertinya saya perlu lebih sering memakainya.
US$150 per jam? Bahkan kontrol variabelnya saja sudah bikin ngakak wkwk
Saya sangat suka Django! Saya juga berutang banyak dalam berbagai hal dan merasa sangat berterima kasih. Meskipun Django sekarang mungkin sedikit kurang populer dibanding dulu. Sebenarnya saya juga ragu apakah Django pernah benar-benar jadi sangat panas, dan saya percaya Django akan terus bertahan lama sebagai framework yang stabil dan dicintai secara konsisten!
Sejak awal, vendor pembuat komponen untuk memproduksi perangkat pun umumnya tidak terlalu mendukung Lua maupun Python. Paling banter C?
Orang yang menulis postingan itu bikin Shorts template massal sekali klik lalu kena suspend ya wkwk
Saya menggunakannya dengan baik untuk pengembangan web sebagai hobi
const a = (a: () => null): (() => () => null) =>() => a
Mengukur "dampak AI" terhadap produktivitas pengembang open source berpengalaman
() => ❤️
Ini memang tepat seperti yang saya butuhkan dan sedang saya buat, ternyata mereka sudah membuatnya... Saya memakai Claude Code Max, dan saat mengembangkan beberapa proyek sekaligus, ini benar-benar software yang saya butuhkan.
Selamat ulang tahun, Django!
Versi terjemahan bahasa Korea ada di bawah ini.
https://roy-jung.github.io/250701-history-of-js/
Akan lebih baik kalau peningkatan besar, keunggulan, dan akurasinya ditunjukkan dengan angka.
Saya penasaran bagaimana perbedaannya di Korea.