[2025/12/22 ~ 28] Kumpulan makalah AI/ML yang layak disimak minggu ini
(discuss.pytorch.kr)[2025/12/22 ~ 28] Kumpulan makalah AI/ML yang layak disimak minggu ini
PyTorchKR🔥🇰🇷 🤔💭
1️⃣ Strategi deteksi dan mitigasi halusinasi yang mendalam (Deep Hallucination Detection & Mitigation): Jika melihat makalah yang dipilih minggu ini, terlihat jelas upaya untuk mengatasi secara mendasar halusinasi (Hallucination), masalah kronis pada LLM, melampaui sekadar memperbesar ukuran model. QuCo-RAG menentukan kapan harus melakukan retrieval dengan memanfaatkan indikator objektif berupa statistik data pra-pelatihan, alih-alih tingkat kepercayaan subjektif di dalam model, sementara H-Neurons mengambil pendekatan mikroskopis dengan mengidentifikasi neuron tertentu yang memicu halusinasi dan menelusuri asal-usulnya. Selain itu, Model-First Reasoning mengurangi kesalahan struktural dengan mewajibkan tahap pemodelan yang eksplisit sebelum pemecahan masalah. Ini menunjukkan bahwa riset AI sedang berevolusi dari sekadar menghasilkan 'jawaban yang terdengar masuk akal' menuju mekanisme yang dapat diverifikasi dan dapat dipercaya.
2️⃣ Evolusi efisiensi inferensi dan teknologi pemrosesan real-time (Evolution of Inference Efficiency & Real-Time Processing): Seiring model menjadi semakin besar, riset untuk memaksimalkan kecepatan inferensi dan efisiensi memori juga semakin aktif. WorldPlay memungkinkan pembuatan video real-time dengan menyelesaikan trade-off antara kecepatan dan memori, sementara Jacobi Forcing secara drastis meningkatkan kecepatan inferensi melalui decoding paralel, melampaui keterbatasan metode generasi sekuensial (AR). Selain itu, qTTT mengusulkan pendekatan baru yang melakukan pembelajaran ringan pada tahap inferensi untuk mencegah penurunan performa (score dilution) saat memproses konteks panjang. Ini dapat ditafsirkan sebagai proses optimasi yang esensial untuk memanfaatkan model berperforma tinggi pada level layanan nyata (Real-time application).
3️⃣ Peningkatan pemahaman dunia yang dinamis dan kemampuan penalaran terstruktur (Enhanced Dynamic World Understanding & Structured Reasoning): Melampaui analisis gambar atau teks yang statis, semakin kuat dorongan untuk memahami aliran waktu (4D) serta struktur fisik/logis. 4D-RGPT mencoba persepsi 4D dengan menambahkan sumbu waktu ke ruang 3D untuk memahami dinamika temporal video, dan WorldPlay melakukan pemodelan dunia sambil mempertahankan konsistensi geometris. NEPA juga berupaya meningkatkan pemahaman visual melalui prediksi embedding alih-alih restorasi piksel. Ini menunjukkan bahwa AI sedang melangkah melampaui pencocokan pola sederhana menuju tahap menginternalisasi 'cara kerja dunia', termasuk hukum fisika dan hubungan sebab-akibat logis, seperti manusia.
WorldPlay: menuju konsistensi geometris jangka panjang untuk pemodelan dunia interaktif real-time / WorldPlay: Towards Long-Term Geometric Consistency for Real-Time Interactive World Modeling
Pengantar makalah
WorldPlay adalah model diffusion video streaming inovatif untuk pemodelan dunia interaktif real-time, yang dikembangkan dengan fokus pada penyelesaian trade-off antara kecepatan dan memori sambil mempertahankan konsistensi geometris jangka panjang. Model ini memaksimalkan performa melalui tiga inovasi utama. Pertama, melalui Dual Action Representation, model ini memungkinkan kontrol aksi yang kuat terhadap input pengguna, sehingga dapat mewujudkan gerakan yang masuk akal secara fisik pada adegan dengan berbagai skala. Kedua, Reconstituted Context Memory berkontribusi dalam menjaga konsistensi jangka panjang dengan merekonstruksi secara dinamis informasi dari frame-frame sebelumnya. Dengan cara ini, frame lama yang penting secara geometris tetap dapat diakses sehingga efisiensi memori meningkat. Ketiga, model ini memperkenalkan metode distilasi baru bernama Context Forcing untuk meningkatkan performa model yang sadar memori. Metode ini menyelaraskan konteks memori antara model guru dan model siswa agar model siswa dapat memanfaatkan informasi jangka panjang secara efektif.
WorldPlay menghasilkan video 720p pada 24 frame per detik dan menunjukkan konsistensi yang unggul dibandingkan teknologi sebelumnya. Model ini berhasil mencapai sekaligus kecepatan dalam pembuatan video real-time dan konsistensi geometris jangka panjang, serta menunjukkan generalisasi yang kuat pada berbagai adegan. Selain itu, model ini memungkinkan rekonstruksi 3D berkualitas tinggi dan mendukung interaksi berbasis prompt yang dapat memicu peristiwa dunia yang dinamis. Berkat karakteristik ini, WorldPlay memberikan kontribusi penting dalam bidang pembuatan video interaktif real-time dan membuka peluang untuk berbagai aplikasi di masa depan.
Abstrak makalah (Abstract)
Makalah ini memperkenalkan WorldPlay, model difusi video streaming yang memungkinkan pemodelan dunia interaktif secara real-time. WorldPlay mengatasi trade-off antara kecepatan dan memori yang membatasi metode saat ini, sambil mempertahankan konsistensi geometris jangka panjang. WorldPlay ditopang oleh tiga inovasi utama. 1) Kami menggunakan Dual Action Representation untuk memungkinkan kontrol aksi yang kuat sebagai respons terhadap input keyboard dan mouse pengguna. 2) Untuk menjaga konsistensi jangka panjang, Reconstituted Context Memory kami secara dinamis membangun ulang konteks dari frame sebelumnya, dan menggunakan temporal reframing untuk menjaga agar frame lama yang penting secara geometris tetap dapat diakses, sehingga secara efektif mengurangi pelemahan memori. 3) Kami juga mengusulkan Context Forcing, metode distilasi baru yang dirancang untuk model yang sadar memori. Dengan menyelaraskan konteks memori antara teacher dan student, kemampuan student untuk menggunakan informasi jarak jauh tetap terjaga, memungkinkan kecepatan real-time sekaligus mencegah error drift. Secara keseluruhan, WorldPlay dapat melakukan streaming video 720p jangka panjang pada 24 FPS dengan konsistensi yang unggul, dibandingkan dengan teknik yang ada, serta menunjukkan generalisasi yang kuat di berbagai adegan. Halaman proyek dan demo online dapat dilihat di: https://3d-models.hunyuan.tencent.com/world/ dan https://3d.hunyuan.tencent.com/sceneTo3D.
> This paper presents WorldPlay, a streaming video diffusion model that enables real-time, interactive world modeling with long-term geometric consistency, resolving the trade-off between speed and memory that limits current methods. WorldPlay draws power from three key innovations. 1) We use a Dual Action Representation to enable robust action control in response to the user's keyboard and mouse inputs. 2) To enforce long-term consistency, our Reconstituted Context Memory dynamically rebuilds context from past frames and uses temporal reframing to keep geometrically important but long-past frames accessible, effectively alleviating memory attenuation. 3) We also propose Context Forcing, a novel distillation method designed for memory-aware model. Aligning memory context between the teacher and student preserves the student's capacity to use long-range information, enabling real-time speeds while preventing error drift. Taken together, WorldPlay generates long-horizon streaming 720p video at 24 FPS with superior consistency, comparing favorably with existing techniques and showing strong generalization across diverse scenes. Project page and online demo can be found: https://3d-models.hunyuan.tencent.com/world/ and https://3d.hunyuan.tencent.com/sceneTo3D.
Tautan makalah
https://arxiv.org/abs/2512.14614
Baca lebih lanjut
https://3d-models.hunyuan.tencent.com/world/
https://3d.hunyuan.tencent.com/sceneTo3D
QuCo-RAG: metode untuk retrieval-augmented generation dinamis dengan mengukur ketidakpastian dari data pra-pelatihan / QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation
Pengantar makalah
QuCo-RAG adalah metodologi inovatif yang secara dinamis menentukan kapan melakukan retrieval selama proses generasi model bahasa besar (LLM) untuk mengurangi halusinasi. Pendekatan sebelumnya bergantung pada sinyal internal model, tetapi ini memiliki masalah karena LLM sering kali tidak terkalibrasi dengan baik dan menunjukkan tingkat keyakinan tinggi pada keluaran yang salah. Untuk mengatasi keterbatasan ini, penelitian ini mengusulkan metode baru yang mengukur ketidakpastian menggunakan statistik objektif yang dihitung dari data pra-pelatihan, alih-alih kepercayaan subjektif.
Kuantifikasi ketidakpastian dalam QuCo-RAG terdiri dari dua tahap utama. Tahap pertama mengidentifikasi entitas berfrekuensi rendah yang menunjukkan kesenjangan pengetahuan long-tail sebelum generasi. Tahap kedua memverifikasi ko-okurensi entitas dalam data pra-pelatihan selama generasi; jika ko-okurensi bernilai 0, hal itu menandakan risiko halusinasi. Dua tahap ini memanfaatkan Infini-gram untuk melakukan kueri dengan latensi milidetik pada 4 triliun token, sehingga retrieval dipicu saat ketidakpastian tinggi.
Hasil eksperimen menunjukkan bahwa QuCo-RAG mencapai peningkatan exact match (EM) sebesar 5-12 poin dibanding baseline mutakhir pada benchmark tanya-jawab (QA) multi-hop menggunakan model OLMo-2. Selain itu, metode ini juga dapat ditransfer secara efektif ke model dengan data pra-pelatihan nonpublik (Llama, Qwen, GPT), dengan peningkatan EM hingga 14 poin. Eksperimen generalisasi domain pada QA biomedis semakin memvalidasi ketahanan QuCo-RAG.
QuCo-RAG menghadirkan paradigma baru untuk retrieval-augmented generation dinamis melalui verifikasi berbasis korpus pra-pelatihan, dan merupakan pendekatan yang tidak bergantung pada model sehingga dapat diterapkan pada berbagai LLM. Penelitian ini berkontribusi dalam mengurangi risiko halusinasi dan ke depan akan mengeksplorasi kemungkinan penerapan di berbagai domain.
Abstrak makalah (Abstract)
Dynamic Retrieval-Augmented Generation secara adaptif menentukan kapan harus melakukan retrieval selama proses generasi untuk mengurangi halusinasi pada large language models (LLMs). Namun, metode yang ada bergantung pada sinyal internal model (misalnya logit, entropi), yang pada dasarnya tidak andal karena LLM umumnya tidak terkalibrasi dengan baik dan sering menunjukkan kepercayaan tinggi pada keluaran yang keliru. Kami mengusulkan QuCo-RAG, yang beralih dari confidence subjektif ke statistik objektif yang dihitung dari data pra-pelatihan. Metode kami mengukur ketidakpastian melalui dua tahap: (1) sebelum generasi, kami mengidentifikasi entitas berfrekuensi rendah yang menunjukkan kesenjangan pengetahuan long-tail; (2) selama generasi, kami memverifikasi ko-kemunculan entitas dalam korpus pra-pelatihan, di mana tidak adanya ko-kemunculan sering menandakan risiko halusinasi. Kedua tahap memanfaatkan Infini-gram untuk kueri berlatensi milidetik pada 4 triliun token, memicu retrieval saat ketidakpastian tinggi. Eksperimen pada benchmark multi-hop QA menunjukkan QuCo-RAG mencapai peningkatan EM sebesar 5--12 poin dibanding baseline state-of-the-art dengan model OLMo-2, dan juga efektif ditransfer ke model dengan data pra-pelatihan yang tidak diungkapkan (Llama, Qwen, GPT), meningkatkan EM hingga 14 poin. Generalisasi domain pada biomedical QA semakin memvalidasi ketangguhan paradigma kami. Hasil ini menegaskan verifikasi berbasis korpus sebagai paradigma yang berprinsip dan secara praktis agnostik terhadap model untuk dynamic RAG. Kode kami tersedia secara publik di https://github.com/ZhishanQ/QuCo-RAG. > Dynamic Retrieval-Augmented Generation adaptively determines when to retrieve during generation to mitigate hallucinations in large language models (LLMs). However, existing methods rely on model-internal signals (e.g., logits, entropy), which are fundamentally unreliable because LLMs are typically ill-calibrated and often exhibit high confidence in erroneous outputs. We propose QuCo-RAG, which shifts from subjective confidence to objective statistics computed from pre-training data. Our method quantifies uncertainty through two stages: (1) before generation, we identify low-frequency entities indicating long-tail knowledge gaps; (2) during generation, we verify entity co-occurrence in the pre-training corpus, where zero co-occurrence often signals hallucination risk. Both stages leverage Infini-gram for millisecond-latency queries over 4 trillion tokens, triggering retrieval when uncertainty is high. Experiments on multi-hop QA benchmarks show QuCo-RAG achieves EM gains of 5--12 points over state-of-the-art baselines with OLMo-2 models, and transfers effectively to models with undisclosed pre-training data (Llama, Qwen, GPT), improving EM by up to 14 points. Domain generalization on biomedical QA further validates the robustness of our paradigm. These results establish corpus-grounded verification as a principled, practically model-agnostic paradigm for dynamic RAG. Our code is publicly available at https://github.com/ZhishanQ/QuCo-RAG.
Tautan makalah
https://arxiv.org/abs/2512.19134
Bacaan lanjutan
https://github.com/ZhishanQ/QuCo-RAG
4D-RGPT: Pendekatan distilasi perseptual menuju pemahaman 4D tingkat wilayah / 4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation
Pengantar makalah
4D-RGPT adalah multimodal large language model (MMLM) terspesialisasi yang dirancang untuk secara efektif menangkap representasi 4D dari input video. Benchmark video question answering (VQA) 3D dan 4D yang ada berfokus pada adegan statis dan kekurangan prompt tingkat wilayah, sehingga pemahaman terhadap dinamika temporal menjadi terbatas. Untuk mengatasi masalah ini, penelitian ini memperkenalkan kerangka pelatihan inovatif bernama Perceptual 4D Distillation (P4D), yang memungkinkan persepsi 4D yang komprehensif dengan mentransfer representasi 4D dari model pakar yang dibekukan ke 4D-RGPT.
Benchmark baru bernama R4D-Bench juga diusulkan, yang mencakup prompt tingkat wilayah untuk adegan dinamis dengan kesadaran kedalaman. R4D-Bench dibangun melalui pipeline otomatisasi hibrida dan verifikasi manusia, dengan tujuan mengatasi keterbatasan benchmark 4D VQA berbasis non-wilayah yang sudah ada. Benchmark ini mencakup 9 kategori pertanyaan untuk mengevaluasi berbagai aspek pemahaman 4D, dan setiap kategori menyediakan kriteria untuk menilai performa MMLM secara komprehensif.
Format opsi pertanyaan menuntut tingkat presisi yang diperlukan agar MMLM dapat memberikan jawaban yang akurat, yang penting untuk memahami posisi dan arah objek. Pendekatan ini meningkatkan kemampuan pemahaman 4D MMLM dan memungkinkan evaluasi yang lebih mendalam melalui pertanyaan berbasis wilayah. Penelitian ini memberikan kontribusi penting dalam mengatasi keterbatasan sistem VQA yang ada serta meningkatkan persepsi 4D dan pemahaman temporal melalui 4D-RGPT dan R4D-Bench.
Abstrak makalah (Abstract)
Terlepas dari kemajuan berbagai multimodal large language model (MLLM), kemampuan penalaran terhadap struktur 3D dan dinamika temporal masih terbatas, yang terkendala oleh persepsi 4D dan pemahaman temporal yang lemah. Benchmark 3D dan 4D video question answering (VQA) yang ada juga berfokus pada adegan statis dan tidak memiliki prompting tingkat wilayah. Kami memperkenalkan hal-hal berikut untuk mengatasi masalah ini: (a) 4D-RGPT, MLLM terspesialisasi yang dirancang untuk menangkap representasi 4D dari input video dengan persepsi temporal yang ditingkatkan; (b) Perceptual 4D Distillation (P4D), kerangka pelatihan yang mentransfer representasi 4D dari model ahli yang dibekukan ke 4D-RGPT untuk persepsi 4D yang komprehensif; dan (c) R4D-Bench, benchmark untuk adegan dinamis yang sadar kedalaman dengan prompting tingkat wilayah, yang dibangun melalui pipeline hibrida otomatis dan verifikasi manusia. 4D-RGPT kami mencapai peningkatan yang menonjol pada benchmark 4D VQA yang sudah ada maupun benchmark R4D-Bench yang diusulkan.
> Despite advances in Multimodal LLMs (MLLMs), their ability to reason over 3D structures and temporal dynamics remains limited, constrained by weak 4D perception and temporal understanding. Existing 3D and 4D Video Question Answering (VQA) benchmarks also emphasize static scenes and lack region-level prompting. We tackle these issues by introducing: (a) 4D-RGPT, a specialized MLLM designed to capture 4D representations from video inputs with enhanced temporal perception; (b) Perceptual 4D Distillation (P4D), a training framework that transfers 4D representations from a frozen expert model into 4D-RGPT for comprehensive 4D perception; and (c) R4D-Bench, a benchmark for depth-aware dynamic scenes with region-level prompting, built via a hybrid automated and human-verified pipeline. Our 4D-RGPT achieves notable improvements on both existing 4D VQA benchmarks and the proposed R4D-Bench benchmark.
Tautan makalah
https://arxiv.org/abs/2512.17012
Baca selengkapnya
https://ca-joe-yang.github.io/resource/projects/4D_RGPT
H-Neurons: Studi tentang keberadaan, dampak, dan asal-usul neuron yang terkait halusinasi dalam large language model / H-Neurons: On the Existence, Impact, and Origin of Hallucination-Associated Neurons in LLMs
Pengenalan makalah
Masalah halusinasi yang muncul pada large language model (LLM) merupakan salah satu faktor utama yang mengganggu keandalan model, yakni fenomena ketika model menghasilkan keluaran yang terdengar meyakinkan tetapi tidak sesuai dengan fakta. Dalam penelitian ini, keberadaan neuron yang terkait dengan halusinasi, yaitu H-Neurons, beserta dampak dan asal-usulnya dianalisis secara sistematis. Dalam proses identifikasi H-Neurons, ditunjukkan bahwa kumpulan neuron yang sangat jarang, kurang dari 0.1% dari seluruh neuron, dapat secara andal memprediksi terjadinya halusinasi. Neuron-neuron ini juga menunjukkan kemampuan generalisasi yang kuat di berbagai skenario.
Dari sisi dampak perilaku, melalui intervensi terkontrol ditemukan bahwa H-Neurons terhubung secara kausal dengan perilaku over-compliance. Ini menunjukkan bahwa neuron yang berkontribusi pada munculnya halusinasi tidak sekadar aktif secara kebetulan, melainkan memiliki hubungan erat dengan pola perilaku tertentu. Dari sisi asal-usul, dipastikan bahwa H-Neurons berasal dari base model yang telah dipra-latih, dan neuron-neuron ini tetap mempertahankan daya prediktifnya untuk deteksi halusinasi. Hal ini memberikan wawasan penting bahwa H-Neurons terbentuk pada tahap awal pembelajaran model.
Sebagai metodologi penelitian, untuk mengidentifikasi neuron yang terkait dengan halusinasi secara kuat, penelitian ini memanfaatkan dataset TriviaQA guna membangun himpunan pembanding berkualitas tinggi yang membedakan keluaran tepercaya dan keluaran berhalusinasi. Setelah itu, untuk mengkuantifikasi kontribusi masing-masing neuron, peneliti melatih linear classifier dan menggunakannya untuk menghasilkan label biner yang memprediksi ada tidaknya halusinasi. Pendekatan ini menyediakan landasan untuk mengevaluasi secara jelas dampak fungsional H-Neurons.
Terakhir, penelitian ini berkontribusi pada pemahaman mekanisme neural neuron-neuron yang terkait dengan halusinasi dalam LLM, serta menyediakan landasan penting bagi pengembangan LLM yang lebih andal di masa depan. Temuan-temuan ini memberikan wawasan esensial bagi riset untuk meningkatkan keandalan LLM dan menjadi pijakan penting bagi arah penelitian selanjutnya.
Abstrak makalah
Large language model (LLM) sering menghasilkan halusinasi, yakni keluaran yang terdengar masuk akal tetapi tidak sesuai fakta, sehingga mengurangi keandalannya. Penelitian sebelumnya menelaah halusinasi dari perspektif makro seperti data pelatihan dan tujuan pelatihan, tetapi mekanisme mendasar pada tingkat neuron sebagian besar masih belum dieksplorasi. Dalam makalah ini, kami melakukan investigasi sistematis terhadap neuron yang terkait dengan halusinasi (H-Neurons) dalam LLM dari tiga perspektif: identifikasi, dampak perilaku, dan asal-usul. Dari sisi identifikasi, kami menunjukkan bahwa subset neuron yang sangat jarang, kurang dari $0.1%$ dari total neuron, dapat secara andal memprediksi kemunculan halusinasi, dengan generalisasi yang kuat di berbagai skenario. Dari sisi dampak perilaku, intervensi terkontrol mengungkap bahwa neuron-neuron ini terhubung secara kausal dengan perilaku over-compliance. Terkait asal-usulnya, kami menelusuri neuron-neuron ini kembali ke base model yang telah dipra-latih dan menemukan bahwa neuron-neuron tersebut tetap prediktif untuk deteksi halusinasi, yang menunjukkan bahwa mereka muncul selama pra-pelatihan. Temuan kami menjembatani pola perilaku makroskopis dengan mekanisme neural mikroskopis, serta menawarkan wawasan untuk mengembangkan LLM yang lebih andal.
> Large language models (LLMs) frequently generate hallucinations -- plausible but factually incorrect outputs -- undermining their reliability. While prior work has examined hallucinations from macroscopic perspectives such as training data and objectives, the underlying neuron-level mechanisms remain largely unexplored. In this paper, we conduct a systematic investigation into hallucination-associated neurons (H-Neurons) in LLMs from three perspectives: identification, behavioral impact, and origins. Regarding their identification, we demonstrate that a remarkably sparse subset of neurons (less than $0.1%$ of total neurons) can reliably predict hallucination occurrences, with strong generalization across diverse scenarios. In terms of behavioral impact, controlled interventions reveal that these neurons are causally linked to over-compliance behaviors. Concerning their origins, we trace these neurons back to the pre-trained base models and find that these neurons remain predictive for hallucination detection, indicating they emerge during pre-training. Our findings bridge macroscopic behavioral patterns with microscopic neural mechanisms, offering insights for developing more reliable LLMs.
Tautan makalah
https://arxiv.org/abs/2512.01797
Prediksi embedding berikutnya menciptakan vision learner yang kuat / Next-Embedding Prediction Makes Strong Vision Learners
Pengantar makalah
Self-supervised learning telah menjadi metodologi penting untuk mempelajari representasi dengan memanfaatkan dataset besar tanpa anotasi, dan belakangan berbagai pendekatan seperti contrastive learning dan self-distillation terus berkembang. Namun, metode-metode ini sering memerlukan batch besar atau memory bank, sementara objective rekonstruksi melalui decoder ringan juga mulai menunjukkan keterbatasannya. Sebagai alternatif, predictive representation learning diusulkan sebagai pendekatan yang memprediksi embedding semantik alih-alih input mentah, dan metode seperti JEPA (Just-Embedding Predictive Autoregression) mendapat banyak perhatian. Namun, JEPA berfokus pada representasi, sehingga encoder pra-pelatihan menghasilkan fitur yang kemudian dikonsumsi secara terpisah oleh modul downstream.
Dengan latar belakang ini, pendekatan Next-Embedding Predictive Autoregression (NEPA) yang diusulkan bekerja dengan memprediksi embedding patch masa depan berdasarkan embedding patch masa lalu, menggunakan causal masking dan teknik stop gradient. NEPA menitikberatkan pada pelatihan model agar langsung menjalankan tugas prediksi, alih-alih menghasilkan fitur untuk tugas downstream. Metodologi ini dibangun di atas arsitektur Transformer yang sederhana, dan menunjukkan performa tinggi melalui pra-pelatihan pada dataset ImageNet-1k. Yang terutama patut diperhatikan, performanya tetap kuat tanpa rekonstruksi piksel, token diskret, contrastive loss, maupun head khusus tugas.
NEPA mencapai akurasi top-1 sebesar 83.8% dan 85.3% pada ImageNet-1K masing-masing dengan backbone ViT-B dan ViT-L, serta dapat ditransfer secara efektif ke tugas semantic segmentation di ADE20K. Hasil-hasil ini menunjukkan bahwa NEPA dapat berkontribusi pada self-supervised learning visual sebagai alternatif yang sederhana, dapat diskalakan, dan berpotensi tidak bergantung pada modalitas. Riset NEPA memperlihatkan kemungkinan bahwa prediksi dapat secara langsung mendorong perilaku tugas, dan menjadi kontribusi penting yang membuka peluang penerapan di berbagai tugas vision ke depan.
Abstrak makalah (Abstract)
Terinspirasi oleh keberhasilan generative pretraining dalam natural language, kami menanyakan apakah prinsip yang sama dapat menghasilkan self-supervised visual learner yang kuat. Alih-alih melatih model untuk mengeluarkan fitur bagi penggunaan downstream, kami melatihnya untuk menghasilkan embedding agar dapat langsung menjalankan tugas prediksi. Studi ini mengeksplorasi pergeseran dari representasi pembelajaran menuju model pembelajaran. Secara khusus, model dilatih untuk memprediksi embedding patch masa depan dengan mengondisikan pada embedding patch masa lalu, menggunakan causal masking dan stop gradient. Kami menyebutnya Next-Embedding Predictive Autoregression (NEPA). Kami menunjukkan bahwa Transformer sederhana yang dipra-latih di ImageNet-1k dengan prediksi embedding berikutnya sebagai satu-satunya objective pembelajaran bekerja secara efektif. Tidak diperlukan rekonstruksi piksel, token diskret, contrastive loss, atau head khusus tugas. Formulasi ini mempertahankan kesederhanaan arsitektural dan skalabilitas tanpa memerlukan kompleksitas desain tambahan. NEPA mencapai hasil yang kuat di berbagai tugas, mencatat akurasi top-1 masing-masing 83.8% dan 85.3% di ImageNet-1K dengan backbone ViT-B dan ViT-L, serta ditransfer secara efektif ke semantic segmentation di ADE20K. Kami meyakini bahwa generative pretraining dari embedding memberikan alternatif yang sederhana, skalabel, dan berpotensi agnostik terhadap modalitas untuk self-supervised learning visual.
Inspired by the success of generative pretraining in natural language, we ask whether the same principles can yield strong self-supervised visual learners. Instead of training models to output features for downstream use, we train them to generate embeddings to perform predictive tasks directly. This work explores such a shift from learning representations to learning models. Specifically, models learn to predict future patch embeddings conditioned on past ones, using causal masking and stop gradient, which we refer to as Next-Embedding Predictive Autoregression (NEPA). We demonstrate that a simple Transformer pretrained on ImageNet-1k with next embedding prediction as its sole learning objective is effective - no pixel reconstruction, discrete tokens, contrastive loss, or task-specific heads. This formulation retains architectural simplicity and scalability, without requiring additional design complexity. NEPA achieves strong results across tasks, attaining 83.8% and 85.3% top-1 accuracy on ImageNet-1K with ViT-B and ViT-L backbones after fine-tuning, and transferring effectively to semantic segmentation on ADE20K. We believe generative pretraining from embeddings provides a simple, scalable, and potentially modality-agnostic alternative to visual self-supervised learning.
Tautan makalah
https://arxiv.org/abs/2512.16922
Baca lebih lanjut
Agen LLM dengan penalaran model-first: Mengurangi halusinasi melalui pemodelan masalah eksplisit / Model-First Reasoning LLM Agents: Reducing Hallucinations through Explicit Problem Modeling
Pengantar makalah
Large language model (LLM) cenderung menunjukkan tingkat pelanggaran kendala yang tinggi dan solusi yang tidak konsisten dalam tugas perencanaan kompleks multi-langkah. Strategi yang ada seperti Chain-of-Thought dan ReAct bergantung pada pelacakan status implisit, dan tidak mampu mengatasi keterbatasan ini karena kurangnya representasi masalah yang eksplisit. Studi ini mengusulkan paradigma dua tahap baru bernama Model-First Reasoning (MFR) yang terinspirasi dari perencanaan AI klasik. Dalam pendekatan ini, LLM terlebih dahulu membangun model masalah yang eksplisit, lalu menghasilkan rencana solusi berdasarkan model tersebut.
Melalui eksperimen di berbagai domain perencanaan, MFR menunjukkan peningkatan kepatuhan terhadap kendala dan kualitas solusi. Secara khusus, efektivitas MFR telah dibuktikan di beragam bidang seperti penjadwalan medis, perencanaan rute, alokasi sumber daya, teka-teki logika, dan sintesis prosedural. Studi ablation menekankan bahwa tahap pemodelan eksplisit sangat penting bagi capaian tersebut. Hasil penelitian ini menyiratkan bahwa kegagalan perencanaan LLM terutama berasal dari cacat representasi, bukan semata-mata keterbatasan penalaran, melainkan dari kurangnya representasi masalah.
MFR dibagi menjadi tahap menyusun model masalah yang eksplisit dan tahap menghasilkan solusi, dengan mendefinisikan entitas, variabel status, aksi, dan kendala. Pemodelan eksplisit ini membantu LLM memahami dan menyelesaikan masalah dengan cara yang lebih terstruktur. Studi ini memberikan landasan untuk mengatasi kegagalan representasi dalam tugas perencanaan dan penalaran berbasis LLM, serta menjadi kontribusi penting bagi agen AI yang andal. Semua prompt, prosedur evaluasi, dan dataset tugas didokumentasikan untuk mendorong reprodusibilitas dan menyediakan dasar bagi penelitian berikutnya.
Abstrak makalah (Abstract)
Large Language Models (LLM) sering kesulitan dalam tugas perencanaan kompleks bertahap banyak, dengan tingkat pelanggaran kendala yang tinggi dan solusi yang tidak konsisten. Strategi yang ada seperti Chain-of-Thought dan ReAct bergantung pada pelacakan status implisit dan tidak memiliki representasi masalah yang eksplisit. Terinspirasi dari perencanaan AI klasik, kami mengusulkan Model-First Reasoning (MFR), sebuah paradigma dua tahap di mana LLM terlebih dahulu membangun model eksplisit dari masalah, mendefinisikan entitas, variabel status, tindakan, dan kendala, sebelum menghasilkan rencana solusi. Di berbagai domain perencanaan, termasuk penjadwalan medis, perencanaan rute, alokasi sumber daya, teka-teki logika, dan sintesis prosedural, MFR mengurangi pelanggaran kendala dan meningkatkan kualitas solusi dibandingkan Chain-of-Thought dan ReAct. Studi ablasi menunjukkan bahwa fase pemodelan eksplisit sangat penting bagi peningkatan ini. Hasil kami menunjukkan bahwa banyak kegagalan perencanaan LLM berasal dari kekurangan representasi, bukan keterbatasan penalaran, sehingga menegaskan pemodelan eksplisit sebagai komponen kunci untuk agen AI yang tangguh dan dapat diinterpretasikan. Semua prompt, prosedur evaluasi, dan dataset tugas didokumentasikan untuk memudahkan reproduksibilitas.
> Large Language Models (LLMs) often struggle with complex multi-step planning tasks, showing high rates of constraint violations and inconsistent solutions. Existing strategies such as Chain-of-Thought and ReAct rely on implicit state tracking and lack an explicit problem representation. Inspired by classical AI planning, we propose Model-First Reasoning (MFR), a two-phase paradigm in which the LLM first constructs an explicit model of the problem, defining entities, state variables, actions, and constraints, before generating a solution plan. Across multiple planning domains, including medical scheduling, route planning, resource allocation, logic puzzles, and procedural synthesis, MFR reduces constraint violations and improves solution quality compared to Chain-of-Thought and ReAct. Ablation studies show that the explicit modeling phase is critical for these gains. Our results suggest that many LLM planning failures stem from representational deficiencies rather than reasoning limitations, highlighting explicit modeling as a key component for robust and interpretable AI agents. All prompts, evaluation procedures, and task datasets are documented to facilitate reproducibility.
Tautan makalah
https://arxiv.org/abs/2512.14474
Jangan sekadar mengandalkan konteks: pelatihan saat inferensi untuk LLM berkonteks panjang / Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs
Pengenalan makalah
Perkembangan Large Language Models (LLM) telah sangat meningkatkan kemampuan untuk memproses konteks panjang, tetapi tetap penting untuk mengatasi masalah bahwa model-model ini pada praktiknya belum dapat bekerja secara efektif pada konteks panjang. Studi ini menunjukkan bahwa metode pembuatan thinking tokens yang digunakan strategi waktu inferensi yang ada untuk meningkatkan performa memiliki keterbatasan akibat masalah score dilution. Score dilution terjadi karena karakteristik static self-attention, yang menurunkan akurasi model pada konteks panjang.
Untuk mengatasi masalah ini, studi ini mengusulkan metodologi baru bernama query-only test-time training (qTTT). qTTT mengatasi keterbatasan static self-attention melalui pembaruan gradien terarah terhadap konteks yang diberikan, dengan tujuan meningkatkan performa pada konteks panjang. Hasil eksperimen menunjukkan bahwa qTTT menawarkan pendekatan yang lebih efektif dibanding strategi waktu inferensi yang ada, serta menghasilkan peningkatan performa rata-rata masing-masing sebesar 12.6 dan 14.1 poin pada subset benchmark LongBench-v2 dan ZeroScrolls di model Qwen3-4B.
Penelitian ini menekankan bahwa peningkatan performa pada konteks panjang memerlukan sedikit pelatihan yang terspesialisasi untuk konteks tersebut, yang berarti pemanfaatan komputasi inferensi yang lebih baik. Pengenalan qTTT menghadirkan metode praktis untuk memaksimalkan performa LLM berkonteks panjang dan diharapkan membuka arah baru dalam penelitian pemrosesan konteks panjang di masa depan. Pendekatan inovatif ini tampaknya akan semakin memperluas kemungkinan pemanfaatan LLM dan berkontribusi pada peningkatan performa di berbagai bidang aplikasi.
Abstrak makalah
Kemajuan dalam strategi pelatihan dan arsitektur telah memungkinkan model bahasa besar (LLM) dengan panjang konteks mencapai jutaan token. Namun, bukti empiris menunjukkan bahwa LLM berkonteks panjang semacam ini dapat mengonsumsi jauh lebih banyak teks daripada yang benar-benar dapat mereka gunakan secara andal. Di sisi lain, telah ditunjukkan bahwa komputasi saat inferensi dapat digunakan untuk meningkatkan performa LLM, sering kali dengan menghasilkan thinking tokens, pada tugas-tugas menantang yang melibatkan penalaran multi-langkah. Melalui eksperimen terkontrol pada tugas sandbox konteks panjang, kami menemukan bahwa strategi saat inferensi semacam ini menunjukkan penurunan hasil yang sangat cepat dan gagal pada konteks panjang. Kami mengaitkan kegagalan ini dengan score dilution, sebuah fenomena yang melekat pada static self-attention. Lebih lanjut, kami menunjukkan bahwa strategi inferensi saat ini tidak dapat mengambil sinyal konteks panjang yang relevan dalam kondisi tertentu. Kami mengusulkan metode sederhana yang, melalui pembaruan gradien terarah pada konteks yang diberikan, secara terjamin mengatasi keterbatasan static self-attention. Kami menemukan bahwa perubahan cara komputasi saat inferensi digunakan ini menghasilkan peningkatan performa besar yang konsisten di berbagai model dan benchmark konteks panjang. Metode kami menghasilkan peningkatan besar masing-masing 12.6 dan 14.1 poin persentase untuk Qwen3-4B secara rata-rata pada subset benchmark LongBench-v2 dan ZeroScrolls. Kesimpulan praktisnya adalah: untuk konteks panjang, sedikit pelatihan yang spesifik terhadap konteks merupakan penggunaan komputasi inferensi yang lebih baik daripada strategi penskalaan saat inferensi saat ini seperti menghasilkan lebih banyak thinking tokens.
> Progress on training and architecture strategies has enabled LLMs with millions of tokens in context length. However, empirical evidence suggests that such long-context LLMs can consume far more text than they can reliably use. On the other hand, it has been shown that inference-time compute can be used to scale performance of LLMs, often by generating thinking tokens, on challenging tasks involving multi-step reasoning. Through controlled experiments on sandbox long-context tasks, we find that such inference-time strategies show rapidly diminishing returns and fail at long context. We attribute these failures to score dilution, a phenomenon inherent to static self-attention. Further, we show that current inference-time strategies cannot retrieve relevant long-context signals under certain conditions. We propose a simple method that, through targeted gradient updates on the given context, provably overcomes limitations of static self-attention. We find that this shift in how inference-time compute is spent leads to consistently large performance improvements across models and long-context benchmarks. Our method leads to large 12.6 and 14.1 percentage point improvements for Qwen3-4B on average across subsets of LongBench-v2 and ZeroScrolls benchmarks. The takeaway is practical: for long context, a small amount of context-specific training is a better use of inference compute than current inference-time scaling strategies like producing more thinking tokens.
Tautan makalah
https://arxiv.org/abs/2512.13898
Menstabilkan Reinforcement Learning dengan Memanfaatkan Large Language Models: Formulasi dan Praktik / Stabilizing Reinforcement Learning with LLMs: Formulation and Practices
Pengenalan makalah
Reinforcement Learning (RL) telah berhasil diterapkan di berbagai bidang, tetapi masalah ketidakstabilan selama proses pelatihan masih menjadi tantangan utama yang perlu diselesaikan. Studi ini mengusulkan metodologi baru untuk meningkatkan stabilitas RL dengan memanfaatkan Large Language Models (LLMs). Secara khusus, penelitian ini mengidentifikasi kondisi di mana tujuan tingkat token yang menggantikan reward tingkat sekuens dapat dioptimalkan melalui REINFORCE, sebuah metodologi policy gradient. Melalui aproksimasi orde pertama, ditunjukkan bahwa kondisi agar tujuan pengganti ini valid adalah ketika ketidakselarasan pelatihan-inferensi dan keusangan kebijakan diminimalkan.
Wawasan ini membantu menjelaskan dampak teknik seperti koreksi importance sampling, clipping, serta Routing Replay untuk model Mixture-of-Experts (MoE) terhadap stabilisasi pelatihan RL. Melalui eksperimen yang mencakup jutaan jam GPU menggunakan model 30B MoE, penelitian ini membuktikan bahwa algoritme policy gradient dasar dengan koreksi importance sampling dalam pelatihan on-policy mencapai stabilitas pelatihan tertinggi. Selain itu, ketika pembaruan off-policy diperkenalkan untuk mempercepat konvergensi, penelitian ini menekankan bahwa kombinasi clipping dan Routing Replay sangat penting untuk meredakan ketidakstabilan akibat keusangan kebijakan.
Setelah pelatihan distabilkan, penelitian ini menunjukkan bahwa optimasi berkelanjutan menghasilkan performa akhir yang konsisten terlepas dari metode inisialisasi. Temuan-temuan ini memberikan wawasan baru untuk pelatihan RL yang stabil dan meletakkan dasar penting yang dapat berkontribusi pada riset selanjutnya. Makalah ini menyajikan pendekatan inovatif untuk menstabilkan reinforcement learning dengan memanfaatkan large language models, serta memberikan kontribusi penting untuk mengatasi ketidakstabilan dalam pelatihan RL.
Abstrak makalah (Abstract)
Makalah ini mengusulkan formulasi baru untuk reinforcement learning (RL) dengan large language models (LLM), serta menjelaskan bagaimana dan dalam kondisi apa reward tingkat sekuens yang sebenarnya dapat dioptimalkan melalui objective tingkat token pengganti dalam metode policy gradient seperti REINFORCE. Secara spesifik, melalui aproksimasi orde pertama, kami menunjukkan bahwa pengganti ini menjadi semakin valid hanya ketika ketidakselarasan pelatihan-inferensi dan keusangan kebijakan sama-sama diminimalkan. Wawasan ini memberikan penjelasan yang berlandaskan prinsip atas peran krusial sejumlah teknik yang telah diadopsi luas dalam menstabilkan pelatihan RL, termasuk importance sampling correction, clipping, dan khususnya Routing Replay untuk model Mixture-of-Experts (MoE). Melalui eksperimen ekstensif menggunakan model 30B MoE yang menghabiskan ratusan ribu jam GPU, kami menunjukkan bahwa untuk pelatihan on-policy, algoritma policy gradient dasar dengan importance sampling correction mencapai stabilitas pelatihan tertinggi. Ketika pembaruan off-policy diperkenalkan untuk mempercepat konvergensi, kombinasi clipping dan Routing Replay menjadi esensial untuk mengurangi ketidakstabilan yang disebabkan oleh keusangan kebijakan. Secara khusus, setelah pelatihan distabilkan, optimisasi jangka panjang secara konsisten menghasilkan performa akhir yang sebanding terlepas dari inisialisasi cold-start. Kami berharap wawasan yang dibagikan dan resep yang dikembangkan untuk pelatihan RL yang stabil akan memudahkan riset di masa depan.
> This paper proposes a novel formulation for reinforcement learning (RL) with large language models, explaining why and under what conditions the true sequence-level reward can be optimized via a surrogate token-level objective in policy gradient methods such as REINFORCE. Specifically, through a first-order approximation, we show that this surrogate becomes increasingly valid only when both the training-inference discrepancy and policy staleness are minimized. This insight provides a principled explanation for the crucial role of several widely adopted techniques in stabilizing RL training, including importance sampling correction, clipping, and particularly Routing Replay for Mixture-of-Experts (MoE) models. Through extensive experiments with a 30B MoE model totaling hundreds of thousands of GPU hours, we show that for on-policy training, the basic policy gradient algorithm with importance sampling correction achieves the highest training stability. When off-policy updates are introduced to accelerate convergence, combining clipping and Routing Replay becomes essential to mitigate the instability caused by policy staleness. Notably, once training is stabilized, prolonged optimization consistently yields comparable final performance regardless of cold-start initialization. We hope that the shared insights and the developed recipes for stable RL training will facilitate future research.
Tautan makalah
https://arxiv.org/abs/2512.01374
Decoding Paralel Kausal yang Cepat dan Akurat menggunakan Jacobi Forcing / Fast and Accurate Causal Parallel Decoding using Jacobi Forcing
Pengantar makalah
Di tengah riset yang semakin aktif untuk meningkatkan kecepatan inferensi large language model, studi ini mengusulkan metodologi inovatif bernama Jacobi Forcing. Metodologi ini berfokus pada minimisasi latensi inferensi dengan memungkinkan decoding paralel pada model berbasis transformer melalui generasi multi-token. Pendekatan diffusion large language models (dLLMs) yang ada sebelumnya menunjukkan keterbatasan dalam peningkatan performa akibat ketidaksesuaian antara pre-training dan post-training. Secara khusus, dLLMs menggunakan bidirectional attention sehingga menimbulkan konflik dengan causal prior, dan hal ini menghambat penggunaan ulang key-value cache (KV cache) secara akurat.
Jacobi Forcing adalah paradigma distilasi bertahap yang membuat model belajar dari jalur decoding paralel yang dihasilkannya sendiri, sehingga dapat bertransformasi menjadi decoder paralel yang efisien sambil tetap mempertahankan sifat inferensi kausal yang telah dipelajari saat pre-training. Model Jacobi Forcing yang dilatih dengan metode ini mencapai peningkatan kecepatan wall-clock sebesar 3,8x pada benchmark coding dan matematika, dengan kehilangan performa yang minimal. Selain itu, studi ini memperkenalkan multi-block decoding melalui rejection recycling, yang memungkinkan throughput token hingga 4,5x lebih tinggi pada setiap iterasi dan menghasilkan peningkatan kecepatan wall-clock hampir 4,0x.
Riset ini menghadirkan metodologi yang memungkinkan decoding paralel efisien sekaligus mempertahankan sifat inferensi kausal dari model AR melalui Jacobi Forcing, serta menunjukkan potensi untuk secara drastis meningkatkan kecepatan inferensi large language model. Pendekatan ini memiliki potensi besar untuk meningkatkan efisiensi model di bidang natural language processing (NLP) dan diharapkan memberi kontribusi penting bagi riset selanjutnya.
Abstrak makalah
Generasi multi-token telah muncul sebagai paradigma yang menjanjikan untuk mempercepat inferensi model besar berbasis transformer. Upaya terkini terutama mengeksplorasi diffusion Large Language Models (dLLMs) untuk decoding paralel guna mengurangi latensi inferensi. Untuk mencapai kualitas generasi setara AR, banyak teknik mengadaptasi model AR menjadi dLLM agar decoding paralel dimungkinkan. Namun, metode-metode ini mengalami peningkatan kecepatan yang terbatas dibandingkan model AR karena adanya ketidakselarasan antara prapelatihan dan pascapelatihan. Secara spesifik, distribusi data yang dimasking pada pascapelatihan sangat berbeda dari distribusi data dunia nyata yang terlihat selama prapelatihan, dan dLLM bergantung pada perhatian dua arah, yang bertentangan dengan prior kausal yang dipelajari selama prapelatihan serta menghambat integrasi penggunaan ulang cache KV yang presisi. Untuk mengatasi hal ini, kami memperkenalkan Jacobi Forcing. Ini adalah paradigma distilasi progresif di mana model dilatih pada trajektori decoding paralel yang dihasilkannya sendiri, sehingga secara mulus menggeser model AR menjadi decoder paralel yang efisien sambil mempertahankan sifat inferensi kausal hasil prapelatihan. Model yang dilatih di bawah paradigma ini, Jacobi Forcing Model, mencapai percepatan wall-clock 3,8x pada benchmark coding dan matematika dengan kehilangan performa yang minimal. Berdasarkan karakteristik trajektori Jacobi Forcing Models, kami memperkenalkan multi-block decoding dengan rejection recycling, yang memungkinkan hingga 4,5x jumlah penerimaan token lebih tinggi per iterasi dan hampir 4,0x percepatan wall-clock, secara efektif menukar komputasi tambahan dengan latensi inferensi yang lebih rendah. Kode kami tersedia di https://github.com/hao-ai-lab/JacobiForcing.
> Multi-token generation has emerged as a promising paradigm for accelerating transformer-based large model inference. Recent efforts primarily explore diffusion Large Language Models (dLLMs) for parallel decoding to reduce inference latency. To achieve AR-level generation quality, many techniques adapt AR models into dLLMs to enable parallel decoding. However, they suffer from limited speedup compared to AR models due to a pretrain-to-posttrain mismatch. Specifically, the masked data distribution in post-training deviates significantly from the real-world data distribution seen during pretraining, and dLLMs rely on bidirectional attention, which conflicts with the causal prior learned during pretraining and hinders the integration of exact KV cache reuse. To address this, we introduce Jacobi Forcing, a progressive distillation paradigm where models are trained on their own generated parallel decoding trajectories, smoothly shifting AR models into efficient parallel decoders while preserving their pretrained causal inference property. The models trained under this paradigm, Jacobi Forcing Model, achieves 3.8x wall-clock speedup on coding and math benchmarks with minimal loss in performance. Based on Jacobi Forcing Models' trajectory characteristics, we introduce multi-block decoding with rejection recycling, which enables up to 4.5x higher token acceptance count per iteration and nearly 4.0x wall-clock speedup, effectively trading additional compute for lower inference latency. Our code is available at https://github.com/hao-ai-lab/JacobiForcing.
Tautan makalah
https://arxiv.org/abs/2512.14681
Baca lebih lanjut
https://github.com/hao-ai-lab/JacobiForcing
Dampak Large Language Model (LLM): Taksonomi dan Diskusi / LLM Harms: A Taxonomy and Discussion
Pengantar makalah
Ini adalah studi yang membahas kategori dampak buruk yang terkait dengan Large Language Model (LLM). Studi ini mengajukan lima kategori dampak yang dapat muncul sebelum, selama, dan setelah pengembangan aplikasi AI: pra-pengembangan, keluaran langsung, penyalahgunaan dan aplikasi berbahaya, serta aplikasi hilir. Studi ini menekankan perlunya mendefinisikan risiko dalam lanskap saat ini, serta menyajikan cara untuk mengelola akuntabilitas, transparansi, dan bias. Selain itu, studi ini mengusulkan strategi mitigasi untuk domain tertentu dan arah ke depan, serta mencakup proposal terstandarisasi yang memandu sistem audit dinamis untuk pengembangan dan integrasi LLM yang bertanggung jawab.
Abstrak makalah(Abstract)
Studi ini membahas kategori dampak buruk seputar Large Language Models (LLMs) dalam bidang kecerdasan buatan. Ini mencakup lima kategori dampak yang ditangani sebelum, selama, dan setelah pengembangan aplikasi AI: pra-pengembangan, keluaran langsung, penyalahgunaan dan aplikasi berbahaya, serta aplikasi hilir. Dengan menekankan perlunya mendefinisikan risiko dalam lanskap saat ini untuk memastikan akuntabilitas, transparansi, dan penanganan bias saat menyesuaikan LLM untuk aplikasi praktis. Studi ini mengusulkan strategi mitigasi dan arah ke depan untuk domain tertentu, serta sistem audit dinamis yang memandu pengembangan dan integrasi LLM yang bertanggung jawab dalam sebuah proposal terstandarisasi.
> This study addresses categories of harm surrounding Large Language Models (LLMs) in the field of artificial intelligence. It addresses five categories of harms addressed before, during, and after development of AI applications: pre-development, direct output, Misuse and Malicious Application, and downstream application. By underscoring the need to define risks of the current landscape to ensure accountability, transparency and navigating bias when adapting LLMs for practical applications. It proposes mitigation strategies and future directions for specific domains and a dynamic auditing system guiding responsible development and integration of LLMs in a standardized proposal.
Tautan makalah
https://arxiv.org/abs/2512.05929
⚠️Iklan⚠️: Apakah tulisan yang dirangkum oleh 🔥PyTorch Korea User Group🇰🇷 ini bermanfaat? Jika Anda bergabung sebagai anggota, kami akan mengirimkan tulisan-tulisan utama lewat email💌! (Default-nya Weekly, tetapi bisa diubah ke Daily.)
Belum ada komentar.