[2025/08/18 ~ 24] Kumpulan Paper AI/ML yang Layak Disimak Pekan Ini
(discuss.pytorch.kr)[2025/08/18 ~ 24] Kumpulan Paper AI/ML yang Layak Disimak Pekan Ini
PyTorchKR🔥🇰🇷 🤔💭
1️⃣ Dari paper-paper yang dipilih minggu ini, kita bisa melihat beberapa tren utama. Yang pertama adalah upaya untuk sekaligus mengoptimalkan efisiensi dan performa model bahasa skala besar yang semakin menonjol. Sejumlah paper mengusulkan berbagai pendekatan untuk meningkatkan kinerja model; misalnya, DeepConf dan Avengers-Pro menunjukkan upaya menyeimbangkan performa dan biaya dengan memanfaatkan sinyal kepercayaan internal model atau melalui framework routing yang efisien. Pendekatan seperti ini mencerminkan minat para peneliti untuk memaksimalkan performa sambil mengurangi biaya komputasi tinggi, khususnya pada model berukuran besar.
2️⃣ Yang kedua membahas dampak negatif model bahasa dengan respons emosional terhadap keandalan. Salah satu paper menunjukkan bahwa model yang dioptimalkan untuk memberikan respons hangat dan empatik justru dapat menurunkan reliabilitas, dan ini menjadi isu yang perlu diperhatikan lebih serius ketika sistem AI memainkan peran penting dalam hubungan dengan manusia. Riset semacam ini memberikan kontribusi penting dalam mempertimbangkan tanggung jawab sosial dan aspek etika AI.
3️⃣ Yang ketiga berkaitan dengan kemajuan dalam pemahaman video dan pemrosesan multimodal. Paper-paper terbaru mengusulkan metodologi baru untuk memproses dan memahami data video secara efektif, yang menunjukkan upaya untuk mengeksplorasi interaksi antara video dan teks secara lebih mendalam. Riset seperti Infinite Video Understanding dan GLIMPSE bergerak ke arah melampaui sekadar analisis frame agar model benar-benar dapat melakukan penalaran atas video. Tren ini diharapkan akan membuka beragam kemungkinan aplikasi seiring perkembangan AI multimodal.
Berpikir Mendalam dengan Keyakinan / Deep Think with Confidence
Perkenalan paper
Berpikir Mendalam dengan Keyakinan (DeepConf; Deep Think with Confidence) adalah metode baru yang dirancang untuk meningkatkan efisiensi dan performa tugas penalaran pada large language model (LLM) tanpa pelatihan tambahan maupun penyesuaian hyperparameter. Dengan memanfaatkan sinyal kepercayaan internal, DeepConf secara efektif menyaring jejak penalaran berkualitas rendah sehingga dapat meningkatkan akurasi secara signifikan sekaligus mengurangi overhead komputasi. Hasil evaluasi pada berbagai tugas penalaran, termasuk benchmark seperti AIME 2025, menunjukkan bahwa DeepConf mampu mencapai akurasi hingga 99,9% sambil mengurangi token yang dihasilkan hingga 84,7% dibandingkan metode sebelumnya. Pendekatan ini juga mudah diintegrasikan ke framework serving yang sudah ada, sehingga berpotensi menjadi solusi praktis untuk meningkatkan performa LLM.
Abstrak paper (Abstract)
Large language model (LLM) telah menunjukkan potensi besar dalam tugas penalaran melalui metode test-time scaling seperti self-consistency dengan majority voting. Namun, pendekatan ini sering menyebabkan diminishing return pada akurasi dan overhead komputasi yang tinggi. Untuk mengatasi tantangan tersebut, kami memperkenalkan Deep Think with Confidence (DeepConf), sebuah metode yang sederhana namun kuat untuk meningkatkan efisiensi dan performa penalaran pada saat inferensi. DeepConf memanfaatkan sinyal kepercayaan internal model untuk secara dinamis menyaring jejak penalaran berkualitas rendah selama atau setelah generasi. Metode ini tidak memerlukan pelatihan model tambahan maupun penyesuaian hyperparameter, dan dapat diintegrasikan secara mulus ke framework serving yang sudah ada. Kami mengevaluasi DeepConf pada berbagai tugas penalaran dan model open-source terbaru, termasuk seri Qwen 3 dan GPT-OSS. Secara khusus, pada benchmark menantang seperti AIME 2025, DeepConf@512 mencapai akurasi hingga 99,9% dan mengurangi jumlah token yang dihasilkan hingga 84,7% dibandingkan full parallel thinking.
Large Language Models (LLMs) have shown great potential in reasoning tasks through test-time scaling methods like self-consistency with majority voting. However, this approach often leads to diminishing returns in accuracy and high computational overhead. To address these challenges, we introduce Deep Think with Confidence (DeepConf), a simple yet powerful method that enhances both reasoning efficiency and performance at test time. DeepConf leverages model-internal confidence signals to dynamically filter out low-quality reasoning traces during or after generation. It requires no additional model training or hyperparameter tuning and can be seamlessly integrated into existing serving frameworks. We evaluate DeepConf across a variety of reasoning tasks and the latest open-source models, including Qwen 3 and GPT-OSS series. Notably, on challenging benchmarks such as AIME 2025, DeepConf@512 achieves up to 99.9% accuracy and reduces generated tokens by up to 84.7% compared to full parallel thinking.
Tautan paper
https://arxiv.org/abs/2508.15260
Baca lebih lanjut
https://discuss.pytorch.kr/t/thinkmesh-llm-python/7575
Melampaui GPT-5: Menjadikan LLM Lebih Murah dan Lebih Baik lewat Routing yang Dioptimalkan untuk Performa-Efisiensi / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
![[IMG] Melampaui GPT-5: Menjadikan LLM Lebih Murah dan Lebih Baik lewat Routing yang Dioptimalkan untuk Performa-Efisiensi / Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing|997x448](upload://x4KIsqweg38Zefgu5QdaHoaH36u.png){kind=link}
Perkenalan paper
Menyeimbangkan perkembangan performa dan efisiensi large language model (LLM) merupakan tantangan yang penting. Avengers-Pro adalah framework routing pada saat inferensi yang mengelompokkan LLM dengan kapasitas dan efisiensi yang beragam, lalu merutekan kueri ke model yang sesuai berdasarkan skor performa-efisiensi optimal. Metode ini mencapai hasil state-of-the-art pada 6 benchmark menantang dan 8 model utama, dan dengan menyesuaikan parameter trade-off performa-efisiensi, mampu meningkatkan akurasi rata-rata sebesar +7% dibanding GPT-5-medium. Selain itu, metode ini mencapai pareto frontier yang secara konsisten memberikan akurasi terbaik terhadap biaya, seperti menyamai akurasi rata-rata model tunggal terkuat dengan biaya 27% lebih rendah, serta mencapai sekitar 90% performa dengan biaya 63% lebih rendah.
Abstrak paper (Abstract)
Menyeimbangkan performa dan efisiensi merupakan tantangan utama dalam pengembangan large language model (LLM). GPT-5 mengatasinya dengan test-time routing, yang secara dinamis mengalokasikan kueri ke model yang efisien atau model berkapasitas tinggi selama inferensi. Dalam penelitian ini, kami memperkenalkan Avengers-Pro, kerangka test-time routing yang mengensemble LLM dengan kapasitas dan efisiensi yang beragam untuk menyediakan solusi terpadu bagi seluruh trade-off performa-efisiensi. Avengers-Pro melakukan embedding dan clustering pada kueri yang masuk, lalu merutekan tiap kueri ke model yang paling sesuai berdasarkan skor performa-efisiensi. Melalui 6 benchmark yang menantang dan 8 model terkemuka — termasuk GPT-5-medium, Gemini-2.5-pro, dan Claude-opus-4.1 — Avengers-Pro mencapai hasil state-of-the-art. Dengan menyesuaikan parameter trade-off performa-efisiensi, sistem ini dapat melampaui model tunggal terkuat (GPT-5-medium) sebesar +7% dalam akurasi rata-rata. Selain itu, sistem ini dapat menyamai akurasi rata-rata model tunggal terkuat dengan biaya 27% lebih rendah, dan mencapai sekitar 90% dari performa tersebut dengan biaya 63% lebih rendah. Terakhir, Avengers-Pro mencapai Pareto frontier dengan secara konsisten memberikan akurasi tertinggi untuk biaya tertentu, serta biaya terendah untuk akurasi tertentu, dibandingkan semua model tunggal. Kode tersedia di https://github.com/ZhangYiqun018/AvengersPro.
Balancing performance and efficiency is a central challenge in large language model (LLM) advancement. GPT-5 addresses this with test-time routing, dynamically assigning queries to either an efficient or a high-capacity model during inference. In this work, we present Avengers-Pro, a test-time routing framework that ensembles LLMs of varying capacities and efficiencies, providing a unified solution for all performance-efficiency tradeoffs. The Avengers-Pro embeds and clusters incoming queries, then routes each to the most suitable model based on a performance-efficiency score. Across 6 challenging benchmarks and 8 leading models -- including GPT-5-medium, Gemini-2.5-pro, and Claude-opus-4.1 -- Avengers-Pro achieves state-of-the-art results: by varying a performance-efficiency trade-off parameter, it can surpass the strongest single model (GPT-5-medium) by +7% in average accuracy. Moreover, it can match the average accuracy of the strongest single model at 27% lower cost, and reach ~90% of that performance at 63% lower cost. Last but not least, it achieves a Pareto frontier, consistently yielding the highest accuracy for any given cost, and the lowest cost for any given accuracy, among all single models. Code is available at https://github.com/ZhangYiqun018/AvengersPro.
Tautan paper
https://arxiv.org/abs/2508.12631
Baca lebih lanjut
https://github.com/ZhangYiqun018/AvengersPro
Retrieval-augmented reasoning dengan model bahasa ringan / Retrieval-augmented reasoning with lean language models
Pengantar paper
Penelitian ini mengusulkan pendekatan baru yang menggabungkan penalaran dan retrieval-augmented generation (RAG) di dalam arsitektur model bahasa ringan. Sementara sistem RAG konvensional bergantung pada model skala besar dan API eksternal, penelitian ini menjawab kebutuhan akan solusi berperforma tinggi yang dapat diterapkan pada lingkungan dengan keterbatasan sumber daya atau kebutuhan keamanan. Kami mengembangkan agen percakapan retrieval-augmented yang menggunakan model backbone ringan untuk menafsirkan kueri kompleks dan spesifik domain, yang bekerja dengan mengintegrasikan dense retriever dan model Qwen2.5-Instruct. Hasil evaluasi menunjukkan bahwa pendekatan fine-tuning spesifik domain secara signifikan meningkatkan akurasi dan konsistensi jawaban, sehingga cocok untuk deployment lokal sekaligus mendekati performa state-of-the-art.
Abstrak paper
Studi ini menjelaskan secara rinci pendekatan baru untuk menggabungkan penalaran dan retrieval-augmented generation (RAG) dalam satu arsitektur model bahasa yang ringkas. Sementara sistem RAG yang ada umumnya bergantung pada model berskala besar dan API eksternal, penelitian ini menjawab meningkatnya kebutuhan akan solusi berperforma tinggi dan menjaga privasi yang dapat diterapkan di lingkungan dengan sumber daya terbatas atau lingkungan aman. Dengan memanfaatkan perkembangan terbaru dalam test-time scaling dan model penalaran skala kecil, kami mengembangkan agen percakapan berbasis retrieval augmentation yang mampu menafsirkan kueri kompleks dan spesifik domain menggunakan model backbone yang ringan. Sistem kami mengintegrasikan dense retriever dengan model Qwen2.5-Instruct yang telah di-fine-tune, dengan memanfaatkan pembuatan kueri sintetis dan jejak penalaran yang diturunkan dari model frontier (misalnya DeepSeek-R1) pada korpus terkurasi, dalam hal ini halaman kondisi NHS A-to-Z. Kami mengeksplorasi dampak kompresi dokumen berbasis peringkasan, perancangan data sintetis, dan fine-tuning yang sadar penalaran terhadap kinerja model. Melalui evaluasi terhadap model ringkas non-penalaran maupun model ringkas tujuan umum, kami menunjukkan bahwa pendekatan fine-tuning spesifik domain kami menghasilkan peningkatan besar dalam akurasi dan konsistensi jawaban, mendekati performa tingkat frontier sambil tetap layak untuk deployment lokal. Semua detail implementasi dan kode dirilis secara publik untuk mendukung reproduktibilitas dan adaptasi lintas domain.
This technical report details a novel approach to combining reasoning and retrieval augmented generation (RAG) within a single, lean language model architecture. While existing RAG systems typically rely on large-scale models and external APIs, our work addresses the increasing demand for performant and privacy-preserving solutions deployable in resource-constrained or secure environments. Building on recent developments in test-time scaling and small-scale reasoning models, we develop a retrieval augmented conversational agent capable of interpreting complex, domain-specific queries using a lightweight backbone model. Our system integrates a dense retriever with fine-tuned Qwen2.5-Instruct models, using synthetic query generation and reasoning traces derived from frontier models (e.g., DeepSeek-R1) over a curated corpus, in this case, the NHS A-to-Z condition pages. We explore the impact of summarisation-based document compression, synthetic data design, and reasoning-aware fine-tuning on model performance. Evaluation against both non-reasoning and general-purpose lean models demonstrates that our domain-specific fine-tuning approach yields substantial gains in answer accuracy and consistency, approaching frontier-level performance while remaining feasible for local deployment. All implementation details and code are publicly released to support reproducibility and adaptation across domains.
Tautan paper
https://arxiv.org/abs/2508.11386
Melatih model bahasa agar hangat dan empatik membuatnya kurang andal dan lebih suka menjilat / Training language models to be warm and empathetic makes them less reliable and more sycophantic
Pengenalan paper
Melatih model bahasa dengan kepribadian yang hangat dan empatik tampak seperti cara untuk memberikan pengalaman yang lebih baik bagi pengguna, tetapi hal ini menimbulkan trade-off besar yang dapat menurunkan keandalan. Hasil penelitian menunjukkan bahwa model yang dilatih untuk menghasilkan respons hangat menunjukkan tingkat kesalahan yang 10% hingga 30% lebih tinggi pada tugas yang safety-critical, serta cenderung memberikan informasi faktual yang salah atau saran medis yang bermasalah. Secara khusus, ketika kesedihan diekspresikan dalam pesan pengguna, model lebih sering mengonfirmasi keyakinan yang keliru. Fenomena ini muncul secara konsisten di berbagai arsitektur model, yang mengindikasikan bahwa praktik evaluasi saat ini mungkin gagal mendeteksi risiko sistematis semacam ini.
Abstrak paper
Pengembang kecerdasan buatan (AI) semakin banyak membangun model bahasa dengan persona yang hangat dan empatik, yang kini digunakan jutaan orang untuk meminta saran, terapi, dan pendampingan. Di sini, kami menunjukkan bahwa pendekatan ini menciptakan trade-off yang signifikan: mengoptimalkan model bahasa untuk kehangatan justru melemahkan keandalannya, terutama ketika pengguna mengekspresikan kerentanan. Kami melakukan eksperimen terkontrol pada lima model bahasa dengan ukuran dan arsitektur yang beragam, melatih model-model ini untuk menghasilkan respons yang lebih hangat dan empatik, lalu mengevaluasinya pada tugas-tugas yang kritis terhadap keselamatan. Model yang hangat menunjukkan tingkat kesalahan yang jauh lebih tinggi (+10 hingga +30 poin persentase) dibandingkan model aslinya, dengan kecenderungan mendorong teori konspirasi, memberikan informasi faktual yang keliru, dan menawarkan saran medis yang bermasalah. Model-model ini juga secara signifikan lebih mungkin memvalidasi keyakinan pengguna yang salah, khususnya ketika pesan pengguna mengekspresikan kesedihan. Yang penting, efek-efek ini muncul secara konsisten pada arsitektur model yang berbeda, dan terjadi meskipun performa pada benchmark standar tetap terjaga, sehingga mengungkap risiko sistematis yang mungkin gagal dideteksi oleh praktik evaluasi saat ini. Seiring sistem AI mirip manusia dikerahkan pada skala yang belum pernah terjadi sebelumnya, temuan kami menunjukkan perlunya meninjau ulang cara kita mengembangkan dan mengawasi sistem-sistem ini yang sedang membentuk ulang hubungan antarmanusia dan interaksi sosial.
Pengembang kecerdasan buatan (AI) semakin banyak membangun model bahasa dengan persona yang hangat dan empatik, yang kini digunakan jutaan orang untuk meminta saran, terapi, dan pendampingan. Di sini, kami menunjukkan bagaimana hal ini menciptakan trade-off yang signifikan: mengoptimalkan model bahasa untuk kehangatan melemahkan keandalannya, terutama ketika pengguna mengekspresikan kerentanan. Kami melakukan eksperimen terkontrol pada lima model bahasa dengan ukuran dan arsitektur yang bervariasi, melatihnya untuk menghasilkan respons yang lebih hangat dan empatik, lalu mengevaluasinya pada tugas-tugas yang kritis terhadap keselamatan. Model yang hangat menunjukkan tingkat kesalahan yang jauh lebih tinggi (+10 hingga +30 poin persentase) dibandingkan model aslinya, dengan mendorong teori konspirasi, memberikan informasi faktual yang salah, dan menawarkan saran medis yang bermasalah. Model-model ini juga secara signifikan lebih mungkin memvalidasi keyakinan pengguna yang keliru, terutama ketika pesan pengguna mengekspresikan kesedihan. Yang penting, efek-efek ini konsisten di berbagai arsitektur model, dan terjadi meskipun performa pada benchmark standar tetap terjaga, sehingga mengungkap risiko sistematis yang mungkin gagal dideteksi oleh praktik evaluasi saat ini. Seiring sistem AI mirip manusia dikerahkan pada skala yang belum pernah terjadi sebelumnya, temuan kami menunjukkan perlunya memikirkan ulang cara kita mengembangkan dan mengawasi sistem-sistem ini yang sedang membentuk ulang hubungan antarmanusia dan interaksi sosial.
Tautan paper
https://arxiv.org/abs/2507.21919
GEPA: Evolusi Prompt Reflektif Dapat Mengungguli Reinforcement Learning / GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
Pengantar paper
GEPA (Genetic-Pareto) adalah metodologi optimasi prompt yang memanfaatkan keterinterpretasian bahasa untuk meningkatkan pelatihan large language model (LLM), dan dikontraskan dengan pendekatan reinforcement learning (RL) tradisional yaitu Group Relative Policy Optimization (GRPO). Dengan mengambil sampel system-level tracker dan merefleksikannya dalam bahasa alami, GEPA dapat mendiagnosis masalah secara efektif dan mengusulkan pembaruan prompt, sembari mengintegrasikan insight yang diperoleh dari pengalamannya sendiri. Metode ini secara signifikan mengurangi jumlah rollout yang dibutuhkan dan mencapai peningkatan performa rata-rata sebesar 10% dibandingkan GRPO, serta menunjukkan performa lebih dari 10% lebih baik daripada MIPROv2, alat optimasi prompt terdepan. Selain itu, GEPA juga menunjukkan potensi sebagai strategi yang efektif untuk optimasi kode pada saat inferensi.
Abstrak paper
Model bahasa besar (LLM) semakin banyak diadaptasi ke berbagai tugas downstream melalui metode reinforcement learning (RL) seperti Group Relative Policy Optimization (GRPO), yang sering kali membutuhkan ribuan rollout untuk mempelajari tugas baru. Kami berpendapat bahwa sifat bahasa yang dapat diinterpretasikan sering kali dapat memberikan media pembelajaran yang jauh lebih kaya bagi LLM dibandingkan policy gradient yang diturunkan dari reward skalar yang jarang. Untuk menguji hal ini, kami memperkenalkan GEPA (Genetic-Pareto), sebuah prompt optimizer yang secara menyeluruh mengintegrasikan refleksi bahasa alami untuk mempelajari aturan tingkat tinggi melalui trial and error. Dengan diberikan sistem AI apa pun yang berisi satu atau lebih prompt LLM, GEPA mengambil sampel trajectory tingkat sistem (misalnya penalaran, pemanggilan tool, dan output tool) lalu merefleksikannya dalam bahasa alami untuk mendiagnosis masalah, mengusulkan dan menguji pembaruan prompt, serta menggabungkan pelajaran komplementer dari Pareto frontier hasil percobaannya sendiri. Hasil dari desain GEPA adalah bahwa bahkan hanya dengan beberapa rollout saja, metode ini sering kali dapat menghasilkan peningkatan kualitas yang besar. Di empat tugas, GEPA melampaui GRPO dengan rata-rata lebih dari 10% dan hingga 20%, sambil menggunakan rollout hingga 35 kali lebih sedikit. GEPA juga melampaui prompt optimizer terdepan, MIPROv2, lebih dari 10% pada dua LLM, dan menunjukkan hasil yang menjanjikan sebagai strategi pencarian saat inference untuk optimisasi kode.
Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.
Tautan paper
https://arxiv.org/abs/2507.19457
GLIMPSE: Apakah model vision-language besar benar-benar memahami dan bernalar dengan video, atau hanya sekadar melihat sekilas? / GLIMPSE: Do Large Vision-Language Models Truly Think With Videos or Just Glimpse at Them?
Pengantar paper
GLIMPSE adalah benchmark yang dirancang untuk mengevaluasi apakah large vision-language model (LVLM) dapat memahami dan bernalar secara mendalam atas keseluruhan video. Untuk mengatasi masalah pada tolok ukur evaluasi video yang sudah ada, di mana jawaban sering kali bisa diberikan hanya dengan beberapa frame kunci sehingga sulit menilai kemampuan penalaran spatio-temporal model yang sebenarnya, GLIMPSE mencakup 3.269 video, 11 kategori, dan lebih dari 4.342 pertanyaan yang berpusat pada visual. Pertanyaan-pertanyaan ini dirancang agar hanya dapat dijawab dengan menonton keseluruhan video dan melakukan pemikiran secara menyeluruh, dan dalam evaluasi manusia menunjukkan akurasi tinggi sebesar 94,82%. Sebaliknya, bahkan LVLM dengan performa terbaik saat ini, GPT-o3, hanya mencapai 66,43%, yang menunjukkan bahwa model masih kesulitan melampaui analisis yang dangkal menuju pemikiran mendalam berbasis video.
Abstrak paper
Benchmark video yang ada sering kali mirip dengan benchmark berbasis gambar, dengan tipe pertanyaan seperti “Apa tindakan yang dilakukan orang tersebut sepanjang video?” atau “Apa warna gaun perempuan dalam video itu?” Untuk pertanyaan seperti ini, model sering kali bisa menjawab hanya dengan memindai beberapa frame kunci, tanpa penalaran temporal yang mendalam. Hal ini membatasi kemampuan kita untuk menilai apakah large vision-language models (LVLM) benar-benar dapat berpikir dengan video, alih-alih hanya melakukan analisis dangkal pada level frame. Untuk mengatasi hal ini, kami memperkenalkan GLIMPSE, sebuah benchmark yang secara khusus dirancang untuk mengevaluasi apakah LVLM benar-benar dapat berpikir dengan video. Berbeda dari benchmark sebelumnya, GLIMPSE menekankan pemahaman video yang komprehensif melampaui petunjuk gambar statis. GLIMPSE terdiri dari 3.269 video dan lebih dari 4.342 pertanyaan yang sangat berfokus pada aspek visual di 11 kategori, termasuk analisis lintasan, penalaran temporal, dan deteksi forensik. Semua pertanyaan disusun dengan cermat oleh anotator manusia dan mengharuskan penonton melihat seluruh video serta menalar berdasarkan konteks video secara menyeluruh—itulah yang kami maksud dengan berpikir dengan video. Pertanyaan-pertanyaan ini tidak dapat dijawab dengan memindai frame tertentu atau hanya mengandalkan teks. Dalam evaluasi manusia, GLIMPSE mencapai akurasi 94,82%, tetapi LVLM saat ini menghadapi tantangan yang signifikan. Bahkan model dengan performa terbaik, GPT-o3, hanya mencapai 66,43%, yang menegaskan bahwa LVLM masih kesulitan melampaui penalaran tingkat permukaan untuk benar-benar berpikir dengan video.
Existing video benchmarks often resemble image-based benchmarks, with question types like "What actions does the person perform throughout the video?" or "What color is the woman's dress in the video?" For these, models can often answer by scanning just a few key frames, without deep temporal reasoning. This limits our ability to assess whether large vision-language models (LVLMs) can truly think with videos rather than perform superficial frame-level analysis. To address this, we introduce GLIMPSE, a benchmark specifically designed to evaluate whether LVLMs can genuinely think with videos. Unlike prior benchmarks, GLIMPSE emphasizes comprehensive video understanding beyond static image cues. It consists of 3,269 videos and over 4,342 highly visual-centric questions across 11 categories, including Trajectory Analysis, Temporal Reasoning, and Forensics Detection. All questions are carefully crafted by human annotators and require watching the entire video and reasoning over full video context-this is what we mean by thinking with video. These questions cannot be answered by scanning selected frames or relying on text alone. In human evaluations, GLIMPSE achieves 94.82% accuracy, but current LVLMs face significant challenges. Even the best-performing model, GPT-o3, reaches only 66.43%, highlighting that LVLMs still struggle to move beyond surface-level reasoning to truly think with videos.
Tautan paper
https://arxiv.org/abs/2507.09491
Pemahaman Video Tak Terbatas / Infinite Video Understanding
Pengantar paper
Kemajuan terbaru pada large language model (LLM) dan model perluasan multimodal (MLLM) telah secara signifikan meningkatkan teknologi pemahaman video, tetapi pemrosesan video panjang berdurasi beberapa menit hingga berjam-jam masih menghadapi keterbatasan komputasi dan memori. Riset sebelumnya telah mengusulkan desain arsitektur yang efisien (Video-XL-2) dan teknik positional encoding untuk persepsi spatio-temporal jangka panjang (HoPE, VideoRoPE++), tetapi menjaga konsistensi temporal dalam urutan panjang, melacak peristiwa yang kompleks, dan mempertahankan informasi yang detail masih menjadi tantangan yang belum terselesaikan. Paper ini mengajukan ‘pemahaman video tak terbatas (Infinite Video Understanding)’—yakni pemrosesan dan pemahaman video berdurasi tak terbatas secara berkelanjutan—sebagai tujuan utama riset masa depan, dan untuk mencapainya mengusulkan berbagai arah penelitian inovatif seperti arsitektur streaming, memori persisten, representasi hierarkis dan adaptif, penalaran berpusat pada peristiwa, serta metodologi evaluasi baru. Arah ini diharapkan dapat mendorong perubahan paradigma dalam pemrosesan video jangka panjang di seluruh bidang multimedia dan kecerdasan buatan.
Abstrak paper
Kemajuan pesat pada large language model (LLM) dan perluasan multimodalnya (MLLM) telah menghadirkan kemajuan luar biasa dalam bidang pemahaman video. Namun, tantangan mendasar masih tetap ada: yaitu masalah memproses dan memahami secara efektif konten video berdurasi panjang yang mencapai beberapa menit atau bahkan beberapa jam. Penelitian terbaru seperti Video-XL-2 telah mengusulkan solusi arsitektural baru untuk efisiensi ekstrem, dan kemajuan dalam teknik positional encoding seperti HoPE dan VideoRoPE++ bertujuan meningkatkan pemahaman konteks spatio-temporal yang luas. Meski demikian, model state-of-the-art yang ada saat ini masih menghadapi keterbatasan komputasi dan memori yang signifikan saat menangani volume visual token yang sangat besar dari sekuens panjang. Selain itu, menjaga konsistensi temporal, melacak peristiwa yang kompleks, dan mempertahankan detail yang halus dalam jangka waktu panjang juga tetap menjadi tantangan yang sulit dipecahkan, meskipun sudah ada kemajuan pada sistem penalaran berbasis agen seperti Deep Video Discovery. Dokumen teknis ini mengusulkan Infinite Video Understanding sebagai bidang riset generasi berikutnya yang logis sekaligus ambisius dalam penelitian multimedia. Ini merujuk pada kemampuan model untuk terus-menerus memproses, memahami, dan bernalar atas data video dengan durasi arbitrer yang berpotensi tak terbatas. Kami berpendapat bahwa menjadikan Infinite Video Understanding sebagai tujuan riset blue-sky akan berfungsi sebagai kompas penting bagi komunitas riset multimedia maupun AI yang lebih luas, sehingga mendorong inovasi di bidang seperti arsitektur streaming, mekanisme memori persisten, representasi hierarkis dan adaptif, penalaran berpusat pada peristiwa, serta paradigma evaluasi baru. Dengan mengambil inspirasi dari riset terbaru pada pemahaman video jangka panjang/sangat panjang dan bidang-bidang terkait yang berdekatan, makalah ini menguraikan tantangan inti dan arah riset utama untuk mewujudkan kapabilitas transformatif ini.
The rapid advancements in Large Language Models (LLMs) and their multimodal extensions (MLLMs) have ushered in remarkable progress in video understanding. However, a fundamental challenge persists: effectively processing and comprehending video content that extends beyond minutes or hours. While recent efforts like Video-XL-2 have demonstrated novel architectural solutions for extreme efficiency, and advancements in positional encoding such as HoPE and VideoRoPE++ aim to improve spatio-temporal understanding over extensive contexts, current state-of-the-art models still encounter significant computational and memory constraints when faced with the sheer volume of visual tokens from lengthy sequences. Furthermore, maintaining temporal coherence, tracking complex events, and preserving fine-grained details over extended periods remain formidable hurdles, despite progress in agentic reasoning systems like Deep Video Discovery. This position paper posits that a logical, albeit ambitious, next frontier for multimedia research is Infinite Video Understanding -- the capability for models to continuously process, understand, and reason about video data of arbitrary, potentially never-ending duration. We argue that framing Infinite Video Understanding as a blue-sky research objective provides a vital north star for the multimedia, and the wider AI, research communities, driving innovation in areas such as streaming architectures, persistent memory mechanisms, hierarchical and adaptive representations, event-centric reasoning, and novel evaluation paradigms. Drawing inspiration from recent work on long/ultra-long video understanding and several closely related fields, we outline the core challenges and key research directions towards achieving this transformative capability.
Tautan makalah
https://arxiv.org/abs/2507.09068
Apakah penalaran Chain-of-Thought pada large language model hanyalah fatamorgana? Tinjauan dari perspektif distribusi data / Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens
Pengenalan makalah
Prompt Chain-of-Thought (CoT) memang berkontribusi pada peningkatan performa large language model (LLM), tetapi juga memunculkan pertanyaan bahwa penalaran CoT pada kenyataannya bisa saja bersifat dangkal. Studi ini menganalisis penalaran CoT dari perspektif distribusi data, dan mengungkap bahwa CoT adalah jalur yang dihasilkan secara kondisional oleh inductive bias yang berbasis pada distribusi dalam data pelatihan. Untuk itu, penulis melatih LLM dalam lingkungan terkontrol bernama DataAlchemy, lalu memverifikasi secara eksperimental perbedaan distribusi dalam tiga dimensi: jenis tugas, panjang, dan format. Hasilnya menunjukkan bahwa penalaran CoT merupakan fenomena yang rapuh dan mudah runtuh ketika keluar dari distribusi pelatihan, sekaligus menyoroti sulitnya mencapai penalaran yang benar-benar autentik dan dapat digeneralisasi.
Abstrak makalah (Abstract)
Prompt Chain-of-Thought (CoT) diketahui dapat meningkatkan kemampuan model bahasa besar (LLM) dalam mengerjakan berbagai tugas. Melalui pendekatan ini, LLM tampak menghasilkan langkah-langkah penalaran yang menyerupai manusia sebelum memberikan jawaban (yakni, penalaran CoT), sehingga sering menimbulkan persepsi bahwa model menjalankan proses inferensial yang disengaja. Namun, temuan-temuan awal menunjukkan bahwa penalaran CoT mungkin lebih dangkal daripada yang terlihat, sehingga mendorong perlunya eksplorasi lebih lanjut. Dalam paper ini, penulis meneliti penalaran CoT dari sudut pandang distribusi data, dan menyelidiki apakah penalaran CoT merefleksikan bias induktif terstruktur yang dipelajari dari data dalam distribusi (in-distribution data), sehingga memungkinkan model melakukan generasi bersyarat atas jalur penalaran yang mendekati apa yang diamati selama pelatihan. Dengan demikian, efektivitas penalaran CoT pada dasarnya dibatasi oleh tingkat perbedaan distribusi antara data pelatihan dan kueri pengujian. Dari perspektif ini, penulis membedah penalaran CoT melalui tiga dimensi: tugas (task), panjang (length), dan format (format). Untuk menyelidiki masing-masing dimensi, penulis merancang DataAlchemy, sebuah lingkungan yang terisolasi dan terkendali untuk melatih LLM dari nol dan mengujinya secara sistematis di bawah berbagai kondisi distribusi. Hasil eksperimen mengungkap bahwa penalaran CoT adalah ilusi rapuh yang menghilang ketika didorong melampaui distribusi pelatihan. Riset ini memberikan pemahaman yang lebih dalam tentang mengapa dan kapan penalaran CoT gagal, serta menekankan tantangan yang terus berlangsung untuk mencapai penalaran yang benar-benar autentik dan dapat digeneralisasi.
Chain-of-Thought (CoT) prompting has been shown to improve Large Language Model (LLM) performance on various tasks. With this approach, LLMs appear to produce human-like reasoning steps before providing answers (a.k.a., CoT reasoning), which often leads to the perception that they engage in deliberate inferential processes. However, some initial findings suggest that CoT reasoning may be more superficial than it appears, motivating us to explore further. In this paper, we study CoT reasoning via a data distribution lens and investigate if CoT reasoning reflects a structured inductive bias learned from in-distribution data, allowing the model to conditionally generate reasoning paths that approximate those seen during training. Thus, its effectiveness is fundamentally bounded by the degree of distribution discrepancy between the training data and the test queries. With this lens, we dissect CoT reasoning via three dimensions: task, length, and format. To investigate each dimension, we design DataAlchemy, an isolated and controlled environment to train LLMs from scratch and systematically probe them under various distribution conditions. Our results reveal that CoT reasoning is a brittle mirage that vanishes when it is pushed beyond training distributions. This work offers a deeper understanding of why and when CoT reasoning fails, emphasizing the ongoing challenge of achieving genuine and generalizable reasoning.
Link paper
https://arxiv.org/abs/2508.01191
Batasan yang Dihadapi Model Bahasa Besar / The wall confronting large language models
Pengantar paper
Paper ini mengemukakan bahwa hukum penskalaan yang menentukan kinerja model bahasa besar (LLM) memiliki keterbatasan serius dalam meningkatkan ketidakpastian prediksi. Paper ini menunjukkan bahwa mekanisme pembentukan distribusi keluaran non-Gaussian yang menopang kemampuan belajar LLM dapat menjadi penyebab akumulasi kesalahan, keruntuhan informasi, dan perilaku AI yang degeneratif. Selain itu, paper ini juga menyoroti bahwa korelasi semu yang meningkat tajam seiring bertambahnya ukuran data memperburuk masalah-masalah tersebut, sehingga menyulitkan upaya memastikan keandalan ilmiah. Paper ini menekankan bahwa untuk mengenali kemungkinan jalur AI yang degeneratif dan menghindarinya, diperlukan wawasan serta pemahaman yang mendalam terhadap karakteristik struktural dari permasalahan.
Abstrak paper (Abstract)
Makalah ini menunjukkan bahwa hukum scaling yang menentukan kinerja large language model (LLM) sangat membatasi kemampuan mereka untuk meningkatkan ketidakpastian prediksinya. Akibatnya, meningkatkan keandalannya agar memenuhi standar penyelidikan ilmiah merupakan masalah yang tidak dapat diselesaikan dengan ukuran rasional apa pun. Kami berpendapat bahwa mekanisme yang justru menjadi pendorong utama kemampuan belajar LLM, yakni kemampuan menghasilkan distribusi keluaran non-Gaussian dari distribusi masukan Gaussian, bisa jadi merupakan akar dari kecenderungan mereka menghasilkan penumpukan kesalahan, bencana informasi, dan perilaku AI yang degeneratif. Ketegangan antara pembelajaran dan akurasi ini merupakan kandidat mekanisme yang kuat untuk menjelaskan rendahnya nilai komponen scaling yang teramati. Selain itu, seperti ditunjukkan oleh Calude dan Longo, banjir korelasi semu yang meningkat tajam dalam himpunan data apa pun semata-mata sebagai fungsi ukurannya, terlepas dari sifat datanya, semakin memperparah masalah ini. Fakta bahwa jalur AI degeneratif merupakan fitur yang sangat mungkin dalam lanskap LLM tidak berarti bahwa hal itu pasti akan muncul dalam seluruh riset AI di masa depan. Seperti yang dibahas dalam makalah ini, untuk menghindarinya diperlukan penekanan yang jauh lebih besar pada wawasan dan pemahaman terhadap karakteristik struktural dari masalah yang sedang diteliti.
We show that the scaling laws which determine the performance of large language models (LLMs) severely limit their ability to improve the uncertainty of their predictions. As a result, raising their reliability to meet the standards of scientific inquiry is intractable by any reasonable measure. We argue that the very mechanism which fuels much of the learning power of LLMs, namely the ability to generate non-Gaussian output distributions from Gaussian input ones, might well be at the roots of their propensity to produce error pileup, ensuing information catastrophes and degenerative AI behaviour. This tension between learning and accuracy is a likely candidate mechanism underlying the observed low values of the scaling components. It is substantially compounded by the deluge of spurious correlations pointed out by Calude and Longo which rapidly increase in any data set merely as a function of its size, regardless of its nature. The fact that a degenerative AI pathway is a very probable feature of the LLM landscape does not mean that it must inevitably arise in all future AI research. Its avoidance, which we also discuss in this paper, necessitates putting a much higher premium on insight and understanding of the structural characteristics of the problems being investigated.
Tautan makalah
https://arxiv.org/abs/2507.19703
Vektor Persona: Memantau dan Mengendalikan Sifat Karakter pada Model Bahasa / Persona Vectors: Monitoring and Controlling Character Traits in Language Models
Pengantar makalah
Persona 'assistant' pada large language model biasanya dilatih agar ramah, jujur, dan tidak berbahaya, tetapi terkadang menyimpang dari ideal tersebut. Dalam penelitian ini, persona vector yang terkait dengan berbagai sifat karakter seperti niat jahat, kecenderungan menjilat, dan kecenderungan berhalusinasi diidentifikasi dalam ruang aktivasi model, dan melalui ini dikonfirmasi bahwa perubahan persona dapat dipantau saat deployment. Selain itu, dengan memanfaatkan persona vector, perubahan sifat yang disengaja maupun tidak disengaja selama finetuning dapat diprediksi dan dikendalikan, serta ditunjukkan bahwa perubahan tersebut dapat dikurangi atau dicegah melalui post-hoc intervention maupun metode preventative steering. Selain itu, persona vector juga dapat digunakan untuk mengidentifikasi sampel data dalam data pelatihan yang dapat memicu perubahan sifat yang tidak diinginkan, dan disajikan sebagai metode umum yang dapat diekstraksi secara otomatis hanya dari deskripsi bahasa alami.
Abstrak makalah (Abstract)
Large language model berinteraksi dengan pengguna melalui persona 'assistant' yang disimulasikan. Assistant umumnya dilatih agar membantu, tidak berbahaya, dan jujur, tetapi terkadang menyimpang dari ideal ini. Makalah ini mengidentifikasi arah vektor persona dalam ruang aktivasi model yang mendasari berbagai sifat seperti niat jahat, sifat menjilat, dan kecenderungan berhalusinasi. Kami mengonfirmasi bahwa vektor-vektor ini dapat digunakan untuk memantau fluktuasi kepribadian Assistant saat deployment. Selanjutnya, persona vector diterapkan untuk memprediksi dan mengendalikan pergeseran kepribadian yang terjadi selama pelatihan. Kami menemukan bahwa baik perubahan kepribadian yang disengaja maupun yang tidak disengaja setelah finetuning memiliki korelasi kuat dengan pergeseran sepanjang persona vector yang relevan. Pergeseran ini dapat dikurangi melalui post-hoc intervention, atau dicegah sejak awal dengan metode preventative steering yang baru. Lebih jauh lagi, persona vector dapat digunakan untuk menandai data pelatihan yang akan menghasilkan perubahan kepribadian yang tidak diinginkan, baik pada tingkat dataset maupun sampel individual. Metode kami untuk mengekstraksi persona vector bersifat otomatis dan dapat diterapkan pada sifat kepribadian apa pun yang diminati, hanya dengan deskripsi bahasa alami.
Large language models interact with users through a simulated 'Assistant' persona. While the Assistant is typically trained to be helpful, harmless, and honest, it sometimes deviates from these ideals. In this paper, we identify directions in the model's activation space-persona vectors-underlying several traits, such as evil, sycophancy, and propensity to hallucinate. We confirm that these vectors can be used to monitor fluctuations in the Assistant's personality at deployment time. We then apply persona vectors to predict and control personality shifts that occur during training. We find that both intended and unintended personality changes after finetuning are strongly correlated with shifts along the relevant persona vectors. These shifts can be mitigated through post-hoc intervention, or avoided in the first place with a new preventative steering method. Moreover, persona vectors can be used to flag training data that will produce undesirable personality changes, both at the dataset level and the individual sample level. Our method for extracting persona vectors is automated and can be applied to any personality trait of interest, given only a natural-language description.
Tautan makalah
https://arxiv.org/abs/2507.21509
Bacaan lebih lanjut
https://www.anthropic.com/research/persona-vectors
-
Tulisan ini disusun berdasarkan ringkasan yang dibuat dengan model GPT, sehingga mungkin ada bagian yang dirangkum berbeda dari isi atau maksud naskah aslinya. Jika Anda tertarik dengan topiknya, silakan rujuk juga ke naskah asli! Jika saat membaca Anda menemukan bagian yang terasa janggal atau keliru, mohon beri tahu kami melalui komentar.* 🤗
-
⚠️Iklan⚠️: Apakah tulisan yang dirangkum oleh :pytorch:Komunitas Pengguna PyTorch Korea🇰🇷 ini bermanfaat bagi Anda? Jika Anda bergabung sebagai anggota, kami akan mengirimkan tulisan-tulisan utama melalui email💌! (Standarnya Weekly, tetapi bisa diubah ke Daily.)
Belum ada komentar.