[2024/06/03 ~ 06/09] Makalah ML utama minggu ini (Top ML Papers of the Week)
(discuss.pytorch.kr)-
Saya telah menerjemahkan secara otomatis artikel tentang makalah ML yang dirilis setiap minggu oleh DAIR.AI.
-
Jika melihat makalah yang dipilih minggu ini, ada kecenderungan bahwa sebagian besar makalah berfokus pada model bahasa besar (LLMs). Secara spesifik, hal ini dapat diringkas sebagai penelitian tentang ekstraksi konsep dari model bahasa besar (Extracting Concepts from GPT-4), peningkatan efisiensi (MatMul-free LLMs), pemahaman proses berpikir model (Buffer of Thoughts), struktur geometris LLMs (The Geometry of Concepts in LLMs), serta penyelarasan model-model ini (Aligning LLMs with Demonstrated Feedback, Towards Scalable Automated Alignment of LLMs). Topik-topik ini mencerminkan minat saat ini dalam bidang kecerdasan buatan untuk memahami, meningkatkan, dan mengeksplorasi kemungkinan penerapan LLMs. Walaupun isi semua makalah belum ditinjau secara mendetail, judul-judulnya saja tampak cukup untuk menangkap kecenderungan riset terbaru.
-
Kecenderungan ini dapat dijelaskan oleh beberapa alasan. Pertama, setelah keberhasilan model bahasa besar seperti GPT-4, minat terhadap model-model semacam ini meningkat tajam di bidang riset kecerdasan buatan. Model-model ini memainkan peran penting tidak hanya dalam pemrosesan bahasa alami (NLP), tetapi juga dalam mencapai kinerja setara manusia pada berbagai tugas berbasis pengetahuan. Kedua, pemahaman dan kemajuan LLMs membuka peluang untuk mengembangkan sistem AI yang mampu melakukan tugas yang lebih kompleks dan kreatif. Terakhir, riset semacam ini dapat berkontribusi pada kemajuan teknologi yang memungkinkan kita memahami dan mengendalikan perilaku model, yang sangat penting untuk memperkuat keamanan dan penggunaan AI yang etis. Hasilnya, makalah yang dipilih minggu ini mencerminkan riset dan eksperimen yang berlangsung di garis depan perkembangan teknologi AI, khususnya model bahasa besar.
NLLB: Memperluas terjemahan mesin neural ke 200 bahasa / Scaling neural machine translation to 200 languages
Pengenalan makalah
Mengusulkan model multibahasa berskala besar yang memanfaatkan transfer learning di 200 bahasa, berbasis arsitektur mixture of experts yang sparse, dilatih pada data melalui pendekatan yang disesuaikan untuk bahasa dengan sumber daya rendah, dan dievaluasi pada 40 ribu terjemahan dengan peningkatan rata-rata kualitas terjemahan sebesar 44%.
> Proposes a massive multilingual model that leverages transfer learning across 200 languages; it’s based on a sparsely Gated Mixture of Experts architecture and trained on data via an approach tailored for low-resource languages; evaluates on 40K translations and achieves an average of 44% improvement in translation quality.
Abstrak makalah(Abstract)
Perkembangan teknik neural telah membuka jalan baru bagi riset terjemahan mesin. Saat ini, sistem neural machine translation (NMT) dapat memanfaatkan kapasitas multibahasa tingkat tinggi dan bahkan melakukan zero-shot translation, sehingga memberikan hasil yang menjanjikan dari sisi cakupan bahasa dan kualitas. Namun, meningkatkan NMT berkualitas memerlukan volume besar data paralel dwibahasa, yang tidak tersedia secara merata untuk lebih dari 7.000 bahasa di dunia. Fokus pada peningkatan kualitas terjemahan untuk kelompok kecil bahasa dengan sumber daya tinggi, alih-alih mengarahkan perhatian riset ke bahasa dengan sumber daya rendah, dalam jangka panjang dapat memperburuk ketimpangan digital. Untuk memutus pola ini, kami memperkenalkan No Language Left Behind (NLLB), sebuah model multibahasa tunggal berskala sangat besar yang memanfaatkan transfer learning antarbahasa. Kami mengembangkan model komputasi kondisional berbasis arsitektur Sparsely Gated Mixture of Experts, yang kami latih menggunakan data yang diperoleh melalui teknik mining baru yang disesuaikan untuk bahasa dengan sumber daya rendah. Selain itu, kami merancang berbagai peningkatan arsitektur dan pelatihan untuk mengatasi overfitting saat melatih ribuan tugas. Kami mengevaluasi kinerja model pada lebih dari 40.000 arah terjemahan menggunakan alat yang dibuat khusus untuk tujuan ini—benchmark otomatis (FLORES-200), metrik evaluasi manusia (XSTS), dan detektor toksisitas yang mencakup setiap bahasa dalam model kami. Dibandingkan dengan model state-of-the-art sebelumnya, model kami mencapai peningkatan rata-rata kualitas terjemahan sebesar 44% sebagaimana diukur dengan BLEU. Dengan menunjukkan cara memperluas NMT ke 200 bahasa dan menyediakan seluruh kontribusi dalam upaya ini secara bebas untuk penggunaan nonkomersial, karya kami meletakkan fondasi penting bagi pengembangan sistem terjemahan universal.
> The development of neural techniques has opened up new avenues for research in machine translation. Today, neural machine translation (NMT) systems can leverage highly multilingual capacities and even perform zero-shot translation, delivering promising results in terms of language coverage and quality. However, scaling quality NMT requires large volumes of parallel bilingual data, which are not equally available for the 7,000+ languages in the world. Focusing on improving the translation qualities of a relatively small group of high-resource languages comes at the expense of directing research attention to low-resource languages, exacerbating digital inequities in the long run. To break this pattern, here we introduce No Language Left Behind—a single massively multilingual model that leverages transfer learning across languages. We developed a conditional computational model based on the Sparsely Gated Mixture of Experts architecture, which we trained on data obtained with new mining techniques tailored for low-resource languages. Furthermore, we devised multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. We evaluated the performance of our model over 40,000 translation directions using tools created specifically for this purpose—an automatic benchmark (FLORES-200), a human evaluation metric (XSTS) and a toxicity detector that covers every language in our model. Compared with the previous state-of-the-art models, our model achieves an average of 44% improvement in translation quality as measured by BLEU. By demonstrating how to scale NMT to 200 languages and making all contributions in this effort freely available for non-commercial use, our work lays important groundwork for the development of a universal translation system.
Tautan makalah
https://www.nature.com/articles/s41586-024-07335-x
Baca lebih lanjut
https://github.com/facebookresearch/fairseq/tree/nllb
https://x.com/AIatMeta/status/1798420492774432769
Mengekstrak konsep dari GPT-4 / Extracting Concepts from GPT-4
Pengenalan riset
Mengusulkan metode baru yang skalabel berbasis sparse autoencoder untuk mengekstrak sekitar 16 juta pola yang dapat diinterpretasikan dari GPT-4. Metode ini menunjukkan skalabilitas yang dapat diprediksi dan lebih efisien dibandingkan teknik sebelumnya.
> Proposes a new scalable method based on sparse autoencoders to extract around 16 million interpretable patterns from GPT-4; the method demonstrates predictable scaling and is more efficient than previous techniques.
Abstrak makalah
SAE (Sparse AutoEncoder, autoencoder jarang) memberikan pendekatan tanpa supervisi yang menjanjikan untuk mengekstrak fitur yang dapat diinterpretasikan dari model bahasa dengan merekonstruksi aktivasi dari lapisan bottleneck yang jarang. Karena model bahasa mempelajari banyak konsep, autoencoder perlu berukuran sangat besar untuk memulihkan semua fitur yang relevan. Namun, mempelajari sifat penskalaan autoencoder sulit dilakukan karena perlunya menyeimbangkan tujuan rekonstruksi dan sparsitas serta adanya latent mati. Kami mengusulkan penggunaan k-sparse autoencoder [Makhzani and Frey, 2013] untuk mengontrol sparsitas secara langsung, sehingga menyederhanakan tuning dan memperbaiki frontier rekonstruksi-sparsitas. Selain itu, kami menemukan modifikasi yang menghasilkan sangat sedikit latent mati, bahkan pada skala terbesar yang kami coba. Dengan teknik ini, kami menemukan scaling law yang bersih terkait ukuran autoencoder dan sparsitas. Kami juga memperkenalkan beberapa metrik baru untuk mengevaluasi kualitas fitur berdasarkan pemulihan fitur yang dihipotesiskan, keterjelasan pola aktivasi, dan sparsitas efek downstream. Semua metrik ini secara umum membaik seiring bertambahnya ukuran autoencoder. Untuk menunjukkan skalabilitas pendekatan kami, kami melatih autoencoder dengan 16 juta latent pada aktivasi GPT-4 untuk 40 miliar token. Kami merilis kode dan autoencoder untuk model open source, serta visualizer.
> Sparse autoencoders provide a promising unsupervised approach for extracting interpretable features from a language model by reconstructing activations from a sparse bottleneck layer. Since language models learn many concepts, autoencoders need to be very large to recover all relevant features. However, studying the properties of autoencoder scaling is difficult due to the need to balance reconstruction and sparsity objectives and the presence of dead latents. We propose using k-sparse autoencoders [Makhzani and Frey, 2013] to directly control sparsity, simplifying tuning and improving the reconstruction-sparsity frontier. Additionally, we find modifications that result in few dead latents, even at the largest scales we tried. Using these techniques, we find clean scaling laws with respect to autoencoder size and sparsity. We also introduce several new metrics for evaluating feature quality based on the recovery of hypothesized features, the explainability of activation patterns, and the sparsity of downstream effects. These metrics all generally improve with autoencoder size. To demonstrate the scalability of our approach, we train a 16 million latent autoencoder on GPT-4 activations for 40 billion tokens. We release code and autoencoders for open-source models, as well as a visualizer.
Tautan riset dan makalah
https://openai.com/index/extracting-concepts-from-gpt-4/
https://cdn.openai.com/papers/sparse-autoencoders.pdf
Bacaan lanjutan
https://github.com/openai/sparse_autoencoder
https://openaipublic.blob.core.windows.net/sparse-autoencoder/…
https://x.com/OpenAI/status/1798762092528586945
Transformer adalah SSM: Model Tergeneralisasi dan Algoritme Efisien melalui Dualitas Structured State Space / Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Pengantar makalah
Arsitektur baru yang menggabungkan state space model (SSM) dan attention terstruktur ini menggunakan state 8 kali lebih besar dan dilatih 50% lebih cepat. Lapisan state space duality yang baru lebih efisien dan lebih skalabel dibandingkan pendekatan yang digunakan di Mamba, serta meningkatkan hasil pada tugas yang membutuhkan kapasitas state yang besar.
> A new architecture that combines state space models (SSMs) and structured attention; it uses 8x larger states and trains 50% faster; the new state space duality layer is more efficient and scalable compared to the approach used in Mamba; it also improves results on tasks that require large state capacity.
Abstrak makalah (Abstract)
Transformer telah menjadi arsitektur utama di balik kesuksesan deep learning dalam language modeling, tetapi belakangan ini state space model (SSM) seperti Mamba telah ditunjukkan mampu menyamai atau melampaui Transformer pada skala kecil hingga menengah. Kami menunjukkan bahwa keluarga model ini sebenarnya sangat berkaitan erat, dan mengembangkan kerangka koneksi teoretis yang kaya antara SSM dan berbagai varian attention, yang dihubungkan melalui berbagai dekomposisi dari kelas matriks semiseparable terstruktur yang telah banyak dipelajari. Melalui kerangka state space duality (SSD), kami dapat merancang arsitektur baru (Mamba-2) yang lapisan intinya merupakan penyempurnaan dari selective SSM milik Mamba yang 2–8x lebih cepat, sambil tetap kompetitif dengan Transformer pada language modeling.
> While Transformers have been the main architecture behind deep learning's success in language modeling, state-space models (SSMs) such as Mamba have recently been shown to match or outperform Transformers at small to medium scale. We show that these families of models are actually quite closely related, and develop a rich framework of theoretical connections between SSMs and variants of attention, connected through various decompositions of a well-studied class of structured semiseparable matrices. Our state space duality (SSD) framework allows us to design a new architecture (Mamba-2) whose core layer is an a refinement of Mamba's selective SSM that is 2-8X faster, while continuing to be competitive with Transformers on language modeling.
Tautan makalah
https://arxiv.org/abs/2405.21060
Baca lebih lanjut
https://x.com/_albertgu/status/1797651223035904355
Pemodelan Bahasa yang Skalabel dan Tanpa Perkalian Matriks (MatMul) / Scalable MatMul-free Language Modeling
Pengantar makalah
Makalah ini mengusulkan implementasi yang menghilangkan operasi perkalian matriks dari LLM sambil mempertahankan performa pada skala 1 miliar parameter, serta mengklaim bahwa seiring ukuran model membesar, kesenjangan performa antara Transformer presisi penuh dan model tanpa MatMul menyempit, dan dengan menggunakan kernel yang dioptimalkan saat inferensi, konsumsi memori berkurang lebih dari 10x.
> Proposes an implementation that eliminates matrix multiplication operations from LLMs while maintaining performance at billion-parameter scales; the performance between full precision Transformers and the MatMul-free models narrows as the model size increases; claims that by using an optimized kernel during inference, memory consumption is reduced by more than 10x.
Abstrak makalah (Abstract)
Secara umum, perkalian matriks (MatMul) mendominasi biaya komputasi keseluruhan pada large language model (LLM). Biaya ini hanya akan semakin besar ketika LLM diskalakan ke dimensi embedding dan panjang konteks yang lebih besar. Dalam penelitian ini, kami menunjukkan bahwa operasi MatMul dapat dihilangkan sepenuhnya dari LLM sambil tetap mempertahankan performa yang kuat pada skala miliaran parameter. Hasil eksperimen kami menunjukkan bahwa model tanpa MatMul yang kami usulkan mencapai performa yang setara dengan Transformer state-of-the-art yang membutuhkan memori jauh lebih besar saat inferensi, setidaknya hingga skala 2,7B parameter. Kami meneliti scaling law dan menemukan bahwa kesenjangan performa antara model MatMul-free kami dan Transformer presisi penuh menyempit seiring ukuran model yang meningkat. Kami juga menyediakan implementasi yang efisien untuk GPU dari model ini, yang mengurangi penggunaan memori hingga 61% dibanding baseline yang tidak dioptimalkan selama pelatihan. Dengan memanfaatkan kernel yang dioptimalkan saat inferensi, konsumsi memori model kami dapat dikurangi lebih dari 10x dibanding model yang tidak dioptimalkan. Untuk mengukur efisiensi arsitektur kami secara tepat, kami membangun solusi perangkat keras kustom di atas FPGA yang memanfaatkan operasi ringan di luar kemampuan GPU. Kami memproses model berskala miliaran parameter pada 13W dengan throughput melampaui tingkat yang dapat dibaca manusia, membawa LLM lebih dekat ke efisiensi seperti otak. Karya ini tidak hanya menunjukkan sejauh mana LLM dapat disederhanakan sambil tetap bekerja efektif, tetapi juga menunjukkan jenis operasi yang seharusnya dioptimalkan oleh akselerator masa depan untuk memproses generasi berikutnya dari LLM ringan. Implementasi kode tersedia di \url{https://github.com/ridgerchu/matmulfreellm}.
> Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales. Our experiments show that our proposed MatMul-free models achieve performance on-par with state-of-the-art Transformers that require far more memory during inference at a scale up to at least 2.7B parameters. We investigate the scaling laws and find that the performance gap between our MatMul-free models and full precision Transformers narrows as the model size increases. We also provide a GPU-efficient implementation of this model which reduces memory usage by up to 61% over an unoptimized baseline during training. By utilizing an optimized kernel during inference, our model's memory consumption can be reduced by more than 10x compared to unoptimized models. To properly quantify the efficiency of our architecture, we build a custom hardware solution on an FPGA which exploits lightweight operations beyond what GPUs are capable of. We processed billion-parameter scale models at 13W beyond human readable throughput, moving LLMs closer to brain-like efficiency. This work not only shows how far LLMs can be stripped back while still performing effectively, but also points at the types of operations future accelerators should be optimized for in processing the next generation of lightweight LLMs. Our code implementation is available at \url{https://github.com/ridgerchu/matmulfreellm}.
Tautan makalah
https://arxiv.org/abs/2406.02528
Baca lebih lanjut
https://github.com/ridgerchu/matmulfreellm
https://x.com/omarsar0/status/1798373841741185261
Buffer of Thoughts: Penalaran yang Ditingkatkan dengan Pemikiran menggunakan Large Language Models / Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
Pengantar makalah
Makalah ini menyajikan pendekatan penalaran yang ditingkatkan dengan pemikiran untuk meningkatkan akurasi, efisiensi, dan ketahanan penalaran berbasis LLM. Pendekatan ini memanfaatkan meta-buffer yang berisi pemikiran tingkat tinggi (template pemikiran) yang diekstraksi dari proses pemecahan masalah, lalu mengambil template pemikiran yang relevan dan menginstansiasikannya ke dalam struktur penalaran spesifik tugas untuk proses penalaran yang ditingkatkan dengan pemikiran. Pendekatan ini menunjukkan performa SOTA pada 10 tugas menantang dengan hanya membutuhkan 12% biaya dari metode prompting multi-kueri seperti Tree-of-Thoughts.
> Presents a thought-augmented reasoning approach to enhance the accuracy, efficiency, and robustness of LLM-based reasoning; it leverages a meta-buffer containing high-level thoughts (thought templates) distilled from problem-solving processes; the relevant thought template is then retrieved and instantiated with task-specific reasoning structures for the thought-augmented reasoning process; it demonstrates SOTA performance on 10 challenging tasks while requiring 12% of the cost of multi-query prompting methods like Tree-of-Thoughts.
Abstrak makalah (Abstract)
Memperkenalkan Buffer of Thoughts (BoT), pendekatan penalaran berbantuan pemikiran yang baru dan serbaguna untuk meningkatkan akurasi, efisiensi, dan ketahanan large language model (LLM). Secara spesifik, pendekatan ini mengusulkan meta-buffer untuk menyimpan serangkaian pemikiran tingkat tinggi yang informatif, yaitu thought-template, yang disarikan dari proses pemecahan masalah di berbagai tugas. Lalu untuk setiap masalah, thought-template yang relevan diambil dan diinstansiasi secara adaptif dengan struktur penalaran yang spesifik untuk menjalankan penalaran secara efisien. Selain itu, untuk menjamin skalabilitas dan stabilitas, pendekatan ini juga mengusulkan buffer-manager yang memperbarui meta-buffer secara dinamis, sehingga kapasitas meta-buffer meningkat seiring makin banyak tugas yang diselesaikan. Hasil eksperimen ekstensif pada 10 tugas intensif penalaran yang menantang menunjukkan peningkatan performa yang signifikan dibanding metode SOTA sebelumnya: 11% pada Game of 24, 20% pada Geometric Shapes, dan 51% pada Checkmate-in-One. Analisis tambahan menunjukkan kemampuan generalisasi dan ketahanan model BoT yang unggul, dengan biaya rata-rata hanya 12% dari metode multi-query prompting (misalnya tree/graph of thoughts). Secara khusus, ditemukan bahwa Llama3-8B+BoT berpotensi melampaui model Llama3-70B. Proyeknya dapat dilihat di tautan berikut: https://github.com/YangLing0818/buffer-of-thought-llm
> We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm
Tautan makalah
https://arxiv.org/abs/2406.04271
Baca lebih lanjut
https://github.com/YangLing0818/buffer-of-thought-llm
https://x.com/omarsar0/status/1799113545696567416
SaySelf: Melatih LLM untuk mengekspresikan kepercayaan diri dengan rasional reflektif diri / SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales
Pengenalan makalah
Sebuah kerangka pelatihan untuk mengajarkan LLM agar mengekspresikan estimasi tingkat kepercayaan yang lebih akurat dan terperinci serta rasional yang reflektif terhadap diri sendiri; kerangka ini melakukan supervised finetuning pada dataset yang berisi ringkasan perbedaan antara beberapa rantai penalaran, lalu menerapkan reinforcement learning untuk mengalibrasi estimasi kepercayaan, sehingga mendorong LLM menghasilkan prediksi yang akurat dengan tingkat kepercayaan tinggi dan memberi penalti pada kepercayaan berlebihan terhadap keluaran yang salah.
> A training framework to teach LLMs to express more accurate fine-grained confidence estimates and self-reflective rationales; it performs supervised finetuning on a dataset that contains summaries of the difference between multiple reasoning chains; reinforcement learning is then applied to calibrate confidence estimates, encouraging the LLM to produce accurate, high-confidence predictions and penalize overconfidence in erroneous outputs.
Abstrak makalah (Abstract)
Model bahasa besar (LLM) sering menghasilkan informasi yang tidak akurat atau direkayasa dan umumnya tidak menunjukkan tingkat kepercayaannya, sehingga penerapannya secara luas sering kali terbatas. Penelitian sebelumnya mengekstraksi tingkat kepercayaan dari LLM melalui prompting langsung atau self-consistency, atau dengan membangun set data khusus untuk supervised fine-tuning. Pendekatan berbasis prompt memiliki performa yang lebih rendah, sementara pendekatan berbasis pelatihan terbatas pada estimasi tingkat kepercayaan biner atau tingkat kelompok yang tidak akurat. Dalam penelitian ini, penulis memperkenalkan SaySelf tingkat lanjut, sebuah kerangka pelatihan yang mengajarkan LLM untuk mengekspresikan estimasi tingkat kepercayaan yang lebih akurat dan terperinci. Selain skor kepercayaan, SaySelf juga memulai proses yang mengarahkan LLM untuk menghasilkan rasional reflektif-diri yang secara jelas mengidentifikasi celah dalam pengetahuan parametriknya dan menjelaskan ketidakpastiannya. Hal ini dicapai dengan menggunakan LLM untuk secara otomatis merangkum ketidakpastian dalam pengetahuan tertentu melalui bahasa alami. Perangkuman tersebut didasarkan pada analisis ketidakkonsistenan dalam beberapa rantai penalaran yang diambil sampelnya, dan data yang dihasilkan dimanfaatkan untuk supervised fine-tuning. Selain itu, penulis menggunakan reinforcement learning dengan fungsi reward yang dirancang secara cermat untuk mengalibrasi estimasi tingkat kepercayaan, sehingga mendorong LLM memberikan prediksi yang akurat dengan keyakinan tinggi dan memberi penalti pada rasa percaya diri berlebihan terhadap keluaran yang salah. Hasil eksperimen pada set data in-distribution maupun out-of-distribution menunjukkan bahwa SaySelf efektif dalam mengurangi kesalahan kalibrasi kepercayaan dan mempertahankan performa tugas. Penulis juga menunjukkan bahwa rasional reflektif-diri yang dihasilkan masuk akal dan dapat semakin berkontribusi pada kalibrasi. Kodenya tersedia secara publik di https://github.com/xu1868/SaySelf.
> Large language models (LLMs) often generate inaccurate or fabricated information and generally fail to indicate their confidence, which limits their broader applications. Previous work elicits confidence from LLMs by direct or self-consistency prompting, or constructing specific datasets for supervised finetuning. The prompting-based approaches have inferior performance, and the training-based approaches are limited to binary or inaccurate group-level confidence estimates. In this work, we present the advanced SaySelf, a training framework that teaches LLMs to express more accurate fine-grained confidence estimates. In addition, beyond the confidence scores, SaySelf initiates the process of directing LLMs to produce self-reflective rationales that clearly identify gaps in their parametric knowledge and explain their uncertainty. This is achieved by using an LLM to automatically summarize the uncertainties in specific knowledge via natural language. The summarization is based on the analysis of the inconsistency in multiple sampled reasoning chains, and the resulting data is utilized for supervised fine-tuning. Moreover, we utilize reinforcement learning with a meticulously crafted reward function to calibrate the confidence estimates, motivating LLMs to deliver accurate, high-confidence predictions and to penalize overconfidence in erroneous outputs. Experimental results in both in-distribution and out-of-distribution datasets demonstrate the effectiveness of SaySelf in reducing the confidence calibration error and maintaining the task performance. We show that the generated self-reflective rationales are reasonable and can further contribute to the calibration. The code is made public at https://github.com/xu1868/SaySelf.
Tautan makalah
https://arxiv.org/abs/2405.20974
Baca lebih lanjut
https://github.com/xu1868/SaySelf
https://x.com/omarsar0/status/1797682549608833477
Geometri konsep kategorikal dan hierarkis dalam model bahasa besar / The Geometry of Categorical and Hierarchical Concepts in Large Language Models
Pengantar makalah
Meneliti struktur geometris konsep kategorikal dan bagaimana hubungan hierarkis di antara konsep-konsep tersebut dikodekan dalam LLM; menemukan bahwa konsep kategorikal sederhana direpresentasikan sebagai simpleks oleh LLM, sementara konsep yang kompleks direpresentasikan sebagai politop yang dibangun dari jumlah langsung simpleks, yang mencerminkan struktur hierarkis.
> Studies the geometry of categorical concepts and how the hierarchical relations between them are encoded in LLMs; finds that simple categorical concepts are represented as simplices by the LLMs and complex concepts are represented as polytopes constructed from direct sums of simplices, which reflect the hierarchical structure.
Abstrak makalah (Abstract)
Memahami bagaimana makna semantik dikodekan dalam ruang representasi model bahasa besar merupakan masalah mendasar dalam interpretabilitas. Makalah ini meneliti dua pertanyaan dasar di bidang ini. Pertama, bagaimana konsep kategorikal seperti {'mamalia', 'burung', 'reptil', 'ikan'} direpresentasikan? Kedua, bagaimana hubungan hierarkis antarkonsep dikodekan? Sebagai contoh, bagaimana fakta bahwa 'anjing' adalah sejenis 'mamalia' dikodekan? Untuk menjawab pertanyaan ini, penulis menunjukkan cara memperluas hipotesis representasi linear. Mereka menemukan struktur yang sangat sederhana namun mengejutkan: konsep kategorikal sederhana direpresentasikan sebagai simpleks, konsep yang berhubungan secara hierarkis bersifat ortogonal dalam pengertian yang mereka definisikan secara presisi, dan sebagai konsekuensinya konsep kompleks direpresentasikan sebagai politop yang dibangun dari jumlah langsung simpleks, yang mencerminkan struktur hierarkis. Hasil teoretis ini divalidasi pada model bahasa besar Gemma, dengan mengestimasi representasi untuk 957 konsep yang berhubungan secara hierarkis menggunakan data dari WordNet.
> Understanding how semantic meaning is encoded in the representation spaces of large language models is a fundamental problem in interpretability. In this paper, we study the two foundational questions in this area. First, how are categorical concepts, such as {'mammal', 'bird', 'reptile', 'fish'}, represented? Second, how are hierarchical relations between concepts encoded? For example, how is the fact that 'dog' is a kind of 'mammal' encoded? We show how to extend the linear representation hypothesis to answer these questions. We find a remarkably simple structure: simple categorical concepts are represented as simplices, hierarchically related concepts are orthogonal in a sense we make precise, and (in consequence) complex concepts are represented as polytopes constructed from direct sums of simplices, reflecting the hierarchical structure. We validate these theoretical results on the Gemma large language model, estimating representations for 957 hierarchically related concepts using data from WordNet.
Tautan makalah
https://arxiv.org/abs/2406.01506
Baca lebih lanjut
https://x.com/omarsar0/status/1798010546522103898
Tunjukkan, Jangan Ceritakan: Menyelaraskan model bahasa dengan umpan balik yang didemonstrasikan / Show, Don't Tell: Aligning Language Models with Demonstrated Feedback
Pengantar makalah
Makalah ini mengusulkan metode untuk menyelaraskan LLM ke pengaturan tertentu melalui sejumlah sangat kecil demo sebagai umpan balik, menyesuaikan keluaran LLM dengan perilaku yang didemonstrasikan pengguna, mampu mempelajari penyelarasan gaya dan tugas yang terperinci di berbagai domain, dan menunjukkan kinerja yang lebih baik daripada few-shot prompting, SFT, dan metode self-play pada benchmark yang diuji.
> Proposes a method to align LLMs to a specific setting via a very small number of demonstrations as feedback; it aligns LLM outputs to a user’s demonstrated behaviors and can learn fine-grained style and task alignment across domains; outperforms few-shot prompting, SFT, and self-play methods on the tested benchmarks.
Abstrak makalah(Abstract)
Model bahasa diselaraskan untuk meniru suara kolektif banyak orang, sehingga menghasilkan keluaran yang tidak benar-benar selaras dengan siapa pun secara khusus. Mengarahkan LLM menjauh dari keluaran generik dapat dilakukan melalui supervised finetuning atau RLHF, tetapi memerlukan dataset yang sangat besar untuk tugas ad-hoc yang baru. Sebaliknya, penulis berargumen bahwa LLM dapat diselaraskan ke pengaturan tertentu dengan memanfaatkan jumlah demo yang sangat sedikit ($<10$) sebagai umpan balik. Metode mereka, Demonstration ITerated Task Optimization (DITTO), secara langsung menyelaraskan keluaran model bahasa dengan perilaku yang didemonstrasikan pengguna. Diturunkan dari gagasan dalam online imitation learning, DITTO menghasilkan data perbandingan online dengan biaya rendah dengan memperlakukan demo pengguna sebagai sesuatu yang lebih disukai daripada keluaran dari LLM dan checkpoint perantaranya. Penulis mengevaluasi kemampuan DITTO untuk mempelajari penyelarasan gaya dan tugas yang terperinci di berbagai domain seperti artikel berita, email, dan posting blog. Selain itu, mereka melakukan studi pengguna yang meminta beragam demo dari para partisipan ($N=16$). Pada benchmark dan studi pengguna, tingkat kemenangan DITTO ditemukan rata-rata 19 poin persentase lebih tinggi dibandingkan few-shot prompting, supervised fine-tuning, dan metode self-play lainnya. Dengan menggunakan demo secara langsung sebagai umpan balik, DITTO menawarkan metode baru untuk kustomisasi LLM yang efektif.
> Language models are aligned to emulate the collective voice of many, resulting in outputs that align with no one in particular. Steering LLMs away from generic output is possible through supervised finetuning or RLHF, but requires prohibitively large datasets for new ad-hoc tasks. We argue that it is instead possible to align an LLM to a specific setting by leveraging a very small number ($<10$) of demonstrations as feedback. Our method, Demonstration ITerated Task Optimization (DITTO), directly aligns language model outputs to a user's demonstrated behaviors. Derived using ideas from online imitation learning, DITTO cheaply generates online comparison data by treating users' demonstrations as preferred over output from the LLM and its intermediate checkpoints. We evaluate DITTO's ability to learn fine-grained style and task alignment across domains such as news articles, emails, and blog posts. Additionally, we conduct a user study soliciting a range of demonstrations from participants ($N=16$). Across our benchmarks and user study, we find that win-rates for DITTO outperform few-shot prompting, supervised fine-tuning, and other self-play methods by an average of 19% points. By using demonstrations as feedback directly, DITTO offers a novel method for effective customization of LLMs.
Tautan makalah
https://arxiv.org/abs/2406.00888
Baca lebih lanjut
https://x.com/arankomatsuzaki/status/1797833884463472653
Menuju penyelarasan otomatis LLM yang dapat diskalakan: makalah survei / Towards Scalable Automated Alignment of LLMs: A Survey
Pengantar makalah
Memberikan gambaran umum tentang metode yang digunakan untuk alignment LLM dan membahas 4 arah berikut: 1) alignment melalui bias induktif, 2) alignment melalui imitasi perilaku, 3) alignment melalui umpan balik model, 4) alignment melalui umpan balik lingkungan.
> Provides an overview of methods used for alignment of LLMs; explores the 4 following directions: 1) aligning through inductive bias, 2) aligning through behavior imitation, 3) aligning through model feedback, and 4) aligning through environment feedback.
Abstrak makalah (Abstract)
Alignment adalah langkah paling krusial dalam membangun large language model (LLM) yang memenuhi kebutuhan manusia. Seiring perkembangan pesat LLM yang secara bertahap melampaui kemampuan manusia, metode alignment tradisional yang berbasis anotasi manusia semakin sering tidak mampu memenuhi tuntutan skalabilitas. Karena itu, ada kebutuhan mendesak untuk mengeksplorasi sumber baru sinyal alignment otomatis serta pendekatan teknis yang baru. Dalam makalah ini, kami meninjau secara sistematis metode-metode alignment otomatis yang baru muncul, dengan tujuan mengeksplorasi bagaimana mencapai alignment otomatis yang efektif dan skalabel ketika kemampuan LLM telah melampaui kemampuan manusia. Secara khusus, kami mengategorikan metode alignment otomatis yang ada ke dalam 4 kategori utama berdasarkan sumber sinyal alignment, lalu membahas status saat ini dan potensi perkembangan dari masing-masing kategori. Selain itu, kami juga menelaah mekanisme dasar yang memungkinkan alignment otomatis, serta membahas faktor-faktor penting yang membuat teknologi alignment otomatis layak diterapkan dan efektif dari sudut peran fundamental alignment.
> Alignment is the most critical step in building large language models (LLMs) that meet human needs. With the rapid development of LLMs gradually surpassing human capabilities, traditional alignment methods based on human-annotation are increasingly unable to meet the scalability demands. Therefore, there is an urgent need to explore new sources of automated alignment signals and technical approaches. In this paper, we systematically review the recently emerging methods of automated alignment, attempting to explore how to achieve effective, scalable, automated alignment once the capabilities of LLMs exceed those of humans. Specifically, we categorize existing automated alignment methods into 4 major categories based on the sources of alignment signals and discuss the current status and potential development of each category. Additionally, we explore the underlying mechanisms that enable automated alignment and discuss the essential factors that make automated alignment technologies feasible and effective from the fundamental role of alignment.
Tautan makalah
https://arxiv.org/abs/2406.01252
Baca lebih lanjut
https://x.com/omarsar0/status/1798014572663583165
AgentGym: Mengembangkan agen berbasis large language model di berbagai lingkungan / AgentGym: Evolving Large Language Model-based Agents across Diverse Environments
Pengantar makalah
Sebuah framework baru yang mendukung beragam lingkungan dan tugas untuk eksplorasi agen yang luas, real-time, dan konkuren; membangun agen berbasis LLM yang serbaguna dengan kemampuan evolusi mandiri, serta mengeksplorasi potensinya melampaui data yang sebelumnya pernah dilihat di berbagai tugas dan lingkungan.
> A new framework featuring various environments and tasks for broad, real-time, and concurrent agent exploration; builds a generally capable LLM-based agent with self-evolution abilities and explores its potential beyond previously seen data across tasks and environments.
Abstrak makalah (Abstract)
Membangun agen generalis yang dapat menangani beragam tugas dan berevolusi sendiri di berbagai lingkungan adalah tujuan jangka panjang di komunitas AI. Large language model (LLM) dianggap sebagai fondasi yang menjanjikan untuk membangun agen semacam itu karena kemampuan generalisasinya. Pendekatan saat ini umumnya terbagi dua: membuat agen berbasis LLM meniru trajektori yang disediakan pakar langkah demi langkah, yang memerlukan supervisi manusia sehingga sulit diskalakan dan membatasi eksplorasi lingkungan; atau membiarkan agen mengeksplorasi dan belajar di lingkungan yang terisolasi, sehingga menghasilkan agen spesialis dengan generalisasi yang terbatas. Dalam makalah ini, kami mengambil langkah pertama menuju pembangunan agen berbasis LLM yang memiliki kemampuan umum serta kemampuan berevolusi sendiri. Kami mengidentifikasi tiga komponen utama: 1) lingkungan yang beragam untuk eksplorasi dan pembelajaran agen, 2) kumpulan trajektori untuk membekali agen dengan kemampuan dasar dan pengetahuan awal, dan 3) metode evolusi yang efektif dan skalabel. Kami mengusulkan AgentGym, framework baru yang menghadirkan beragam lingkungan dan tugas untuk eksplorasi agen yang luas, real-time, berformat tunggal, dan berlangsung secara konkuren. AgentGym juga mencakup basis data dengan instruksi yang diperluas, rangkaian benchmark, serta trajektori berkualitas tinggi lintas lingkungan. Selanjutnya, kami mengusulkan metode baru bernama AgentEvol untuk menyelidiki potensi evolusi mandiri agen melampaui data yang pernah dilihat sebelumnya di berbagai tugas dan lingkungan. Hasil eksperimen menunjukkan bahwa agen yang telah berevolusi dapat mencapai hasil yang sebanding dengan model SOTA. Kami merilis suite AgentGym, termasuk platform, dataset, benchmark, checkpoint, dan implementasi algoritme. Suite AgentGym tersedia di https://github.com/WooooDyy/AgentGym.
> Membangun agen generalis yang dapat menangani beragam tugas dan berevolusi sendiri di berbagai lingkungan adalah tujuan jangka panjang di komunitas AI. Large language model (LLM) dianggap sebagai fondasi yang menjanjikan untuk membangun agen semacam itu karena kemampuan generalisasinya. Pendekatan saat ini umumnya terbagi dua: membuat agen berbasis LLM meniru trajektori yang disediakan pakar langkah demi langkah, yang memerlukan supervisi manusia sehingga sulit diskalakan dan membatasi eksplorasi lingkungan; atau membiarkan agen mengeksplorasi dan belajar di lingkungan yang terisolasi, sehingga menghasilkan agen spesialis dengan generalisasi yang terbatas. Dalam makalah ini, kami mengambil langkah pertama menuju pembangunan agen berbasis LLM yang memiliki kemampuan umum serta kemampuan berevolusi sendiri. Kami mengidentifikasi tiga komponen utama: 1) lingkungan yang beragam untuk eksplorasi dan pembelajaran agen, 2) kumpulan trajektori untuk membekali agen dengan kemampuan dasar dan pengetahuan awal, dan 3) metode evolusi yang efektif dan skalabel. Kami mengusulkan AgentGym, framework baru yang menghadirkan beragam lingkungan dan tugas untuk eksplorasi agen yang luas, real-time, berformat tunggal, dan berlangsung secara konkuren. AgentGym juga mencakup basis data dengan instruksi yang diperluas, rangkaian benchmark, serta trajektori berkualitas tinggi lintas lingkungan. Selanjutnya, kami mengusulkan metode baru, AgentEvol, untuk menyelidiki potensi evolusi mandiri agen melampaui data yang pernah dilihat sebelumnya di berbagai tugas dan lingkungan. Hasil eksperimen menunjukkan bahwa agen yang telah berevolusi dapat mencapai hasil yang sebanding dengan model SOTA. Kami merilis suite AgentGym, termasuk platform, dataset, benchmark, checkpoint, dan implementasi algoritme. Suite AgentGym tersedia di https://github.com/WooooDyy/AgentGym.
Tautan makalah
https://arxiv.org/abs/2406.04151
Baca lebih lanjut
https://github.com/WooooDyy/AgentGym
https://x.com/arankomatsuzaki/status/1798904095669121443
Artikel asli
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-90f
Tulisan ini dirangkum menggunakan model GPT, jadi mungkin ada bagian yang kurang tepat; silakan lihat juga artikel asli di bagian bawah! Jika saat membaca Anda menemukan bagian yang terasa janggal atau keliru, mohon beri tahu lewat komentar. 🤗
⚠️Iklan⚠️: Apakah tulisan yang dirangkum oleh 🔥Komunitas Pengguna PyTorch Korea🇰🇷 ini bermanfaat? Jika Anda mendaftar sebagai anggota, kami akan mengirimkan tulisan-tulisan utama lewat email💌! Default-nya Weekly, tetapi bisa diubah ke Daily.
Belum ada komentar.