Berbagai metode yang saya teliti dan coba untuk memperpanjang panjang konteks LLM secara efisien agar dapat menggunakan LLM bahasa Korea dengan konteks yang panjang
LongLoRA
Memanfaatkan shifted sparse attention dan fine-tuning LoRA untuk memperluas hingga 8x
Rope-based Position Interpolation
Dapat diterapkan pada model yang menggunakan embedding berbasis RoPE seperti Llama dengan memodifikasi embedding RoPE, dan melalui fine-tuning panjang konteks dapat diperluas hingga 16x
Dynamic NTK
Menerapkan teori NTK tanpa fine-tuning untuk memperluas lebih dari 2x
LongLM
Menggunakan attention yang dimodifikasi untuk memperluas hingga 4x tanpa fine-tuning
ChunkLlama
Memecah teks menjadi chunk untuk memperluas panjang konteks model Llama hingga 4x tanpa fine-tuning
Infini-attention
Dapat diperpanjang hingga 2M dengan penggunaan memori tambahan yang kecil serta memungkinkan inferensi yang cepat, metode yang diterapkan pada Gemini-Pro
2 komentar
Berbagai metode yang saya teliti dan coba untuk memperpanjang panjang konteks LLM secara efisien agar dapat menggunakan LLM bahasa Korea dengan konteks yang panjang
LongLoRA
Memanfaatkan shifted sparse attention dan fine-tuning LoRA untuk memperluas hingga 8x
Rope-based Position Interpolation
Dapat diterapkan pada model yang menggunakan embedding berbasis RoPE seperti Llama dengan memodifikasi embedding RoPE, dan melalui fine-tuning panjang konteks dapat diperluas hingga 16x
Dynamic NTK
Menerapkan teori NTK tanpa fine-tuning untuk memperluas lebih dari 2x
LongLM
Menggunakan attention yang dimodifikasi untuk memperluas hingga 4x tanpa fine-tuning
ChunkLlama
Memecah teks menjadi chunk untuk memperluas panjang konteks model Llama hingga 4x tanpa fine-tuning
Infini-attention
Dapat diperpanjang hingga 2M dengan penggunaan memori tambahan yang kecil serta memungkinkan inferensi yang cepat, metode yang diterapkan pada Gemini-Pro
Ini pertama kalinya saya melihat tulisan yang sama sekali tidak punya ringkasan.