Add papers

README.md

@@ -2,25 +2,40 @@
 ## 2502
 #### [Multimodal Mamba: Decoder-only Multimodal State Space Model via Quadratic to Linear Distillation](summaries/2502.13145.md)
 #### [SoFar: Language-Grounded Orientation Bridges Spatial Reasoning and Object Manipulation](summaries/2502.13143.md)
+#### [Pre-training Auto-regressive Robotic Models with 4D Representations](summaries/2502.13142.md)
 #### [Rethinking Diverse Human Preference Learning through Principal Component Analysis](summaries/2502.13131.md)
+#### [Magma: A Foundation Model for Multimodal AI Agents](summaries/2502.13130.md)
+#### [Text2World: Benchmarking Large Language Models for Symbolic World Model Generation](summaries/2502.13092.md)
+#### [Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity](summaries/2502.13063.md)
+#### [Eager Updates For Overlapped Communication and Computation in DiLoCo](summaries/2502.12996.md)
+#### [Flow-of-Options: Diversified and Improved LLM Reasoning by Thinking Through Options](summaries/2502.12929.md)
+#### [Soundwave: Less is More for Speech-Text Alignment in LLMs](summaries/2502.12900.md)
+#### [PAFT: Prompt-Agnostic Fine-Tuning](summaries/2502.12859.md)
+#### [Perovskite-LLM: Knowledge-Enhanced Large Language Models for Perovskite Solar Cell Research](summaries/2502.12669.md)
 #### [HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading](summaries/2502.12574.md)
 #### [RealSyn: An Effective and Scalable Multimodal Interleaved Document Transformation Paradigm](summaries/2502.12513.md)
 #### [Crowd Comparative Reasoning: Unlocking Comprehensive Evaluations for LLM-as-a-Judge](summaries/2502.12501.md)
+#### [SafeRoute: Adaptive Model Selection for Efficient and Accurate Safety Guardrails in Large Language Models](summaries/2502.12464.md)
+#### [Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities?](summaries/2502.12215.md)
+#### [MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections](summaries/2502.12170.md)
 #### [Learning Getting-Up Policies for Real-World Humanoid Robots](summaries/2502.12152.md)
 #### [HermesFlow: Seamlessly Closing the Gap in Multimodal Understanding and Generation](summaries/2502.12148.md)
 #### [Diffusion-Sharpening: Fine-tuning Diffusion Models with Denoising Trajectory Sharpening](summaries/2502.12146.md)
 #### [MagicArticulate: Make Your 3D Models Articulation-Ready](summaries/2502.12135.md)
 #### [SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?](summaries/2502.12115.md)
 #### [PhysReason: A Comprehensive Benchmark towards Physics-Based Reasoning](summaries/2502.12054.md)
+#### [Atom of Thoughts for Markov LLM Test-Time Scaling](summaries/2502.12018.md)
 #### [Building A Proof-Oriented Programmer That Is 64% Better Than GPT-4o Under Data Scarsity](summaries/2502.11901.md)
 #### [Intuitive physics understanding emerges from self-supervised pretraining on natural videos](summaries/2502.11831.md)
 #### [video-SALMONN-o1: Reasoning-enhanced Audio-visual Large Language Model](summaries/2502.11775.md)
 #### [Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance](summaries/2502.11578.md)
 #### [Large Language Models and Mathematical Reasoning Failures](summaries/2502.11574.md)
+#### [Continuous Diffusion Model for Language Modeling](summaries/2502.11564.md)
 #### [SAFE-SQL: Self-Augmented In-Context Learning with Fine-grained Example Selection for Text-to-SQL](summaries/2502.11438.md)
 #### [FLAG-Trader: Fusion LLM-Agent with Gradient-based Reinforcement Learning for Financial Trading](summaries/2502.11433.md)
 #### [System Message Generation for User Preferences using Open-Source Models](summaries/2502.11330.md)
 #### [Cuckoo: An IE Free Rider Hatched by Massive Nutrition in LLM's Nest](summaries/2502.11275.md)
+#### [OctoTools: An Agentic Framework with Extensible Tools for Complex Reasoning](summaries/2502.11271.md)
 #### [How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training](summaries/2502.11196.md)
 #### [ReLearn: Unlearning via Learning for Large Language Models](summaries/2502.11190.md)
 #### [The Mirage of Model Editing: Revisiting Evaluation in the Wild](summaries/2502.11177.md)
@@ -30,6 +45,9 @@
 #### [Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention](summaries/2502.11089.md)
 #### [Towards Data-Efficient Pretraining for Atomic Property Prediction](summaries/2502.11085.md)
 #### [Phantom: Subject-consistent video generation via cross-modal alignment](summaries/2502.11079.md)
+#### [FinMTEB: Finance Massive Text Embedding Benchmark](summaries/2502.10990.md)
+#### [Multilingual Encoder Knows more than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages](summaries/2502.10852.md)
+#### [Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey](summaries/2502.10708.md)
 #### [Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning](summaries/2502.10550.md)
 #### [I Think, Therefore I Diffuse: Enabling Multimodal In-Context Reasoning in Diffusion Models](summaries/2502.10458.md)
 #### [One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs](summaries/2502.10454.md)
@@ -46,6 +64,7 @@
 #### [V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models](summaries/2502.09980.md)
 #### [Diverse Inference and Verification for Advanced Reasoning](summaries/2502.09955.md)
 #### [Precise Parameter Localization for Textual Generation in Diffusion Models](summaries/2502.09935.md)
+#### [HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation](summaries/2502.09838.md)
 #### [FoNE: Precise Single-Token Number Embeddings via Fourier Features](summaries/2502.09741.md)
 #### [ZeroBench: An Impossible Visual Benchmark for Contemporary Large Multimodal Models](summaries/2502.09696.md)
 #### [Jailbreaking to Jailbreak](summaries/2502.09638.md)
@@ -59,6 +78,7 @@
 #### [EmbodiedBench: Comprehensive Benchmarking Multi-modal Large Language Models for Vision-Driven Embodied Agents](summaries/2502.09560.md)
 #### [ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation](summaries/2502.09411.md)
 #### [SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models](summaries/2502.09390.md)
+#### [You Do Not Fully Utilize Transformer's Representation Capacity](summaries/2502.09245.md)
 #### [Logical Reasoning in Large Language Models: A Survey](summaries/2502.09100.md)
 #### [Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking](summaries/2502.09083.md)
 #### [CoSER: Coordinating LLM-Based Persona Simulation of Established Roles](summaries/2502.09082.md)

summaries/2502.09245.md

@@ -0,0 +1,24 @@
+# You Do Not Fully Utilize Transformer's Representation Capacity
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2502.09245.pdf](https://arxiv.org/pdf/2502.09245.pdf)
+
+1. 논문의 각 섹션 요약:
+
+- **서론**
+  이 논문에서는 Transformer라는 딥러닝 모델의 효율성을 높이기 위한 새로운 방법인 Layer-Integrated Memory (LIMe)를 소개합니다. Transformer는 자연어 처리와 비전 모델에서 뛰어난 성과를 보이고 있지만, 레이어 간에 신호가 축적되면서 다양한 정보를 잘 반영하지 못하는 문제가 있습니다. LIMe는 모든 이전 레이어의 출력을 효과적으로 합성하여 이 문제를 해결합니다.
+
+- **관련 연구**
+  Transformer 모델의 잔여 연결 및 표준 구조에 기반하여, 다양한 연구가 수많은 개선 방안을 제시해왔습니다. 그러나 이러한 방법은 대개 느린 학습 속도를 수반하거나 비효율적인 메모리 사용이 문제였습니다.
+
+- **방법론: LIMe**
+  LIMe는 각 레이어에서 모든 이전 레이어의 출력을 능동적으로 사용하여 모델의 표현력을 확장합니다. 이를 통해 정보 "축적" 현상을 완화하고, 더 나은 성능 및 표현상의 다양성을 제공합니다. LIMe는 열쇠와 값으로 사용되는 출력의 조합을 학습하여, 새로운 방식으로 주목해야 할 정보를 선택합니다.
+
+- **실험**
+  LIMe는 다양한 태스크에서 기존 Transformer 기반 모델보다 우수한 성능을 보였습니다. 특히, 큰 깊이를 갖는 모델 구조에서 더 나은 성능을 발휘하며, 이는 메모리 효율성 및 정보의 풍부함에 관한 능력을 입증합니다.
+
+- **결론**
+  LIMe는 Transformer 구조의 새로운 방향성을 제시하며, 딥러닝 모델들의 성능을 개선할 수 있는 가능성을 열어줍니다. 결과적으로, 더 깊고 강건한 Transformer를 구축하는 데 있어 중요한 토대를 마련했습니다.
+
+2. 전체 요약:
+이 논문은 Transformer 모델의 성능 및 표현력을 개선하기 위해 LIMe라는 새로운 방법을 제안합니다. LIMe는 레이어 통합 구조를 통해 모든 이전 레이어의 출력을 효율적으로 활용하여 표현 변형과 정보 손실을 방지합니다. 여러 실험 결과, LIMe는 기존의 Transformer 모델보다 우수한 성능을 보였으며, 딥러닝 모델의 새로운 가능성을 제시합니다.

summaries/2502.09838.md

@@ -0,0 +1,25 @@
+# HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2502.09838.pdf](https://arxiv.org/pdf/2502.09838.pdf)
+
+1. 논문의 주요 내용을 각 섹션별로 요약하겠습니다.
+
+- **소개**:
+  HealthGPT는 의료 분야에 특화된 대형 비전-언어 모델(LVLM)로, 통합 자가 회귀 패러다임 내에서 의료 시각 이해와 생성 기능을 통합하였습니다. 이 연구는 이질적 이해 및 생성 지식을 사전 훈련된 대형 언어 모델(LLMs)에 점진적으로 적응시키는 것을 목표로 합니다.
+
+- **관련 연구**:
+  이전 연구들은 의료 시각 이해에 중점을 두고 있으며, 주로 텍스트 기반 출력을 생성하고 있습니다. 이 논문은 시각 이해와 생성을 통합하여 의료 LVLM의 다기능성을 향상시키는 데 주목하고 있습니다.
+
+- **HealthGPT**:
+  이 모델은 이질적 저순위 적응(H-LoRA)을 통해 시각 및 언어 데이터를 통합하는 새로운 기술을 소개하며, 단계적 학습 전략을 통해 의료 도메인에 대한 포괄적인 데이터셋을 구성합니다. H-LoRA는 다양한 과제를 효율적으로 학습할 수 있도록 개선된 방식입니다.
+
+- **실험**:
+  다양한 모델과 비교하여 HealthGPT가 우수한 성과를 발휘했으며, 의료 시각 이해 및 생성 태스크에서 대등하거나 더 나은 결과를 보여주었습니다.
+
+- **결론**:
+  이 연구는 미래 연구에서 PEFT의 가능성을 확장하기 위해 게임 이론적 프레임워크를 더 탐구할 것을 제안합니다.
+
+2. 이 논문의 전반적인 요약입니다.
+
+논문은 HealthGPT라는 의료 전문 대형 비전-언어 모델을 제시하고 있으며, 시각 및 언어 데이터를 통합하여 다양한 의료 과제를 수행할 수 있도록 설계되었습니다. 주요 기여는 의료 분야 내 다중 모달 태스크에서 대등하거나 우수한 성능을 보여주는 모델을 개발한 점입니다. 이 모델은 이질적 저순위 적응(H-LoRA) 기술을 바탕으로 효율적으로 다양한 태스크를 학습할 수 있으며, 여러 실험 결과에서 성공적인 성과를 입증하였습니다.

summaries/2502.10708.md

@@ -0,0 +1,22 @@
+# Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2502.10708.pdf](https://arxiv.org/pdf/2502.10708.pdf)
+
+1. 각 섹션의 주요 내용 요약:
+
+- **소개**: 대형 언어 모델(LLM)은 자연어 이해와 같은 여러 작업에서 성공을 거두었지만, 의료, 화학, 법률 분석과 같은 전문 영역에서는 특화된 지식의 통합이 필요합니다. 이 논문은 LLM에 도메인 특정 지식을 주입하는 여러 방법을 제시합니다.
+
+- **백그라운드**: 도메인 특정 지식은 특정 분야나 응용에 적합한 전문 정보를 말하며, 일반 지식과 구분됩니다. LLM은 이러한 도메인 지식을 이해하고 응용하기 위해 다양한 삽입 방법을 사용합니다.
+
+- **지식 주입 패러다임**: 4가지 주요 패러다임인 동적 지식 주입, 정적 지식 포함, 모듈형 어댑터, 프롬프트 최적화를 식별하여 이를 통해 외부 도메인 지식을 LLM에 통합하는 방식을 설명합니다. 각 패러다임은 유연성과 효율성 사이의 균형을 제공합니다.
+
+- **응용**: LLM은 바이오메디컬, 화학, 법률 분야에서 실질적인 응용을 위해 일반 모델보다 도메인 특정 지식이 내장된 모델에서 더 우수한 성능을 발휘할 수 있습니다. 예를 들어, Med-PaLM은 다양한 질문 답변 데이터셋을 활용해 생의학 모델의 성능을 높였습니다.
+
+- **도전과 기회**: 지식 주입은 LLM의 도메인별 지식을 강화하지만, 일관성 유지, 도메인 간 지식 전이 등의 과제가 남아 있습니다. 앞으로의 연구는 이 문제들을 해결하고 다중 도메인 지식을 효과적으로 통합할 수 있는 방법을 탐구해야 합니다.
+
+- **결론**: 도메인 특정 지식을 LLM과 통합함으로써 다양한 분야의 도전에 대응할 수 있습니다. 이 논문은 이러한 접근 방식에 대한 종합적인 검토를 제공하며 LLM 성능 향상을 위한 방법을 탐구합니다.
+
+2. 전체 요약:
+
+이 논문은 LLM에 도메인 특정 지식을 통합하는 다양한 방법을 종합적으로 설명합니다. 동적 지식 주입, 정적 지식 포함, 모듈형 어댑터, 프롬프트 최적화를 통해 LLM의 성능을 향상시키는 방법을 탐구합니다. 이러한 방법들은 의료, 화학 등 구체적인 분야에서의 적용 가능성을 높이며, 기술적 한계를 극복하기 위한 솔루션을 제안합니다. 결과적으로, 지식 주입 기술은 LLM이 더욱 포괄적이고 전문적인 지식 기반으로 작동할 수 있도록 하는 중요한 역할을 합니다.

summaries/2502.10852.md

@@ -0,0 +1,18 @@
+# Multilingual Encoder Knows more than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2502.10852.pdf](https://arxiv.org/pdf/2502.10852.pdf)
+
+1. 논문의 각 섹션 요약
+
+   - **서론:** 최근 다양한 다중 언어 기반의 모델들이 발전하면서, 다중 언어 작업에서 상당한 성과를 거두었다. 하지만, 아직도 언어 자원이 부족한 지역의 언어들, 특히 중국의 소수 민족 언어들은 제대로 다루어지지 않고 있다. 이 논문은 이러한 문제를 해결하기 위한 새로운 프레임워크를 제안한다.
+
+   - **중요 발견 및 기여:** 제안된 프레임워크는 인코더와 디코더에서 가중치를 공유함으로써, 데이터가 부족한 환경에서도 모델의 학습 및 일반화 능력을 극대화할 수 있도록 한다. XLM-SWCM이라는 모델은 이러한 방법론을 사용하여, 전통적인 모델들보다 뛰어난 성능을 발휘하며 특히 티베트어, 우이구르어, 카자흐어, 몽골어와 같은 중국 소수 언어들에서는 더욱 뛰어난 결과를 보여준다.
+
+   - **실험 및 성과:** 실험 결과, 제안된 모델은 전통적인 베이스라인 모델들보다 모든 텍스트 생성 작업에서 뛰어난 성능을 보였다. 특히 저자들은 무게 공유 프레임워크를 통해, 모델의 인코더에서 학습된 의미적 공간을 최대한 이용하여 저자원의 중국 소수 언어 응용에서 뛰어난 성능을 보였음을 증명한다.
+
+   - **결론:** 이 논문은 새로운 모델링 접근 방식을 제안하여 언어 자원이 부족한 중국 소수 언어에 대한 연구를 진행하였다. 미래에는 이러한 언어에 대한 유사 연구가 계속 진행되어야 한다고 주장한다.
+
+2. 전체 요약
+
+   이 논문은 중국의 소수 민족 언어 텍스트 생성을 효율적으로 처리하는 새로운 다중 언어 모델 프레임워크인 XLM-SWCM을 제안한다. 제안된 프레임워크는 인코더와 디코더 간의 가중치 공유를 통해 극저 자원 언어 환경에서도 높은 성능을 보여준다. XLM-SWCM은 특히 기존의 거대 모델들을 능가하며, 제한된 데이터와 파라미터 환경에서도 뛰어난 일반화 능력을 입증했다. 이 연구는 소수 언어에 대한 더 나은 데이터 집합 개발의 필요성을 강조하며, 다언어 대화형 인공지능 발전에 기여한다.

summaries/2502.10990.md

@@ -0,0 +1,30 @@
+# FinMTEB: Finance Massive Text Embedding Benchmark
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2502.10990.pdf](https://arxiv.org/pdf/2502.10990.pdf)
+
+각 섹션의 요약은 다음과 같습니다:
+
+1. **소개**
+   이 논문은 자연어 처리에서 중요하게 사용되는 임베딩 모델에 대해 논의하며, 특히 금융 분야에서의 임베딩 모델의 효과성을 탐구합니다.
+
+2. **관련 연구**
+   다양한 일반적 임베딩 모델과 그 발전 과정, 그리고 기존의 평가 방식들에 대해 설명합니다. 특히 금융과 같은 특정 분야에서는 기존 모델의 한계가 드러난다고 지적합니다.
+
+3. **FinMTEB 벤치마크**
+   금융 분야에 특화된 임베딩 평가 벤치마크인 FinMTEB를 소개하고, 이를 통해 다양한 임베딩 모델의 성능을 비교합니다. FinMTEB는 금융 분야의 특수성을 반영하여 여러 과제에서의 성능을 포괄적으로 평가할 수 있습니다.
+
+4. **데이터 형성 및 훈련 데이터 구성**
+   금융 분야에 적합한 데이터를 구성하는 방법을 설명하며, 특히 전문가가 검증한 데이터와 페르소나 기반의 데이터를 활용하여 종합적인 훈련 데이터를 구축합니다.
+
+5. **훈련 파이프라인**
+   다양한 임베딩 모델의 성능을 향상시키기 위해 훈련 파이프라인을 설명하고, 특히 정보 대조 학습을 위한 부정 샘플을 식별하는 방법에 대해 논의합니다.
+
+6. **실험 결과 및 분석**
+   실험 결과, 도메인 적응이 모델의 성능을 상당히 향상시킴을 보여주며, LLM 기반 모델이 전통적인 접근 방식에 비해 우수한 성능을 보였습니다.
+
+7. **결론 및 미래 작업**
+   금융 분야에 특화된 임베딩 모델의 필요성과 그 성과를 강조하며, 향후 연구 방향을 제시합니다.
+
+**논문의 전체 요약:**
+이 논문은 금융 분야에 최적화된 임베딩 모델을 개발 및 평가하는 데 중점을 두고 있습니다. 기존의 일반적 임베딩 모델의 한계를 극복하고, 금융 분야의 특수성을 반영한 FinMTEB 벤치마크를 통해 성능을 측정하여, 도메인 적응이 효과적임을 실증적으로 보여줍니다. 주요 기여는 금융 분야에 적합한 훈련 데이터 구성과 평가를 통한 LLM 기반 모델의 성능 향상입니다.