Add papers

README.md

@@ -1,6 +1,10 @@
 # Paper List
 ## 2410
+#### [TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters](summaries/2410.23168.md)
 #### [CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation](summaries/2410.23090.md)
+#### [Stealing User Prompts from Mixture of Experts](summaries/2410.22884.md)
+#### [Toxicity of the Commons: Curating Open-Source Pre-Training Data](summaries/2410.22587.md)
+#### [A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks](summaries/2410.22391.md)
 #### [Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Dataset](summaries/2410.22325.md)
 #### [Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning](summaries/2410.22304.md)
 #### [Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning](summaries/2410.21845.md)

summaries/2410.22391.md

@@ -0,0 +1,23 @@
+# A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2410.22391.pdf](https://arxiv.org/pdf/2410.22391.pdf)
+
+제공된 논문을 분석하여 다음과 같이 요약해드리겠습니다.
+
+### 1. 각 섹션 요약
+
+#### 소개
+최근 강화 학습(RL) 분야에서는 대형 행동 모델(LAM)이 주목받고 있으며, 이는 대규모의 데이터셋에서 반복 학습하는 방식으로 주로 Transformer 아키텍처에 기반을 두고 있습니다. 그러나 이 방법은 실시간 응용 분야, 특히 로봇 공학에서는 느린 추론 속도로 인해 실용적이지 않습니다. 이에 대안으로 xLSTM과 같은 현대적 반복 구조가 제안되었으며, 이번 연구는 이러한 구조를 대형 행동 모델(LRAM)의 핵심으로 도입하여 xLSTM이 실시간 추론에 얼마나 적합한지를 탐구합니다.
+
+#### 본론
+본 연구는 실시간 리얼월드 응용 프로그램에 더 적합한 Large Recurrent Action Model (LRAM)을 제안합니다. xLSTM을 기반으로 하여 대규모 데이터셋을 효율적으로 처리할 수 있고, Transformer보다 빠른 추론 속도를 자랑합니다. 이러한 LRAM은 다중 작업, 맥락 내 학습, 미세 조정 성능 면에서 뛰어난 성능을 보입니다.
+
+#### 결과 및 토론
+실험 결과, xLSTM 기반 LRAM이 다수의 태스크에 대해 Transformer보다 빠르고 효과적인 것으로 나타났습니다. 이는 특히 긴 문맥을 필요로 하는 애플리케이션, 예를 들어 실시간 로봇 응용 프로그램에서 유용할 수 있습니다. 그러나 실제 로봇 실험 데이터는 아직 부족하여, 이는 후속 연구로 계획되고 있습니다.
+
+#### 결론
+이 연구는 대형 행동 모델 분야에서 Transformer의 대안으로 반복 구조가 가능성을 지니고 있음을 보여줍니다. 특히, xLSTM의 선형 시간 복잡도는 긴 문맥 길이를 요구하는 애플리케이션에 적합하다는 결론을 이끌어냈습니다. 추가적인 연구와 실제 적용에 대한 검증이 필요하며, 이는 미래 연구의 방향입니다.
+
+### 2. 전체 요약
+이 논문은 강화 학습의 대형 행동 모델 구현에 있어 현대적 반복 구조, 특히 xLSTM의 가능성을 탐구합니다. Transformer 기반 모델에 비해 빠른 추론 속도와 효율적 성능을 보이며, 특히 긴 문맥을 요구하는 실시간 로봇 응용에 적합합니다. 이러한 접근은 로봇 공학 등 실시간 응용에서의 대형 모델 사용에 대한 귀중한 통찰력을 제공합니다. 그러나, 실제 적용을 위한 추가 연구가 필요하다는 점을 명심해야 합니다.

summaries/2410.22587.md

@@ -0,0 +1,18 @@
+# Toxicity of the Commons: Curating Open-Source Pre-Training Data
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2410.22587.pdf](https://arxiv.org/pdf/2410.22587.pdf)
+
+1. **논문의 각 섹션 요약 및 주요 기여와 혁신적 부분**
+
+   - **서론**: 본 논문은 오픈 소스 대형 언어 모델(LLM)의 안전성과 투명성 향상을 위해 데이터 큐레이션 파이프라인을 제안합니다. 특히, 공공 도메인 데이터를 활용한 모델에서 유해 출력을 줄이는 방안을 탐구합니다. 공공 도메인 데이터는 웹 텍스트와는 다른 양상을 가지고 있어 독특한 도전과제를 안고 있습니다.
+
+   - **연구 방법**: 저자들은 'ToxicCommons'라는 맞춤형 데이터셋을 구성하고, 다양한 차별 요소를 포함한 다섯 개 차원(인종/출신지, 성별/성차, 종교, 능력 기반 차별, 폭력)에 걸쳐 내용의 유해도를 분류합니다. 이 데이터셋으로 'Celadon'이라는 분류기를 훈련시켜 대규모 오픈 데이터에서 유해한 내용을 효율적으로 감지합니다.
+
+   - **데이터 필터링 파이프라인**: 본 논문은 다양한 역사적인 공공 도메인 데이터셋을 사용하며, OCR 노이즈를 감소시키기 위해 'OCRonos'를 적용합니다. 필터링은 유해한 데이터를 걸러내고, 필요 시 텍스트를 재작성하여 독소를 제거하는 방법을 사용합니다.
+
+   - **논의 및 결론**: 이 파이프라인과 데이터셋, 분류기는 공공 도메인 데이터에 대한 LLM의 유해성을 줄이는 효율적인 방법을 제공합니다. 또한, 노출된 인간 주석자의 위험을 줄이기 위해 주로 LLM을 활용한 어노테이션 과정을 사용하며, 이를 통해 공정성과 투명성을 높이는 데 기여할 수 있습니다.
+
+2. **전체 요약**
+
+   본 논문은 오픈 소스 AI 모델의 구성 요소로서 공공 도메인 데이터를 사용하는 데 있어 생기는 유해성을 감소시키기 위한 체계적 접근 방안을 제시합니다. 스스로 개발한 'ToxicCommons' 데이터셋과 'Celadon' 분류기를 통해 다섯 가지 스펙트럼의 유해 콘텐츠를 필터링하고, 필요 시 텍스트를 재작성하는 방법을 설명합니다. 이는 유해한 텍스트 데이터를 지속 가능한 방식으로 관리하여 LLM의 안전성과 신뢰성을 높이기 위한 노력의 일환입니다. 연구는 공공 도메인 데이터의 특별한 성격을 고려하면서 신중한 데이터 큐레이션의 필요성을 강조하며, 이에 대한 해결책을 제시함으로써 AI 커뮤니티에 기여하고자 합니다.

summaries/2410.22884.md

@@ -0,0 +1,21 @@
+# Stealing User Prompts from Mixture of Experts
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2410.22884.pdf](https://arxiv.org/pdf/2410.22884.pdf)
+
+### 1. 각 섹션 요약
+
+#### 소개
+혼합 전문가 모델(MoE) 아키텍처는 점차 대형 언어 모델(LLM)의 계산적 요구를 처리하는 데 중요해졌습니다. MoE 아키텍처는 처리 작업을 여러 '전문가' 모듈로 분산시켜 필요한 전문가만 활성화하여 효율성을 높이고 더 큰 LLM 개발을 가능하게 합니다. 그러나 이는 새로운 취약점을 초래할 수 있습니다.
+
+#### MoE Tiebreak 누출 공격
+이 논문에서는 혼합 전문가 모델의 Expert-Choice-Routing 전략의 취약점을 소개하고 이에 대한 새로운 공격 방법을 제시합니다. 이 공격은 모델의 내부 구조적 결함을 이용해 사용자 입력을 도용하는 것으로, 자세한 내용은 그림을 통해 시각적으로 설명되어 있습니다.
+
+#### 사용자 프라이버시 침해
+이전 연구들은 LLM에서 사용자 프라이버시가 어떻게 침해될 수 있는지 조사했으나, 특히 모델의 내부 구조적 이유로 인한 취약성을 본격적으로 분석한 것은 없습니다. 이 연구는 배치 내 독립성을 미세하게 파괴하는 다양한 라우팅 전략들이 유사한 취약성을 나타낼 가능성이 있음을 시사합니다.
+
+#### 결론
+MoE 모델은 한 사용자의 데이터가 다른 사용자의 출력에 영향을 줄 수 있는 부작용 채널을 도입합니다. 이 누출은 작고 탐지하기 어렵지만, 공격을 통해 적절하게 Craft된 입력 배치를 사용하여 MoE 모델 내 전문가 버퍼를 조작하여 피해자의 프롬프트를 완전하게 유출시킬 수 있음을 보여줍니다.
+
+### 2. 전체 요약
+이 논문은 대형 언어 모델의 혼합 전문가(MoE) 아키텍처와 관련된 새로운 보안 취약점을 설명합니다. 특히 Expert-Choice-Routing 전략에서 나타나는 'MoE Tiebreak 누출' 공격을 통해 사용자 프롬프트를 완전하게 도용하는 방법을 밝혀냈습니다. 이 공격은 모델이 처리 중인 데이터 배치의 독립성을 악용하여 발생합니다. 연구는 이러한 취약점을 방지하기 위해 모델 설계 과정에서 보안적 측면의 고려가 필요함을 강조합니다. 이 논문은 이러한 MoE 모델의 잠재적인 취약성에 대한 경고와 함께, 보안 점검의 필요성을 재고하게 합니다.

summaries/2410.23168.md

@@ -0,0 +1,28 @@
+# TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2410.23168.pdf](https://arxiv.org/pdf/2410.23168.pdf)
+
+### 1. 섹션 별 요약
+
+**소개 (Introduction)**  
+이 논문은 Transformers의 장점과 문제점을 논의하고 있습니다. Transformers는 다양한 분야에서 뛰어난 성능을 발휘하지만, 모델을 확장하는 데 있어 높은 비용이 문제입니다. 이에 대한 대안으로 Tokenformer라는 새로운 아키텍처를 제안합니다. 이 기술은 모델의 파라미터를 확장할 때, 기존 모델을 재사용하여 학습 비용을 줄일 수 있는 새로운 방법을 도입합니다.
+
+**관련 연구 (Related Work)**  
+전통적인 Transformer 모델은 다양한 도메인에서 성공을 거두었지만, 대규모 모델 확장에는 높은 비용이 필요합니다. 이러한 문제를 해결하기 위해, Tokenformer는 파라미터를 토큰으로 취급하여 더 유연하게 확장할 수 있도록 합니다.
+
+**방법론 (Methodology)**  
+Tokenformer는 완전한 주의 메커니즘에 기반하여 토큰-파라미터와 토큰-토큰 간 상호작용을 관리합니다. Pattention Layer라는 새로운 기술을 도입하여 파라미터 확장을 가능하게 하며, 이 기능은 높은 안정성과 성능을 제공합니다. 이는 또한 기존 학습된 모델을 자연스럽게 확장할 수 있는 방법을 제공합니다.
+
+**실험 결과 (Experimental Results)**  
+Tokenformer의 성능은 다른 최신 모델과 비교하여도 뛰어납니다. 특히 파라미터를 다시 사용하는 기능 덕분에, 새 데이터를 포함할 때에도 성능의 손실 없이 빠르게 확장할 수 있습니다. 이러한 실험 결과는 Tokenformer의 효율성을 입증합니다.
+
+**미래 작업 (Future Work)**  
+이 논문에서는 Tokenformer의 잠재력을 더욱 개발하기 위한 여러 방향성을 제시합니다. Mixture-of-Experts 구조의 확장, 파라미터 효율적 튜닝, 비전 및 언어 모델의 통합, 디바이스-클라우드 협업 등 여러 응용 가능성을 탐구하고 있습니다.
+
+**결론 (Conclusion)**  
+Tokenformer는 전통적인 Transformers의 한계를 극복하고 더 유연한 확장성을 제공합니다. 이 아키텍처는 모델을 점진적으로 확장하면서 재학습의 필요성을 줄일 수 있기 때문에, AI 분야에서의 중요한 기여가 될 것으로 예상됩니다.
+
+### 2. 전반적인 요약
+
+이 논문은 Tokenformer라는 혁신적인 아키텍처를 제안하여, 기존의 Transformer 모델의 확장성을 개선하고 학습 비용을 줄이는 방법을 제시합니다. Tokenformer는 파라미터를 토큰으로 취급하여 더 유연한 확장을 가능하게 하고, 높은 성능을 유지하면서도 학습 비용을 크게 줄일 수 있습니다. 실험 결과, Tokenformer는 다양한 분야에서 뛰어난 성능을 보여주었으며, AI의 발전에 기여할 수 있는 중요한 기술로 평가받을 수 있습니다. 이 논문은 Tokenformer의 발전 가능성과 다양한 응용 방안을 제시함으로써 AI의 발전 방향에 새로운 통찰을 제공하고 있습니다.