Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

A :

The uploaded document introduces CItruS, a novel method for improving long-sequence modeling in transformer-based large language models (LLMs). Here’s a detailed breakdown based on your request:

1. 강점과 독창적인 지점

문제 정의: Information Neglect 문제 해결
- 기존 LLM의 상태(eviction) 방식이 “정보 소홀(information neglect)” 문제를 초래한다는 점을 처음으로 지적. 이는 문맥(context)과 작업(instruction)의 불일치로 인해 다운스트림 작업에 중요한 정보를 잃게 됨.
- CItruS는 작업별 정보의 요구를 eviction 프로세스에 통합하는 방법을 제안.
Chunked Instruction-aware State Eviction(CItruS)의 설계
- 두 가지 처리 방식:
  1. Language Modeling: 긴 문서를 효율적으로 처리하기 위한 “chunked eviction” 방식.
  2. Task Solving: 작업 관련 정보를 유지하기 위해 instruction-aware cache를 활용.
- 이는 인간의 언어 처리에서 “언어”와 “사고”를 분리할 수 있다는 인지 과학적 관점에서 영감을 받음.
모든 Transformer 기반 모델에 적용 가능
- 추가 훈련 없이, 개방형 Transformer 기반 모델에서 inference 시간 동안 실행 가능.
다양한 작업에서 우수한 성능
- 문서 이해, 정보 검색, 언어 모델링 작업에서 기존 모델 대비 우수한 결과를 입증.

2. 핵심 알고리즘 설명 (예시 입력 포함)

CItruS의 전체 프로세스:

입력 분할 및 초기 설정
- 긴 문서 ( D )를 일정 길이의 청크 ( s_1, s_2, …, s_n )로 분할.
- 각 청크는 캐시 ( C )를 사용해 처리되며, 캐시는 중요하지 않은 상태를 제거(eviction)하며 업데이트됨.
Eviction 점수 계산
- 주어진 청크 ( s )에 대해:
  - 캐시 상태 ( c )의 중요도 ( \text{Imp}(s, c) )는 attention weight로 계산: [ \text{Imp}(s, c) = \frac{1}{|s|} \sum_{t \in s} \text{softmax}(Q_t K_c^T / \sqrt{d_k}) ]
  - 점수가 높은 상위 ( k )개의 상태만 유지.
Instruction-aware Cache
- 최종 instruction ( I )을 사용해 추가 eviction 수행.
- ( I )가 중요하다고 판단한 상태를 유지해 작업에 맞춘 응답 생성.

예시:

입력: 긴 문서 ( D )와 질문 ( I )(“What is the main argument of this document?”).
청크 분할: ( D = [\text{chunk}_1, \text{chunk}_2, …, \text{chunk}_n] ).
처리 과정:
1. ( \text{chunk}_1 ) 처리 후 캐시 업데이트.
2. ( \text{chunk}_2 ) 처리 및 이전 캐시 상태에서 불필요한 상태 제거.
3. ( I )를 기준으로 캐시 재정렬.
출력: ( I )에 기반한 정답 생성.

3. 논문의 한계점

모델 일반화
- CItruS는 주로 LLaMA와 Mistral 모델에서 평가되었으며, 다른 아키텍처에 대한 검증 부족.
하이퍼파라미터 민감도
- 청크 크기 ( l_s )와 유지할 상태 수 ( k )가 성능에 미치는 영향은 낮지만, 최적 값을 찾는 데 추가 실험이 필요.
중간 정보 손실
- 모델이 긴 문서 중간 정보에 덜 집중하는 경향이 여전히 남아 있음.
응용 제한
- 특정 작업(질문 응답, 정보 검색)에 최적화되었으나, 다중 추론 또는 복합적 사고를 요구하는 작업에 대한 확장성은 미확인.

이 논문은 LLM의 메모리 문제와 정보 손실 문제를 해결하는 데 중요한 기여를 했으며, 특히 긴 문맥 처리와 작업 요구 사항 간의 균형을 잡는 새로운 방법론을 제시했습니다. 추가로 궁금한 점이 있다면 알려주세요!

Q : 논문의 핵심알고리즘을 예시를 들어 아주 자세하게 설명해주고 정리해 줘

A :

논문의 핵심 알고리즘인 CItruS (Chunked Instruction-aware State Eviction)은 긴 문서를 효율적으로 처리하면서 작업(task)-특화 정보를 유지하기 위한 접근법입니다. 이 알고리즘의 전체 과정을 실제 예시를 들어 단계별로 상세히 설명하겠습니다.

알고리즘 개요

CItruS는 두 가지 주요 단계로 구성됩니다:

Chunked State Eviction (CSE):
- 긴 문서를 여러 청크(chunk)로 나누고 각 청크를 처리하며, 중요한 정보를 선택적으로 캐시에 유지.
Instruction-aware Eviction:
- 작업 지시(instruction)를 추가적으로 반영하여 캐시를 업데이트하고, 작업 특화 정보를 유지.

이 알고리즘은 긴 문서 처리와 작업 관련 정보를 분리하여 다루는 것이 핵심입니다.

알고리즘 세부 과정 (예시 포함)

1. 입력 정의

긴 문서 ( D ):
- 예: “The history of quantum mechanics dates back to the early 20th century. Key contributors include Planck, Einstein, and Schrödinger. Quantum mechanics explains the behavior of particles on a very small scale…”
- 문서 길이가 10,000 토큰을 초과한다고 가정.
질문(Instruction ( I )):
- 예: “Who are the key contributors to quantum mechanics?”

2. 문서 분할

문서를 일정 크기의 청크로 분할: [ D = {s_1, s_2, …, s_n} ]

예를 들어, ( s_1 )에는 “The history of quantum mechanics dates back to the early 20th century…” (256개 토큰).
( s_2 )는 다음 256개 토큰, 나머지도 동일하게 분할.

3. Chunked State Eviction (CSE)

각 청크 처리 및 상태 제거 단계:

캐시 초기화:
- 캐시 ( C )는 비어 있음.
첫 번째 청크 ( s_1 ) 처리:
- ( s_1 )을 언어 모델에 입력하여 키-값(key-value) 상태를 생성.
- 상태 중요도 계산: [ \text{Imp}(s_1, c) = \frac{1}{|s_1|} \sum_{t \in s_1} \text{softmax}(Q_t K_c^T / \sqrt{d_k}) ]
  - 여기서 ( Q_t )는 쿼리 벡터, ( K_c )는 캐시 ( c )의 키 벡터.
- 중요도가 높은 상위 ( k )개의 상태만 유지, 나머지 제거.
두 번째 청크 ( s_2 ) 처리 및 캐시 업데이트:
- ( s_2 )의 키-값 상태를 캐시에 추가.
- 캐시에서 덜 중요한 상태 제거.
- 반복적으로 모든 청크 처리.

4. Instruction-aware Eviction

작업 지시 ( I ) 반영:

작업 지시를 캐시에 반영:
- ( I )를 사용하여 캐시의 중요 상태를 재선택: [ \text{Imp}(I, c) = \frac{1}{|I|} \sum_{t \in I} \text{softmax}(Q_t K_c^T / \sqrt{d_k}) ]
- ( I )에 대해 가장 중요한 ( k )개의 상태를 유지.
최종 캐시 ( C )에서 작업 수행:
- 업데이트된 캐시를 사용해 답변 생성:
  - 예: “Planck, Einstein, Schrödinger.”

5. 출력

최종적으로 작업 ( I )와 관련된 정보가 유지된 캐시를 기반으로 답변 생성.
- 출력 예시: “The key contributors to quantum mechanics are Planck, Einstein, and Schrödinger.”

정리

CItruS 알고리즘은 다음의 주요 단계를 통해 긴 문서를 처리하고 작업 관련 정보를 유지합니다:

Chunked State Eviction:
- 문서를 청크로 분할하고 중요 정보를 선택적으로 유지.
- 상태 중요도를 attention weight로 계산하여 캐시를 업데이트.
Instruction-aware Eviction:
- 작업 지시를 반영하여 캐시를 재정렬, 다운스트림 작업에 필요한 정보를 유지.
장점:
- 긴 문서를 처리하면서도 작업 특화 정보를 유지.
- 기존 방법 대비 효율성과 성능 모두 개선.

예시를 기반으로 한 설명 요약

CItruS는 문서를 청크로 나누고 중요 정보를 반복적으로 캐시에 업데이트합니다. 이후, 작업 지시에 따라 캐시를 재정렬하여 작업 특화 응답을 생성합니다. 이 접근법은 긴 문서를 효율적으로 다루면서도 다운스트림 작업의 성능을 크게 향상시킵니다.

Q : 이 논문에서 제시한 결과를 자세하게 보고 다른 방법론에 비하여 특출난 점과 논문에서 제기하는 어떠한 방법이 이러한 결과를 도출하게 되었는지 논문에서 제시하는 이유와 너의 생각을 알려줘

A :

논문의 주요 결과

CItruS는 긴 문맥 처리와 다운스트림 작업 성능 면에서 기존 방법론 대비 특출난 결과를 제시합니다. 이 결과는 세 가지 주요 작업에서 평가되었으며, CItruS의 성능은 기존 방법과 비교하여 전반적으로 우월함을 보여줍니다.

1. 주요 결과 요약

1.1. 긴 문서 읽기 이해(Long Document Reading Comprehension)

평가 데이터셋: Qasper, MultifieldQA-en, HotpotQA 등.
주요 결과:
- CItruS는 읽기 이해에서 모든 기존 방법론 대비 높은 평균 순위(average rank)를 기록.
- 특히, CItruS(Shared Cache)는 여러 길이(0–4k, 4–8k, 8k 이상)에서 일관된 성능을 보여줌.
- 결과 요약:
  - CItruS(Shared Cache): 가장 높은 순위 기록 (평균 6.5–7.3, 기존 모델은 2–5 수준).

1.2. 긴 문서 기반 지식 검색(Long Document Knowledge Retrieval)

평가 작업:
1. Passkey Retrieval (랜덤 숫자 키 검색).
2. Needle-in-a-Haystack (긴 문서에서 특정 정보 검색).
주요 결과:
- CItruS는 Passkey Retrieval에서 정확히 키를 찾아내며, 긴 문서(최대 1백만 토큰)에서도 높은 정확도를 유지.
- Needle-in-a-Haystack에서는 ROUGE-1/ROUGE-L에서 기존 방법 대비 최대 30% 성능 향상.

1.3. 긴 문맥 언어 모델링(Long-range Language Modeling)

평가 작업: PG19 데이터셋에서 perplexity(언어 모델의 언어 생성 유창성 측정) 비교.
주요 결과:
- CItruS는 기존 모델과 비슷한 perplexity를 유지하며, Streaming LLM처럼 긴 문맥(최대 4백만 토큰)을 처리.
- Instruction-aware 캐시를 사용했을 때도 언어 생성 유창성에 큰 영향을 미치지 않음.

2. 특출난 점

2.1. 기존 방법론 대비 장점

작업 특화(Task-specific) 정보 보존:
- 기존 방법론(TOVA, RoCo, H2O)은 attention weight에만 의존하여 상태를 제거.
- CItruS는 “Instruction-aware State Eviction”을 통해 작업 지시(instruction)를 명시적으로 반영, 다운스트림 작업에서 필수적인 정보를 보존.
효율성과 성능의 균형:
- CItruS는 Chunked State Eviction(CSE) 방식을 도입하여 긴 문서를 처리하면서도 캐시 크기를 효과적으로 관리.
- Shared Cache 방식은 추가 메모리 사용 없이 뛰어난 성능 달성.
모든 Transformer 모델과 호환 가능:
- CItruS는 추가 훈련 없이 open-source LLM에서 inference 단계에서 바로 활용 가능.

2.2. 기존 방법론과 비교

Streaming LLM:
- Sliding Window 방식 사용 → 문맥 유실 문제.
- CItruS는 모든 문서의 중요한 정보를 유지하며 더 긴 문맥을 처리 가능.
TOVA, RoCo, H2O:
- Attention weight에만 의존하여 작업 관련 정보 손실.
- CItruS는 instruction-aware eviction으로 문제 해결.

3. 논문이 제시하는 이유

논문에서 CItruS의 우수한 결과를 설명하는 이유는 다음과 같습니다:

Information Neglect 문제 해결:
- 기존 방법론은 문맥만 고려하여 중요 정보를 판단했으나, 작업 지시(instruction)와 관련된 정보를 무시.
- CItruS는 작업 지시를 eviction 과정에 반영하여 정보 손실을 최소화.
Chunked State Eviction:
- 긴 문서를 청크 단위로 처리하며 캐시 효율성을 높이고, 최신 청크에 편향되지 않도록 설계.
Instruction-aware Cache 설계:
- 작업 지시에 특화된 정보를 별도의 캐시(또는 공유 캐시)에 유지하여 작업 성능 극대화.

4. 나의 생각

4.1. CItruS의 성능 우수성 이유

작업 지시 반영: 작업에 필요한 정보가 eviction에 직접적으로 반영되면서 다운스트림 성능이 크게 향상되었음.
캐시 효율화: 메모리 크기를 유지하며 작업에 특화된 캐시 설계를 통해 정보 처리 성능을 높였음.

4.2. 개선 가능성

작업 지시 최적화: 논문에서는 하나의 작업 지시를 사용했으나, 지시 텍스트의 최적화 또는 다중 작업 지시 조합이 성능을 더욱 향상시킬 가능성이 있음.
중간 정보 손실 문제 해결: 긴 문서의 중간 위치 정보가 덜 반영되는 “lost-in-the-middle” 문제를 해결하기 위한 추가 연구가 필요.
모델 일반화: 다른 아키텍처(e.g., GPT 계열, T5 모델)에 대한 적용 결과가 추가적으로 제시되면 더욱 일반적인 방법론으로 자리 잡을 수 있음.

5. 결론

CItruS는 긴 문서 처리와 다운스트림 작업 성능에서 탁월한 결과를 제시하며, 기존 방법론의 한계를 효과적으로 극복했습니다. 특히, 작업 지시와 문서 문맥의 조화를 통해 정보 손실 문제를 해결한 점이 특출납니다. 이 알고리즘은 향후 긴 문맥 처리 및 다운스트림 작업의 효율성과 성능을 개선하는 데 중요한 역할을 할 것입니다.

Q : 이 논문의 입력데이터와 추론 과정에 대해서 예시를 들어 아주 자세하게 설명해 주겠니? 추가적으로 모델아키텍처의 구성 및 모델을 구성하는 연산과 메모리 요구량 컴퓨팅 요구량 대해서도 설명해줘

A :

논문의 입력 데이터와 추론 과정

1. 입력 데이터 구조

논문에서는 긴 문서와 작업 지시(instruction)를 입력으로 처리합니다. 입력 데이터의 구조는 다음과 같습니다:

문서 ( D ):

긴 문서로, 수천에서 수백만 개의 토큰으로 구성.

예시:

"The history of quantum mechanics dates back to the early 20th century. Key contributors include Planck, Einstein, and Schrödinger. Quantum mechanics explains the behavior of particles on a very small scale..."

작업 지시 ( I ):
- 문서에 기반하여 수행할 작업을 명시하는 텍스트.
- 예시:
```
"Who are the key contributors to quantum mechanics?"
```

2. 추론 과정

추론 과정은 크게 두 단계로 구성됩니다: Chunked State Eviction (CSE)와 Instruction-aware Eviction. 이를 예시와 함께 단계별로 설명하겠습니다.

2.1. Chunked State Eviction (CSE)

문서 분할:
- 긴 문서 ( D )를 청크(chunk) 단위로 분할합니다. [ D = {s_1, s_2, …, s_n} ]
- 청크 크기 ( l_s )는 고정 (예: ( l_s = 256 ) 토큰).
각 청크의 키-값 상태(key-value state) 계산:
- 각 청크 ( s_i )를 모델에 입력해 키 ( K )와 값 ( V ) 상태를 생성.
- 예시:
  - ( s_1 = “The history of quantum mechanics dates back…” )
  - 키-값 상태 생성: [ Q_{t_1}, K_{t_1}, V_{t_1}, …, Q_{t_{l_s}}, K_{t_{l_s}}, V_{t_{l_s}} ]
Eviction(상태 제거):
- 캐시 ( C )에 저장된 상태 중 덜 중요한 상태를 제거.
- 중요도 계산: [ \text{Imp}(s, c) = \frac{1}{|s|} \sum_{t \in s} \text{softmax}\left(\frac{Q_t K_c^T}{\sqrt{d_k}}\right) ]
  - ( c ): 캐시의 상태.
  - ( Q_t ): 청크의 쿼리 벡터.
  - ( K_c ): 캐시의 키 벡터.
- 결과: 캐시 ( C )에는 상위 ( k )개의 중요 상태만 유지.
반복:
- 다음 청크 ( s_2, s_3, …, s_n )을 처리하며 캐시를 업데이트.
- 마지막 청크 처리 후, 작업 지시 ( I )를 기반으로 캐시를 재구성.

2.2. Instruction-aware Eviction

작업 지시 반영:
- 작업 지시 ( I )를 추가 청크로 처리하여 중요 상태를 재평가: [ \text{Imp}(I, c) = \frac{1}{|I|} \sum_{t \in I} \text{softmax}\left(\frac{Q_t K_c^T}{\sqrt{d_k}}\right) ]
- 캐시에 ( I )와 관련된 상위 ( k )개의 상태를 유지.
응답 생성:
- 최종 캐시를 사용하여 작업 수행 및 응답 생성.
- 예: ( “Planck, Einstein, Schrödinger” )라는 응답 출력.

모델 아키텍처와 구성

1. 모델 구조

CItruS는 기존 Transformer 기반 LLM 아키텍처를 그대로 활용하며, 주요 특징은 다음과 같습니다:

Transformer Layers:
- 다중 헤드 어텐션(multi-head attention)과 피드포워드(feedforward) 네트워크.
- 어텐션 연산을 통해 캐시된 상태에서 중요한 정보를 추출.
Key-Value Cache:
- 각 레이어에서 생성된 키 ( K )와 값 ( V )를 저장하는 캐시.
- CItruS는 chunked eviction과 instruction-aware eviction을 통해 캐시의 상태를 동적으로 업데이트.
추론 모듈:
- 문맥(context)과 작업 지시(instruction)로 생성된 캐시를 사용하여 최종 응답 생성.

2. 연산 및 메모리 요구량

연산 복잡도:
- Transformer의 기본 연산 복잡도는 ( O(n^2 d) ) (어텐션 계산)입니다.
- CItruS는 캐시 크기를 ( k )로 제한하여 효율성을 향상:
  - 어텐션 연산 복잡도: ( O(k^2 d) ).
  - ( k ): 캐시 크기 (예: 768).
메모리 요구량:
- 캐시 크기 ( k )와 청크 크기 ( l_s )에 의해 결정.
- 캐시 메모리 사용량: [ \text{Memory} = k \times d_k \times L ]
  - ( d_k ): 키 벡터 차원 (예: 128).
  - ( L ): Transformer 레이어 수 (예: 24).
추론 속도:
- 청크 크기 ( l_s )가 클수록 캐시 업데이트 빈도가 줄어 속도가 빨라짐.
- CItruS는 Shared Cache 방식을 사용해 메모리 사용량과 연산 복잡도를 줄임.

3. CItruS의 효율성 비교

기존 방법 대비 개선점:
- 기존 Sliding Window 방식(Streaming LLM): 메모리와 연산이 ( O(n) )에 비례해 증가.
- CItruS:
  - 캐시 크기 ( k ) 고정 → 메모리 사용량 ( O(k) ).
  - 작업 지시 반영으로 정보 손실 감소.
모델 적용성:
- 추가 훈련 없이 모든 Transformer 기반 모델에 적용 가능.

결론

CItruS는 긴 문서 처리와 작업 특화 성능 향상을 위해, 입력 데이터를 청크로 나누고 캐시를 동적으로 관리하는 혁신적인 접근법을 도입했습니다. 이 과정에서 캐시 크기를 제한해 메모리와 연산 요구량을 크게 줄이며, 작업 지시를 반영해 기존 모델 대비 다운스트림 작업 성능을 크게 향상시켰습니다.

Q : 이 논문의 한계를 극복하기 위한 방법으로 어떤 연구흐름이 있는지 정리해서 자세하게 설명해 줘

A :

논문의 한계

논문에서 제기한 CItruS의 한계는 다음과 같습니다:

“Lost-in-the-Middle” 문제:
- 긴 문서의 중간 부분 정보가 소홀히 다뤄지는 경향.
- 모델이 문서의 시작과 끝 부분 정보에 비해 중간 정보를 덜 중요하게 처리함.
작업 지시(instruction)의 최적화 부족:
- 단일 작업 지시만 사용하며, 작업 지시의 구체화 또는 다중 작업 지시 조합에 대한 연구 부족.
적용 범위의 한정성:
- LLaMA와 Mistral 모델에서만 테스트되었으며, 다른 아키텍처나 다양한 언어적 과제에 대한 적용 연구가 부족.
메모리 공유(shared cache)의 제한:
- Shared Cache 방식에서 문맥(context)과 작업 지시(instruction)의 정보가 공유되며, 이로 인해 일부 작업에서는 정확도가 저하될 가능성이 있음.
추론 과정에서의 연산 부담:
- 긴 문맥과 큰 캐시를 처리할 때 GPU 메모리와 연산량이 여전히 제약이 될 수 있음.

한계 극복을 위한 연구 흐름

1. Lost-in-the-Middle 문제 해결

Dynamic Context Weighting:
- 문서의 중간 정보에 대한 가중치를 동적으로 조정하여 중요성을 강화.
- 예: 위치 정보를 기반으로 어텐션 가중치를 재조정하거나 중간 섹션을 별도로 강조하는 학습 방식.
Sliding Window와 Hybrid Approach:
- Sliding Window 방식과 CItruS를 결합하여 중간 섹션에서 문맥을 재참조하도록 설계.
- 긴 문서를 청크 단위로 분할하지만, 중간 섹션을 재처리하여 정보 손실을 줄이는 방식.
Hierarchical Processing:
- 문서를 계층적으로 처리.
  - 먼저, 섹션별로 요약을 생성하고, 이를 다시 통합하여 문서 전체에 대한 이해를 도출.
- Longformer나 BigBird와 같은 효율적인 어텐션 메커니즘 활용.

2. 작업 지시 최적화

Soft Prompt Tuning:
- 작업 지시 텍스트를 학습 가능한 벡터로 변환하여 모델이 각 작업에 최적화된 프롬프트를 자동 생성하도록 함.
- 이는 기존의 단일 작업 지시 사용 방식에서 벗어나 작업 특화 성능을 극대화할 수 있음.
Multi-task Instruction Optimization:
- 여러 작업 지시를 병렬로 사용하여 작업 간 상호작용(interplay)을 학습.
- 다중 작업 환경에서 성능을 최적화하기 위한 방법.
Instruction Diversity Exploration:
- 다양한 표현 방식의 작업 지시를 실험하여 가장 적합한 지시 형식을 탐색.
- 예: 자연어 지시, 구조화된 템플릿, 또는 임베딩 기반 지시.

3. 다른 아키텍처 및 언어적 과제 적용

다양한 모델 테스트:
- GPT, T5, BERT 기반 아키텍처에서 CItruS의 성능 검증.
- Transformer 외에도 Recurrent Attention Models 등 대안적 아키텍처와의 비교.
다국어 지원 및 도메인 확장:
- 다국어 데이터를 포함한 실험을 통해 CItruS의 일반화 성능 검증.
- 도메인 특화 과제(예: 의료, 법률)에서 성능 평가.
Customizable Memory Policies:
- 각 아키텍처의 특성에 맞는 캐시 정책(eviction policy)을 맞춤화하여 적용.

4. 메모리와 연산 부담 완화

Sparse Attention Mechanisms:
- Attention 메커니즘을 희소화하여 계산량을 줄이는 방법.
- 예: Longformer, SparseGPT, 또는 BigBird와 같은 모델 통합.
Memory Offloading and Compression:
- 캐시 데이터를 GPU 외부 메모리로 오프로드하거나, 압축 기법을 적용.
- 예: Tensor Offloading, Mixed Precision Training.
Efficient Cache Sharing:
- 캐시를 더 세밀하게 분리하여 문맥과 작업 지시의 상호 간섭을 최소화.
- 예: Layer-specific Cache 또는 Task-specific Cache.

5. CItruS 기반 모델 훈련

Instruction-aware Pretraining:
- CItruS의 instruction-aware 메커니즘을 사전 훈련(pretraining) 단계에서 통합.
- LLM이 자연스럽게 작업 지시와 문맥의 관계를 학습하도록 설계.
Eviction Strategy Fine-tuning:
- 특정 작업이나 데이터셋에 최적화된 eviction 기준을 훈련 데이터에서 학습.
- Dynamic Eviction Policies 적용.
End-to-end Fine-tuning:
- CItruS를 포함한 전체 모델을 작업 기반 데이터로 미세 조정하여 성능 향상.

결론 및 연구 방향

CItruS는 긴 문맥 처리와 다운스트림 작업 성능에서 혁신적인 기여를 했지만, 여전히 개선할 여지가 존재합니다. 한계를 극복하기 위한 연구 흐름은 다음과 같은 세 가지 축을 중심으로 발전할 것으로 보입니다:

문맥 처리에서 정보 손실을 최소화하는 동적 접근법.
작업 지시 최적화를 통한 유연한 작업 특화.
메모리와 연산 효율성을 극대화하는 기술 통합.

이러한 방향은 CItruS와 같은 기술의 확장성과 적용 가능성을 한층 높이는 데 기여할 것입니다.