- 강의 질문
- AI TECH
[추가 내용] Context Engineering Webinar(LangChain & Manus) & vLLM KV-Cache Offloading 에 대하여
안녕하세요.
전현준 강사입니다.
단순한 '프롬프트' 작성을 넘어, AI 에이전트가 방대한 정보를 어떻게 효율적으로 관리(Context Engineering)하여 성능을 유지하는지에 대하여
LangChain 이 주최한 Webinar 에서 Manus의 기술 리더가 자신들만의 Context Engineering 실전 노하우를 설명해주었습니다.
1. Context Engineering이란?
정의: LLM이 다음 단계에서 최선의 결정을 내릴 수 있도록, 컨텍스트 윈도우에 '딱 필요한 정보만' 채우는 기술입니다.
패러다임의 변화: 단일 프롬프트를 잘 쓰는 '프롬프트 엔지니어링'의 시대를 지나, 수백 번의 도구 호출과 대화가 누적되는 에이전트 시대에는 '컨텍스트 엔지니어링'이 필수적입니다.
2. 왜 필요한가? (문제점: Context Rot)
에이전트는 도구를 사용할 때마다 메시지 히스토리가 쌓여 컨텍스트가 폭발합니다.
Context Rot 현상: 모델의 컨텍스트가 길어질수록 추론 속도와 품질이 떨어지며, 반복적인 출력이 발생하는 현상입니다.
모델의 컨텍스트가 길어짐에 따라 성능이 급격히 저하되는 임계점(Pre-rot threshold)을 보여줍니다.
보통 128K~200K 토큰 사이에서 성능 저하가 시작됩니다.
3. 컨텍스트 관리 전략: Compaction vs Summarization
Manus는 컨텍스트 길이를 일정하게 유지하기 위해 Compaction(압축) 과 Summarization(요약) 의 두 방식을 혼합하여 사용합니다.
그래서 Context Rot 이 발생하기 '직전' 에 이런 작업을 '어떻게' 해주느냐가 Manus 의 기술적 혜자가 되고 있죠.
4. Context 를 다루는 5가지 전략
1) Context Offloading: 모든 정보를 메시지에 담지 않고 외부 파일 시스템에 저장한 뒤, 메시지에는 '파일 경로'만 남깁니다.
2) Context Reduction: 불필요한 필드를 제거하는 Compaction(복원 가능)을 우선 적용하고, 최후의 수단으로 Summarization(복원 불가)을 사용합니다.
3) Context Retrieval: 인덱싱 오버헤드가 큰 벡터 검색 대신, 모델이 똑똑하다면 grep, glob 같은 단순 검색 도구로도 충분히 정보를 찾게 합니다.
4) Context Isolation: 서브 에이전트를 활용해 컨텍스트를 분리합니다. "메모리를 공유하지 말고, 통신을 통해 메모리를 공유하라"는 원칙을 적용합니다.
5) Context Caching: 도구 정의를 고정하여 KV Cache 효율을 높이고 비용/지연 시간을 줄입니다.
5. Manus만의 실전 노하우: 3단계 Action Space
도구가 너무 많아 모델이 혼란을 겪는 문제를 해결하기 위해 도구를 3단계로 구조화합니다.
- Level 1 (기본 함수): 파일 읽기/쓰기, 셸 실행 등 10~20개의 고정된 도구.
- Level 2 (샌드박스 유틸리티): 가상 머신 내에 설치된 CLI 도구들. 도구 정의를 바꿀 필요 없이 셸 명령으로 호출합니다.
- Level 3 (코드 기반): 복잡한 연산이나 API 호출은 Python 스크립트를 직접 작성해 실행하게 하여 도구 호출 횟수를 획기적으로 줄입니다.
결국은 이렇게 정리되는 것 같습니다.
1) 모델을 신뢰하고 단순화하라: 복잡한 컨텍스트 관리 트릭보다 불필요한 요소를 제거하는 것이 성능 향상에 더 효과적이었습니다.
2) 아키텍처 검증: 약한 모델을 강한 모델로 바꿨을 때 성능이 올라가는 구조라면 그 아키텍처는 미래에도 유효합니다.
3) 결국 핵심은 컨텍스트 엔지니어링은 모델을 '돕는' 것이지 대체하는 것이 아니며, 단순함이 가장 강력한 전략입니다.
강의에서도 비슷하게 설명드리지만, 결국 이걸 어떻게 다루느냐의 싸움이 Context Engineering 이 됩니다.
개념적으론 어려울 게 없는데 어떻게 다루느냐 하는건 전혀 다른 이야기거든요.
Youtube 영상 설명에 슬라이드 자료도 있으니 보시면 많은 도움이 되실 것 같아 이렇게 커뮤니티 글로 남겨봅니다.
LangChain 의 Webinar 에 Manus CEO 가 나와서 설명합니다. (영상이 올라온건 2025.10.25)