프로덕션 AI 에이전트
프로덕션 에이전트
팀 에이전트
얼마 안 남았습니다!
선착순 한정, 최저가 타이밍✨
본 강의는 10월 26일에 신규 런칭한 강의로
사전 구매하신 분들께 얼리버드 혜택을 제공하고 있습니다.
1차 얼리버드
26년 10월 26일 ~ 11월 8일까지
정가 390,000원
판매가 229,000원
12개월 할부 적용시
41%
월 19,083원
2차 얼리버드
26년 11월 9일 ~ 30일까지
정가 390,000원
판매가 239,000원
12개월 할부 적용시
38%
월 19,916원
정상 판매가
26년 12월 1일 ~
정가 390,000원
판매가 249,000원
12개월 할부 적용시
36%
월 20,750원
정가
390,000원
✨ 런칭 1주 타임 어택 쿠폰 마감까지 남은 시간 ✨
6일2시간47분36초
FROM LOCAL TO PRODUCTION
에이전트, 로컬에선 잘 됐는데
AI 에이전트 고도화 실전
프로덕션 레벨의 평가·최적화·가드레일·배포
진단하고, 최적화하고, 가드레일을 세우고, 배포까지.
로컬 에이전트를 팀과 서비스가 함께 쓰는 프로덕션 수준으로 고도화합니다.
BEFORE & AFTER
프로덕션 레벨의 에이전트는
이런 차이를 만듭니다
LOCAL -> PRODUCTION
나 혼자 쓰던 에이전트는
프로덕션에서 통하지 않습니다
BEFORE / AFTER
같은 에이전트,
로컬과 프로덕션 레벨의 차이
"결과가 맞는지 사람이 다 열어봐야 한다"
"숫자로 확인하고, 통과한 것만 배포한다"
INSIDE THE LOOP
빌드에서 배포까지,
프로덕션 에이전트 구축 5단계
WHAT YOU'LL MASTER
이 강의에서 얻는 3가지
POINT 01
|
진단·평가
조직 기준의 에이전트를
측정하고 진단합니다
기초적인 설치와 환경 세팅부터 시작해 두 코딩 에이전트의 강점을 조합해 골든셋과 배치 테스트로 작업 성공률, 도구 선택 정확도, 사람 개입 횟수를 측정합니다. 실패는 계획·컨텍스트·도구 선택·생성·검증 회피 단계로 나눠 진단하고, Claude → Codex 교차 검증으로 같은 모델이 자기 결과를 그냥 통과시키는 문제를 줄입니다.
조직 기준의 에이전트를
측정하고 진단합니다
기초적인 설치와 환경 세팅부터 시작해 두 코딩 에이전트의 강점을 조합해 골든셋과 배치 테스트로 작업 성공률, 도구 선택 정확도, 사람 개입 횟수를 측정합니다. 실패는 계획·컨텍스트·도구 선택·생성·검증 회피 단계로 나눠 진단하고, Claude → Codex 교차 검증으로 같은 모델이 자기 결과를 그냥 통과시키는 문제를 줄입니다.
작업 성공률과 실패 원인 등 수치적으로 측정
POINT 02
|
성능 최적화
적은 비용과 성능 최적화로
팀의 에이전트를 고도화 합니다
trace로 병목을 찾고 병렬화·캐시·스트리밍·반복 루프 축소로 레이턴시를 줄입니다. 작업 난이도에 맞는 모델 라우팅과 컨텍스트 절감으로 비용을 줄이고, 바꿀 때마다 골든셋으로 품질을 다시 검증합니다.
적은 비용과 성능 최적화로
팀의 에이전트를 고도화 합니다
trace로 병목을 찾고 병렬화·캐시·스트리밍·반복 루프 축소로 레이턴시를 줄입니다. 작업 난이도에 맞는 모델 라우팅과 컨텍스트 절감으로 비용을 줄이고, 바꿀 때마다 골든셋으로 품질을 다시 검증합니다.
레이턴시, 비용, 품질을 함께 개선
POINT 03
|
가드레일·배포
검증된 에이전트만
프로덕션에 배포합니다
툴 실행 게이트웨이가 실행 전에 위험도를 판정해 차단하거나 사람 승인을 요청합니다. 사용자·역할별 권한과 입출력 검사를 갖추고, 가드레일 자체의 오차단과 누락도 측정 합니다. 평가를 통과한 버전만 배포하고 p95·비용·차단 로그를 모니터링합니다.
검증된 에이전트만
프로덕션에 배포합니다
툴 실행 게이트웨이가 실행 전에 위험도를 판정해 차단하거나 사람 승인을 요청합니다. 사용자·역할별 권한과 입출력 검사를 갖추고, 가드레일 자체의 오차단과 누락도 측정 합니다. 평가를 통과한 버전만 배포하고 p95·비용·차단 로그를 모니터링합니다.
프로덕션에서 믿고 쓸 수 있는 운영 기준까지
LOCAL -> PRODUCTION
하나의 에이전트를,
최신의 프로덕션 레벨의 배포까지
PROJECT
하나의 에이전트를,
로컬에서 프로덕션까지 키웁니다
여러 팀원이 동시에 쓰는 [다중 사용자 고객지원] 에이전트를 직접 빌드합니다.
챕터가 끝날 때마다 같은 평가셋으로 개선 전후를 비교하고, 마지막엔 프로덕션으로 배포할 수 있습니다.
실습 기술 스택
deepagents 0.7.26 (LangGraph 기반)
Anthropic Claude · OpenAI API
Python 3.12 · uv · Jupyter
Docker · LangGraph CLI · Google Cloud Run
기록-재생 방식이라 API 키 없이도 실습할 수 있습니다.
INSTRUCTOR
수강생 2만명이 선택한
RAG & 에이전트 개발자
CURRICULUM
측정부터 가드레일, 배포까지,
프로덕션 에이전트를 완성하는
5개 챕터
측정부터 가드레일, 배포까지,
프로덕션 에이전트를 완성하는
5개 챕터
CHAPTER 01
빌드
01. 빌드: 다중 사용자 고객지원 에이전트 만들기
목표·도구·완료 조건을 가진 에이전트를 직접 구성하고,
이후 모든 개선의 기준선을 측정합니다.
에이전트 구조 설계
스킬 기반 워크플로와 자율 에이전트의 제어 구조를 비교하고, 목표·도구·완료 조건으로 에이전트를 정의합니다.
도구 영향도 설계
도구 6종을 가역 / 고객 영향 / 금전 3단계로 나누고, 결과를 예측할 수 있는 도구 시뮬레이터를 만듭니다.
트레이스와 메모리
토큰·지연·도구 호출·HITL 승인 요청을 기록하는 트레이스 스키마와, 메모리를 설계합니다.
기준선 측정
작업 성공률, 도구 선택 정확도, p95 지연, 태스크당 비용으로 기준선 표를 완성합니다.
목표·도구·완료 조건을 가진 에이전트를 직접 구성하고,
이후 모든 개선의 기준선을 측정합니다.
에이전트 구조 설계
스킬 기반 워크플로와 자율 에이전트의 제어 구조를 비교하고, 목표·도구·완료 조건으로 에이전트를 정의합니다.
도구 영향도 설계
도구 6종을 가역 / 고객 영향 / 금전 3단계로 나누고, 결과를 예측할 수 있는 도구 시뮬레이터를 만듭니다.
트레이스와 메모리
토큰·지연·도구 호출·HITL 승인 요청을 기록하는 트레이스 스키마와, 메모리를 설계합니다.
기준선 측정
작업 성공률, 도구 선택 정확도, p95 지연, 태스크당 비용으로 기준선 표를 완성합니다.
실습
로컬에서 공통 프로젝트 에이전트 v1 구성하고 기준선 측정하기
CHAPTER 02
진단·평가
02. 진단·평가: 골든셋으로 에이전트 자체를 측정하기
코드 결과 검증을 넘어, 어느 단계에서 왜 실패하는지 측정하고 에이전트에게 위임할 업무 범위를 정합니다.
골든셋 설계
고객 티켓 태스크로 골든셋을 만들고, 정답 라벨 누수 점검과 개발/홀드아웃 분할로 평가의 신뢰도를 높입니다.
배치 평가 하네스
평가 지표 5종과 궤적 일치 4개 모드로 결과와 과정을 함께 측정하는 평가 스크립트를 만듭니다.
실패 단계 진단
실패를 계획·컨텍스트·도구 선택·생성·검증 회피 5단계로 분류하고, 유형별 교차표로 원인을 찾습니다.
교차 검증과 자동화 범위
Claude와 OpenAI가 교차 검증으로 채점 오류를 줄이고, 자동화 판단표로 에이전트에게 맡길 범위를 정합니다.
코드 결과 검증을 넘어, 어느 단계에서 왜 실패하는지 측정하고 에이전트에게 위임할 업무 범위를 정합니다.
골든셋 설계
고객 티켓 태스크로 골든셋을 만들고, 정답 라벨 누수 점검과 개발/홀드아웃 분할로 평가의 신뢰도를 높입니다.
배치 평가 하네스
평가 지표 5종과 궤적 일치 4개 모드로 결과와 과정을 함께 측정하는 평가 스크립트를 만듭니다.
실패 단계 진단
실패를 계획·컨텍스트·도구 선택·생성·검증 회피 5단계로 분류하고, 유형별 교차표로 원인을 찾습니다.
교차 검증과 자동화 범위
Claude와 OpenAI가 교차 검증으로 채점 오류를 줄이고, 자동화 판단표로 에이전트에게 맡길 범위를 정합니다.
실습
골든셋 만들고 배치 평가 돌리기
실습
실패 로그를 단계별로 분류하고 맡길 범위 정하기
CHAPTER 03
성능 최적화
03. 성능 최적화: 품질은 지키면서 빠르고 저렴하게
트레이스로 병목을 찾아 지연과 비용을 줄이고,
품질은 유지되는지 검증합니다.
병목 분석
태스크 단위 트레이스로 시간과 비용이 어디서 쓰이는지 분석하고, 병렬화할 수 있는 지점을 찾습니다.
체감 지연 개선
서브에이전트 병렬 위임과 스트리밍으로 사용자가 첫 응답을 받기까지의 시간을 줄입니다.
비용 절감
프롬프트 캐싱과 호출 축소, 난이도 기반 모델 라우팅, 단일 vs 멀티 에이전트 비교로 태스크당 비용을 낮춥니다.
품질 회귀 검증
같은 골든셋과 사전에 정한 허용 기준으로 개선 전후를 비교해, 빨라진 만큼 품질이 떨어지지 않았는지 판정합니다.
트레이스로 병목을 찾아 지연과 비용을 줄이고,
품질은 유지되는지 검증합니다.
병목 분석
태스크 단위 트레이스로 시간과 비용이 어디서 쓰이는지 분석하고, 병렬화할 수 있는 지점을 찾습니다.
체감 지연 개선
서브에이전트 병렬 위임과 스트리밍으로 사용자가 첫 응답을 받기까지의 시간을 줄입니다.
비용 절감
프롬프트 캐싱과 호출 축소, 난이도 기반 모델 라우팅, 단일 vs 멀티 에이전트 비교로 태스크당 비용을 낮춥니다.
품질 회귀 검증
같은 골든셋과 사전에 정한 허용 기준으로 개선 전후를 비교해, 빨라진 만큼 품질이 떨어지지 않았는지 판정합니다.
실습
병목 제거 후 같은 골든셋으로 품질 재검증하기
CHAPTER 04
가드레일
04. 가드레일: 위험한 실행은 막고 정상 요청은 통과시키기
도구 실행 전 차단과 사용자 승인 구조를 갖추고,
가드레일의 정확도를 측정합니다.
도구 실행 게이트웨이
규칙과 위험도 점수로 도구 실행을 차단하거나 사용자 승인(HITL)을 요청하는 판정 파이프라인을 만듭니다.
권한과 비밀 관리
역할별 권한 매트릭스로 사용자마다 쓸 수 있는 도구를 나누고, 환경 변수 기반으로 비밀 정보를 관리합니다.
입출력·메모리 검사
프롬프트 인젝션 입력 검사, 출력 검사 4종, 고객 간 정보 누출과 메모리 오염을 막는 메모리 가드레일을 갖춥니다.
가드레일 평가
전수 평가로 막아야 할 것을 놓친 비율(미탐률)과 정상 요청을 막은 비율(오차단율), 게이트 지연을 측정합니다.
도구 실행 전 차단과 사용자 승인 구조를 갖추고,
가드레일의 정확도를 측정합니다.
도구 실행 게이트웨이
규칙과 위험도 점수로 도구 실행을 차단하거나 사용자 승인(HITL)을 요청하는 판정 파이프라인을 만듭니다.
권한과 비밀 관리
역할별 권한 매트릭스로 사용자마다 쓸 수 있는 도구를 나누고, 환경 변수 기반으로 비밀 정보를 관리합니다.
입출력·메모리 검사
프롬프트 인젝션 입력 검사, 출력 검사 4종, 고객 간 정보 누출과 메모리 오염을 막는 메모리 가드레일을 갖춥니다.
가드레일 평가
전수 평가로 막아야 할 것을 놓친 비율(미탐률)과 정상 요청을 막은 비율(오차단율), 게이트 지연을 측정합니다.
실습
툴 실행 게이트웨이 구현하고 공격 테스트셋으로 평가하기
CHAPTER 05
프로덕션 배포
05. 프로덕션 배포: 평가를 통과한 에이전트만 서비스로
팀 공용 하네스부터 클라우드 배포, 운영 안정 장치까지 갖추고, 평가 게이트를 통과한 구성만 프로덕션에 올립니다.
팀 공용 하네스
Git으로 공유할 범위와 공유하지 않을 범위를 나누고, 회귀 테스트 4항목을 구성합니다.
클라우드 배포
Agent Server와 Docker로 컨테이너를 만들어 Google Cloud Run에 배포하고, Claude Agent SDK 구현과 비교합니다.
서비스 안정 장치
사용자별 비용 상한, 데드라인, 재시도, 멱등 키로 중복 실행을 막고, 결함 주입 테스트로 검증합니다.
평가 게이트와 운영
배포 후보를 deploy / hold로 판정하고 롤백하며, 모니터링·경보 조건과 장애 대응 런북까지 만듭니다.
팀 공용 하네스부터 클라우드 배포, 운영 안정 장치까지 갖추고, 평가 게이트를 통과한 구성만 프로덕션에 올립니다.
팀 공용 하네스
Git으로 공유할 범위와 공유하지 않을 범위를 나누고, 회귀 테스트 4항목을 구성합니다.
클라우드 배포
Agent Server와 Docker로 컨테이너를 만들어 Google Cloud Run에 배포하고, Claude Agent SDK 구현과 비교합니다.
서비스 안정 장치
사용자별 비용 상한, 데드라인, 재시도, 멱등 키로 중복 실행을 막고, 결함 주입 테스트로 검증합니다.
평가 게이트와 운영
배포 후보를 deploy / hold로 판정하고 롤백하며, 모니터링·경보 조건과 장애 대응 런북까지 만듭니다.
실습
평가 게이트를 통과해야 프로덕션에 배포되는 파이프라인 만들기
LOCAL -> PRODUCTION
실무에 바로 가져가는,
6가지 결과물
WHO IT'S FOR
이런 분들에게 추천드려요!
LOCAL -> PRODUCTION
가장 최신의 에이전트 고도화 강의
이제 프로덕션 에이전트로 한 단계 레벨업 해보세요.
본 강의에서
사용될 프로그램 안내드립니다.
* 프로그램은 제공되지 않습니다.
* 26년 10월 기준 정보 (강의 촬영 시점 기준으로 업데이트 예정)
* 툴이나 프로그램 사용 환경과 버전 업데이트에 따라, 강의 내 화면(UI) 구성이나 기능이 실제 수강 시점과 다를 수 있습니다.
* 본 강의는 촬영 시점의 버전을 기준으로 학습 흐름과 개념 전달에 중점을 두었으며, 이후 버전 업데이트에 따른 내용 수정이나 추가는 제공되지 않습니다.
* Google Cloud Run 배포 실습 시 클라우드 사용 요금이 발생할 수 있으며, 각 서비스의 요금은 제공사 정책에 따라 변경될 수 있습니다.
📍 이용 전 반드시 해당 서비스의 최신 정책 및 요금을 확인해 주시기 바랍니다.