이 책에서 우리는 LangGraph를 활용해 AI 에이전트를 구현하는 방법을 살펴봤다. LangChain으로 구현했던 RAG 시스템을 LangGraph로 전환하면서 워크플로부터 시작해 완전한 에이전트 시스템까지 구축했다. 하지만 이것은 시작에 불과하다.
현재까지 구현한 에이전트는 단일 작업을 수행하는 데 초점을 맞추고 있습니다. 실제 비즈니스 환경에서는 더 복잡한 문제를 해결해야 합니다. 마지막 장은 그 방향을 셋으로 나눠 제시합니다.
22.1 에이전트의 지능 향상
12장에서 만든 에이전트는 미리 정의된 도구를 활용해 작업을 수행합니다. 더 발전된 에이전트는 다릅니다.
더 발전된 에이전트는 스스로 새로운 도구의 필요성을 인식하고, 이를 요청하거나 심지어 생성할 수도 있을 것이다. 세금 계산 에이전트가 특수한 상황에서 새로운 계산 방식이 필요하다고 판단하면, 이를 개발자에게 제안하거나 자체적으로 구현할 수 있을 것이다.
| 기술 | 내용 |
|---|---|
| 메타프롬프팅(meta-prompting) | 에이전트가 자신의 프롬프트를 개선하고 수정하는 능력, 상황에 따라 최적의 프롬프트를 생성하는 기술 |
| 도구 생성 패턴 | 코드 생성 능력을 활용한 새로운 도구 자동 생성, 기존 도구를 조합해 새 기능을 구현하는 기술 |
3장에서 사람이 프롬프트를 다듬는 법을 배웠다면, 여기서는 에이전트가 그 일을 스스로 하는 단계로 넘어갑니다.
22.2 멀티 에이전트 시스템으로의 확장
단일 에이전트의 한계를 넘어서려면 13장에서 종합부동산세 에이전트와 소득세 에이전트를 오케스트레이션했던 것처럼 여러 에이전트가 협력하는 시스템을 구축해야 합니다.
핵심 장점
멀티 에이전트 시스템(MAS) 은 복잡한 문제를 여러 전문 에이전트가 분담해 해결함으로써 단일 에이전트로는 달성하기 어려운 성능과 효율성을 제공합니다. 각 에이전트가 특정 도메인에 특화되어 있어 더 정확하고 신뢰할 수 있는 결과를 만들며, 하나의 에이전트에 문제가 발생하더라도 전체 시스템이 마비되지 않는 견고성을 확보할 수 있습니다.
종합적인 세무 상담 서비스라면 이렇게 구성할 수 있습니다.
- 소득세 전문 에이전트: 근로소득, 사업소득, 기타소득 등의 계산과 공제 항목 처리
- 부가가치세 전문 에이전트: 사업자의 부가가치세 신고와 계산
- 법인세 전문 에이전트: 법인의 세무 처리와 절세 전략
- 조정자 에이전트: 사용자 질문을 분석하여 적절한 전문 에이전트에게 라우팅
협력 패턴 세 가지
| 패턴 | 동작 | 예시 |
|---|---|---|
| 파이프라인 패턴 | 에이전트들이 순차적으로 작업을 처리하며, 앞선 에이전트의 결과가 다음 에이전트의 입력이 된다 | ‘소득 분석 → 공제 계산 → 세액 산출 → 절세 제안’ |
| 병렬처리 패턴 | 여러 에이전트가 동시에 다른 측면을 분석한 후 결과를 통합한다 | 복잡한 세무 상황에서 소득세와 부가가치세를 동시에 계산해 전체 세 부담을 종합 분석 |
| 합의 기반 패턴 | 여러 에이전트가 동일한 문제를 독립적으로 분석한 후 결과를 비교하고 합의점을 찾는다 | 애매한 법률 해석이나 복잡한 계산에서 정확성을 높이는 데 유용 |
합의 기반 패턴이 흥미롭습니다. 같은 문제를 여러 에이전트가 따로 풀게 해서 답이 갈리는지 보는 방식인데, 17장에서 다룬 LLM의 예측 불가능성을 구조로 흡수하는 접근입니다.
구현 시 고려 사항
- 통신 프로토콜을 명확히 정의한다. 메시지 형식, 상태 정보 공유 방법, 오류 처리 방식을 표준화해야 하며, LangGraph에서는
StateGraph의 상태를 활용해 이러한 정보 공유를 구현할 수 있다. - 충돌 해결 메커니즘을 미리 정의한다. 서로 다른 에이전트가 상충하는 결과를 제시할 때 우선순위 기반 선택, 신뢰도 점수 기반 선택, 인간 개입 요청 등의 전략을 쓸 수 있다.
- 확장성과 성능 최적화를 고려한다. 에이전트 수가 증가하면 시스템 복잡도가 기하급수적으로 증가할 수 있으므로 효율적인 로드 밸런싱과 자원 관리가 필요하다.
22.3 실제 비즈니스 적용을 위한 다음 단계
에이전트 시스템을 실제 비즈니스에 적용하려면 보안과 신뢰성 강화, 모니터링과 성능 최적화, 거버넌스와 컴플라이언스를 추가로 학습하고 구현해야 합니다.
보안과 신뢰성 강화
① 입력 검증과 출력 필터링
악의적인 입력으로부터 시스템을 보호하는 것은 에이전트 시스템의 기본적인 보안 요구 사항이다. 프롬프트 인젝션 공격을 방어하는 것이 특히 중요한데, 사용자가 악의적인 지시문을 삽입해 에이전트의 행동을 조작하려는 시도를 차단해야 한다.
이를 위해 입력값 검증, 화이트리스트 기반 필터링, 의심스러운 패턴 감지 시스템을 구축합니다. 출력 쪽에서는 개인정보나 내부 시스템 정보, 다른 사용자의 데이터가 실수로 노출되는 것을 방지하는 출력 필터링이 필요합니다. 특히 세무 상담 에이전트는 개인의 재정 정보가 다른 사용자에게 노출되지 않도록 세션 격리와 데이터 마스킹을 구현해야 하고, 접근 제어와 인증으로 승인된 사용자만이 특정 기능을 사용할 수 있게 해야 합니다.
② 작업 결과의 검증
- 다중 검증 시스템: 중요한 계산이나 결정을 여러 방법으로 검증한다. 세금 계산 결과를 룰 기반 시스템과 AI 에이전트 양쪽에서 검증한 뒤, 결과가 일치하지 않으면 경고를 발생시킨다.
- 이상 탐지 시스템: 평소와 다른 패턴의 결과나 비정상적인 동작을 감지한다. 정상 범위를 벗어나는 결과는 통계적 방법이나 머신러닝으로 추가 검토를 요청한다.
- 롤백과 복구 전략: 에이전트가 잘못된 작업을 수행했을 때 이를 되돌리고 시스템을 안전한 상태로 복구한다. 작업 로그 기록, 체크포인트 시스템, 자동 복구 메커니즘이 필요하다.
‘룰 기반과 AI 양쪽에서 검증하고 불일치하면 경고’는 21장의 LLM Judge를 운영 중에도 돌리는 형태로 읽힙니다.
모니터링과 성능 최적화
① 운영 메트릭 수집과 분석
응답 시간은 에이전트별, 도구별, 전체 워크플로 수준에서 세밀하게 측정하고, P50·P95·P99 백분위수를 추적해 일반적인 성능뿐 아니라 최악의 경우도 모니터링합니다. 자원 사용량은 CPU·메모리·네트워크 대역폭뿐 아니라 LLM API 호출 횟수, 토큰 사용량, 벡터 저장소 쿼리 수 같은 AI 시스템 특유의 리소스도 추적합니다.
오류 패턴 분석으로 어떤 유형의 질문에서 오류가 자주 발생하는지, 특정 시간대나 사용량 패턴에서 문제가 생기는지 분석해 예방적 조치를 취하고, 사용자 행동 분석으로 서비스 개선 방향을 설정합니다.
② 비용 최적화
| 방법 | 내용 |
|---|---|
| 스마트 캐싱 | 동일하거나 유사한 질문에 이전 결과를 재사용한다. 단순한 문자열 매칭이 아닌 의미적 유사성을 기반으로 작동해 더 높은 캐시 히트율을 달성한다 |
| 모델 선택 최적화 | 간단한 분류나 추출에는 작은 모델을, 복잡한 추론에는 큰 모델을 쓴다 |
| 배치 처리 | 여러 요청을 묶어 처리해 API 호출 비용을 절감한다 |
| 비동기 처리 | 사용자 응답 시간을 개선하면서도 백엔드에서 효율적으로 작업을 처리한다 |
| 벡터 저장소 최적화 | 인덱싱 전략, 압축, 쿼리 최적화. 구체적으로 임베딩 차원 축소, 양자화, 계층적 인덱싱 |
8장의 모델 선택과 5장의 양자화가 운영 단계의 비용 전략으로 다시 등장합니다.
거버넌스와 컴플라이언스
- 데이터 거버넌스: GDPR, CCPA 등의 개인정보 보호 규정과 AI 거버넌스 프레임워크를 준수해야 한다. 데이터 수집·처리·저장·삭제에 대한 명확한 정책과 절차를 수립하고, 사용자가 자신의 데이터를 직접 통제할 수 있는 권한을 보장해야 한다.
- AI 윤리와 공정성: 에이전트의 결정이 특정 그룹에 차별적이거나 편향되지 않도록 정기적으로 감사하고 개선해야 한다. 특히 세무 상담처럼 개인의 경제적 이해관계에 직접적인 영향을 미치는 서비스에서는 공정성이 더욱 중요하다.
- 감사 가능성(auditability): 에이전트의 모든 결정과 그 근거를 추적할 수 있는 시스템을 구축해야 한다. 왜 특정 결론에 도달했는지, 어떤 데이터를 사용했는지, 어떤 추론 과정을 거쳤는지 투명하게 기록하고 설명할 수 있어야 한다.
감사 가능성은 15장의 트레이스 기록이 규제 요구사항이 되는 지점입니다. 개발 편의로 시작한 관측이 결국 책임을 증명하는 수단이 됩니다.
책을 닫으며
저자가 마지막으로 남긴 당부입니다.
이러한 단계들을 거치면서 여러분은 더 강력하고 실용적인 AI 에이전트 시스템을 구축할 수 있을 것이다. 중요한 것은 한 번에 모든 것을 구현하려 하기보다 점진적으로 시스템을 발전시키는 것이다. 작은 실험부터 시작하여 성공과 실패를 경험하며, 궁극적으로는 여러분의 비즈니스에 실질적인 가치를 제공하는 에이전트 시스템을 구축하길 바란다.
AI 에이전트 기술은 여전히 빠르게 발전하고 있으며, 새로운 모델과 기법들이 지속적으로 등장하고 있다. 이러한 변화에 발맞춰 지속적으로 학습하고 실험하며, 사용자의 실제 니즈에 부응하는 솔루션을 만들어가는 것이 성공의 열쇠가 될 것이다.
정리
- 다음 단계는 셋이다. 에이전트의 지능(자기 개선), 멀티 에이전트(협력), 프로덕션(보안·운영·거버넌스).
- 메타프롬프팅은 에이전트가 자기 프롬프트를 고치는 것이고, 도구 생성 패턴은 도구를 스스로 만드는 것이다.
- 협력 패턴은 파이프라인(순차) / 병렬처리(동시) / 합의 기반(독립 분석 후 대조) 세 가지다.
- 에이전트가 늘면 복잡도는 기하급수적으로 는다. 통신 프로토콜과 충돌 해결 전략을 먼저 정한다.
- 보안의 출발점은 프롬프트 인젝션 방어와 세션 격리·데이터 마스킹이다.
- 중요한 계산은 룰 기반과 AI 양쪽에서 검증하고 어긋나면 경고한다. 그리고 롤백 경로를 만들어 둔다.
- 캐싱은 문자열이 아니라 의미적 유사성 기준으로 한다.
- 관측은 개발 편의가 아니라 감사 가능성이라는 책임으로 이어진다.
- 그리고 마지막 조언 — 한 번에 다 만들지 말고, 작은 실험부터.
이로써 《혼자서도 척척 해내는 AI 에이전트 만들기 with 랭체인 & 랭그래프》 22개 장을 모두 정리했습니다. 1부에서 LLM과 RAG의 기초를 다지고, 2부에서 LangChain으로 RAG 파이프라인을 만들었으며, 3부에서 LangGraph로 워크플로와 에이전트를 구현하고, 4부에서 그 결과를 평가하는 방법까지 이어졌습니다.