LangChain 공식 홈페이지에는 LangGraph를 활용해 AI 에이전트를 구현한 사례가 정리되어 있습니다. 이 장은 그중 다섯 기업을 살펴봅니다.
시작하는 문장이 이 장의 전제를 요약합니다.
2024년은 프로덕션 환경에서 에이전트가 실제로 작동하기 시작한 해였습니다. AutoGPT와 같은 광범위하고 완전히 자율적인 에이전트가 아니라, 더 수직적이고 좁은 범위를 다루며 높은 수준의 제어가 가능한 맞춤형 인지 아키텍처를 갖춘 에이전트들이 등장했습니다. 이러한 에이전트를 구축하는 것은 여전히 쉽지 않지만, 충분히 가능한 일이었습니다.
16.1 우버 — 대규모 코드 마이그레이션 에이전트
우버는 개발자 생산성 혁신을 위해 전담 Developer Platform AI 팀을 구성하고 LangGraph를 핵심 프레임워크로 채택했습니다. 2024년 DPE Summit 발표에 따르면, 대규모 코드 마이그레이션을 자동화하는 에이전트 시스템 구축에 LangGraph를 활용해 단계별로 특화된 에이전트 네트워크를 정교하게 구성함으로써 단위 테스트 생성 과정의 정확도를 크게 향상시켰습니다.
이 밖에도 모노레포(monorepo) 환경에 최적화된 코딩 어시스턴트를 개발하고, AI 기반 코드 생성과 확률적 에이전트로 테스트 피라미드를 재구성하는 등 소프트웨어 개발 생명주기 전반에 AI 솔루션을 적용했습니다.
가장 흥미로운 것은 AutoCover IDE 플러그인의 구조입니다. 인간의 휴리스틱(직관)을 모방해 문제를 세분화하고, 각 단계를 결정론적(고정된 로직) 과 확률론적(LLM 생성) 으로 구분했습니다.
파일 및 모의 객체 준비 → 테스트 코드 생성 → 테스트 빌드 및 실행 → 오류 수정
(결정론적) (확률론적) (결정론적) (확률론적)
↑ │
└──────────────────────────────────────────────────────────────┘
→ 테스트 커버리지 향상
어느 단계를 고정 로직으로 두고 어느 단계를 LLM에 맡길지를 명시적으로 나눈 설계입니다. 12장에서 본 워크플로와 에이전트의 하이브리드가 실제 제품에서 이렇게 생겼습니다.
이 사례는 범용 코딩 에이전트가 분명 유용하지만, 조직 고유의 워크플로와 내부 시스템에 특화된 도구를 직접 구축하는 것이 더 큰 가치를 창출할 수 있음을 보여줍니다.
에이전트 시스템을 활용한 대규모 코드 마이그레이션은 수천 명의 개발자가 일하는 조직에서 기술 부채를 관리하고 새로운 표준으로 전환하는 데 필수적인 작업입니다.
16.2 AppFolio — 부동산 관리 코파일럿
AppFolio는 LangGraph와 LangSmith로 AI 기반 코파일럿 ‘Realm-X Assistant’ 를 구축했습니다. 부동산 관리자가 입주자·공급업체·유닛·청구서·작업 주문 관련 정보 조회, 메시지 전송, 일정 관리를 일괄 처리할 수 있게 해주는 대화형 인터페이스입니다. 초기 사용자들은 주당 10시간 이상의 업무 시간을 절약했다고 보고했습니다.
처음에는 LangChain으로 시작했지만 더 복잡한 요청을 처리해야 할 필요성이 커지면서 LangGraph로 전략적 전환을 단행했습니다. 전환 후 얻은 것이 구체적입니다.
- 실행 흐름을 명확히 파악하게 되었고, 행동하기 전에 추론하는 워크플로를 설계할 수 있었다.
- 독립적인 코드 분기를 병렬로 실행하는 기능은 관련 작업을 결정하는 동시에 폴백을 계산하고 도움말 페이지의 질의응답 봇을 실행할 수 있게 해준다. 그 결과 지연 시간을 최소화하면서도 사용자 경험을 향상시킬 수 있었다.
아키텍처는 Router가 요청을 네 갈래로 나눕니다.
Query → Router ─┬→ text2action: QA / Action Resolver / Entity Resolver / Fallback
├→ text2data: Query Generator ⇄ Query Executor / Post-Processor / Fallback
├→ Blocked Topics
└→ Other
Blocked Topics라는 경로가 따로 있다는 점이 눈에 띕니다. 다뤄서는 안 되는 주제를 라우팅 단계에서 걸러내는 것입니다.
성과 수치도 분명합니다. LangSmith의 동적 퓨샷 프롬프팅을 활용해 텍스트-데이터 변환 기능의 정확도를 약 40%에서 80%로 대폭 향상시켰고, 비교 뷰와 플레이그라운드 기능으로 코드 수정 없이도 프롬프트를 빠르게 반복 개선할 수 있었습니다.
3장에서 본 퓨샷 프롬프팅이 운영 단계에서 동적으로 예시를 골라 넣는 방식으로 발전한 셈입니다.
16.3 링크드인 — AI 리크루터
링크드인은 채용 프로세스를 혁신하고자 LangGraph 기반의 AI 리크루터를 구축했습니다. 대화형 검색, 후보자 매칭, 자동화된 메시징 기능으로 소싱부터 초기 커뮤니케이션까지의 채용 프로세스를 자동화합니다.
특히 주목할 점은 계층적 에이전트 시스템(hierarchical agent system) 을 구축했다는 것입니다. 복잡한 채용 워크플로를 여러 단계로 나누어 단계별로 특화된 에이전트가 작업을 수행하도록 설계되었습니다. LangGraph의 유연한 프레임워크를 활용해 단일 에이전트, 멀티 에이전트, 계층적 구조 등 다양한 제어 흐름을 구현하고, 이를 통해 현실적이고 복잡한 채용 시나리오를 효과적으로 처리할 수 있었습니다.
그 결과 인사 담당자들은 반복적인 업무에서 벗어나 전략적인 의사결정과 후보자와의 심층적인 인터뷰에 집중할 수 있게 되었습니다.
13장에서 링크드인 SQLBot이 나왔는데, AI 리크루터는 같은 회사의 또 다른 LangGraph 사례입니다.
16.4 일래스틱서치 — AI 어시스턴트
일래스틱서치는 레거시 SIEM에서 AI 기반 보안 분석으로의 전환을 가속하고자 LangChain과 파트너십을 맺었습니다. 2024년에 출시된 Elastic Security의 AI 기능은 세 가지입니다.
| 기능 | 내용 |
|---|---|
| Automatic Import | 샘플 데이터를 기반으로 데이터 통합을 자동 생성 |
| Attack Discovery | 보안 로그에서 잠재적 공격을 자동으로 식별 |
| Elastic AI Assistant | 자연어로 복잡한 보안 쿼리를 생성 |
| 여기도 LangChain으로 시작해 LangGraph로 마이그레이션했습니다. 이유는 더 복잡한 상태 관리와 제어 가능한 워크플로가 필요해졌기 때문입니다. 특히 **ES | QL 쿼리 생성 기능에서 LangGraph의 장점이 두드러졌는데, RAG와 결합해 **사용자의 자연어 입력을 정확한 보안 쿼리로 변환하는 엔드투엔드 워크플로를 구현할 수 있었습니다. 또한 LangSmith를 통합해 LLM 요청의 상세한 추적, 디버깅, 성능 모니터링, 비용 추정까지 가능하게 되었습니다. |
트레이스를 보면 ESQLKnowledgeBaseTool → VectorStoreRetriever → StuffDocumentsChain → LLMChain 순으로 이어집니다. 2부에서 우리가 직접 만든 RAG 파이프라인과 같은 구성 요소들입니다.
현재 이 시스템은 프로덕션 환경에서 350명 이상의 보안 분석가가 쓰고 있으며, 사용자는 OpenAI, 앤트로픽 등 다양한 LLM 모델을 자유롭게 선택할 수 있습니다. 10장에서 llm 한 줄로 모델을 바꿨던 그 유연성이, 제품에서는 사용자가 모델을 고르는 기능으로 나타난 것입니다.
16.5 Klarna — 고객 지원 AI 어시스턴트
Klarna는 8,500만 명의 활성 사용자와 일일 250만 건의 거래를 처리하는 글로벌 핀테크 기업입니다. LangGraph와 LangSmith를 기반으로 단순한 챗봇 수준을 넘어 고객 결제, 환불, 에스컬레이션 처리 등 복잡한 금융 업무를 수행하는 혁신적인 에이전트를 구축했습니다. 현재까지 250만 건의 대화를 처리하며 700명의 정규직 직원에 해당하는 업무량을 소화하고 있습니다.
과제는 여러 부서에 걸친 에스컬레이션 관리와 고객 지원 확장이었습니다. 해결책으로 LangGraph의 제어 가능한 에이전트 아키텍처를 활용해 요청을 효율적으로 라우팅하고 다양한 작업을 처리하면서 지연 시간을 줄이고 신뢰성을 향상시켰습니다.
특히 시나리오별로 프롬프트를 동적으로 조정하는 콘텍스트 인식 인텔리전스를 구현해, 토큰 비용과 지연 시간을 줄이면서도 일관되게 관련성 높은 응답을 제공할 수 있었습니다. 8장의 “콘텍스트를 정밀하게 주입한다”가 그대로 구현된 사례입니다.
LangSmith 기반의 테스트 중심 개발 접근법도 주목할 만합니다. AI 어시스턴트가 어떻게 작동하는지 단계별로 확인해 문제점을 정확히 파악하고, 중요한 사용 사례들을 엄격하게 테스트하며 LLM 평가와 프롬프트 반복을 거쳐 성능을 검증하고 개선했습니다.
결과가 가장 구체적인 사례입니다.
- 지난 9개월 동안 평균 고객 문의 해결 시간 80% 단축
- 반복적인 지원 업무의 약 70%를 자동화해 고객 서비스 직원이 복잡하고 가치 높은 상호작용에 집중
- 거절 사유의 근본 원인 식별을 개선해 고객 에스컬레이션을 크게 줄임
다섯 사례에서 반복되는 것
정리해 보면 공통점이 뚜렷합니다.
| 패턴 | 나타난 사례 |
|---|---|
| LangChain으로 시작해 LangGraph로 이전 | AppFolio, 일래스틱서치 — 이유는 모두 “더 복잡한 상태 관리와 제어 가능한 워크플로” |
| 작업을 쪼개고 단계별 특화 에이전트를 둔다 | 우버(테스트 생성 단계), 링크드인(계층적 에이전트) |
| 결정론과 확률론을 섞는다 | 우버 — LLM에 맡길 단계와 고정 로직으로 둘 단계를 명시적으로 구분 |
| LangSmith로 검증하고 개선한다 | AppFolio(정확도 40→80%), 일래스틱서치(추적·비용), Klarna(테스트 중심 개발) |
| 프롬프트를 동적으로 조정해 비용과 지연을 줄인다 | AppFolio(동적 퓨샷), Klarna(콘텍스트 인식) |
정리
- 2024년의 성공 사례는 완전 자율 에이전트가 아니라 좁은 범위에 높은 제어가 가능한 에이전트들이었다.
- 우버의 교훈: 범용 코딩 에이전트보다 조직의 워크플로에 특화된 도구가 더 큰 값어치를 낸다.
- 우버의 설계에서 배울 것: 어느 단계를 LLM에 맡기고 어느 단계를 고정 로직으로 둘지 명시적으로 나눈다.
- AppFolio와 일래스틱서치는 모두 LangChain → LangGraph 경로를 밟았다. 전환 이유가 같다 — 상태 관리와 제어.
- 숫자로 남은 성과: AppFolio 정확도 40%→80%, Klarna 해결 시간 80% 단축·업무 70% 자동화, 일래스틱서치 분석가 350명 사용.
- 개선의 출발점은 모두 LangSmith로 측정한 것이었다. 15장이 이 장의 전제인 셈이다.