도메인 응용: Vertical AI

1. 범용 모델의 구조적 한계

GPT, Claude, Gemini 시리즈로 대표되는 범용 AI 모델은 인류의 보편적 언어 지식을 학습하여 번역, 요약, 코딩 등 광범위한 작업에서 놀라운 성능을 발휘하고 있다. 그러나 기업들이 이 기술을 실험실에서 실제 업무 현장으로 이관하려 할 때, 범용 모델은 넓지만 얕은 지식 구조로 인한 명확한 한계에 봉착할 수 있다.

 

첫째, 맥락의 부재와 환각(Hallucination) 위험이 있다.

범용 모델은 인터넷 상의 많은 정보 등 여러 소스를 학습했지만, 개별 기업의 내부 규정이나 특정 사건의 맥락은 알지 못한다. 예를 들어, 일반적인 계약서와 보고서 양식은 작성할 수 있지만, 특정 기업이 긴 세월 축적해 온 특약 조항의 뉘앙스를 반영하지 못하며, 이는 운영 리스크로 직결될 수 있다. 범용 모델은 모르는 정보를 채우기 위해 그럴듯한 거짓말을 생성하는 경향이 있으며, 이는 정확도와 신뢰도가 생명인 전문 영역에서 수용 불가능한 결함이다.

 

둘째, 규제 및 컴플라이언스 대응력 부족이 있다.

금융 산업은 엄격한 규제의 영향으로 데이터의 저장 위치, 접근 권한 등에 대한 엄격한 관리가 필요하다. 범용 모델은 이러한 규제 프레임워크를 내재화하고 있지 않기 때문에, 기업 데이터가 외부 서버로 유출되거나 민감 정보가 잘못 처리될 위험이 크다.

 

셋째, 추론의 깊이와 도구 연동의 복잡성이 있다.

범용 AI를 탑재한 에이전트는 이메일 요약과 같은 단발성 작업에는 유능하지만, "수십 개의 문서를 비교 분석하여 투자 리스크를 도출하고, 이를 바탕으로 보고서를 작성한 뒤, 결재 시스템에 등록하라"는 식의 다단계(Multi-step) 전문 워크플로우를 수행하는 데 어려움을 겪는다. 이는 범용 모델이 특정 도구(Tool)나 API와 깊이 있게 통합되지 않았기 때문이다.

 

Vertical AI (출처: Gemini Pro 생성)

2. 버티컬 AI의 우위

이에 반해 버티컬 AI는 특정 산업이나 직무에 특화된 데이터와 워크플로우를 기반으로 구축된 시스템이다. 즉, 특정 전문 영역에 맞게 응용된 시스템 내지는 서비스를 뜻한다. 이들의 목표는 범용성이 아니라 특정 도메인 내에서의 작업 정확도와 신뢰도 확보이다. 버티컬 AI의 핵심 경쟁력은 다음 네 가지 기둥에 기반해야 한다.

1. 데이터 해자(Data Moats)와 맥락 지능: 버티컬 AI는 범용 모델이 접근할 수 없는 독점 데이터를 활용한다. 그 예시로,  비공개 판례, 환자의 전자의무기록(EHR), 금융사 내부 가이드라인 및 보고서 등이 있는데, 벌티컬 AI는 이를 기반으로 학습하거나 튜닝되는 것이다. 이를 통해 해당 산업 특유의 전문 용어와 뉘앙스를 이해하게 된다.
2. 기존 시스템 내 통합: 버티컬 AI는 독립된 창이 아니라, 업무의 핵심 시스템(EHR, CRM 등) 내부에 깊숙이 내재화되어 있다. 이는 AI가 단순히 텍스트를 생성하는 것을 넘어, 실제 직원들과 같은 방식으로 업무를 수행할 수 있게 한다.
3. 검증 가능성과 감사 추적: "신뢰하되 검증하라"는 버티컬 AI의 가장 중요한 원칙이라 할 수 있다. 버티컬 AI는 생성된 모든 결과물에 대해 근거 문서나 데이터의 출처를 명확히 제시하는 인용 기능을 제공하는 등 실무자에게 검증할 수 있는 근거를 제공해야 한다. 
4. 특화된 UX/UI 패턴: 전문가들은 챗봇보다 더 효율적인 인터페이스를 원하는 경우가 있다. 버티컬 AI는 엑셀과 같은 그리드 인터페이스나, 실무자의 눈을 맞추기 위한 음성 인식 기반의 앰비언트(Ambient) 인터페이스 등 각 직무에 최적화된 사용자 경험을 제공할 필요가 있다.

 

3. 도메인별 심층 사례 분석 (법률과 금융)

3.1 법률 도메인 (Legal AI) - Harvey AI

법률 도메인에서 Harvey AI는 범용 모델의 한계를 기술적으로 통제하고, 변호사의 복잡한 인지 과정을 모사하는 아키텍처를 통해 법률 AI 시장의 표준을 정립했다.

 

Harvey AI Assistant (출처: Harvey AI)

 

- 맞춤형 임베딩(Custom Embedding)

Harvey는 Voyage AI와의 협력을 통해 개발한 법률 특화 임베딩 모델(voyage-law-2-harvey)을 개발했다. 임베딩 모델은 범용 LLM의 한계를 통제할 수 있는 RAG의 핵심으로, 텍스트를 문맥에 따라 벡터 공간에 맵핑한다. 일반적인 임베딩 모델은 'Consideration'이라는 단어를 일상적인 의미인 '배려'나 '고려'로 해석할 가능성이 높지만, 법률 특화 임베딩은 이를 계약법상의 '약인(대가)'이라는 전문 용어로 정확히 벡터화해야 한다. Harvey는 이를 위해 200억 개 이상의 법률 토큰으로 학습된 이 맞춤형 임베딩은 범용 모델 대비 검색 결과의 관련성을 25% 향상시켰으며, 이는 검색 증강 생성(RAG) 시스템의 정확도를 결정짓는 핵심 요소를 가질 수 있었다.

 

- 볼트(Vault): 컨텍스트 메모리와 데이터 격리 아키텍처

법률 업무는 단발성 질의응답이 아닌, 수천 건의 문서가 얽힌 복잡한 맥락 속에서 진행된다. Harvey는 이러한 장기 기억 문제를 해결하고 대규모 문서를 처리하기 위해 '볼트(Vault)' 시스템을 개발했다.   

• 서버 사이드 아키텍처의 진화: 프로젝트 규모가 커지면서 클라이언트 사이드에서의 처리는 성능 한계에 봉착하곤 한다. Harvey는 정렬, 필터링, 집계와 같은 연산 집약적 작업을 서버 사이드로 이관하고, 사용자가 디렉토리 트리 전체를 로딩하지 않고도 선택할 수 있는 'Lazy Parent-Mapping' 기술을 도입하여 10만 개 이상의 문서가 있는 프로젝트에서도 즉각적인 반응 속도를 유지했다.
• 엄격한 데이터 격리(Data Isolation): Vault는 데이터 소스를 세 가지로 엄격히 구분하여 관리한다. 먼저, 1) 사용자 업로드 파일은 대화 맥락에서만 일시적으로 사용되는 휘발성 데이터이며, 2) 프로젝트 전용 스토리지는 특정 클라이언트나 사건에 귀속된 영구 데이터로, 다른 클라이언트와 완벽히 격리된다. 그리고 마지막 3) 제3자 법률 코퍼스는 판례, 법령 등 공공 데이터. 이러한 격리 구조는 한 로펌의 독자적인 노하우가 담긴 문서가 베이스 모델의 학습 데이터로 유출되거나 경쟁 로펌의 답변 생성에 영향을 미치는 '데이터 오염'을 원천적으로 차단한다.

- 환각 감소를 위한 분해 및 검증(Decompose and Verify) 방법론

Harvey는 환각 현상을 정량적으로 측정하고 통제하기 위해 BigLaw Bench라는 자체 평가 프레임워크를 개발했다. 일반적인 파운데이션 모델이 법률 작업에서 0.7%~1.9%의 환각률을 보이는 반면, Harvey의 시스템은 이를 0.2%(500건 중 1건) 수준으로 획기적으로 낮추었다. 이러한 성과는 다음과 같은 다단계 검증 파이프라인을 통해 달성된다.

1. 주장 분해(Claim Decomposition): 생성된 답변을 개별적인 사실 주장 단위로 분해한다.
2. 교차 검증(Cross-Verification): 각 주장을 Vault에 저장된 원본 문서나 신뢰할 수 있는 판례 데이터베이스와 대조하여 진위 여부를 판별한다.
3. 인용 및 필터링(Citation & Filtering): 검증된 주장에 대해서는 문장 단위의 정확한 인용을 부착하며, 검증되지 않은 주장은 사용자에게 전달되기 전에 제거하거나 경고를 표시합니다.

 

3.2 금융 도메인 (Financial AI) - Bloomberg & JP Morgan Chase

금융 분야의 버티컬 AI는 독점적 데이터의 활용과 복잡한 문서의 구조적 이해라는 두 가지 축으로 진화하고 있다.

 

- 블룸버그(Bloomberg)의 데이터 활용

먼저 블룸버그(Bloomberg)의 사례가 있다. 블룸버그는 40년간 축적해 온 독점적인 금융 데이터를 무기로 BloombergGPT라는 LLM을 구축했다.

1. FinPile과 유니그램(Unigram) 토큰화: 블룸버그는 3,630억 개의 토큰으로 구성된 금융 특화 데이터셋 FinPile을 사용하여 모델을 학습시켰다. 특히 기술적으로 주목할 점은 숫자를 처리하는 방식이다. 일반적인 모델이 숫자를 덩어리로 인식해 연산 오류를 내는 것과 달리, 블룸버그는 숫자를 개별 자릿수로 분리하는 유니그램 토크나이저를 채택하여 수치 데이터의 정확도를 극대화했다.
2. 터미널 통합(Terminal Integration): 블룸버그의 진정한 강점은 AI를 별도 챗봇이 아닌, 금융 전문가들의 필수 도구인 블룸버그 터미널에 녹여낸 점입니다. 사용자가 터미널에서 CN <GO>와 같은 명령어를 입력하면, AI가 수만 건의 뉴스, 공시 자료, 수익 보고서를 실시간으로 분석하여 핵심 트렌드와 리스크 요인을 3줄로 요약해 준다. 이러한 시스템 통합은 애널리스트가 정보의 홍수 속에서 '알파(Alpha)'를 찾아내는 시간을 획기적으로 단축시켰다. 

 

BloombergGPT (출처: 블룸버그)

 

 

- JP 모건 (JP Morgan Chase)의 문서 처리 및 전사적 AI 운용

JP 모건은 자체적인 전략을 통해 전사적 AI 도입을 가속화하며, 단순 업무 자동화를 넘어선 에이전트(Agent)도입을 선도하고 있다.

1. DocLLM: 금융 업무의 상당 부분은 송장, 수표, 신청서 등 복잡한 레이아웃을 가진 문서를 처리하는 것이다. 그런데 금융 문서는 복잡한 표, 서식, 레이아웃으로 이루어져 있어 텍스트만 읽는 기존 LLM으로는 처리에 한계가 있다. JP 모건이 개발한 DocLLM은 텍스트의 의미뿐만 아니라 문서 내의 공간적 위치(Spatial Layout) 정보를 함께 학습한다. 이를 통해 송장, 신청서, 복잡한 계약서의 서식을 정확히 이해하고 데이터를 추출하는 데 있어 범용 모델(GPT-4 등) 대비 월등한 성능을 입증했다.
2. LLM Suite: JP 모건은 LLM Suite라는 내부 플랫폼을 통해 20만 명 이상의 직원이 안전하게 AI를 활용하도록 지원한다. 이는 특 정 모델에 종속되지 않고 백엔드에서 최적의 모델로 교체할 수 있는 유연한 구조를 갖추었다. 또한, 내부 문서 저장소 및 지식 그래프와 보안 API로 연결되어, 외부 유출 걱정 없이 기밀 데이터를 처리할 수 있다. 결과적으로 이를 통해 투자은행(IB) 부서에서는 수 시간이 걸리던 피치 덱(Pitch Deck) 작성을 30초 만에 완료하고, 상업 대출 계약서 분석 시간을 40% 단축하는 등 실질적인 생산성 향상을 입증했다.

나아가 이들은 에이전틱 AI(Agentic AI)로의 전환을 가속화하고 있다. 이는 단순히 질문에 답하는 것을 넘어, 고객의 투자 성향을 분석하고 포트폴리오를 구성하며, 리스크를 모니터링하여 자동으로 재조정 제안을 하는 등 자율적인 금융 에이전트로서의 역할을 수행한다. 이는 단순히 정보를 생성하는 챗봇의 한계를 넘어, AI의 활용법과 행위를 실질적인 문제해결로 확장하는 것을 뜻한다.

 

LLM SUITE (출처: 구글)

 

4. 시사점

 

앞선 법률과 금융 분야의 사례는 단순히 고성능의 범용 모델(LLM)을 도입하는 것만으로는 산업 현장의 문제를 해결할 수 없음을 시사한다. 버티컬 AI의 성공을 위해서는 다음과 같은 전략적 전환이 필수적이다.

 

첫째, 데이터 해자(Data Moat)의 개념이 재정의되어야 한다. 과거의 데이터 경쟁력이 단순히 데이터의 양(Volume)에 있었다면, 버티컬 AI 시대의 경쟁력은 구조화된 맥락(Structured Context)에 있다. Harvey가 법률 용어의 벡터값을 재조정하고, JP Morgan이 문서의 공간적 레이아웃(Spatial Layout) 정보까지 학습시킨 것이 그 방증이다. 기업은 비정형 텍스트를 단순히 쌓아두는 것을 넘어, 자사의 도메인 지식이 AI가 이해할 수 있는 형태로 가공되어 있는지 점검해야 한다.

 

둘째, 단일 모델이 아닌 복합 AI 시스템으로의 전환이다. 범용 모델의 한계를 극복하는 열쇠는 모델 자체의 파라미터 튜닝보다, 모델을 감싸고 있는 아키텍처 엔지니어링에 있다. Harvey의 'Vault'나 JP Morgan의 'LLM Suite'처럼, 검색(Retrieval), 메모리 관리, 툴 사용, 검증(Verification) 모듈이 유기적으로 결합된 시스템만이 실무 수준의 복잡도를 감당할 수 있으며 실무에 안정적으로 안착할 수 있다. 즉, "어떤 LLM을 쓸 것인가"보다 "어떻게 LLM을 기존 시스템과 오케스트레이션 할 것인가"가 핵심 질문이 되어야 한다.

 

셋째, Human-in-the-loop 워크플로우의 설계다. 버티컬 AI는 전문가를 대체하는 것이 아니라, 전문가의 판단을 보조하는 코파일럿(Copilot) 혹은 코워커(Co-worker)로 기능해야 한다. 따라서 AI가 내놓은 결과물에 대해 실무자가 쉽게 근거를 확인하고 수정할 수 있는 인터페이스가 필수적이다. 이는 AI의 환각 리스크를 시스템적으로 통제하는 동시에, 전문가의 피드백을 통해 모델을 지속적으로 고도화하는 데이터 자산을 구축하는 기반이 된다.

 

 

5. 결론

 

범용 LLM과 같은 AI 모델이 인류에게 '언어를 이해하는 기계'라는 충격을 주었다면, 이제 버티컬 AI는 그 기술을 '돈을 버는 도구'로 응용하는 과정이라 할 수 있다. 우리는 지금 모두가 AI를 활용하는 AI의 민주화 단계를 지나 AI의 전문화 단계로 진입하고 있다. 기업들은 더 이상 챗봇이 시를 쓰거나 코딩을 하는 데 감탄하는 단계에 머물러서는 안 된다. 대신, 자사의 고유한 데이터가 외부로 유출되지 않으면서도 내부의 암묵지를 형식지로 전환하여 업무 프로세스에 녹여내는 버티컬 AI 전략을 수립해야 한다.

 

결국 미래 시장의 승자는 가장 거대한 모델을 가진 기업이 아니라, 자신의 도메인에서 가장 깊이 있는 데이터와 가장 정교한 워크플로우를 결합해 낸 기업이 될 것이다. 법률 시장의 Harvey와 금융 시장의 블룸버그가 보여준 것처럼, 범용성의 환상에서 벗어나 구체적인 문제 해결에 집중하는 실용주의 AI만이 실험실을 벗어나 시장에서 살아남을 것이다.

 

 

참고문헌

 

Vertical AI Strategy & Market Analysis

• Sequoia Capital, Generative AI’s Act o1: The Reasoning Era Begins
• Turing, Vertical AI Agents: 2025 Case Studies
• Saffron Edge, Vertical vs Horizontal AI: Choosing the Right Tools

Legal AI (Harvey & Trust)

• Harvey AI, The Trust Stack & Vault Architecture
• OpenAI, Customer Story: Harvey
• The New York Times, The ChatGPT Lawyer Case (Mata v. Avianca) 

Financial AI (Morgan Stanley, Bloomberg)

• ArXiv (Cornell Univ), BloombergGPT: A Large Language Model for Finance
• Hebbia, Matrix: A System of Record for Enterprise Reasoning
• LLM Suite: AI-powered Research Analyst Tool by JPMorgan
• Klarna, AI Assistant handles 2/3 of customer service chats

UX/UI Innovation (Canvas & Matrix)

• OpenAI, Introducing Canvas: A new way to write and code with ChatGPT
• Cursor, Composer & Multi-agent Editing
• Hebbia, The Grid Interface for Financial Analysis