1. LLM 패권 전쟁의 서막2022년 하반기, ChatGPT가 출시되었다. 개발사 OpenAI가 내놓은 이 챗봇 하나는 빅테크 전체의 판도를 크게 뒤흔들었다. ChatGPT(GPT-3.5 기반)는 출시 약 두 달 만인 2023년 1월 월간 활성 사용자 1억 명을 돌파했다. UBS 애널리스트들은 이를 두고 지난 20년간 인터넷 업계에서 본 적 없는 가장 빠른 소비자 서비스 성장 속도라고 평가했다.(참고로 틱톡이 비슷한 규모에 도달하기까지는 약 9개월, 인스타그램은 약 2년 6개월이 걸렸다.) 이 사건은 단순한 제품 흥행이 아니었다. 전 세계 모두가 AI의 가치를 두 눈으로 직접 확인할 수 있었던 순간이었다. 이후 많은 기업들의 자본이 LLM 개발에 몰렸고 수많은 모델들이 쏟아져나왔다. 그 중 OpenA..

1. 범용 모델의 구조적 한계GPT, Claude, Gemini 시리즈로 대표되는 범용 AI 모델은 인류의 보편적 언어 지식을 학습하여 번역, 요약, 코딩 등 광범위한 작업에서 놀라운 성능을 발휘하고 있다. 그러나 기업들이 이 기술을 실험실에서 실제 업무 현장으로 이관하려 할 때, 범용 모델은 넓지만 얕은 지식 구조로 인해 한계에 봉착할 수 있다. 그 한계로는 첫째, 맥락의 부재와 환각(Hallucination) 위험이 있다.범용 모델은 인터넷상의 많은 정보 등 여러 소스를 학습했지만, 개별 기업의 내부 규정이나 특정 사건의 맥락은 학습할 수 없었다. 예를 들어, 일반적인 계약서와 보고서 양식은 작성할 수 있지만, 특정 기업이 긴 세월 축적해 온 특약 조항의 뉘앙스를 반영하지 못하며, 이는 운영 리스크로..

1. Introduction 데이터는 크게 비정형 데이터(unstructured data)와 구조화된 데이터(structured data)로 나뉜다. 그중 구조화된 데이터는 반복되는 정보를 압축하고 효율적으로 관리하기 위해 사전 정의된 구조로 조직된다. 이러한 구조화는 기계가 데이터를 분석하고 처리하는 과정을 획기적으로 용이하게 만든다. 그중에서도 테이블(Table)은 가장 대표적인 구조화된 데이터 유형으로, 다양한 응용 분야에서 널리 활용되고 있다. 테이블을 직접 활용하는 구체적인 응용 사례로는 테이블 기반 질문 응답(Table-based Question Answering, TQA), 테이블 기반 팩트 검증(Table-based Fact Verification, TFV), 테이블-텍스트 변환(Table..

1. 챗봇에서 에이전트로 오늘날 에이전틱 AI(Agentic AI)에 대한 학계와 산업계의 관심이 뜨겁다. 2022년 말 ChatGPT 출시 이후, 그동안 우리는 거대 언어 모델(LLM) 기반의 챗봇이 인간의 질문에 유창하게 답변하는 능력에 매료되었다. 그러나 오늘날 발전된 흐름을 거쳐 지난 날을 돌아보면, 이 시기의 AI는 읽기 전용 패러다임에 국한된다. 검색 증강 생성(RAG) 기술을 통해 기업의 방대한 지식베이스에 접근할 수 있게 되었지만, AI는 여전히 관찰자이자 조언자의 역할에 머물렀던 것이다. 사용자가 "다음 분기 예산이 얼마지?"라고 요청하면 AI는 훌륭한 답변과 보고서를 작성할 수 있었지만, "예산안을 승인하고 ERP 시스템에 반영해 줘"라는 요청은 처리할 수 없었다. 이제 우리는 이 ..

1. Introduction 대규모 언어 모델(LLM)은 뛰어난 능력을 보여주지만, 여전히 치명적인 단점들을 안고 있다. 특히 학습 데이터에 없는 최신 정보를 모른다거나 응용 상황에서 기업 내 정보를 참조할 수 없다. 이러한 지식 cut-off(단절) 문제는 결과적으로 LLM으로 하여금 사실이 아닌 내용을 사실처럼 말하는 환각(Hallucination) 현상을 유도한다. 또한, 모델이 내놓는 답의 추론 과정을 투명하게 알기 어렵다는 단점도 지적된다. 이러한 문제를 해결하기 위해 등장한 것이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)이다. RAG는 LLM이 내부의 파라미터 지식에만 의존하는 것이 아니라, 외부 데이터베이스에서 관련 지식을 찾아와 이를 바탕으로 답..

1. 댈러스의 비웃음, 그리고 10년 후 2000년 9월, 미국 텍사스 댈러스, 당시 비디오 대여 산업의 절대 군주였던 블록버스터(Blockbuster)의 본사 회의실에 묘한 긴장감이 감돌았습니다. 맞은편에는 닷컴 버블 붕괴로 자금난에 시달리던 한 작은 스타트업의 창업자들이 앉아 있었습니다. 그들은 블록버스터 경영진에게 절박한 심정으로 인수를 제안했습니다. 자신들의 기업 가치는 5천만 달러(약 600억 원)라고 제시했죠. 블록버스터의 반응은 냉담했습니다. 아니, 더 나아가 그들은 웃음을 터뜨렸다고 전해집니다.당시 블록버스터는 전 세계 수천 개의 매장에서 수조 원을 벌어들이는 거인이었고, 이들이 보기에 그 스타트업은 적자만 내는 꼬마에 불과했으니까요. 그들은 제안을 일언지하에 거절했고, 회의는 그렇게 끝이..