잠자는 데이터를 깨워라: Document AI

1. 비정형 데이터를 깨워라

 

오늘날 데이터는 기업을 움직이는 가장 중요한 자원이다. 그러나 우리가 흔히 데이터라고 부르는 것은 빙산의 일각에 불과하다. 기존 데이터베이스(Relational Database)에 잘 정리된 행(Row)과 열(Column) 형태의 정형 데이터는 전체 기업 데이터의 일부에 지나지 않는다. 실제 실무에서 사용하는 데이터의 대부분은 계약서와 보고서 등의 PDF 문서, 스캔된 이미지 혹은 더 나아가 프레젠테이션 슬라이드와 이메일까지, 정형화되지 않은 원래 그 상태로 존재하며, 이를 '비정형 데이터(Unstructured Data)'라고 총칭한다.

 

비정형 데이터는 평생 글을 읽어 온 인간에게는 읽기 쉽고 이해하기 좋으나, 컴퓨터가 해석하기에는 난해한 것에 불과하다. 기업의 지식 자산 중 상당수가 이러한 비정형 데이터 형태로 곳곳에 잠들어 있으며, 이를 효과적으로 활용하지 못하는 상태를 일컬어 '다크 데이터(Dark Data)' 혹은 '잠자는 데이터(Sleeping Data)'라 칭한다고 한다. 생성형 AI(Generative AI)의 진화, 특히 대규모 언어 모델(LLM)의 등장은 이 잠자는 데이터를 깨워 비즈니스 인텔리전스로 전환할 수 있는 가능성을 열어주었다. 하지만 여전히 '데이터의 기계 가독성(Machine Readability)'이라는 한계에 직면해 있다.

 

LLM의 환각(Hallucination) 현상을 억제하고 기업 내부의 최신 정보를 반영하기 위해 도입된 검색 증강 생성(RAG, Retrieval-Augmented Generation)은 기업 내 AI 시스템의 필수 요소로 자리 잡았다.

RAG는 사용자의 질문과 관련된 문서를 외부 데이터베이스에서 검색(Retrieval)하여 LLM에 문맥(Context)으로 제공함으로써, 모델이 학습하지 않은 정보에 대해서도 정확하고 신뢰할 수 있는 답변을 생성(Generation)하도록 유도한다.

 

그러나, RAG 시스템을 도입한 후 마주하는, 첫 번째 실패 요인은, 일반적인 통계 모델과 ML 모델에서처럼 모델의 성능이 아니라 데이터의 품질이다. 모델 아키텍처 설계나 미세 조정 같은 학습에 비해 간과되곤 하지만, 여전히 "Garbage In, Garbage Out(GIGO)"이라는 오래된 컴퓨팅 격언은 생성형 AI 시대에 유효한 것이다. 아니 어쩌면 Hallucination이라는 더욱 치명적인 형태로 발현되어 그 문제의 심각성이 더 크다고 할 수 있다.

 

문서의 논리적 구조가 파괴된 채 단순 텍스트로만 추출되어 벡터 데이터베이스(Vector DB)에 저장될 경우, 아무리 뛰어난 검색 알고리즘과 LLM을 사용하더라도 정확한 답변을 도출할 수 없는 것이다. 특히 PDF와 같은 문서 포맷은 인쇄를 위한 시각적 편의성(인간을 위한 편의..)을 목표로 설계되었기에, 그 내부의 정보는 논리적인 구조(주로 HTML, MD, JSON으로 표현되곤 하는)를 포함하지 않는 경우가 대부분이다. 따라서 RAG의 성공은 '잠자는 비정형 데이터'를 얼마나 정교하게 깨워내느냐, 즉 'Document AI'의 완성도에 달려 있다고 할 수 있다.

 

Document AI (출처: 구글)

 

 

2. RAG 시스템의 아킬레스건

 

 

RAG 시스템이 활용하는 "청크(Chunk)" 데이터는 하나의 검색 단위이자 LLM의 프롬프트에 주입되는 연료이다. 그러나 고급차에는 고급 휘발유를 넣어야 하듯, 정확한 검색을 수행하는 RAG 시스템에는 문맥이 잘 정제된, 가독성이 좋은 데이터를 넣어야 한다. 물론 여기서 '가독성'은 인간의 관점이 아닌 기계, 즉 알고리즘의 관점에서의 가독성을 의미한다.

 

기계(당연히 컴퓨터) 가독성이란 데이터가 구조화되어 있어 컴퓨터가 그 의미와 관계를 명확히 파악하고 처리할 수 있는 상태를 말한다. 인간은 문서를 볼 때 폰트의 크기, 굵기, 위치, 여백 등을 통해 제목과 본문, 표와 캡션, 주석 등을 직관적으로 구분한다. 하지만 기계에게 스캔된 PDF 문서는 단순히 픽셀의 집합이거나, 의미 없는 좌표 값을 가진 글자들의 나열일 뿐이다. 기계 가독성을 확보하기 위해서는 시각적 정보를 논리적 정보로 변환하는 과정이 필수적이다. HTML 구조를 예로 들자면, 큰 글씨로 상단에 위치한 텍스트는 <h1> 태그로, 격자무늬 안에 있는 숫자는 <table> 태그와 <td> 태그로 명시되어야 LLM이 해당 텍스트의 역할을 이해할 수 있다.

 

구조적으로 정제되지 않은 '저품질의 데이터'가 RAG 파이프라인에 유입될 때 발생하는 문제는 심각하다.

문서의 문단이나 표가 임의로 잘리거나(Chunking error), 페이지가 넘어가면서 문장이 끊어지는 경우, 당연히 유사도 계산을 왜곡할 수 있는 동시에 LLM에게도 혼란만 가중할 뿐이다. 또한, 머리글, 바닥글, 페이지 번호, 워터마크 등이 본문 텍스트에 섞여 들어가면, 그 자체로 노이즈가 되어 마찬가지 문제가 발생한다.

 

이러한 파싱 오류(Parsing Error)는 금융 보고서나 기술 매뉴얼과 같이 정보의 밀도가 높고 구조가 복잡한 문서일수록 취약하다. 단순히 텍스트를 추출하는 것을 넘어, 문서의 구조적 무결성을 보존하는 것이 RAG 성능 최적화를 위한 가장 기본 단계이자 핵심 과제인 것이다.

 

 

3. 기존 Document AI의 한계: OCR 기술의 한계

 

 

Document AI의 가장 첫 단계는 다양한 형태의 비정형 데이터를 Text화 하는 것이다. 이때 쓰이는 전통적인 OCR(Optical Character Recognition) 기술, 특히 Tesseract와 같은 고전적 OCR 엔진은 이미지 내의 패턴을 분석하여 글자를 인식하는 데 주력하며, 문서의 레이아웃이나 논리적 구조를 이해하는 능력은 현저히 부족하다. 대 LLM 시대를 맞이하여 이러한 OCR의 한계는 더욱 두드러지고 있다.

 

3.1 읽기 순서의 오류

 

가장 빈번하게 발생하는 문제는 '읽기 순서'의 오류다. 뉴스 기사나 논문처럼 2단 또는 3단으로 편집된 문서(Multi-column Layout)에서, 단순 OCR은 페이지 전체를 하나의 큰 텍스트 블록으로 인식하여 왼쪽 단의 첫 줄을 읽고 바로 오른쪽 단의 첫 줄로 넘어가는 오류를 범한다.

예를 들어, "AI는 미래의 핵심 기술이다"라는 문장이 왼쪽 단에 있고, "데이터는 새로운 석유다"라는 문장이 오른쪽 단에 있을 때, OCR은 이를 "AI는 미래의 데이터는 새로운 핵심 기술이다 석유다"와 같이 뒤섞인 문장으로 추출할 수 있다. 이러한 현상을 '문장 샐러드(Word Salad)'라고 부른다고 하는데, 아무튼 이는 LLM의 추론을 원천적으로 제한한다.

3.2 테이블의 평탄화 (Table Flattening)와 구조 상실

 

재무제표, 가격표, 설명서 등 기업 문서의 핵심 정보는 대부분 표(Table)에 담겨 있다. 그러나 OCR은 표를 인식할 때, 행(Row)과 열(Column)의 구조를 무시하고 텍스트를 선형적으로 나열하는데, 이를 '테이블 평탄화(Table Flattening)'라고 한다.

표 내부의 텍스트는 추출되지만, 그 텍스트가 어느 항목에 속하는지, 상위 헤더가 무엇인지에 대한 정보는 탭(Tab) 문자나 공백으로 불분명하게 처리되거나 아예 소실된다. 특히나 실무 문서의 표 형식은 또 저마다 개성이 있어 굉장히 다양한데, 만약 셀 병합이 포함된 복잡한 표의 경우라면 OCR은 병합된 정보를 개별 셀에 올바르게 할당하지 못해 데이터의 정합성을 심각하게 훼손한다. 이는 RAG 시스템이 수치 데이터에 대한 질의에 답변할 때 심각한 Hallucination을 유발하는 주된 원인이다.

3.3 시각 정보의 누락과 멀티모달 이해의 부재

 

문서에는 텍스트 외에도 차트, 그래프, 다이어그램 등 풍부한 시각 정보가 포함되어 있다. "그림 1 참조"와 같은 캡션 텍스트만 남고 실제 그림의 내용은 추출되지 않는 경우, 정보의 상당 부분이 유실된다. 기존 OCR은 이미지 영역을 무시하거나, 이미지 내의 텍스트를 무작위로 추출하여 본문과 섞어버리는 등의 문제를 일으킨다. LLM이 텍스트뿐만 아니라 이미지와 도표를 통합적으로 이해해야 하는 멀티모달(Multimodal) 환경에서, 이러한 시각 정보의 누락은 지식 베이스의 불완전성을 초래한다.

 

 

4. Layout Analysis와 구조적 파싱 기술

 

 

오늘날 비정형 데이터 정제의 중요성과 기존 OCR의 한계는 문서를 잘 다뤄보자는 또 하나의 전문 연구 분야를 만들어냈다. 그것이 'Document AI'이다.

 

먼저 그 핵심 기술은 '레이아웃 분석(Layout Analysis)'이다. 레이아웃 분석은 컴퓨터 비전(Computer Vision)의 객체 탐지(Object Detection) 및 세그멘테이션(Segmentation) 기술을 문서 처리에 적용한 것이다. 이 기술은 문서 이미지를 픽셀 단위로 스캔하여 텍스트, 제목, 표, 이미지, 캡션, 리스트, 수식 등 다양한 레이아웃 요소를 식별하고, 각 요소의 경계 상자(Bounding Box)를 검출한다. 마치 자율주행차가 도로 위의 보행자, 신호등, 차선을 구분하듯, Document AI는 문서라는 2차원 공간 위의 정보 객체들을 인식한다. 이후 인식된 객체들의 위치 정보(XY 좌표)와 시각적 특징을 분석하여 문서의 논리적 읽기 순서를 추론하고, 계층 구조를 재구성한다.

 

또한, "구조적 파싱(Structural Parsing)"이 있다. 레이아웃 분석을 통해 식별된 각 요소는 기계의 원활한 이해를 도울 수 있는 구조화된 포맷으로 변환되어야 한다. 구조적 파싱은 이를 위해 비정형를 사전에 정의된 스키마, 특정 구조로 변환하는 것이다. 이때 주로 쓰이는 구조가 HTML(HyperText Markup Language)과 Markdown, 그리고 JSON이다.

HTML은 웹 표준 언어로, <table>, <h1>, <ul> 등 다양한 태그를 통해 문서의 구조를 명확히 정의할 수 있는 형식이다. LLM의 학습 데이터 중 상당수가 웹 데이터이기 때문에 LLM 친화적이며, 복잡한 표나 다단 문서, 하이퍼링크가 포함된 문서를 처리하는 데 적합하다.

Markdown은 문법이 간결하고 텍스트 중심적이라 토큰 소모량이 적은 형식이다. LLM이 생성하고 이해하기에 효율적이기 때문에, 일반적인 비즈니스 문서나 기술 문서, 메모 등을 구성하는 데 자주 활용된다.

JSON은 데이터의 키-값(Key-Value) 구조를 명확히 표현하는 형식으로, 비교적 토큰 효율적이며, API 연동이나 데이터베이스 저장에 유리하다. 송장, 영수증, 신청서 등 정형화된 서식 데이터를 추출하는 데 적합한 포맷이다.

 

 

5. 사례 분석 1: Upstage Document Parse

 

 

국내 AI 기술 기업인 Upstage는 자사의 LLM인 'Solar'를 기반으로 한 'Document Parse' 설루션을 통해 글로벌 시장에서 주목받고 있다. Upstage의 접근 방식은 OCR, 레이아웃 분석, 정보 추출을 개별적인 단계가 아닌 하나의 통합된 파이프라인으로 처리하며, 특히 최종 결과물을 LLM이 가장 잘 이해할 수 있는 HTML 포맷으로 출력하는 데 최적화되어 있다.

Upstage Document Parse의 핵심은 'Solar' 모델의 언어 이해 능력과 강력한 비전 기술의 결합이다. 이는 단순히 글자를 읽는 것을 넘어, 문맥을 파악하여 오탈자를 교정하고, 문서의 논리적 흐름을 추론하여 파싱의 정확도를 높인다.

 

업스테이지 DP (출처: 업스테이지)

 

 

Upstage가 경쟁사 대비 가장 큰 기술적 우위를 점하고 있는 분야는 '고난도 구조'의 처리다. Upstage는 많은 RAG 시스템, LLM이 실패하는 원인인 '표' 처리에 집중했다. 이들의 모델은 셀 병합, 다중 헤더, 테두리가 없거나 희미한 표, 배경색이 있는 표 등 다양한 형태의 복잡한 표를 HTML <table> 태그로 복원한다. Upstage가 공개한 내용에 따르면, Document Parse는 레이아웃 및 테이블 인식 정확도를 측정하는 지표인 TEDS(Tree Edit Distance-based Similarity) 점수에서 93.48점을 기록하여, 경쟁 모델 대비 5% 이상의 높은 성능을 보였다. 이는 금융 보고서나 보험 약관과 같이 표 안에 중요한 조건과 수치가 담긴 문서를 처리할 때 RAG 시스템의 검색 정확도를 획기적으로 향상시킬 수 있다.

 

또한, 최근 Upstage는 업계 최초로 문서 내 차트와 그래프를 분석하여 원천 데이터(Source Data) 수준으로 복원하는 기능을 선보였다. 기존 설루션들이 차트를 단순히 이미지 파일로 저장하거나 "차트 있음" 정도의 캡션만 남겼다면, Upstage는 차트의 X축, Y축, 범례, 데이터 포인트 등을 인식하여 이를 HTML 테이블이나 상세한 텍스트 요약으로 변환한다.

예를 들어, 막대그래프 이미지를 분석하여 "2023년 1분기: 50억, 2분기: 60억..."과 같은 구조화된 텍스트를 생성해 준다. 이는 비전 기반의 정보가 텍스트 기반의 RAG 검색 시스템으로 편입될 수 있게 하는 '모달리티 변환(Modality Translation)' 기술로, 정보의 검색 가능성을 극대화한다. Upstage의 자체 실험 결과에 따르면, 이러한 차트 인식 기능을 활성화했을 때 차트 관련 문서에 대한 질의응답(QA) 정확도가 경쟁사 대비 약 6.49% 향상되었다.

 

Upstage Document Parse는 성능뿐만 아니라 처리 속도 면에서도 강점을 보인다. Upstage의 성능 평가에 따르면, 이 설루션은 페이지당 평균 0.6초의 처리 속도를 기록하며 100페이지 분량의 문서를 1분 이내에 처리할 수 있다. 이는 대규모 문서를 실시간으로 처리해야 하는 엔터프라이즈 환경에 적합하다.

 

 

6. 사례 분석 2: Unstructured

 

 

미국의 Unstructured는 Document AI를 특정 모델의 기능이 아닌, 데이터 엔지니어링을 위한 거대한 'ETL(Extract, Transform, Load) 파이프라인'의 관점에서 접근한다. 이들의 목표는 세상의 모든 비정형 데이터를 LLM이 소비할 수 있는 형태로 변환하는 표준 인터페이스가 되는 것이다.

Unstructured의 가장 큰 강점은 강력한 오픈소스 커뮤니티와 생태계다. Unstructured의 공식 문서에 따르면, 이들이 제공하는 파이썬 라이브러리는 PDF, DOCX, PPTX, HTML, 이메일(EML), 이미지 등 65개 이상의 다양한 파일 포맷을 지원한다. 개발자는 복잡한 코드를 작성할 필요 없이 단 몇 줄의 명령어로 다양한 포맷의 문서를 통일된 JSON 구조로 변환할 수 있다.

 

Unstructured의 ETL 파이프라인 (출처: Unstructured)

 

Unstructured는 "One Size Does Not Fit All"이라는 철학 하에, 문서의 특성과 사용자의 요구사항(속도 vs 정확도)에 맞춰 선택할 수 있는 다양한 '파티셔닝 전략'을 제공한다.

 

1) auto (default strategy): "auto" 전략은 문서의 특성과 함수에 전달되는 kwargs를 기준으로 사용할 파티셔닝 전략을 자동으로 선택한다.

 

2) fast: "fast"는 규칙 기반(rule-based) 전략으로, 전통적인 NLP 추출 기법을 활용해 모든 텍스트 요소를 매우 빠르게 추출한다. "fast" 전략은 이미지 기반 파일 타입에는 사용하는 것이 권장되지 않는다고 한다.

 

3) hi_res: "hi_res"는 모델 기반(model-based) 전략으로, 문서의 레이아웃을 식별한다. 이 전략의 장점은 문서 레이아웃을 활용해 문서 요소에 대한 추가 정보를 얻을 수 있다. 문서 요소의 올바른 분류 정확도가 매우 중요한 경우 이 전략 사용을 권장한다고 한다.

 

4) ocr_only: "ocr_only"는 또 다른 모델 기반(model-based) 전략으로, 광학 문자 인식(OCR)을 활용해 이미지 기반 파일에서 텍스트를 추출한다.

 

Unstructured.io의 문서에 따르면, 'Fast' 전략은 이미지 기반 모델보다 약 100배 빠른 처리 속도를 보여주는 반면, 'Hi_Res' 전략은 속도는 느리지만 레이아웃 인식을 통해 높은 정확도를 제공한다.

 

또한, Unstructured.io는 고해상도 문서의 복잡한 구조를 더 잘 이해하기 위해 자체적으로 'Chipper'라는 비전 트랜스포머(Vision Transformer, ViT) 기반의 모델을 개발하여 베타로 제공하고 있다. Chipper는 텍스트와 시각적 레이아웃을 동시에 학습한 멀티모달 모델인 Donut(Document Understanding Transformer) 아키텍처 등에서 영감을 받아, 문서의 계층 구조를 더 정교하게 이해할 수 있도록 학습시켰다고 한다.

또한, 이들은 대규모 엔터프라이즈 고객을 위해 SaaS 형태의 API와 전용 호스팅 플랫폼을 제공한다. Unstructured.io의 발표에 따르면, 자사의 호스팅 플랫폼은 단일 작업에서 53,000개 이상의 레코드를 처리하고, 조직당 최대 300개의 동시 작업을 지원하는 등 높은 확장성을 입증했다.

 

7. Document AI (Parsing) 기반 RAG vs 멀티모달 RAG

 

 

지금까지 논의한 Upstage와 Unstructured.io의 접근 방식은 문서를 '구조화된 텍스트(Text)'로 변환하여 LLM에 주입하는 일종의 "파싱 기반 RAG(Parsing-based RAG)"이다. 그러나 최근에는 문서를 텍스트로 변환하는 중간 과정을 생략하고, 문서 이미지를 그대로 AI 모델에 입력하여 검색하고 답변하는 멀티모달 RAG(Multimodal RAG)가 새로운 대안으로 부상하고 있다.

멀티모달 RAG의 대표적인 기술로는 ColPali (ColBERT + PaliGemma)가 있다. ColPali는 문서의 각 페이지를 텍스트로 OCR 하는 대신, 페이지 전체를 시각적 임베딩을 통해 변환한다. 사용자의 질문이 텍스트로 들어오면, 이와 의미적으로 유사한 '문서 이미지'를 검색하고, 검색된 이미지를 VLM(Vision-Language Model)에 입력하여 답변을 생성하는 것이다. 이 방식의 가장 큰 장점은 파싱 과정에서의 정보 손실(Loss)이 매우 적다는 것이다. 텍스트로 변환하기 힘든 복잡한 다이어그램, 폰트의 색상이나 크기가 주는 뉘앙스, 미세한 레이아웃의 의미 등이 이미지 자체에 보존되어 모델에 전달된다. (물론 문서 형태에 따라 강건한 성능을 보인다는 가정 하에..)

 

ColPali (ICLR 2025)

 

하지만 멀티모달 RAG는 현시점에서 명확한 한계, 비용과 속도의 문제를 안고 있다. Beyond Patch Aggregation이라는 제목의 논문에 따르면, 이는 토큰 비용의 한계가 있다. 이미지를 LLM(VLM)에 입력하기 위해서는 이미지를 수백 개 이상의 이미지 토큰으로 패치(Patch) 화해야 한다. 관련 연구에 따르면 ColPali 모델은 페이지당 약 1,024개의 패치 임베딩을 생성하며, 이는 텍스트로 변환했을 때보다 훨씬 많은 저장 공간과 연산 자원을 소모한다.

또한, 검색 및 추론 레이턴시 문제도 있다. 텍스트 임베딩보다 훨씬 고차원적이고 용량이 큰 이미지 임베딩을 검색하고, 거대한 VLM이 이미지를 인코딩하여 답변을 생성하는 과정은 텍스트 기반 RAG보다 훨씬 많은 연산 자원을 요구하며 속도가 느리다. 최근 ACL Industry 2025에서 발표된 "EcoDoc"이라는 연구 결과에 따르면, VLM 기반 추론은 텍스트 기반 추론 대비 약 2배 이상의 레이턴시가 발생하며, 비용 또한 약 40% 증가하는 것으로 나타났다.

 

따라서 현재의 엔터프라이즈 환경에서는 Document AI에 집중하는 '파싱 기반 RAG'가 여전히 가장 실용적이고 경제적인 설루션이다.

 

8. 결론

 

 

AI 분야의 세계적 석학 앤드류 응(Andrew Ng) 교수는 "모델을 고치려 하지 말고, 데이터를 고쳐라"라고 했다. Document AI는 일종의 "문서 전처리의 엔지니어링화"를 의미한다. 단순히 문서를 수집하는 단계를 넘어, AI가 학습하고 추론하기 가장 좋은 형태로 데이터를 가공하고 정제하는 것이 AI 엔지니어의 핵심 역량이 되어야 한다. 여기서 '좋은 데이터'란 노이즈가 제거되고(Clean), 논리적 구조가 명확하며(Structured), 문맥 정보가 보존된(Context-aware) 기계 가독성 높은 데이터를 뜻한다.

 

물론 좋은 것이 있으면 나쁜 것도 있다. 좋은 모든 것의 반대인 나쁜 데이터는 단순히 RAG 답변의 오류에 그치지 않고, 비즈니스 전반에 막대한 숨겨진 비용을 초래한다. 실제로 이는 더 큰 재처리 비용을 낳는다. 파싱 오류로 인해 잘못된 정보가 DB에 축적되면, 이를 다시 정화하고 다시 인덱싱하는 데 많은 리소스와 엔지니어의 역량이 낭비된다. 또한, 당연하게도 AI가 엉뚱한 답변을 내놓는 빈도가 늘어나면, 임직원과 고객은 시스템 전체를 불신하게 되고, 결국 고가의 AI 도입 프로젝트 자체가 실패로 돌아가게 될 것이다.

 

Document AI는 오늘날 진보된 생성형 AI의 실질적 활용을 담보하는 필수 요소이자 실제 산업 현장의 비즈니스 효과 창출에 있어서 가장 핵심적인 기술이라 할 수 있겠다. 따라서 기업은 Document AI를 "데이터 자산화를 위한 인프라 투자"로 인식해야 한다. Upstage나 Unstructured가 오늘날 시장에서 주목을 받는 이유는 많은 기업들이 이 인프라 투자에 점점 관심을 크게 갖기 시작했다는 뜻이다. 결론적으로, "잠자는 비정형 데이터를 깨우는 것"은 AI 시대의 가장 확실한 경쟁 우위 확보 전략이 될 수 있다.

 

 

참고 문헌

 

Andrew Ng & Data-Centric AI

• LandingAI. Data-Centric AI: A Data-Driven Machine Learning Approach.
• MIT CSAIL. Data-Centric AI Resources.
• Towards Data Science. What are the Data-centric AI Concepts behind GPT Models?

Upstage Document Parse & Technologies

• Upstage. Document Parse Product Page (TEDS 점수 및 처리 속도 성능 지표).
• Upstage Blog. Introducing Chart Recognition in Upstage Document Parse (차트 인식 QA 정확도 향상 연구).
• Upstage Docs. Capabilities: Document Digitization.
• Upstage Blog. Why table structure extraction fails: A deep dive into real-world challenges.

Unstructured & ETL Pipeline

• Unstructured.io. Product Page (지원 포맷 및 기능 명세).
• Unstructured.io Docs. Partitioning Strategies (Fast, Hi_Res 전략 비교).
• Unstructured.io. Federal Capabilities Statement for IARPA (비정형 데이터 통계).
• Unstructured.io Docs. Chipper Model Architecture.

ColPali, Vision RAG & RAG Challenges

• Faysse et al. (ICLR 2025). ColPali: Efficient Document Retrieval with Vision Language Models.
• ACL Industry 2025. EcoDoc: Cost and Latency Optimization (VLM 기반 추론 비용/속도 비교 연구).
• ArXiv. VisionRAG: Pyramid Indexing for Efficient Multimodal Retrieval (ColPali 토큰 사용량 분석).
• Medium. RAG with ColPali: Everything You Need to Know.
• Elastic Search Labs. Alternative approach for parsing PDFs in RAG (테이블 파싱의 어려움).