[NLP] Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study

1. Introduction

데이터는 크게 비정형 데이터(unstructured data)와 구조화된 데이터(structured data)로 나뉜다. 그중 구조화된 데이터는 반복되는 정보를 압축하고 효율적으로 관리하기 위해 사전 정의된 구조로 조직된다. 이러한 구조화는 기계가 데이터를 분석하고 처리하는 과정을 획기적으로 용이하게 만든다. 그중에서도 테이블(Table)은 가장 대표적인 구조화된 데이터 유형으로, 다양한 응용 분야에서 널리 활용되고 있다. 테이블을 직접 활용하는 구체적인 응용 사례로는 테이블 기반 질문 응답(Table-based Question Answering, TQA), 테이블 기반 팩트 검증(Table-based Fact Verification, TFV), 테이블-텍스트 변환(Table-to-Text), 열 유형 및 관계 분류(Column Type & Relation Classification) 등이 있다.

최근 LLM의 등장은 이러한 구조화된 데이터 처리 분야에도 새로운 가능성을 제시하고 있다. 프롬프트 엔지니어링(Prompt Engineering)은 In-context Learning, ICL을 위한 매우 효과적인 방법론으로 자리 잡았다. 특히 "Chain of Thought(CoT)"나 "Self-consistency", 혹은 검색 방법을 결합한 하이브리드 접근 방식들은 LLM이 제로샷(zero-shot) 또는 퓨샷(few-shot) 설정에서 수학적 추론과 같은 복잡한 작업을 해결할 수 있음을 입증하였다. 더 나아가 최근 연구는 CoT를 활용하여 GPT-3.5가 단 하나의 예시(one-shot)만으로도 여러 테이블 작업에서 인상적인 성능을 보여줄 수 있음을 시사하며, LLM의 구조적 데이터 처리 잠재력을 확인시켜 주었다.

하지만 여전히 근본적인 의문은 해결되지 않았다. "LLM이 테이블 데이터를 진정으로 이해하는가?"라는 질문에 대해 기존 연구들은 포괄적인 답변을 내놓지 못한 것이다. LLM이 텍스트 데이터에서 보여준 놀라운 성공이 테이블이라는 다른 모달리티로 즉각 전이되는 것은 아니며, 여기에는 고유한 도전 과제들이 존재한다.

구조적 다양성: 테이블은 제 각기 다른 구조와 특징을 가진다.
직렬화의 난해함: 테이블은 2차원(행과 열) 구조를 가지지만, LLM은 1차원 시퀀스(텍스트)를 입력으로 받는다. 테이블을 순차적인 텍스트로 변환하는 '테이블 직렬화(table serialization)' 과정은 간단하지 않으며, 이 과정에서 구조적 정보의 손실이나 왜곡이 발생할 수 있다.

현재 학계와 산업계에서는 테이블 직렬화 방식과 맥락(context), 쿼리(query) 구성에 대한 통일된 합의가 부재하다. 설문 조사에 따르면, 연구자들은 각기 다른 임시방편적인 방식으로 입력 설계를 수행해 왔다고 한다. 언어 모델을 통해 테이블을 다루려는 여러 연구들도 그 맥락과 쿼리를 정의하는 형태가 모두 다르다.

TaPEx: <HEAD>, <ROW>와 같은 특수 토큰을 사용하여 테이블 구성 요소를 명시적으로 표시한다.
TABBIE: 테이블을 행 방향(row-wise)과 열 방향(column-wise)으로 모두 직렬화하여 구조적 정보를 보존하려 시도한다.
TableGPT: 템플릿 기반 방법을 사용하여 각 테이블 레코드의 속성-값 쌍을 자연어 문장으로 변환한다 (예: "name: Elon Musk" $\rightarrow$ "name is Elon Musk"). 이를 모든 레코드 순서대로 연결하여 입력으로 사용한다.

이러한 다양한 입력 설계 방식은 연구자들과 개발자들에게 혼란을 야기하며, 어떤 방식이 LLM의 성능을 극대화하는지 판단하기 어렵게 만든다. 따라서 본 논문은 다음과 같은 핵심 연구 질문을 던지며 이를 규명하고자 한다.

"LLM이 테이블을 이해하도록 하는 데 있어 가장 효과적인 입력 설계와 선택은 무엇인가?"

본 연구는 이러한 혼란을 해소하고, LLM이 진정으로 테이블 데이터를 이해할 수 있는지, 그리고 어느 수준까지 구조적 이해 능력을 달성했는지 규명하는 것을 목표로 한다. 이를 위해 연구진은 다음과 같은 체계적인 접근 방식을 취한다.

SUC 벤치마크 제안: 다양한 입력 설계를 비교하고 LLM의 각 구조적 이해 능력에 초점을 맞춘 구체적인 작업을 생성하기 위해 SUC(Structural Understanding Capabilities) 벤치마크를 제안한다.
포괄적인 실험 수행: 입력 형식, 형식 설명, 역할 프롬프팅, 파티션 마크, 제로샷/원샷 접근 방식 등 다양한 입력 선택지의 효과를 평가하기 위해 광범위한 실험을 수행한다.
실용적인 가이드라인 제공: LLM을 활용하여 구조화된 데이터를 더 잘 이해하기 위한 실용적인 지침을 제공한다.
자가 증강 프롬프팅 제안: 모델 불가지론적(model-agnostic) 방법인 '자가 증강 프롬프팅'을 제안하여, LLM이 내부 지식을 활용해 중간 구조적 지식을 생성하고 이를 통해 다운스트림 작업의 성능을 향상시키는 방법을 제시한다. 이는 기존의 CoT나 Zero-shot-CoT와는 차별화된 접근 방식이다.

2. Preliminaries

이 섹션에서는 테이블 데이터의 본질적인 구조적 특성과 이를 LLM이 처리할 수 있는 형태로 변환하는 직렬화 과정의 기술적 배경, 그리고 LLM의 입력 길이 제약에 따른 문제점들을 상세히 다룬다.

테이블 데이터는 매우 유연한 구조를 가지는데, 이러한 구조적 다양성은 LLM에게 큰 도전 과제가 된다.

유형: 관계형 테이블, 엔티티 테이블, 매트릭스 테이블, 레이아웃 테이블 등 다양한 형태가 존재한다.
방향성: 테이블은 수평(horizontal) 정렬 또는 수직(vertical) 정렬 방향을 가질 수 있다.
계층 구조: 평면 구조에서부터 계층적(hierarchical) 구조에 이르기까지 복잡성의 스펙트럼이 넓다. 논문에서는 주로 평면 관계형 테이블에 초점을 맞추지만, 계층적 테이블에 대해서도 논의한다. 평면 테이블에서 각 행은 고유한 레코드에 해당하며, 열은 계층적 배열 없이 특정 필드(field)를 나타낸다.

또한, 테이블 데이터는 값을 포맷팅하는 다양한 접근 방식을 포함한다.

텍스트(Text): 헤더, 메모, 캡션 및 데이터 영역 내의 셀과 같은 메타 정보를 캡처하는 데 중추적인 역할을 한다. 텍스트는 테이블의 문맥을 제공하는 핵심 요소이다.
숫자(Numbers): 합계 및 비율과 같은 산술적 관계뿐만 아니라 분포 및 추세와 같은 통계적 속성을 포함한다. 테이블은 종종 꼼꼼하게 정리된 수치 데이터를 제공하여 참조와 비교를 용이하게 한다. 이러한 구조화된 수치 값은 스프레드시트 수식 등을 통해 문서화되기도 한다.

테이블 데이터의 이러한 유연성은 LLM에게 독특한 도전을 제기한다. 서로 다른 테이블은 구조와 포맷을 각기 다른 방식으로 정의하기 때문에, 테이블 데이터와 자연어 사이의 간극은 자연어 추론 능력을 직접적으로 적용하는 것을 방해하는 요인이 된다.

테이블 직렬화(serialization)는 2차원 형태의 테이블 데이터를 선형적이고 순차적인 1차원 텍스트 형식으로 변환하는 과정을 의미한다. 이는 언어 패턴을 이해하고 예측하는 것이 중요한 masked language modeling과 같은 작업에서 LLM을 훈련하고 활용하는 데 필수적인 전처리 단계이다.

주요 직렬화 방법론은 아래와 같다.

Row-by-Row: 테이블을 행 단위로 순차적으로 직렬화하는 가장 간단하고 직관적인 방법이다. TaPas , MATE , TableFormer , TUTA , TURL 등 다수의 연구에서 채택되었다.
Special Tokens: TaPEx 와 같은 모델은 <HEAD>, <ROW>와 같은 특수 토큰을 사용하여 테이블의 구성 요소를 명시적으로 구분한다. 이는 모델이 구조를 파싱하는 데 도움을 줄 수 있다.
Hybrid Serialization: TABBIE는 행 방향과 열 방향으로 모두 직렬화하여 구조적 맥락을 풍부하게 한다.
Template-based: TableGPT는 템플릿 기반 방법을 사용하여 각 테이블 레코드의 속성-값 쌍을 자연어 문장으로 변환한다.

LLM의 입력 길이 제약과 효율성 문제 또한 고려해야 한다. 대부분의 LLM은 self-attention 메커니즘의 큰 복잡도(quadratic complexity)로 인해 긴 문장을 처리하는 데 비효율적이다. 예를 들어, text-Davinci-003 모델의 최대 시퀀스 길이는 4,096 토큰으로 제한된다. 그러나 구조화된 데이터는 일반적으로 수십, 수백 개의 구성 요소를 포함하므로 메모리 및 계산 효율성 측면에서 상당한 문제를 야기한다.

일부 연구는 최대 시퀀스 길이에 따라 입력을 단순히 잘라내는 naive한 방법을 사용했으나, 이는 중요한 정보의 손실을 초래하고 전체 테이블의 구조적 무결성을 파괴할 위험이 있다. 본 연구에서는 이러한 문제를 해결하고 공정한 비교를 위해 다음과 같은 제약 조건을 사전 정의하여 실험을 수행하였다.

무작위 행 샘플링 (Random Row Sampling): 절단으로 인한 잠재적 혼란을 방지하기 위해, 테이블의 토큰 수가 특정 임계값을 초과할 경우 무작위 행 샘플링 전략을 사용하여 전체를 포기하고 일부 행을 읽는 것에만 집중한다.
1-shot 예제 추가: 예상되는 남은 토큰 용량에 기반하여 1-shot 예제를 추가하여 모델의 ICL을 지원한다.

3. SUC Benchmark

이 섹션에서는 다양한 입력 설계를 비교하고 LLM의 구조적 이해 능력을 심층적으로 조사하기 위해 개발된 SUC(Structural Understanding Capabilities) 벤치마크를 상설명한다. 연구진은 이 벤치마크를 통해 다음 두 가지 핵심 질문에 대한 답을 찾고자 한다.

어떤 입력 설계와 선택이 LLM이 테이블을 이해하는 데 가장 효과적인가?
LLM은 구조화된 데이터에 대해 어느 정도의 구조적 이해 능력을 이미 보유하고 있는가?
또한, 다양한 입력 설계 조합 간의 복잡한 트레이드오프(trade-off)를 분석한다.

연구진은 인간의 관점에서 테이블 구조를 이해하는 데 필수적인 능력을 크게 두 가지 범주로 분류하였다.(Figure 1 참조).

하나는 partition & parsing이며, 나머지 하나는 search & retrieval이다.

3-1. Partition & Parsing

테이블 데이터셋은 특정 다운스트림 작업을 해결하기 위해 종종 다른 소스의 지식과 결합된다.

HybridQA : 패시지(passage) 정보 활용
TabFact 및 FEVEROUS : 인간 주석 활용
MultiModalQA : 이미지 정보 활용

이러한 작업을 수행하기 위한 전제 조건은 데이터를 정확하게 분할(partitioning)하는 것이다. 이를 위해서는 테이블을 다른 보충 정보와 구별하고, 테이블의 구조적 레이아웃을 기본적으로 이해하는 능력이 필요하다.

또한, 데이터 저장 형식의 다양성도 중요한 요소이다. CSV, JSON, XML, Markdown, HTML , XLSX 등 다양한 테이블 저장 형식은 각기 다른 수준의 정보 압축을 가지며, LLM이 테이블 내용을 이해하는 데 있어 서로 다른 난이도의 과제를 제시한다.

LLM은 먼저 테이블의 형식이나 레이아웃을 이해한 다음, 그 내용을 파악해야 한다. 본 연구는 LLM이 다양한 포맷 소스를 올바르게 파싱할 수 있는지 확인하고, 어떤 유형의 입력 설계가 가장 적합한지 식별하는 것을 목표로 한다.

3-2. Search & Retrieval

파티션 및 파싱 능력 외에도, 구조화된 데이터 내의 특정 위치에서 정보를 정확하게 검색하고 조회하는 능력은 LLM에게 필수적이다. 이 능력은 Table-QA 및 열 유형 및 관계 분류를 포함한 광범위한 다운스트림 작업과 밀접하게 관련되어 있다. 이를 통해 LLM은 사용자 쿼리나 요청에 따라 구조화된 데이터에서 관련 정보를 효과적으로 식별하고 추출할 수 있다.

예시: 사용자가 "2014년 이후에 개최된 올림픽 행사 중, 더 나이 든 기수가 있었던 행사는 무엇인가?"라고 묻는다면, LLM은 다음과 같은 복합적인 과정을 거쳐야 한다.
1. 시간 기준(2014년 이후)을 만족하는 모든 올림픽 행사를 찾는다 (Locate)
2. 각 행사와 관련된 기수의 나이를 비교한다 (Compare)
3. 최종적으로 가장 나이 든 기수가 있는 행사를 결정하고 반환한다 (Return)

이 과정에서 구조화된 데이터 내에서 관련 정보를 찾는 것은 데이터의 구조를 주의 깊게 분석하고 목표 셀(target cell)을 식별함으로써 달성된다. 본 연구는 검색 및 조회 능력을 다운스트림 작업에서 분리함으로써, 테이블 데이터와 관련된 LLM의 내부 학습 과정에 대한 귀중한 통찰력을 얻고자 한다.

3-3. 작업 및 벤치마크 세트 설계

LLM의 테이블 이해 능력을 평가하기 위해 난이도가 점진적으로 증가하는 7가지 구체적인 작업을 설계했다. 각 작업의 입력 설계 예시는 아래과 같다.

작업 (Task)	입력 질문
Table Partition	주어진 테이블의 첫 번째 토큰(구분자가 아닌 셀 값)은 무엇입니까? 주어진 테이블의 마지막 토큰은 무엇입니까?
Cell Lookup	cell_value의 위치는 어디입니까?
Reverse Lookup	row_index, column_index의 셀 값은 무엇입니까?
Column Retrieval	다음 테이블에서 인덱스 column_idx를 가진 열의 이름은 무엇입니까?
Row Retrieval	다음 테이블에서 row_idx 행의 셀 값들은 무엇입니까?
Size Detection	테이블에는 몇 개의 행이 있습니까? 테이블에는 몇 개의 열이 있습니까?
Merged Cell Detection	스팬(span)이 1을 초과하는 셀의 열 인덱스는 무엇입니까? `

+ Table Partition: LLM이 다양한 보충 정보(설명, 맥락 등) 속에서 테이블의 시작과 끝을 정확히 인지하는지 테스트한다.
+ Table Size Detection: 테이블의 크기는 행과 열의 수에 대한 직접적인 제약 조건을 나타내므로, 이를 파악하는 것은 구조적 이해의 기본이다. 만약 테이블이 3개의 열만 가지고 있다면, 출력은 이 범위를 벗어나서는 안 된다.
+ Merged Cell Detection: 병합된 셀은 인접한 두 개 이상의 셀이 결합된 특수 구조로, 주로 계층적 스프레드시트 테이블에서 발견된다. 이를 감지하는 것은 LLM의 강건성(robustness)을 테스트한다.
+ Column & Row Retrieval: 열/행 인덱스를 사용하여 특정 값 목록을 찾는 것이 일반적인 시나리오이므로, 이 작업의 성능은 Cell Lookup보다 높을 것으로 예상된다.

본 벤치마크는 TabFact, FEVEROUS, SQA, HybridQA, ToTTo 등 공개 데이터셋에서 수집된 Wikipedia 기반 테이블로 구성되었다. 원본 데이터 중 table, rows, headers와 같은 구조적 요소만을 사용하고, ID, Question, Answer, FileName 등 메타 정보는 제외하여 모델의 순수한 테이블 구조 이해 능력을 평가하였다. 각 테이블에는 구조적 값을 식별하는 단문 질문(중간 길이 15단어)이 부여되었으며, 모든 질문은 원본 데이터셋에서 소싱된 정답과 함께 제공된다.

평가 신뢰도를 확보하기 위해 GPT-3.5(Text-Davinci-003)를 활용해 질문 난이도를 검증하고, 여러 샘플링에서도 일관되게 정답을 맞히는 과도하게 쉬운 질문은 제거하였다. 병합 셀 감지 작업은 병합 셀 정보가 포함된 ToTTo 데이터셋만을 사용하였으며, 각 작업 설정마다 1,500개의 테이블을 무작위로 샘플링해 테스트 셋을 구성하였다.

SUC는 테이블 작업을 위한 1-shot 인컨텍스트 러닝 벤치마크로 설계되었으며, 미세 조정 없이 퓨샷 프롬프트를 통해 새로운 작업을 수행하는 LLM의 창발적 능력을 평가한다. 비교를 위해 제로샷 설정 실험도 함께 수행하였다.

평가는 정확도(Accuracy)를 기준으로 하였으며, CSV, JSON, XML, Markdown, HTML, XLSX 등 다양한 입력 포맷과 구분자 기반 선형화 방식(NL+Sep, '|'와 같이)을 베이스라인으로 비교하였다. 또한 문법 설명, 파티션 마크, 역할 프롬프팅, 포맷 설명 등 입력 설계 증강 기법을 적용해 성능 변화를 분석하였다. 출력 형식 제약을 통해 응답의 90% 이상이 자동 평가되었으며, 나머지는 정규 표현식 기반 의미론적 파싱으로 처리하였다.

4. 구조적 프롬프팅 (Structural Prompting)

SUC 벤치마크 실험 결과(섹션 5 참조)를 통해 연구진은 두 가지 중요한 사실을 발견했다.

LLM은 기본적인 구조적 이해 능력을 가지고 있지만, 테이블 크기 감지와 같은 사소한 작업에서도 완벽하지 않다.
입력 설계의 조합을 올바르게 선택하는 것이 테이블 데이터에 대한 LLM의 이해를 높이는 잠재적 요인이다.

이러한 발견을 바탕으로, 본 섹션에서는 LLM의 자체 지식 기반 내부 검색을 기반으로 중간 구조적 지식을 생성하는 간단하고 일반적인 방법인 자가 증강 프롬프팅(Self-augmented Prompting)을 제안한다.

CoT(Chain of Thought) 는 LLM이 텍스트에 대해 복잡한 추론을 수행할 수 있도록 함으로써 큰 반향을 일으켰다. 추론 사슬의 몇 가지 예시를 모델에 제공함으로써, LLM은 어려운 미지의 작업을 해결하기 위해 템플릿을 따르는 법을 배울 수 있다. 이러한 연구에서 영감을 받아, 본 연구는 LLM의 자체 지식을 "짜내어(squeeze)" 중간 구조적 지식을 생성하는 방법을 고안했다.

자가 증강 프롬프팅은 LLM을 두 번 호출하여 구조화된 데이터를 이해하는 능력을 향상시키는 직관적인 아이디어이다. 이 과정은 작업을 두 단계로 나눈다.

1단계 (지식 생성): 모델에게 테이블의 중요한 값과 패턴을 식별하도록 프롬프트한다. LLM에게 기본 다운스트림 작업을 직접 해결하도록 요청하는 대신, 초기에는 다운스트림 프로세스와 관련된 중요한 데이터 포인트나 범위를 추출하도록 과제를 부여한다.
- 지시 예시: "Identify critical values and ranges of the table related within five sentences." (테이블의 중요한 값과 범위를 5문장 이내로 식별하시오.)
- 중간 출력(Intermediate Output) 예시: "이 테이블은 1983년부터 1989년까지 Antoine Salamin의 결과를 포함합니다. 가장 중요한 값은 레이스 횟수입니다. 레이스의 범위는 1에서 4까지입니다(...) 포디움의 범위는 0에서 3까지입니다(...)"
2단계 (최종 답변 도출): LLM에 의해 식별되고 개략적으로 설명된 관련 데이터를 새로운 프롬프트의 일부로 사용하여 이제 원래 작업에 집중한다. 첫 번째 프롬프트의 결과를 두 번째 프롬프트에 통합함으로써, 프로세스는 LLM이 최종 답변을 생성하는 동안 이러한 중요한 세부 정보를 고려하도록 효과적으로 안내한다. 이는 응답의 관련성과 정확성을 모두 향상시킨다.

자가 증강, 이 방법은 CoT나 Zero-shot-CoT 와는 다릅니다. 기존 방법들이 추론의 과정(step-by-step reasoning)에 집중했다면, 자가 증강 프롬프팅은 구조화된 정보를 올바르게 이해하기 위해 구조를 풀어주는? 역할을 하는듯 하네요.

자가 증강 외에도, 경험적 관찰에 따르면 구조적 정보가 테이블 이해에 결정적인 역할을 한다는 것이 분명하다. 일부 연구들은 다양한 구조적 정보를 인코딩하기 위해 특수 토큰이 포함된 프롬프트를 통합하여 진전을 이루었다. 본 연구에서는 이를 기반으로 SUC 벤치마크 결과를 반영하여, 원시 입력(raw input)에서 구조적 정보를 추출하여 입력 자체에 통합하는 방법을 추가로 탐구한다.

이를 위해 구조적 특징을 명시하는 방법론을 적용한다. 예를 들어, 셀 주소(2x2 등)를 사용하고, 테이블의 행과 열 수를 명확하게 표시하는 것이다.

5. Experiments

모델: 본 연구에서는 주로 **GPT-3.5 (text-davinci-003)**를 사용하고, 비교를 위해 GPT-4 에서도 평가를 수행한다. 실험 수행 시 하이퍼파라미터 temperature는 0, top_p는 1로 설정한다.
다운스트림 작업 및 데이터셋: LLM의 구조적 데이터 이해 능력을 평가하기 위해 5가지 대표적인 테이블 다운스트림 작업을 사용했다.
1. SQA: 6,066개의 질문 시퀀스로 구성되며, 고도로 구성적인 WTQ 질문을 분해하여 생성되었다. 평균 시퀀스 길이는 2.9개 질문이다.
2. HybridQA: 동종 정보(테이블)뿐만 아니라 이종 정보(텍스트)에 대한 추론이 필요한 62,682개의 질문을 포함한다. 각 질문은 위키피디아 테이블 및 엔티티와 연결된 자유 형식 코퍼스와 정렬된다.
3. ToTTo: 위키피디아 테이블의 강조된 셀을 설명하는 자연어 문장을 생성하는 고품질 영어 테이블-텍스트 데이터셋이다.
4. FEVEROUS: 87,026개의 검증된 주장(claims)으로 구성된 팩트 검증 데이터셋. 각 주장은 위키피디아의 문장이나 테이블 셀 형태의 증거와 함께 주석 처리되어 있다.
5. TabFact: 위키피디아에서 추출한 테이블과 크라우드 워커가 작성한 문장으로 구성된 대규모 팩트 검증 데이터셋이다.

Table 2는 5가지 주요 입력 포맷(NL+Sep, Markdown, JSON, XML, HTML)에 대해 7가지 SUC 태스크를 수행한 결과를 보여준다. 실험은 주로 GPT-3.5를 대상으로 했으나, 자원 집약적인 GPT-4에 대해서도 각 태스크 세트에서 무작위 300개 샘플을 추출하여 추론 테스트를 수행했다.

HTML의 우수성:
- Table Partition: HTML 포맷은 96.67%의 높은 정확도를 기록하며 테이블의 경계를 식별하는 데 가장 효과적이었다.
- Size Detection: 테이블의 행과 열 개수를 파악하는 이 태스크에서 HTML(67.00%)은 기존의 NL+Sep(42.00%)나 Markdown(40.67%)을 압도했다.
- Column Retrieval: 열 이름을 검색하는 태스크에서도 HTML(63.33%)이 가장 우수한 성능을 보였다.
- LLM의 학습 데이터에 웹 데이터가 다수 포함되어 있어, 모델이 <tr>, <td>와 같은 HTML 태그를 통해 구조를 파싱하는 데 이미 익숙해져 있음을 시사한다.
GPT-4의 압도적 성능:
- GPT-4(파란색 열)는 모든 포맷과 태스크에서 GPT-3.5를 크게 상회했다. 이는 모델의 파라미터 크기와 추론 능력이 구조적 파싱 능력과 직결됨을 보여준다.
포맷별 특화 영역:
- Markdown: Merged Cell Detection(병합된 셀 감지) 태스크에서는 Markdown(78.00%)이 HTML(76.67%)보다 소폭 앞서며 가장 좋은 성능을 보였다. 이는 Markdown의 단순한 표기법이 병합된 셀과 같은 특정 시각적/구조적 특징을 표현하는 데 효율적일 수 있음을 암시한다.
- NL+Sep (Natural Language + Separator): 기존 연구에서 흔히 쓰이던 방식이지만, Size Detection(42.00%) 등 구조적 파싱이 필요한 작업에서 마크업 언어(Markup Language) 대비 현저히 낮은 성능을 보였다.

Table 3은 최적의 조합(HTML + 포맷 설명 + 역할 프롬프트 + 순서 변경 없음)을 기준으로, 특정 요소를 제거했을 때 성능 변화를 분석한 결과이다.

1-shot의 결정적 역할 (w/o 1-shot):
- 1-shot 예제를 제거하고 제로샷(Zero-shot)으로 수행했을 때, Table Partition 정확도가 33.67% 급락했고, Merged Cell Detection은 38.67%나 떨어졌으며 Size Detection은 무려 약 50%가 떨어졌다.
- 구조적 이해 능력은 사전 학습만으로 어려우며, 예시를 제공받을 때 그 능력이 발현된다.
외부 텍스트의 순서 (w/o change order):
- 논문에서 "Change order"는 질문이나 설명 같은 외부 텍스트를 테이블 앞에 배치하는 것을 의미한다. 이를 제거하고(즉, 텍스트를 테이블 뒤에 배치했을 때) 성능 변화를 보면, Size Detection에서 14.33%의 성능 하락이 발생했다.
- 텍스트를 먼저 제시하는 것이 LLM으로 하여금 테이블을 읽기 전에 맥락을 파악하고 "무엇을 찾아야 할지" 준비시키는 효과를 준다.
포맷 설명 및 파티션 마크:
- "포맷 설명(format explanation)"을 제거했을 때 Table Partition 성능은 4.67% 하락했지만, Cell Lookup 성능은 오히려 8.00% 상승했다.
- 구조에 대한 과도한 설명이나 마크는 전체적인 파싱에는 도움을 주지만, 특정 값을 찾아야 하는 검색(Retrieval) 과정에서는 오히려 노이즈로 작용하여 모델의 주의를 분산시킬 수 있다.

Table 4는 자가 증강 프롬프팅 (SA Prompting)의 결과를 다룬다.

자가 증강(SA) vs 1-shot:
- 단순히 1-shot 예제를 주는 것보다, 모델에게 "중요한 값과 범위를 식별하라"고 먼저 시킨 뒤(SA) 문제를 풀게 했을 때 성능이 향상되었다.
- LLM이 스스로 데이터를 정제하고 구조적 힌트를 생성하게 함으로써, 복잡한 추론 문제 해결 능력을 충분히 발현할 수 있다는 것을 시사한다.
수동 프롬프트 엔지니어링의 한계:
- 사람이 수동으로 포맷 설명을 적어준 경우보다, 모델이 스스로 포맷 설명을 생성하게 한 경우("SA self format explanation")가 더 나은 결과를 보였다.

Table 5는 다운스트림 태스크에서의 다양한 포맷을 비교 분석한다.

HTML의 우수성:
- ToTTo를 제외하고 모든 task에서 가장 우수한 성능을 기록하였다.
GPT-4 + HTML:
- 강력한 모델(GPT-4)과 최적의 입력 설계(HTML)가 결합되었을 때, 테이블 데이터 이해 능력은 극대화된다.

실험 결과 요약

포맷: HTML이 가장 우수함.
순서: 질문이나 설명을 테이블 앞에 배치하라.
프롬프팅: 단순 1-shot을 넘어, 모델이 스스로 정보를 정제하게 하는 자가 증강(SA) 기법이 유리할 수 있다.
정보량 조절: 검색(Retrieval)이 주된 목적이라면 과도한 구조 설명은 빼고, 파싱(Parsing)이 목적이라면 구조 설명을 추가하라.

6. 결론 (Conclusion)

본 논문은 LLM과 테이블 데이터의 융합을 심도 있게 탐구하며, 실험을 통해 가장 효과적인 데이터 표현 방식이 무엇인지 명확히 규명했다는 점에서 의의를 가진다. 연구진은 단순히 테이블을 텍스트로 나열하는 것을 넘어, 다양한 직렬화(Serialization) 방식과 입력 설계가 모델의 성능에 미치는 영향을 비교 분석하였다. 그 결과, HTML과 같은 구조적 마크업 언어의 활용과 '자가 증강 프롬프팅(Self-augmented Prompting)'의 결합이 LLM의 테이블 이해도를 극대화한다는 유효한 결과를 실증적으로 입증하였다. 이는 LLM이 정형 데이터의 구조적 맥락을 파악하는 데 있어, 최적화된 입력 설계가 필수적임을 시사한다. 앞으로 이 연구는 구조화된 지식과 LLM의 추론 능력을 유기적으로 결합하여, 테이블 처리의 정확도와 효율성을 높이는 핵심적인 기반이 될 것으로 기대한다.

이 논문은 막연했던 'LLM의 테이블 이해'라는 주제를 체계적인 벤치마크(SUC)로 풀어내며, 수많은 입력 선택지 중 효과적인 선택지에 대한 힌트를 주고 있습니다. 솔직히 논문에서 전달하는 내용이 워낙 많아 가독성이 좋은 논문인 것 같진 않지만, 흥미로운 실험 결과가 제시되어 있습니다. 이 논문에서 제안하는 벤치마크를 직접 실험하실 것이 아니라면, 굳이 꼼꼼히 분석해가며 정독할 필요는 없겠지만, 실험 결과는 분명 시사점이 있습니다. 저자들이 실험을 통해 증명한 'HTML 포맷의 우수성'과 '구조적 설명 배치' 등을 확인해 보시기 바랍니다. 저 개인적으로도 연구 초기에는 테이블 데이터를 어떻게 LLM에 던져줘야 할지 고민하며 여러 시행착오를 겪었습니다. 당시엔 막연히 룰 기반의 직렬화 기법을 썼는데, 이 논문을 통해 최적의 표현 방식에 대해 더 고민해볼 수 있었습니다.

아무튼 모든 학생, 연구자, 실무자 분들 응원합니다!

https://arxiv.org/abs/2305.13062

Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study

Large language models (LLMs) are becoming attractive as few-shot reasoners to solve Natural Language (NL)-related tasks. However, the understanding of their capability to process structured data like tables remains an under-explored area. While tables can

arxiv.org

'👨‍💻 About AI > Paper Review' 카테고리의 다른 글

[NLP] Retrieval-Augmented Generation for Large Language Models: A Survey (0)	2025.12.11
[LTSF] Less Is More - Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures (2022) (0)	2023.04.28
[LTSF] RNN, LSTM(Long Short-Term Memory) (0)	2023.04.06
[LTSF] Are Transformers Effective for Time Series Forecasting?(2022) (0)	2023.04.02
[LTSF] Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting (2021) (3)	2023.03.27

1. Introduction

2. Preliminaries

3. SUC Benchmark

3-1. Partition & Parsing

3-2. Search & Retrieval

3-3. 작업 및 벤치마크 세트 설계

4. 구조적 프롬프팅 (Structural Prompting)

5. Experiments

실험 결과 요약

6. 결론 (Conclusion)

'👨‍💻 About AI > Paper Review' 카테고리의 다른 글

티스토리툴바