RAG 아키텍처 발전사 번외편 - Ontology-Enhanced RAG: 도메인 지식의 구조를 검색에 심다

이 글은 RAG 아키텍처 발전사 시리즈의 네 번째 편입니다. 이전 편에서 3세대 Modular/Self-Corrective RAG가 자기 성찰, 교정, 적응적 라우팅, 구조적 검색, 모듈화를 통해 파이프라인에 시스템 수준의 지능을 도입한 과정을 살펴보았습니다. 이번 편에서는 3.5세대 Ontology-Enhanced RAG를 다루며, 시리즈의 마지막 편인 4세대 Agentic RAG로 이어질 예정입니다.

---

Graph RAG와 온톨로지 사이의 간극

3세대에서 다룬 Graph RAG는 소스 문서에서 LLM으로 엔티티와 관계를 자동 추출하여 Knowledge Graph를 구축하고, 커뮤니티 기반 요약으로 전역 질의에 대응하는 접근이었습니다. 이것만으로도 기존 벡터 기반 검색의 지역적 한계를 크게 넘어선 것이었지만, 한 가지 근본적인 차이가 있습니다.

Graph RAG의 Knowledge Graph는 텍스트에서 자동 추출된 엔티티/관계 그래프입니다. LLM이 "이 문장에서 엔티티와 관계를 추출하라"는 지시에 따라 만들어낸 것이므로, 도메인의 개념 체계를 정확히 반영한다고 보기 어렵습니다. 반면, 도메인 전문가가 정의한 "형식적 온톨로지(formal ontology)"는 해당 분야의 개념, 엔티티, 관계, 제약조건을 체계적으로 명세한 지식 표현입니다. 의료 분야의 SNOMED CT, 금융 분야의 FIBO처럼 수십 년에 걸쳐 전문가 합의로 구축된 온톨로지는 텍스트 자동 추출로는 도달하기 어려운 수준의 구조적 엄밀성을 가지고 있습니다.

3.5세대 Ontology-Enhanced RAG는 이 간극을 메우는 세대입니다. 텍스트에서 추출한 비형식적 그래프가 아닌, 도메인의 형식적 온톨로지를 RAG 파이프라인의 인덱싱·검색·생성 전 단계에 통합하는 것이 핵심입니다.

---

RAG에 온톨로지가 필요한 이유

온톨로지(Ontology)는 특정 도메인의 개념들과 그 개념들 사이의 관계를 형식적으로 정의하는 지식 표현 체계입니다. 단순히 "A와 B가 관련 있다"는 수준이 아니라, "A는 B의 하위 개념이다", "A는 반드시 C라는 속성을 가진다", "A와 D는 동시에 성립할 수 없다"와 같은 계층 관계, 속성 제약, 논리적 규칙까지 포함합니다.

벡터 유사도 기반 검색이 이런 구조적 지식을 활용하지 못하는 것은, 벡터 공간에서는 개념 간의 의미적 거리만 표현될 뿐 계층적 관계나 논리적 제약이 인코딩되지 않기 때문입니다. 예를 들어 의료 도메인에서 "아스피린의 금기사항은?"이라는 질의에 답하려면, 아스피린이 NSAIDs(비스테로이드 소염진통제)의 하위 분류에 속한다는 계층 정보, NSAIDs 전체에 적용되는 금기사항, 아스피린 고유의 금기사항, 그리고 특정 질환과의 상호작용 관계를 구조적으로 추론해야 합니다. 벡터 검색으로 "아스피린"과 유사한 텍스트 청크를 가져오는 것만으로는 이 구조적 추론이 보장되지 않습니다.

이런 문제는 의료, 금융, 법률 등 전문 도메인에서 특히 심각합니다. 용어 체계가 엄격하고 개념 간 관계가 복잡한 이들 분야에서, 구조적 지식이 반영되지 않은 검색은 사실 환각의 직접적인 원인이 됩니다. SNOMED CT(의료), UMLS(통합 의학 언어 시스템), MeSH(의학 주제 표목), FIBO(금융 산업 비즈니스 온톨로지) 같은 산업 표준 온톨로지가 이미 존재하는 분야에서는, 이를 활용하지 않는 것 자체가 정보 손실입니다. 

---

OG-RAG: 온톨로지 기반 하이퍼그래프로 문서를 구조화하다

Sharma et al. (EMNLP 2025, arXiv:2412.15235)이 제안한 OG-RAG(Ontology-Grounded RAG)는 도메인 온톨로지를 인덱싱 단계에서부터 활용하는 접근입니다.

기존 RAG가 문서를 일정 크기의 청크로 분할하여 벡터 인덱스에 저장하는 반면, OG-RAG는 도메인 온톨로지를 기준으로 문서를 하이퍼그래프(hypergraph) 구조로 재조직합니다. 일반 그래프에서 하나의 엣지가 두 노드만 연결하는 것과 달리, 하이퍼그래프의 하이퍼엣지는 여러 노드를 동시에 연결할 수 있습니다. OG-RAG에서 각 하이퍼엣지는 온톨로지에 근거한 하나의 사실 지식 클러스터를 캡슐화합니다. 하나의 사실에 관련된 여러 개념, 엔티티, 관계가 하나의 하이퍼엣지 안에 묶이는 것입니다.

검색 시에는 질의에 답하기 위해 필요한 최소한의 하이퍼엣지 집합을 최적화 알고리즘으로 선택합니다. 이렇게 선택된 최소 접지 컨텍스트(Minimal Grounded Context)가 질의와 함께 LLM에 전달되어 답변이 생성됩니다. 각 답변이 어떤 온톨로지 기반 사실에 근거하는지 귀인(attribution)이 가능하다는 점도 주목할 부분입니다.

OG-RAG 논문에서 보고된 실험 결과에 따르면, 4개 LLM을 대상으로 한 실험에서 사실 재현율(Recall) +55%, 응답 정확도 +40%, 사실 기반 추론 정확도 +27%, 응답 귀인 속도 +30%의 개선을 달성한 것으로 제시되어 있습니다 (Sharma et al., EMNLP 2025). 이 수치들은 온톨로지 기반 구조화가 단순 벡터 검색 대비 얼마나 큰 차이를 만들 수 있는지를 보여주는 결과이지만, 실험 설정과 베이스라인에 따라 해석이 달라질 수 있으므로 원본 논문의 실험 조건을 함께 확인하는 것이 바람직합니다.

---

KG-RAG: 비정형 텍스트와 Knowledge Graph의 결합

Wang et al. (Scientific Reports, 2025)이 제안한 KG-RAG는 Knowledge Graph를 검색 단계에서 활용하는 접근입니다. 기존의 비정형 텍스트 기반 검색과 Knowledge Graph의 구조적 검색을 결합하여, 벡터 검색만으로는 포착하기 어려운 엔티티 간의 명시적 관계를 보완하는 것이 핵심 아이디어입니다.

이 접근의 강점은 비정형 텍스트의 의미적 풍부함과 Knowledge Graph의 구조적 엄밀성을 동시에 활용할 수 있다는 점입니다. 벡터 검색이 놓칠 수 있는 엔티티 간의 관계를 KG 기반 검색이 보완하고, KG에 포함되지 않은 서술적 맥락을 텍스트 검색이 제공합니다. 

---

 

KG2RAG: Knowledge Graph로 검색 결과를 확장하고 조직하다

Jiang et al. (NAACL 2025, arXiv:2502.06864)이 제안한 KG2RAG(Knowledge Graph-Guided RAG)는 초기 시맨틱 검색 이후 Knowledge Graph를 활용하여 검색 결과를 구조적으로 보강하는 접근입니다.

KG2RAG의 파이프라인은 두 단계로 구성됩니다. 먼저 기존 시맨틱 검색으로 관련 청크를 가져온 뒤, KG 기반 청크 확장(KG-guided chunk expansion)을 수행합니다. Knowledge Graph가 제공하는 사실 수준의 관계(fact-level relationships)를 활용하여, 초기 검색에서 누락되었지만 의미적으로 연결된 청크를 추가로 포착하는 것입니다. 이어서 KG 기반 청크 조직화(KG-based chunk organization)를 통해 확장된 청크들을 KG의 구조적 관계에 따라 재배열하여, 생성 모델이 청크 간의 논리적 연결을 더 잘 파악할 수 있도록 합니다.

OG-RAG가 인덱싱 단계에서, KG-RAG가 검색 단계에서 온톨로지를 활용한다면, KG2RAG는 검색 이후 단계에서 KG를 활용하여 검색 결과의 범위를 넓히고 구조를 부여하는 것이 차별점입니다.

---

 

세 접근법이 공유하는 원칙

OG-RAG, KG-RAG, KG2RAG는 각기 다른 메커니즘을 사용합니다. OG-RAG는 하이퍼그래프 기반의 인덱싱 구조화, KG-RAG는 비정형 텍스트와 KG의 결합 검색, KG2RAG는 검색 후 KG 기반 청크 확장 및 조직화입니다. 파이프라인에서 온톨로지가 개입하는 지점도 다릅니다.

그러나 이 세 접근법을 관통하는 공통 원칙은 명확합니다. 도메인의 구조적 지식을 검색과 생성에 명시적으로 반영한다는 것입니다. 벡터 유사도라는 단일 신호에 의존하는 대신, 도메인 전문가가 정의한 개념 체계, 계층 관계, 논리적 제약을 파이프라인의 어딘가에 주입하여, 검색의 정확성과 생성의 사실성을 함께 높이는 것입니다.

온톨로지 기반 KG 구축에 대한 비교 연구(arXiv:2511.05991)에서도 흥미로운 결과가 보고되었습니다. 관계형 데이터베이스에서 추출한 온톨로지 기반 KG가 텍스트 코퍼스 기반 접근과 동등한 성능을 보이면서도 비용 효율적이었으며, 온톨로지 기반 KG와 청크 정보를 결합했을 때 순수 벡터 검색 베이스라인을 상당히 초월하는 결과가 나타났습니다.

---

 

규제 산업에서의 적용

Ontology-Enhanced RAG가 특히 주목받는 영역은 규제 산업입니다. 이들 산업에는 이미 오랜 기간에 걸쳐 구축되고 유지보수되어 온 산업 표준 온톨로지가 존재하기 때문입니다.

의료·제약 분야에서는 SNOMED CT, UMLS, MeSH 같은 온톨로지가 수십 년간 의료 전문가들의 합의로 관리되어 왔습니다. 이를 RAG에 통합하면 임상 의사결정 지원, 약물 상호작용 검증 등에서 기존 벡터 검색만으로는 달성하기 어려운 수준의 사실 정확도를 확보할 수 있습니다. 금융 분야에서는 FIBO(Financial Industry Business Ontology)를 활용한 컴플라이언스 자동 검증과 규정 해석이, 법률 분야에서는 법률 용어 체계와 판례 관계 그래프를 활용한 판례 검색 및 법률 QA 시스템이 적용 사례로 보고되고 있습니다.

이 산업들의 공통점은 용어의 정확성이 곧 시스템의 신뢰성과 직결된다는 점입니다. 의료 시스템에서 약물명을 혼동하거나, 금융 시스템에서 규정 용어를 잘못 해석하는 것은 단순한 오류를 넘어 심각한 결과를 초래할 수 있습니다. 온톨로지 기반 접근이 이 분야들에서 특히 의미 있는 이유입니다.

---

 

아직 넘어야 할 산들

Ontology-Enhanced RAG의 잠재력은 분명하지만, 실무 적용에는 상당한 장벽이 존재합니다.

가장 근본적인 문제는 온톨로지 구축의 복잡성입니다. OWL(Web Ontology Language) 기반의 형식적 온톨로지를 구축하려면 도메인 전문가의 깊은 개입이 필요합니다. 개념의 정의, 계층 관계, 속성 제약, 논리적 규칙을 하나하나 명세하는 작업은 상당한 시간과 비용을 수반합니다. LLM을 활용한 온톨로지 자동 구축 기술이 연구되고 있지만, 아직 전문가 수준의 엄밀성을 달성하기에는 미성숙한 단계입니다.

유지보수 비용도 무시할 수 없습니다. 도메인 지식은 고정되어 있지 않습니다. 새로운 의약품이 승인되고, 금융 규정이 개정되며, 판례가 축적됩니다. 온톨로지와 이에 기반한 Knowledge Graph는 이런 변화에 맞춰 지속적으로 업데이트되어야 하며, 이 과정 자체가 또 다른 비용 요인입니다.

기술 진입 장벽도 상당합니다. OWL-DL, SPARQL, RDF 등 시맨틱 웹 기술 스택은 일반적인 소프트웨어 개발 기술과는 다른 학습 곡선을 가지고 있습니다. RAG 시스템을 구축하는 팀이 이 기술 스택에 능숙하지 않다면, 온톨로지 기반 접근의 도입 자체가 쉽지 않습니다.

확장성도 고려해야 합니다. 대규모 온톨로지에서의 추론(reasoning)은 계산 비용이 높을 수 있으며, 이것이 실시간 서비스의 응답 시간 요구사항과 충돌할 수 있습니다. 그리고 산업별 온톨로지 간의 통합 표준이 아직 완전히 확립되지 않았다는 점도, 이기종 시스템 간 상호운용성에 제약이 됩니다.

---

 

3.5세대가 남긴 것

이 세대의 의의를 한 문장으로 정리하면, 도메인 지식을 단순한 텍스트가 아닌 형식적 구조로 활용하여 RAG의 사실 정확도를 한 단계 끌어올렸다는 것입니다. 1세대부터 3세대까지 RAG가 개선해온 것은 주로 "어떤 텍스트를 가져올 것인가"와 "가져온 텍스트를 어떻게 평가하고 활용할 것인가"였습니다. 3.5세대는 여기에 "텍스트 너머의 구조적 지식을 어떻게 반영할 것인가"라는 새로운 차원을 추가한 것입니다.

그러나 이 세대의 한계도 명확합니다. 온톨로지의 구축, 유지보수, 활용이 모두 사전에 설계되고 수동으로 관리되어야 한다는 점입니다. 어떤 온톨로지를 사용할지, 어떤 방식으로 파이프라인에 통합할지, 온톨로지가 변경되면 어떻게 반영할지, 이 모든 것이 정적인 설계 결정에 의존합니다.

여기서 자연스럽게 떠오르는 질문이 있습니다. 만약 LLM 에이전트가 온톨로지를 하나의 도구(tool)로 동적으로 활용할 수 있다면 어떨까? 질의의 특성에 따라 벡터 검색, KG 검색, 온톨로지 추론, 웹 검색, SQL 쿼리 등을 상황에 맞게 선택하고, 실행 결과를 평가하며, 필요하면 다른 도구로 전환하는 자율적 시스템. 사전 설계된 파이프라인이 아닌, 실행 중에 계획을 수립하고 수정하는 에이전트 기반 시스템. 다음 편에서 다룰 4세대 Agentic RAG가 바로 이 방향입니다. 

---

 

정리하며

Ontology-Enhanced RAG를 정리하면서 개인적으로 흥미로웠던 부분은, 이 세대가 AI/NLP의 최신 기법만이 아니라 시맨틱 웹이라는 오래된 기술 전통과 만나는 지점에 있다는 것입니다. OWL, RDF, SPARQL은 2000년대 초반부터 존재해온 기술들입니다. 당시에는 "웹의 의미를 기계가 이해하게 하겠다"는 야심찬 비전 아래 발전했지만, 실제 산업 적용에서는 제한적인 성과를 보였습니다.

그런데 LLM과 RAG라는 새로운 맥락에서, 이 오래된 기술들이 다시 의미를 찾고 있습니다. 형식적 온톨로지가 LLM의 환각을 줄이는 구조적 근거가 되고, Knowledge Graph가 벡터 검색의 한계를 보완하는 구조적 검색 경로가 됩니다. 기술의 가치가 그것이 탄생한 시점이 아닌, 적합한 문맥을 만났을 때 비로소 드러나는 경우를 보여주는 사례라고 느꼈습니다.

물론 온톨로지 구축의 비용과 복잡성은 현실적인 장벽입니다. 모든 RAG 시스템에 온톨로지가 필요한 것도 아닙니다. 그러나 용어의 정확성과 사실적 근거가 결정적으로 중요한 도메인(의료, 금융, 법률)에서는, 이 접근이 벡터 검색만으로는 도달할 수 없는 수준의 신뢰성을 제공할 수 있다는 점은 기억해둘 만합니다.

---

References

• Sharma, K., Kumar, P., & Li, Y. (2025). OG-RAG: Ontology-Grounded Retrieval-Augmented Generation for Large Language Models. EMNLP 2025. ACL Anthology · arXiv:2412.15235
• Wang, S., Yang, H. & Liu, W. (2025). Research on the construction and application of retrieval enhanced generation (RAG) model based on knowledge graph. Scientific Reports, 15, 40425. Nature
• Jiang et al. (2025). Knowledge Graph-Guided Retrieval Augmented Generation. NAACL 2025. arXiv:2502.06864
• Peng et al. (2025). Graph Retrieval-Augmented Generation: A Survey. ACM Transactions on Information Systems. ACM DL · arXiv:2408.08921
• (2025). Ontology Learning and Knowledge Graph Construction: A Comparison of Approaches and Their Impact on RAG Performance. arXiv:2511.05991