기업내부 보안 환경으로, Open Source기반으로만 AI Agent를 개발하고 있습니다.

<<개발환경>>

Open WebUI, n8n with PG Vector Store, Docling, Ollama(Qwen3 32B, llama3.3 70B사용)

문제는, Docling과 Vision model(Qwen2.5vl)으로, Text, Table, Image Descrption까지 Markdown파일로 생성후에, Markdown Header level단위로 명확하게 chunking을 해도, chunking된 데이타내에 Table형태로 정리된 숫자정보는 검색(또는, 단순계산)에 지속 실패하는데,

Vector store(차원으로 표현되는 숫자라는)와 오픈소스 LLM이 가진 한계로 인정하고 포기해야 할까요?

결국은 pdf문서내의 숫자형 정보를 포함한 테이블 데이타는 별도 분리해서 DB 구조의 DATA저로 저장하고 SQL문장을 사용할 수 밖에 없는게 현재의 기술적 한계인지.

하나의 RAG파이프라인에서 해결할 수 있는 방안을 제시해 주시면 많은 도움이 될거 같습니다.