CASE STUDY
LLM 기반 개인 지식 관리 시스템
직접 기록하고 정리하는 부담을 줄이고, AI에게 질문해 필요한 지식을 찾을 수 있도록 만든 개인 지식 관리 시스템입니다.
- 기간
- 2026.07 — 현재
- 역할
- 기획 · 설계 · 개발
- 환경
- 개인 프로젝트
- 기술
- Telegram · n8n · OpenAI Agents SDK · WIKI Capture Skill · Python · Obsidian · Markdown
SNAPSHOT
한눈에 보는 결과
- 문제
- Notion에 작업 내용을 직접 작성하고 분류·관리하는 과정이 번거로웠고, 시간이 지나면 어떤 내용을 기록했는지 잊어 필요한 자료를 다시 찾는 데에도 시간이 들었습니다.
- 내 역할
- 문제 정의 · WIKI Capture Skill 제작 · 에이전트 워크플로 설계 · 실행 결과 검토
- 핵심 변화
- Codex 작업과 모바일 메모를 직접 지정한 Inbox에 모은 뒤, 검토·병합한 WIKI를 LLM 질의로 회수할 수 있도록 연결했습니다.
- 확인된 범위
- WIKI Capture Skill, Telegram/n8n 수집·질의 흐름과 에이전트 내부 평가를 구성했습니다. 최종 Inbox 검토와 WIKI 병합은 직접 수행했습니다.
BEFORE / AFTER
Before → After
기존 흐름
- Notion에 작업 내용을 직접 작성하고 분류·관리해야 했습니다.
- 기록한 내용을 잊으면 필요한 자료를 다시 직접 찾아야 했습니다.
변경 후
- Codex 작업은 WIKI Capture Skill로, 모바일 메모는 Telegram/n8n을 통해 Inbox에 모았습니다.
- Antigravity에서 기존 WIKI와 비교해 중복을 제거하거나 관련 문서를 병합한 뒤, LLM 질의로 자료와 출처를 확인했습니다.
DISCOVERY
문제를 어떻게 발견했는가
Notion에 작업 내용을 직접 작성·관리하는 번거로움이 있었고, 시간이 지나면 무엇을 기록했는지 잊어 필요한 자료를 다시 찾는 과정도 반복되었습니다. 그래서 기록과 정리를 분리하고, 나중에는 AI에게 질문해 지식을 회수하는 흐름을 만들고자 했습니다.
DECISIONS
왜 이 구조를 선택했는가
- 새 기록을 바로 WIKI에 확정하지 않고, 직접 지정한 Inbox(검토 대기 폴더)에 먼저 저장했습니다. 기존 WIKI와 비교해 중복 제거·문서 병합 후 반영하기 위해서입니다.
- Telegram 하나로 모바일 메모와 /ask 질의를 함께 사용할 수 있도록, n8n에서 일반 메시지와 /ask 요청을 분기했습니다.
- n8n은 입력·라우팅을 담당하고, WIKI 검색·답변은 별도 wiki-agent /ask API로 분리했습니다.
- 자동 수집과 최종 WIKI 반영을 분리해, Antigravity에서 사용자가 기존 문서와 비교·정제하도록 했습니다.
- LLM 답변에 근거 문서와 WIKI 동기화 시각을 함께 반환해 답변의 근거와 최신성을 확인할 수 있도록 했습니다.
SYSTEM ARCHITECTURE & WORKFLOW
수집·정제·질의 구조
Codex 작업
WIKI Capture Skill
모바일 메모
Telegram 입력
n8n 라우팅
Telegram 입력 확인 · 일반 메모와 /ask 질의 분기
메모 수집
- 01
Markdown 변환
frontmatter와 status: inbox 생성
- 02
00_Inbox 저장
Google Drive에 업로드
/ask 질의
- 01
질문 추출·검증
/ask 명령과 질문 내용 분리
- 02
wiki-agent API
WIKI 검색·답변 생성
- 03
Telegram 응답
답변·출처·동기화 시각 반환
Antigravity 수동 검토
기존 WIKI와 내용 비교
중복 제거·문서 병합
검토한 내용을 WIKI에 반영
Obsidian Markdown WIKI
정리된 지식 저장 · LLM 질의 대상
VERIFICATION
검증
- Oracle Cloud에 동기화된 WIKI 원본 63개를 대상으로 실제 질문 25개 평가 세트를 구성했습니다.
- 2026-09-02 v2.3 평가에서 평균 응답 시간 9.38초를 측정했습니다.
- 에이전트 내부 평가 기준 엄격 정확도는 25문항 중 24문항(96%)으로 기록되었습니다.
- WIKI에 없는 질문 3건은 모두 임의 답변 없이 미발견으로 응답했습니다.
- 평가 실행에서 응답시간과 Request-ID, 토큰, Tool Calls 로그를 함께 대조했습니다.
실제 /ask 질의
/ask 2026-09-02 v2.3 25개 평가의 원문 측정값만 찾아줘
응답에서 확인한 값
- 01평균 응답 9.38초
- 02엄격 정확도 96%(24/25)
- 03평가 질문 25개
근거 문서
- — LLM_WIKI_Agent_Ask_Architecture.md
- — n8n_LLM_WIKI_질문_답변_MVP_구축.md
- — 2026-09.md 운영 평가 로그
2026-09-02 v2.3 · 25개 질문 · Oracle Cloud 동기화 WIKI 63개
실제 Telegram /ask 응답에서 평균 응답 시간 9.38초와 엄격 정확도 96%(24/25)를 확인했습니다.
원본 Telegram 캡처 보기
SCOPE
적용 범위와 한계
- 개인 Markdown WIKI를 대상으로 한 MVP입니다.
- 25개 질문에 대한 단일 평가 회차라 반복 측정의 변동성은 확인하지 않았습니다.
- 에이전트가 질문 생성·실행·채점을 수행한 내부 평가이므로, 독립적인 정확도 검증으로 해석할 수 없습니다.
- WIKI에 없는 질문은 검색을 반복해 평균 14.50초가 소요되어 조기 종료가 필요합니다.
- 집계 질의에서는 정답을 확인했지만 10개 대상 중 4개의 출처만 응답에 포함되는 한계를 확인했습니다.
- 기록·검토에 걸리는 시간과 Notion 대비 생산성 변화는 별도 측정하지 않았습니다.