VKN Dashboard & Nebula Graph Visualization
프로젝트 개요
- 해결 과제
- 디자인 레퍼런스가 이미지 파일로만 쌓이면 내용을 기억에 의존해 찾아야 하고 자료 사이의 관계도 파악하기 어렵다.
- 접근 방식
- 로컬 비전 모델과 OCR로 이미지를 분석·태깅하고, 임베딩과 ChromaDB로 의미 관계를 지식 그래프에 표시했다.
- 담당 기여
- Python 수집 파이프라인과 Ollama 분석 과정, 검색 데이터 구조, Next.js 탐색 화면을 개발했다.
- 결과
- 개인 자료를 로컬에서 수집·분석·검색하고 관계를 탐색하는 아카이빙 시스템을 구축했다.
이미지 자료를 검색 가능한 지식으로
Vision Knowledge Network (VKN)는 인스타그램에서 수집한 자료, PDF와 로컬 이미지를 LLaVA 비전 모델과 OCR로 분석하는 개인용 아카이빙 시스템입니다. 추출한 설명과 태그를 임베딩으로 변환하고, 유사한 자료의 관계를 Nebula 지식 그래프에 표시합니다.
핵심 기능
- 메타데이터 생성: 비전 모델과 OCR이 이미지의 대상, 재료, 조명과 텍스트를 분석해 검색용 태그와 설명을 만듭니다.
- 관계 탐색: 임베딩 유사도를 기준으로 관련 자료를 그래프에서 가깝게 배치해 폴더 밖의 연결을 살펴볼 수 있습니다.
- 두 가지 보기: Next.js 대시보드에서 이미지 그리드와 인터랙티브 Nebula 그래프를 전환해 탐색합니다.
- 로컬 분석: Ollama로 실행하는 분석 단계는 파일을 외부 모델 API에 전송하지 않습니다. 원격 자료 수집과 패키지 설치에는 네트워크가 필요합니다.
설치 및 실행
Ollama 모델과 Python 분석 환경, Next.js 대시보드를 각각 설치해 실행합니다. 설치 및 분석 시간은 하드웨어와 자료 크기에 따라 달라집니다.
# 1. 로컬 AI 서버 (Ollama) 설정 및 모델 다운로드
ollama pull llava:7b
# 2. Python 가상환경 생성 및 백엔드 종속성 설치
python -m venv venv
.\venv\Scripts\activate # Windows 기준
pip install -r requirements.txt
# 3. 프론트엔드 대시보드 의존성 설치
cd vision_dashboard
npm install데이터 수집 및 시스템 운영
- 인스타그램 자료 수집: 본인 계정의 세션 정보가 필요하며
cookies.json은 로컬에만 두고 버전 관리와 공유 대상에서 제외합니다. - 폴더 감시:
python main.py를 실행하면 지정 폴더의 새 파일을 감지해 분석 대기열에 추가합니다. - 대시보드:
npm run dev로 로컬 탐색 화면을 실행합니다.
주요 트러블슈팅 (Troubleshooting)
- Ollama 연결 거부: 백그라운드 프로세스 확인 및
ollama serve상태 점검. - OCR 미작동: Windows 환경의 경우 Tesseract OCR 별도 설치 및 시스템 환경 변수(Path) 추가 필요.
- 인스타그램 세션 만료: 스크래핑 중단 시
cookies.json토큰 갱신 필요. - ChromaDB 경로 오류: 수동 파일 이동에 따른 DB 불일치 시
python sync_db_paths.py실행으로 경로 동기화.
English
AI-Powered Spatial Design Archiving & Knowledge Graph
Vision Knowledge Network (VKN) analyzes collected Instagram references, PDFs, and local images with LLaVA and OCR. It converts generated descriptions and tags into embeddings, then displays related items in an interactive Nebula knowledge graph.
The Next.js dashboard provides grid and graph views for searching and comparing references. Model inference runs through Ollama on the local machine, while remote collection and dependency installation still require network access.
