Skip to content

KonanLLM 설치 가이드 개요

1. 문서 목적

이 문서는 KonanLLM 설치와 초기 운영에 필요한 문서를 안내합니다.

KonanLLM은 여러 컴포넌트가 함께 배포되는 솔루션이며, 설치 환경에 따라 single-node 또는 multi-node 방식으로 구성할 수 있습니다. 이 문서 묶음은 설치 준비, 입력 파일 작성, GPU 및 external_files 준비, 설치 실행, 상태 점검까지 KonanLLM 배포에 필요한 흐름을 설명합니다.

2. KonanLLM 설치 범위

KonanLLM은 하나의 애플리케이션이 아니라 여러 컴포넌트 조합으로 구성된 서비스 스택입니다. 설치 시 어떤 컴포넌트가 활성화되는지는 입력값과 배포 환경에 따라 달라질 수 있습니다.

  • 데이터 저장: postgresql, redis, lakefs, clickhouse, seaweedfs
  • 응용 프로그램: agent-server, opensandbox-server, sandbox-workspace, kylin-gaia, kylin-service, kylin-studio, kylin-search, ks-chunker, kylin-batch, kylin-crawler, kylin-docai, kylin-docai-ocr, kylin-docai-vllm
  • RAGOps: ragops-server, ragops-collector, ragops-taskserver, ragops-gateway, ragops-client, ragops-taskserver-client
  • LLM 도구: litellm, langfuse
  • 관측·로깅: otel-collector, otel-file-collector, fluentd, grafana, prometheus, node-exporter, dcgm-exporter
  • 인프라 보조: docker-socket-proxy, node-id-init, kylin-gateway

RAGOps 6개 컴포넌트는 KonanLLM 과 함께 설치되며, 설정과 사용법은 별도의 RAGOps 매뉴얼에서 다룹니다. 쓰지 않는 사이트는 설치에서 제외할 수 있습니다.

3. 시나리오별 진입점

시나리오 먼저 볼 문서
설치 전 사전준비 사항 확인 single-node 시작 2장 / multi-node 시작 2장
처음 설치 (single-node) single-node 시작
처음 설치 (multi-node) multi-node 시작
입력 파일 의미 확인 install 입력 세부 설명
설치 절차를 단계별로 확인 install 동작 세부 설명
운영 / 점검 / 명령 자세히 심화 설치 가이드 개요
컴포넌트별 상세 설정 확인 세부 설정

4. 설치 시 자주 확인하는 설정

KonanLLM 설치에서는 특히 아래 설정을 자주 확인합니다.

  • license — kylin-search 라이선스 타입과 서버 정보
  • GPU 배치 — kylin-docai-ocr, kylin-docai-vllm, kylin-gaia 에서 사용할 노드와 GPU
  • 노드 고정 — 특정 컴포넌트를 어느 노드에 배치할지 지정하는 설정
  • external_files — 모델 리포지터리, OCR 레이아웃 모델, vLLM 모델 웨이트 등 외부 파일 준비

구체적인 입력 키와 반영 위치는 install 입력 세부 설명, 컴포넌트별 상세 설정은 세부 설정에서 확인할 수 있습니다.

5. 문서 안내