Skip to content

KonanLLM 사전 준비

이 문서는 KonanLLM 설치 전에 먼저 확인해야 하는 서버 조건과 점검 항목을 정리합니다.

prerequisites.md 는 설치 절차 자체를 설명하지 않습니다. 실제 설치는 단일 노드 설치 또는 multi-node 설치 절차 를 참고하세요.

1. 대상 환경

  • Ubuntu 기반 서버 1대 이상
  • GPU 워크로드를 사용할 경우 GPU 장착 서버 1대 이상
  • multi-node 설치일 경우 manager / worker 로 사용할 서버들

2. 공통 준비 사항

모든 설치 대상 서버에는 아래가 필요합니다.

  • Docker 설치
  • Docker daemon 정상 기동
  • 설치에 필요한 bundle 파일 접근

권장 확인 명령:

docker version
docker info
systemctl status docker

인터넷이 차단된 환경이라면 Docker 설치 패키지와 필요한 이미지를 사전에 별도로 준비해야 합니다.

3. GPU 서버 준비 사항

kylin-docai-ocr, kylin-docai-vllm, dcgm-exporter, kylin-gaia 의 GPU 사용 설정이 필요한 경우 GPU 서버에는 아래가 모두 준비되어 있어야 합니다.

  • NVIDIA 드라이버
  • CUDA 13.0 이상을 지원하는 드라이버 버전
  • NVIDIA Container Toolkit
  • Docker default runtime = nvidia

권장 확인 명령:

nvidia-smi
docker info | grep "Default Runtime"

docker info 결과에서 Default Runtime: nvidia 가 보이지 않으면 GPU 컨테이너가 정상 기동되지 않을 수 있습니다.

4. multi-node 추가 준비 사항

multi-node 설치에서는 아래 조건이 추가로 필요합니다.

  • manager 서버에서 worker 서버로 SSH 접근 가능
  • 모든 노드에서 같은 경로로 접근 가능한 HOST_WORKSPACE_PATH
  • 노드가 2대 이상일 경우 NFS 같은 공유 스토리지 권장

HOST_WORKSPACE_PATH 가 한 노드의 로컬 디렉터리만 가리키면 다른 노드의 컨테이너가 파일을 찾지 못할 수 있습니다.

5. 외부 파일 준비

설치 전에 아래 경로에 필요한 파일이 준비되어 있어야 합니다.

5.1 다운로드 받을 파일

모델 다운로드 페이지 에서 아래 파일을 받습니다.

파일 용도 필수 여부
Konan-LLM-ENT-13.tar.gz LLM 모델 필수
embedding-10.tar embedding 모델 필수
reranking-10.tar reranking 모델 필수
kylin-docai-model.tar.gz DocAI 모델 / 이미지 DocAI 에서 사이냅 OCR 이 아닌 konan-ocr 를 사용하는 경우에만 필요

kylin-docai-model.tar.gz 는 DocAI 에서 사이냅 OCR 대신 konan-ocr 를 사용하는 경우에만 받으면 됩니다. 사이냅 OCR 을 사용한다면 받지 않아도 됩니다.

5.2 압축 해제 후 배치

받은 파일들의 압축을 해제한 뒤 아래 규칙에 따라 배치합니다.

  • 압축 해제 후 나오는 docai-ocr, docai-vllm 이미지 파일은 installer 폴더의 images/ 디렉터리에 넣습니다.
  • 나머지 모델 파일들은 아래 external_files/ 구조에 맞게 배치합니다.

5.3 external_files/ 구조

external_files/
├── kylin-gaia/
│   └── model_repo/
│       ├── Konan-LLM-ENT-13/
│       ├── embedding-10/
│       └── reranking-10/
├── kylin-docai-ocr/
│   └── PP-DocLayoutV2/
└── kylin-docai-vllm/
    ├── PaddleOCR-VL-Konan/
    └── PaddleOCR-VL-1.5/

6. 설치 전 최종 점검

설치 직전에 아래 항목을 확인합니다.

  • instctl.sh 가 설치 디렉터리에 있는지
  • inputs/ 와 external_files/ 가 준비되어 있는지
  • single-node 인지 multi-node 인지 설치 방식을 정했는지
  • GPU 서버에서 nvidia-smi 와 Docker runtime 확인이 끝났는지
  • multi-node 인 경우 SSH 접근과 shared storage 확인이 끝났는지

7. 다음 문서