Skip to content

모델 관리

LLM 스튜디오를 통해 다양한 기능을 가진 여러 모델들을 관리할 수 있습니다. 또한 미세 조정을 통해 필요한 용도에 맞게 모델을 새롭게 정의할 수 있습니다.

모델 목록

모델 관리 메뉴를 클릭하면 LLM 스튜디오에서 접근할 수 있는 모델들의 목록을 확인할 수 있습니다.

종류

모델 관리 페이지에서 확인할 수 있는 모델들의 유형은 다음과 같습니다.

유형 설명
기본모델 LLM 스튜디오를 통해 다양한 업무를 위해 미세 조정할 수 있는 사전 학습된 모델
사전학습모델 사전 학습을 마친 모델
미세조정모델 다양한 업무에 적용할 수 있도록 미세조정을 거친 모델

기본 모델

모델명 설명 Context length
konan-llm-ond 단일 작업을 위한 경량화 모델 16K
konan-llm-pro 다양한 작업에 적용이 가능한 sLLM 128K
konan-llm-ent 미세 조정없이도 다양한 작업에 적용이 가능한 고성능 모델 128K
embedding 임베딩 모델 8K
reranking 리랭킹 모델 8K

미세 조정 모델

모델명 설명
konan-llm-pro-10-custom konan-llm-pro 모델에 대한 미세 조정 모델

상태

상태 설명
로딩 중 모델이 로딩 중에 있습니다. 로딩이 완료되면 실행 중 상태로 변경됩니다.
실행 중 모델을 로드한 상태입니다.
- 프롬프트 갤러리나 플레이그라운드 페이지에서 모델을 실행하기 위해서는 먼저 모델을 로드해야 합니다.
- 모델 학습 시 CPU, GPU, 메모리 등 자원이 부족할 경우에는 자원 확보를 위해 [언로드] 버튼을 클릭하여 모델을 언로드합니다.
학습 완료 학습이 완료된 상태이며 [로드] 버튼을 클릭하여 모델을 활성화할 수 있습니다.
학습 중 학습을 진행 중인 상태입니다. 현재 학습 진행율이 함께 표시됩니다. [중지] 버튼을 클릭하여 학습을 중단할 수 있습니다.
- 학습 진행 중인 모델만 중단할 수 있습니다.
- 학습 중인 모델이 있을 경우 모델 관리를 제외한 다른 메뉴들은 비활성화됩니다.
중지 학습을 중지한 상태입니다. [재시작] 버튼을 클릭하여 학습을 다시 시작할 수 있습니다.
오류 학습 중에 실패한 상태입니다.
삭제 중 모델이 삭제 중에 있습니다. 삭제가 완료되면 목록에서 제거됩니다.

액션

액션 [⁝] 버튼을 클릭하면 각각의 모델에 대해 수행할 수 있는 액션을 선택할 수 있습니다.

  • 로드
    ✔ 모델이 서비스를 수행할 수 있도록 로드합니다. 로딩이 완료된 모델은 [실행중] 상태로 변경됩니다.
    [학습완료] 상태의 모델만 로드할 수 있습니다.
    모델을 로드할 노드 및 각 노드 별 GPU를 미리 설정된 프로파일로 선택할 수 있습니다. 기본은 자동으로 노드 및 GPU를 할당합니다.

  • 언로드
    ✔ 실행중인 모델을 언로드합니다. 언로드된 모델은 다시 [학습완료] 상태로 변경됩니다.
    여러 인스턴스가 로드되어 있을 경우에는 특정 노드 및 GPU에서 해당 인스턴스만 선택하여 언로드할 수 있습니다.

  • 중지
    ✔ 모델 학습을 일시적으로 중지합니다.

  • 재시작
    ✔ 학습이 중지된 모델을 다시 학습합니다. 모델 학습 시 [중간 결과 저장] 옵션을 활성화한 경우 이전에 저장한 시점부터 학습이 재개됩니다.

  • 모델명 변경
    ✔ 모델명을 변경합니다.

  • 삭제
    ✔ 모델을 삭제합니다. 이미 삭제한 모델은 복구할 수 없습니다.