모델 관리
LLM 스튜디오를 통해 다양한 기능을 가진 여러 모델들을 관리할 수 있습니다. 또한 미세 조정을 통해 필요한 용도에 맞게 모델을 새롭게 정의할 수 있습니다.
모델 목록
모델 관리 메뉴를 클릭하면 LLM 스튜디오에서 접근할 수 있는 모델들의 목록을 확인할 수 있습니다.
종류
모델 관리 페이지에서 확인할 수 있는 모델들의 유형은 다음과 같습니다.
| 유형 | 설명 |
|---|---|
| 기본모델 | LLM 스튜디오를 통해 다양한 업무를 위해 미세 조정할 수 있는 사전 학습된 모델 |
| 사전학습모델 | 사전 학습을 마친 모델 |
| 미세조정모델 | 다양한 업무에 적용할 수 있도록 미세조정을 거친 모델 |
기본 모델
| 모델명 | 설명 | Context length |
|---|---|---|
| konan-llm-ond | 단일 작업을 위한 경량화 모델 | 16K |
| konan-llm-pro | 다양한 작업에 적용이 가능한 sLLM | 128K |
| konan-llm-ent | 미세 조정없이도 다양한 작업에 적용이 가능한 고성능 모델 | 128K |
| embedding | 임베딩 모델 | 8K |
| reranking | 리랭킹 모델 | 8K |
미세 조정 모델
| 모델명 | 설명 |
|---|---|
| konan-llm-pro-10-custom | konan-llm-pro 모델에 대한 미세 조정 모델 |
상태
| 상태 | 설명 |
|---|---|
| 로딩 중 | 모델이 로딩 중에 있습니다. 로딩이 완료되면 실행 중 상태로 변경됩니다. |
| 실행 중 | 모델을 로드한 상태입니다. - 프롬프트 갤러리나 플레이그라운드 페이지에서 모델을 실행하기 위해서는 먼저 모델을 로드해야 합니다. - 모델 학습 시 CPU, GPU, 메모리 등 자원이 부족할 경우에는 자원 확보를 위해 [언로드] 버튼을 클릭하여 모델을 언로드합니다. |
| 학습 완료 | 학습이 완료된 상태이며 [로드] 버튼을 클릭하여 모델을 활성화할 수 있습니다. |
| 학습 중 | 학습을 진행 중인 상태입니다. 현재 학습 진행율이 함께 표시됩니다. [중지] 버튼을 클릭하여 학습을 중단할 수 있습니다. - 학습 진행 중인 모델만 중단할 수 있습니다. - 학습 중인 모델이 있을 경우 모델 관리를 제외한 다른 메뉴들은 비활성화됩니다. |
| 중지 | 학습을 중지한 상태입니다. [재시작] 버튼을 클릭하여 학습을 다시 시작할 수 있습니다. |
| 오류 | 학습 중에 실패한 상태입니다. |
| 삭제 중 | 모델이 삭제 중에 있습니다. 삭제가 완료되면 목록에서 제거됩니다. |
액션
액션 [⁝] 버튼을 클릭하면 각각의 모델에 대해 수행할 수 있는 액션을 선택할 수 있습니다.
-
로드
✔ 모델이 서비스를 수행할 수 있도록 로드합니다. 로딩이 완료된 모델은 [실행중] 상태로 변경됩니다.
[학습완료] 상태의 모델만 로드할 수 있습니다.
모델을 로드할 노드 및 각 노드 별 GPU를 미리 설정된 프로파일로 선택할 수 있습니다. 기본은 자동으로 노드 및 GPU를 할당합니다. -
언로드
✔ 실행중인 모델을 언로드합니다. 언로드된 모델은 다시 [학습완료] 상태로 변경됩니다.
여러 인스턴스가 로드되어 있을 경우에는 특정 노드 및 GPU에서 해당 인스턴스만 선택하여 언로드할 수 있습니다. -
중지
✔ 모델 학습을 일시적으로 중지합니다. -
재시작
✔ 학습이 중지된 모델을 다시 학습합니다. 모델 학습 시 [중간 결과 저장] 옵션을 활성화한 경우 이전에 저장한 시점부터 학습이 재개됩니다. -
모델명 변경
✔ 모델명을 변경합니다. -
삭제
✔ 모델을 삭제합니다. 이미 삭제한 모델은 복구할 수 없습니다.