데이터셋

데이터셋 메뉴를 통해 언어모델을 학습하거나 평가하기 위한 레이블링 데이터 및 언어모델이 답변 생성 시 참조할 문서 데이터를 관리할 수 있습니다.

레이블링 데이터셋

언어모델을 학습하거나 평가하기 위한 레이블링 데이터를 관리합니다.

데이터셋 추가

+추가 버튼을 클릭합니다.
데이터셋 추가 대화 상자에서 데이터셋의 기본 정보를 입력합니다.

• 데이터셋 기본 정보
  ✔ 이름: 데이터셋의 이름을 입력합니다.
  ✔ 설명: 데이터셋에 대한 간략한 설명을 입력합니다.

데이터셋 삭제

더 이상 필요가 없는 데이터셋은 액션 [⁝] 링크를 클릭하고 삭제 메뉴를 선택하여 제거할 수 있습니다.

데이터 등록

미세 조정을 위한 학습 데이터 혹은 평가 데이터를 등록합니다.

1) 파일

• 학습 데이터 파일 혹은 평가 데이터 파일을 등록합니다. 파일의 형식은 JSONL이어야 합니다.
• 입력한 메시지는 이력 메뉴를 통해 확인할 수 있습니다.
• 등록한 학습 데이터 파일은 모델 학습/미세 조정/학습 데이터 설정 페이지에서 사용할 수 있습니다.
• 등록한 평가 데이터 파일은 배치/배치 실행/배치 데이터 설정 및 평가/평가 실행/평가 데이터 설정 페이지에서 사용할 수 있습니다.

2) 폴더

• 폴더를 생성합니다. 예를 들어 평가용 데이터를 따로 관리하기 위해 test 폴더를 생성할 수 있습니다.

RAG 데이터셋

검색증강생성(RAG) 시 참조할 문서들을 관리합니다.

데이터셋 추가

+추가 버튼을 클릭합니다.
데이터셋 추가 대화 상자에서 데이터셋의 기본 정보를 입력합니다.

• 데이터셋 기본 정보
  ✔ 이름: 데이터셋의 이름을 입력합니다.
  ✔ 볼륨: 볼륨명을 입력합니다.
  ✔ 설명: 해당 데이터셋이 담고있는 문서들에 대한 설명을 입력합니다.

⚠️ 등록된 데이터셋 목록은 플레이그라운드 설정에서 검색 영역으로 표시됩니다.

데이터셋 삭제

더 이상 필요가 없는 데이터셋은 액션 [⁝] 링크를 클릭하고 삭제 메뉴를 선택하여 제거할 수 있습니다.

데이터 등록

+추가 버튼을 클릭하여 파일들을 등록합니다.

• 검색증강생성 시 참조할 문서 파일들을 등록합니다. PDF, DOC, DOCX, HWP 등 대부분의 문서 파일들을 등록할 수 있습니다.
• 등록된 문서들은 자동으로 청크로 나누어지고, 임베딩 모델을 통해 임베딩 벡터를 추출한 후 색인되어 벡터스토어에 저장됩니다.
• 이 작업은 문서 크기에 따라 수초에서 수분 가량 소요될 수 있습니다.

데이터 삭제

더이상 참조할 필요가 없는 파일은 삭제(🗑️) 메뉴를 통해 제거할 수 있습니다.