개요

LLM 스튜디오는 생성형 언어 모델 코난 LLM을 빠르게 프로토타이핑하고 테스트 해볼 수 있는 도구입니다. 자신만의 프롬프트를 설계하여 테스트하고 공유할 수 있습니다. 또한 기본 모델을 미세 조정하여 원하는 응용 분야에 적용할 수 있습니다. LLM 스튜디오를 통해 다음과 같은 작업들을 수행할 수 있습니다.

• 대시보드
• 모델 관리
• 모델 학습
• 프롬프트 갤러리
• 플레이그라운드
• 에이전트 빌더
• 배치
• 평가
• 데이터셋

주요 개념

텍스트 생성 모델

텍스트 생성 모델은 자연어 처리 분야에서 인공지능을 접목하여 자연스러운 문장을 만들어 내도록 학습한 모델입니다.

사전학습한 데이터의 양과 품질, 다루고 있는 영역에 따라 텍스트 생성 모델의 잠재력이 결정되며, 미세조정을 통해서 사람의 지시를 정확하게 따를 수 있는 능력이 발현되기 시작합니다.

이에 따라 텍스트 생성 모델은 크게 “사전학습 모델”과 “미세조정 모델”로 나누어 집니다. 사용자의 목적, 적용 범주에 따라 사전학습 모델에 전문 지식 분야에 대한 사전학습을 진행하기도 하고, 미세조정 모델에 대한 추가적인 미세조정을 통해 보다 원하는 형식의 텍스트 생성이란 목표를 달성할 수 있습니다.

임베딩

임베딩이란 고차원 벡터를 변환할 수 있는 비교적 저차원의 공간입니다. 주로 언어 모델에서는 글자, 단어, 문장으로 확대되면서 복잡해지는 언어를 적절한 크기의 분절로 나눈 뒤, 이를 일정한 크기의 실수 벡터 형태로 변환시켜 사용합니다. 이러한 임베딩은 다양한 수준(단어, 문장 등)에서 활용 가능하고, 유사한 문장 찾기, 검색, 주요 주제 군집화, 이상 데이터 탐지와 같은 분야에서 사용할 수 있습니다.

토큰

언어 모델에서의 토큰은 자연어 처리를 위해 여러 문자를 일정한 기준에 따라 나눈 것을 의미합니다. 목적에 따라 하나의 토큰은 자소 단위에서부터 문장 단위까지 확장될 수도 있습니다. 토큰 기준으로 임베딩이 구성되기 때문에 저차원에서도 적절한 정보 수준을 유지할 수 있도록 언어학적, 통계학적 지식을 이용하게 되며, 대개 한국어 단어는 형태소 단위로 토큰이 나누어지게 됩니다. 또한, 이러한 토큰은 실제로 언어 모델이 처리하는 단위로서 한번에 처리 가능한 최대 정보량을 나타내는 단위가 되기도 합니다.