대시보드

대시보드에서는 시스템의 전반적인 상태를 실시간으로 모니터링할 수 있습니다. 화면은 GPU 사용량과 LLM 사용 현황, 두 개의 영역으로 구성되어 있으며, 각 영역마다 데이터 자동 갱신 주기를 설정하거나 즉시 새로고침할 수 있는 기능이 제공됩니다.

GPU

전체 GPU의 사용량을 모니터링하고 시각화하여 확인할 수 있습니다. 영역 우측 상단의 Refresh Interval 드롭다운에서 3초, 5초, 10초 중 원하는 자동 갱신 주기를 선택할 수 있으며, 옆의 새로고침 아이콘을 클릭하면 즉시 최신 데이터를 불러올 수 있습니다.

• GPU Temperature : GPU별 온도를 막대그래프로 확인할 수 있고, 오른쪽 게이지에서 전체 GPU의 평균 온도를 함께 볼 수 있습니다.
• GPU Power Usage : GPU별 전력 사용량(W)과 평균 전력 사용량을 같은 방식으로 확인할 수 있습니다.
• GPU Utilization : GPU별 사용률(%)과 평균 사용률을 확인할 수 있습니다.
• Memory Used : GPU별 메모리 사용량을 막대그래프로 보여주며, 사용 중인 메모리와 사용 가능한 메모리를 색상으로 구분해 확인할 수 있고, 하단 범례를 클릭하면 해당 항목을 그래프에서 켜거나 끌 수 있습니다.

각 그래프의 막대나 지점에 마우스를 올리면 정확한 수치가 툴팁으로 표시됩니다.

LLM 사용 현황

시간대별 서비스 요청 및 응답 현황, 토큰 사용량을 확인하고 분석할 수 있습니다. 이 영역도 우측 상단의 Refresh Interval 드롭다운(10초, 20초, 30초)으로 자동 갱신 주기를 설정하거나 새로고침 아이콘으로 즉시 데이터를 갱신할 수 있습니다.

• 시간대 별 요청 현황 : 최근 7일간 날짜별로 0시부터 23시까지의 시간대별 요청 건수를 선 그래프로 비교할 수 있습니다.
• 시간대 별 응답 속도 : 같은 방식으로 날짜별 시간대별 평균 응답 속도(ms)를 비교할 수 있습니다.

두 그래프 모두 하단 범례에서 날짜를 클릭하면 해당 날짜의 그래프를 표시하거나 숨길 수 있습니다.

• 시간대별 토큰 사용량 : 당일 기준으로 시간대별 총 토큰 수, 입력 토큰 수, 출력 토큰 수를 확인할 수 있습니다.
• 토큰 사용량 : 최근 7일간 날짜별 총 토큰 수, 입력 토큰 수, 출력 토큰 수를 막대그래프로 비교할 수 있습니다.

모든 그래프는 마우스를 올리면 정확한 수치를 툴팁으로 확인할 수 있습니다.