AI 모델을 나의 컴퓨터에서 실행해보자 - LMStudio 맛보기

LMStudio

LM Studio는 로컬 컴퓨터에서 대형 언어 모델(LLM)을 실행하고 실험할 수 있게 도와주는 무료 데스크톱 애플리케이션입니다. OpenAI, Hugging Face, Mistral 등에서 공개한 다양한 언어 모델들을 인터넷 없이도 직접 실행할 수 있도록 해주는 툴입니다. 내가 입력한 데이터는 로컬에서 해석됩니다. 나의 데이터가 서비스 제공하는 회사에 노출될 염려가 없습니다.

 

LMStudio 은 https://lmstudio.ai/ 에서 다운로드 받아서 설치합니다.

다운로드

 

하단에서 Power User를 선택합니다. 좌측 메뉴에서 오픈 아이콘 선택하고 모델이 저장될 디렉토리를 지정합니다.

모델 저장위치 지정

이번에는 모델을 검색하고 다운로드 받기입니다. 좌측에서 돋보기 아이콘을 선택합니다. 원하는 모델을 검색하여 선택합니다. 이번에 새로나온 Gemma3 12B 모델을 선택했습니다.

모델 검색 및 선택

가짜 답변을 유도해보았지만 잘 피해서 대답합니다.

가짜 답변 유도

최신의 데이터를 학습한 날짜는 2024년 5월 15일까지로 보여집니다.

최신 데이터 학습

간단한 파이썬 코드 작성을 시켜보았습니다. 잘 작성해줍니다. 하지만 코드 작성은 빠르게 응답하지는 않습니다. 속도는 선택한 모델과 컴퓨터 성능에 따라 달라집니다.

파이썬 코드 작성

이상으로 간단히 LMStudio를 사용해보았습니다. 모델을 검색하고 다운로드 받기만 하면 바로 사용할 수 있어서 편리합니다. 자신의 컴퓨터 성능에 부합하는 모델만 잘 선택하면 사용하는데 큰 지장은 없어 보입니다.