Category
로컬 LLM
Mac mini, Ollama, mlx-lm 등 로컬 환경에서 AI 모델을 돌려본 실험 기록입니다.
총 6개 글
대표 글로컬 LLM과 클라우드 AI를 나눠 쓰는 기준
로컬 LLM과 Claude, ChatGPT 같은 클라우드 AI를 개인 블로그 운영에서 어떻게 나눠 쓰면 좋을지 역할 기준으로 정리했습니다.
전체 글
- 로컬 LLM 운영 비용을 볼 때 전기요금보다 먼저 볼 것
로컬 LLM을 개인용 Mac에서 돌릴 때 전기요금, 시간, 저장공간, 재시도 비용을 함께 봐야 하는 이유를 정리했습니다.
- 로컬 LLM 실험을 시작하기 전에 정한 기준
Ollama나 로컬 LLM을 블로그 주제로 다루기 전에, 설치보다 먼저 확인할 성능, 비용, 기록 기준을 정리했습니다.
- M4 Mac mini에서 로컬 LLM을 시험해보기 전에 본 기준
M4 Mac mini 같은 개인용 Mac에서 로컬 LLM을 돌릴 때 기대한 점과 먼저 확인해야 할 한계를 정리했습니다.
- mlx-lm으로 로컬 모델을 실행할 때 막히기 쉬운 지점
Apple Silicon 환경에서 mlx-lm을 실험하기 전에 확인해야 할 설치, 모델, 명령어, 기대치 문제를 정리했습니다.
- Ollama와 LM Studio를 비교할 때 먼저 본 기준
로컬 LLM 입문 도구로 자주 거론되는 Ollama와 LM Studio를 비교할 때, 설치 편의성보다 운영 방식 중심으로 정리했습니다.