Category
로컬 LLM
Mac mini, Ollama, mlx-lm 같은 로컬 AI 실험을 기대감과 실제 제약을 나눠서 기록합니다.
Gemma 4 12B를 M4 Mac mini 16GB에서 먼저 돌려본 기록
Gemma 4 12B 공식 모델 카드와 GGUF 후보를 확인한 뒤, M4 Mac mini 16GB와 LM Studio에서 실제로 로드해 본 설정과 X 번역용 모델 선택까지 정리했습니다.
전체 글
8개 더 보기
- M4 Mac mini에서 Supertonic 로컬 TTS 프록시를 돌려본 기록
M4 Mac mini 16GB에서 Supertonic OpenAI 호환 TTS 프록시를 설치하고, health/models/speech 응답과 wav·mp3·opus 생성 시간을 직접 확인한 운영 기록입니다.
- M4 Mac mini 16GB에서 LM Studio로 Gemma를 돌려본 과정과 이슈
Apple Silicon 환경에서 LM Studio와 Gemma를 연결할 때 확인한 모델 요구사항, 설치 경로, 실행 이슈, 메모리/속도 체감 기록을 정리했습니다.
- 로컬 LLM과 클라우드 AI를 나눠 쓰는 기준
로컬 LLM과 Claude, ChatGPT 같은 클라우드 AI를 개인 블로그 운영에서 어떻게 나눠 쓰면 좋을지 역할 기준으로 기록했습니다.
- 로컬 LLM 운영 비용을 볼 때 전기요금보다 먼저 볼 것
로컬 LLM을 개인용 Mac에서 돌릴 때 전기요금, 시간, 저장공간, 재시도 비용을 함께 봐야 하는 이유를 기록했습니다.
- 로컬 LLM 실험을 시작하기 전에 정한 기준
Ollama나 로컬 LLM을 블로그 주제로 다루기 전에, 설치보다 먼저 확인할 성능, 비용, 기록 기준을 기록했습니다.
- M4 Mac mini 로컬 LLM 테스트 전에 확인한 기준
M4 Mac mini에서 로컬 LLM을 돌리기 전 기대한 점, 확인할 한계, 실제 테스트 전에 정한 기록 기준을 남겼습니다.
- mlx-lm으로 로컬 모델을 실행할 때 막히기 쉬운 지점
Apple Silicon 환경에서 mlx-lm을 실험하기 전에 확인해야 할 설치, 모델, 명령어, 기대치 문제를 기록했습니다.
- Ollama와 LM Studio를 비교할 때 먼저 본 기준
로컬 LLM 입문 도구로 자주 거론되는 Ollama와 LM Studio를 비교할 때, 설치 편의성보다 운영 방식 중심으로 기록했습니다.