Category

로컬 LLM

Mac mini, Ollama, mlx-lm 같은 로컬 AI 실험을 기대감과 실제 제약을 나눠서 기록합니다.

이 카테고리에서 해결하는 질문로컬 LLM은 언제 클라우드 AI보다 낫고, 초보자는 어떤 기준으로 선택해야 할까요?

Field Thesis

이 허브에서 먼저 잡는 판단

단순 글 묶음이 아니라, 이 주제에서 Daejin Lab이 실제로 확인한 기준과 한계를 먼저 보여줍니다.

판단

로컬 LLM은 무조건 안전한 대체재가 아니라, 민감 원문·반복 실험·오프라인 작업에서 먼저 검토할 선택지입니다.

가장 강한 근거

M4 Mac mini 16GB, LM Studio, Ollama, Gemma 계열 실험을 데이터 민감도와 실패 비용 기준으로 비교했습니다.

알려진 한계

정밀 벤치마크가 아니라 개인 장비의 체감 실행과 운영 판단을 기록한 글 모음입니다.

이런 독자에게 먼저 권합니다
  • 로컬 LLM을 처음 설치하는 사람
  • 클라우드 AI에 원문을 넣기 찝찝한 사람
  • Mac mini 기준 현실감을 보고 싶은 사람

Topic Hub

처음 읽을 글 3개

이 주제를 처음 보는 사람이 판단 기준을 빠르게 잡을 수 있는 글부터 배치했습니다.

  1. 01TurboFieldfare로 Gemma 4 26B-A4B를 M4 Mac mini에서 돌려본 기록

    Gemma 4 26B-A4B 전용 Swift/Metal 런타임 TurboFieldfare를 M4 Mac mini 16GB에서 직접 빌드하고 실행해 본 실측 기록입니다. 메모리는 2GB로 가볍지만 decode 6.26 tok/s, 콜드 첫 읽기 3~4배 저하가 나온 이유와 에이전트용 부적합 판단을 정리했습니다.

  2. 02Nanbeige4.2-3B, M4 Mac mini 16GB에서 실행 전 확인한 것

    Nanbeige4.2-3B의 에이전트 벤치마크와 8.34GB 공식 가중치, Ollama·llama.cpp 호환 문제를 대조해 M4 Mac mini 16GB에서 시험할 기준을 정리했습니다.

  3. 03M4 Mac mini 16GB에서 Bonsai 27B 실험: oMLX·LM Studio·llama.cpp 비교

    M4 Mac mini 16GB에서 Ternary Bonsai 27B를 세 엔진으로 직접 실행했습니다. 속도와 메모리뿐 아니라 최종 출력과 도구 호출까지 비교합니다.

최신 글 목록

최근 8개