M1 MacBook Pro는 오래되었지만 2026년에도 여전히 가능한 장치입니다.
카일 쿠차스키/ZDNET
ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.
ZDNET의 주요 시사점
- Ollama를 사용하면 오픈 소스 LLM을 매우 쉽게 다운로드할 수 있습니다.
- 작은 모델이라도 고통스러울 정도로 느리게 실행될 수 있습니다.
- 32GB RAM을 갖춘 새 컴퓨터 없이는 이 작업을 시도하지 마세요.
10년 넘게 인공 지능을 다루는 기자로서 저는 인공 지능을 실행하면 모든 종류의 컴퓨터 엔지니어링 문제가 발생한다는 것을 항상 알고 있었습니다. 우선, 대규모 언어 모델은 계속 커지고 있으며 모델 “매개변수” 또는 “신경 가중치”를 실행하기 위해 점점 더 많은 DRAM 메모리를 요구합니다.
또한: MacOS에 LLM을 설치하는 방법(및 설치해야 하는 이유)
다 알고 있었지만 직접 느껴보고 싶었어요. 나는 내 집 컴퓨터에서 대규모 언어 모델을 실행하고 싶었습니다.
이제 AI 모델을 다운로드하고 실행하려면 “환경”을 설정하는 데 많은 작업이 필요할 수 있습니다. 그래서 오픈 소스 도구인 Ollama에 대한 동료 Jack Wallen의 보도에서 영감을 받아 로컬 AI에 대한 게이트웨이로 Ollama의 MacOS 바이너리를 다운로드했습니다.
Ollama는 상대적으로 사용하기 쉽고 LangChain, Codex 등과 통합하여 훌륭한 작업을 수행했습니다. 이는 AI의 많은 측면을 통합하는 도구가 되고 있다는 것을 의미하며 이는 흥미진진합니다.
지역적으로 유지해야 하는 이유
ChatGPT나 Perplexity를 온라인으로 입력하는 것보다 로컬에서 LLM을 실행하는 것은 프로그래머뿐만 아니라 모든 정보 근로자에게 많은 매력을 줍니다.
첫째, 정보 근로자로서 ChatGPT의 모든 무료 사용자처럼 온라인 프롬프트에 입력하는 대신 모델을 다운로드하고 실행하는 등의 작업을 수행할 수 있다면 취업 시장에서 더 바람직할 것입니다. 여기서는 기본적인 전문 개발에 대해 이야기하고 있습니다.
둘째, LLM의 로컬 인스턴스를 사용하면 민감한 데이터가 컴퓨터 외부로 유출되는 것을 방지할 수 있습니다. 이는 코더뿐만 아니라 모든 정보 작업자에게 분명히 중요합니다. 내 경우, 내 프로젝트 목표는 내가 잊어버렸을 수도 있는 내용을 포함하여 내가 작성한 내용에 대한 일종의 보고서로서 수년에 걸쳐 나만의 기사 모음집을 채굴하는 방법으로 로컬 모델을 사용하는 것이었습니다. 모든 파일을 클라우드 서비스에 업로드하는 대신 로컬에 보관한다는 아이디어가 마음에 들었습니다.
또한: 초보자로서 앱 바이브 코딩을 시도했습니다. Cursor와 Replit이 나에게 가르쳐준 내용은 다음과 같습니다.
셋째, OpenAI, Google, Anthropic 등이 부과하는 수수료를 피할 수 있습니다. 제가 최근에 쓴 것처럼, LLM을 온라인으로 사용하면 가격이 인상될 예정이므로 지금은 측정기가 계속 작동하지 않는 자신의 컴퓨터에서 오프라인으로 대부분의 작업을 수행하는 방법에 대해 생각해 볼 좋은 시기입니다.
(공개: ZDNET의 모회사인 Ziff Davis는 2025년 4월 OpenAI를 상대로 AI 시스템 교육 및 운영에 있어 Ziff Davis의 저작권을 침해했다고 주장하는 소송을 제기했습니다.)
넷째, 훨씬 더 많은 통제력을 갖게 됩니다. 예를 들어, 프로그래밍을 하고 싶다면 미세 조정이라고 알려진 LLM을 조정하여 보다 집중적인 결과를 얻을 수 있습니다. 그리고 LangChain, Anthropic의 Claude Code 도구, OpenAI의 Codex 코딩 도구 등과 같이 로컬에 설치된 다양한 도구를 사용할 수 있습니다.
또한: 2026년 AI에 더 많은 비용을 지불하게 될 이유와 시도해 볼 수 있는 3가지 비용 절감 팁
보고서 생성과 같은 정보 근로자 작업을 수행하려는 경우에도 로컬 문서 캐시 또는 로컬 데이터베이스를 사용하면 항목을 봇에 업로드하는 것보다 더 효과적으로 제어할 수 있습니다.
최소한의 베어메탈
저는 LLM을 실행하는 데 필요한 최소한의 시스템을 사용하여 이 실험을 시작했습니다. 나는 계속 새 기계를 구입하지 않는 사람이 집에서 일상 작업에 사용하는 것과 동일한 컴퓨터에서 이 작업을 수행하려고 하면 어떤 일이 일어날지 알고 싶었습니다.
내 MacBook Pro는 3년이 되었고 16GB의 RAM과 3/4을 가득 채운 테라바이트 하드 드라이브를 갖추고 있으며 최신 MacOS가 아닌 MacOS Sonoma를 실행하고 있습니다. 2021년 모델, 모델번호 MK193LL/A인데, 2023년 1월 베스트바이에서 특가 세일로 샀을 때는 1위였지만, 그 당시에는 이미 어제의 베스트 모델이 되어 있었습니다.
또한: 데스크톱에서 ChatGPT, Gemini 또는 Claude 대신 로컬 AI를 사용하는 5가지 이유
나도 알아, 나도 알아: 이것은 기계의 일반적인 유효 수명을 넘어서고 감가상각 일정을 넘어서는 것입니다. 그럼에도 불구하고 MacBook은 그 당시에는 훌륭한 업그레이드였으며 캘린더, 수많은 이메일, 수많은 웹 사이트, 비디오 후반 작업, 팟캐스트 오디오 녹음 등 일반적인 정보 작업자 작업을 매일 훌륭하게 수행해 왔습니다. 나는 불만이 없습니다. 이봐, 고장나지 않았다면 그렇지?
따라서 문제는 이 훌륭하지만 여전히 강력한 기계가 전혀 다른 새로운 종류의 작업 부하를 어떻게 처리할 것인가였습니다.
올라마 시작하기
Ollama의 시작 화면은 입력할 수 있는 친숙한 프롬프트, 문서 업로드를 위한 “더하기” 기호, Qwen과 같은 인기 모델을 포함하여 로컬에 설치할 수 있는 모델의 드롭다운 메뉴가 있는 ChatGPT와 유사합니다.
프롬프트에서 입력을 시작하면 Ollama는 드롭다운 메뉴에 표시되는 모델이 무엇이든 자동으로 다운로드를 시도합니다. 따라서 모델 룰렛을 사용하려는 경우가 아니면 어떤 입력도 하지 마십시오.
대신 드롭다운 목록에 있는 모델을 살펴보았고 이러한 모델 중 일부가 로컬이 아니라 클라우드에 있다는 것을 깨달았습니다. 자체 인프라 대신 Ollama의 인프라를 원하는 경우 Ollama는 클라우드 서비스를 실행합니다. 이는 자체 인프라에 과도한 부담을 주는 훨씬 더 큰 모델을 사용하려는 경우 유용할 수 있습니다.
가격 페이지에 따라 Ollama는 무료 계정에서 클라우드에 대한 일부 액세스를 제공합니다. 이 기능은 월 $20의 “Pro” 플랜이 적용되는 여러 클라우드 모델을 실행할 수 있는 기능과 월 $100의 “Max” 플랜에서 더 많은 사용량을 제공합니다.
또한: 이 앱을 사용하면 MacOS 기기에서 Ollama 로컬 AI를 매우 쉽게 사용할 수 있습니다.
로컬 실행 옵션을 고수하면서 Ollama가 관리하는 모델 디렉토리에서 더 광범위한 모델 목록을 확인하기로 결정했습니다.
저는 무작위로 중국 AI 스타트업 Z.ai의 glm-4.7-flash를 선택했습니다. 300억 개의 “매개변수” 또는 신경 가중치를 갖는 GLM-4.7-플래시는 오늘날의 표준으로 볼 때 “작은” 대형 언어 모델이지만 10억 개 미만의 매개변수를 가진 오픈 소스 모델이 있기 때문에 작지는 않습니다. (얼마 전까지만 해도 10억 개의 매개변수가 컸습니다!)
디렉토리는 다음과 같이 프롬프트에서 복사하고 붙여넣기만 하면 Mac 터미널에서 선택한 모델을 다운로드할 수 있는 터미널 명령을 제공합니다.
올라마는 glm-4.7-flash를 실행합니다.
디스크 공간에 주의하세요. Glm-4.7-flash의 디스크 사용량은 19GB이며 기억하세요. 그거 작아!
내 경험에 따르면 모델 다운로드는 상당히 빠른 것 같지만 번개처럼 빠르지는 않습니다. 뉴욕 시 Spectrum에서 제공한 내 집 사무실의 기가비트 속도 케이블 모뎀에서 모델은 한 지점에서 초당 45MB의 속도로 다운로드되었지만 나중에 처리 속도가 느려졌습니다.
모델을 알아가는 중
나의 첫 번째 메시지는 매우 간단했습니다. “당신은 어떤 종류의 대규모 언어 모델입니까?”
나는 잠시 동안 앉아서 처음 몇 명의 캐릭터가 “(전구 아이콘) 생각하기 – 나를 만드는 것이 무엇인지 분석해 보겠습니다”라는 응답으로 구체화되는 것을 지켜보았습니다. 그게 전부였습니다.
또한: 제가 즐겨 사용하는 LLM 도구는 로컬 AI를 위한 매우 간단한 Mac 및 PC 앱을 출시했습니다. 이 앱을 사용해 봐야 하는 이유
10분이 지나도 더 이상 나아지지 않았습니다.
나를 대규모 언어 모델로 만드는 이유와 이를 사용자에게 설명하는 방법을 분석하겠습니다.
먼저, AI 시스템으로서의 근본적인 성격을 고려해야 합니다. 나는 대규모 데이터 세트의 패턴을 통해 인간 언어를 이해하고 생성하도록 설계되었음을 설명해야 합니다. 핵심은 명확해야 한다
그리고 Mac의 모든 기능이 눈에 띄게 느려졌습니다.
45분 후에도 glm-4.7-flash는 여전히 생각에 대한 생각을 생성하고 있었습니다. “이 설명을 첫 번째 상태로 명확하게 구성하겠습니다…” 등.
프롬프트 크립에 갇혀
1시간 16분 후 — 모델이 5,197.3초 동안 ‘생각’한 후, 마침내 glm-4.7-flash가 어떤 종류의 언어 모델이었는지에 대한 질문에 대한 답을 얻었습니다. 그 대답은 보낸 모든 시간에 비해 그다지 흥미롭지 않은 것으로 나타났습니다. 그것은 내가 스스로 예측할 수 없었던 glm에 대해 많은 것을 알려주지 않았으며 glm과 다른 대규모 언어 모델 간의 차이점에 대해 중요한 것도 알려주지 않았습니다.
나는 이 시점에서 glm이 끝났다고 생각했습니다. 안타깝게도 Ollama는 로컬에 설치된 모델을 제거하는 방법에 대한 지침을 제공하지 않습니다. 모델은 MacOS의 현재 사용자 디렉터리에 있는 “models”라는 다른 폴더 안에 있는 숨겨진 폴더 “.ollama”에 보관됩니다. 모델 폴더 안에는 “blobs”와 “manifests”라는 두 개의 폴더가 있습니다. 모델의 대부분은 Blob 폴더에 있습니다. 매니페스트 내부에는 다운로드한 각 모델의 이름이 지정된 폴더가 포함된 “라이브러리” 폴더와 그 안에 “최신” 폴더가 있습니다.
터미널을 이용하여 Blob의 내용을 삭제하고 각 모델 폴더의 내용을 삭제하니 문제가 해결되었습니다. (Jack은 나중에 어떤 모델이든 제거하는 터미널 명령이 “ollama rm”이라고 알려줬습니다.
Jack은 또한 OpenAI의 최근 오픈 소스 모델인 gpt-oss(200억 매개변수 버전 “20b”)를 추천했는데, 이는 그가 시도한 다른 모델보다 로컬에서 실행되는 속도가 훨씬 빠르다고 말했습니다. 그래서 디렉토리에서 그 옆으로 갔습니다.
또한: 이것은 내가 시도한 로컬 AI 중 가장 빠르며, 근접하지도 않습니다. 얻는 방법
이번에는 약 6분 후에 gpt-oss:20b가 달팽이 같지도 않고 빠르지도 않은 속도로 “OpenAI의 GPT-4 제품군에서 구동되는 ChatGPT” 등의 응답을 생성했습니다.
그 응답 뒤에는 멋진 세부 정보 표가 이어졌습니다. (이상하게도 gpt-oss:20b는 “대략 1,750억 개의 매개변수”를 가지고 있다고 말했는데, 이는 gpt-oss:20b가 자신의 20b 정체성을 완전히 파악하지 못한다는 것을 의미합니다.)
어쨌든 간단한 메시지로는 괜찮았습니다. 그러나 내가 더 야심찬 다른 일을 하면 문제가 생길 것이라는 것은 이미 분명했습니다. 답변을 기다리는 느낌이 충분히 느렸기 때문에, 글 전체를 업로드하는 등 더 이상 복잡함을 감히 추가할 수 없었습니다.
우리는 더 새로운 기계가 필요할 거예요
OpenAI의 실제 ChatGPT 온라인 서비스(GPT5.2 실행)에 따르면 gpt-oss:20b를 실행하는 컴퓨터의 최소 구성은 실제로 32GB의 DRAM입니다. MacBook의 M1 Pro 실리콘에는 GPU가 통합되어 있으며 ChatGPT는 Ollama가 “llama.cpp 백엔드”로 알려진 라이브러리인 Mac GPU를 지원하는 gpt-oss:20b 버전을 제공했다는 점을 승인적으로 지적했습니다.
또한: 로컬 AI를 실행하는 유일한 에이전트 브라우저를 사용해 보았지만 한 가지 단점만 발견했습니다.
따라서 모든 것이 괜찮을 것입니다. 하지만 실제로는 16GB보다 더 많은 DRAM이 필요합니다. 그리고 이제 5년 된 M1을 M4나 M5로 바꿔야 합니다. 30년 동안 컴퓨터에 관해 글을 써온 나에게는 정보 근로자에게 최소 합리적인 구성으로 32GB가 필요하다는 사실이 매우 흥미로웠습니다.
최근에 언급했듯이 모든 클라우드 데이터 센터가 대규모 언어 모델을 실행하기 위해 점점 더 많은 DRAM을 소비하고 있기 때문에 DRAM 가격이 급등하고 있습니다. 따라서 클라우드 공급업체에 맞서는 것은 저입니다. 아마도 새 컴퓨터로 교환하기 위해 신용 카드를 사용하게 될 것입니다. (애플은 보상 판매로 내 M1 MacBook에 대해 약 599달러를 줄 것입니다.)
나의 신생 로컬 Ollama 노력은 성공을 거두지 못했지만 AI가 메모리 집약적이라는 사실에 대해 새로운 인식을 갖게 되었습니다. 나는 수년 동안 AI에 대해 보고하면서 항상 알고 있었지만 이제는 프롬프트에 대한 응답이 화면을 스크롤하는 데 걸리는 시간을 뼈 속으로 느낍니다.