이 로컬 AI가 내 Mac의 Ollama를 빠르게 대체했습니다. 그 이유는 다음과 같습니다.

ZDNET을 팔로우하세요: 우리를 선호 소스로 추가하세요 Google에서.

---

ZDNET의 주요 시사점

• 로컬 AI를 사용하는 것은 책임감 있고 비공개입니다.
• GPT4All은 무료 오픈 소스인 크로스 플랫폼 로컬 AI입니다.
• GPT4All은 여러 LLM 및 로컬 문서와 함께 작동합니다.

---

AI에 관한 한 나에게는 몇 가지 규칙이 있습니다. 창의적인 목적을 위한 것도 아니고, 글쓰기의 목발로 사용되어서도 안 되며, 가능할 때마다 로컬로 가십시오.

이는 매우 간단한 목록으로, 현재까지는 준수하기가 그리 어렵지 않았습니다. 오랫동안 저는 Ollama를 선택했습니다. 왜냐하면 Ollama는 로컬이고 모든 데스크톱 플랫폼에서 실행되며 오픈 소스이기 때문입니다.

그러나 최근에 저는 정말 멋진 기능을 갖춘 또 다른 오픈 소스 도구를 발견했습니다. 그 도구는 GPT4All입니다.

GPT4All은 MIT 라이선스에 따라 출시되며 Linux, MacOS 및 Windows에 무료로 설치하고 사용할 수 있습니다. 여기에는 여러 LLM 추가 기능, 후속 작업, API 호출 또는 GPU 필요 없음, 전체 사용자 정의, 로컬 문서 채팅(LocalDocs) 및 수천 개의 모델 지원과 같은 모든 일반적인 기능이 포함됩니다.

또한: 나는 로컬, 오픈 소스, 완전 무료인 Claude Code 경쟁 제품을 사용해 보았습니다. 어떻게 진행되었나요?

나는 GPT4All을 시험해보고 그것이 Ollama에 어떻게 부합하는지 알아보기로 결정했습니다. 놀랍게도 그것은 나를 꽤 빨리 이겼습니다.

GPT4All을 설치하고 무엇이 무엇인지 살펴보겠습니다.

GPT4All을 설치하는 방법

MacOS 또는 Windows를 사용하는 경우 GPT4All은 설치가 매우 간단합니다. GPT4All 사이트에서 관련 설치 프로그램 파일을 다운로드하고 다운로드한 파일을 두 번 클릭한 후 설치 마법사를 진행하세요.

Linux를 사용하는 경우 상황이 약간 까다로워집니다. 우선, GPT4All은 Ubuntu 기반 배포판만을 위한 설치 프로그램을 제공합니다. 처음으로 Pop!_OS에 GPT4All을 설치하려고 시도했습니다. 그렇게 했을 때 필요한 Qt 라이브러리를 찾을 수 없다는 오류가 발생했습니다.

그럼요. KDE 플라즈마 시간입니다.

또한: 무료로 바이브 코딩으로 1,200달러를 절약하려고 했으나 금방 후회했습니다.

KDE Plasma를 사용하여 Fedora VM을 시작하고 설치 프로그램을 실행했습니다. 아니요. 이번에는 X11 라이브러리가 없어서 실패했습니다.

괜찮은. 이번에는 KDE Neon을 사용하여 한 번 더 시도해 보았습니다. 그것이 성공했고, 1분도 안 되어 KDE Neon에서 GPT4All을 실행하게 되었습니다. 한 가지 경고를 드리겠습니다. 관리자(sudo) 권한으로 GPT4All을 설치하려고 시도하지 마십시오. 매번 실패할 수 있습니다. 설치 프로그램 파일을 다운로드하고 실행 권한을 부여하십시오. chmod u+x gpt4all-installer-linux.run을 누른 다음 다음을 사용하여 설치 프로그램을 시작합니다. ./gpt4all-installer-linux.run.

또한: Perplexity AI를 내 브라우저의 기본 검색 엔진으로 설정한 방법(그리고 그렇게 해야 하는 이유)

일단 설치되면 GUI와 기능 세트가 전반적으로 동일하기 때문에 어떤 플랫폼을 사용하는지는 중요하지 않습니다.

GPT4All을 사용하는 방법

모델 로드

AI, 특히 로컬 AI를 사용해 본 적이 있다면 GPT4All을 사용하면 편안함을 느낄 수 있습니다. GPT4All GUI는 매우 잘 구성되어 있어 처음부터 모든 기능을 활용할 수 있습니다.

또한: 나는 마법을 기대하면서 M1 Mac에서 로컬 AI를 테스트했고 대신 현실 확인을 받았습니다.

그러나 시작하기 전에 모델을 추가해야 합니다. 그렇게 하려면 왼쪽 사이드바에서 모델을 클릭한 다음 모델 추가를 클릭하세요.

결과 창에서 추가하려는 모델을 찾고 다운로드를 클릭합니다.

모델을 다운로드한 후 왼쪽 사이드바에서 채팅을 클릭한 다음 로드를 클릭하여 방금 다운로드한 LLM을 로드합니다. 이 시점에서 쿼리 보내기를 시작하여 결과의 ​​유효성을 확인하세요.

저는 한번도 사용해본 적이 없어서 GPT4All Falcon 모델을 다운로드했습니다. 내가 늘 하는 첫 번째 질문(“Linux란 무엇입니까?”)을 물었을 때, 그 대답은 나를 놀라게 했습니다.

나는 일반적으로 Linux에 관해 수많은 세부 정보가 포함된 장황한 답변을 받습니다. 그 중 일부는 정확하지 않습니다. 그런데 이번에는 두 문장의 답장을 받았습니다. 간결.

또한: 이 무료 MacOS 앱은 로컬 AI 모델을 최대한 활용하는 비결입니다.

“Linux가 데스크톱 사용에 적합한가요?”와 같은 후속 질문을 할 수도 있습니다. 답변:

“예, Linux는 데스크톱 사용에 적합한 선택입니다. Linux에는 광범위한 응용 프로그램이 있으며 개별 사용자의 특정 요구 사항을 충족하도록 사용자 정의할 수 있습니다.”

받아요, 싫어하는 사람들!

자신의 문서 추가

여러분이 즐길 수 있는 기능 중 하나는 자신의 문서를 로드하고 쿼리에 사용할 수 있는 기능입니다. 예를 들어, 기사, 논문, 논문 등의 책을 작성하고 이를 요약하고 결합하여 연구에 사용할 수 있기를 원할 수 있습니다. 그 방법은 다음과 같습니다.

또한: 이것은 내가 시도한 로컬 AI 중 가장 빠르며, 근접하지도 않습니다. 얻는 방법

이 작업을 수행하기 전에 추가하려는 모든 문서를 전용 폴더에 수집해야 합니다. 그런 다음 왼쪽 사이드바에서 로컬 문서를 클릭하세요. 결과 창에서 문서 컬렉션 추가를 클릭합니다.

이 기능을 가지고 아주 간단한 테스트를 해봤습니다. 나는 내 교육 이력서를 새 컬렉션에 추가하고 GPT4All Falcon 모델에 “Jack Wallen의 교육 자격증이 무엇입니까?”라고 물었습니다.

놀랍게도 그것은 실패했고 내 Linux 관련 경험만 언급했는데, 그 특정 이력서에서는 찾을 수 없었습니다. 나는 Falcon 모델을 제거하고 대신 라마 모델을 선택하기로 결정했습니다.

또한: 로컬 AI를 실행하는 유일한 에이전트 브라우저를 사용해 보았지만 한 가지 단점만 발견했습니다.

네. 그것은 효과가 있었고 아주 잘 작동했습니다. 교훈은…항상 수행할 작업에 따라 필요한 모델을 선택하십시오.

나의 새로운 로컬 AI?

나는 Ollama에서 물러나고 싶지 않지만 적어도 MacOS용으로 새로운 로컬 AI 앱을 갖게 될 것 같습니다. 개발자가 Qt 기반이 아닌 데스크톱 환경에 앱을 설치할 수 있도록 하기 전까지는 Linux에서 Alpaca를 계속 사용해야 합니다.

또한: Linux에서 내가 가장 좋아하는 두 가지 AI 앱과 이를 사용하여 더 많은 작업을 수행하는 방법

어서, 개발자들… 우리 Linux 사용자들을 든든하게 만들어주세요.