최상위 AI 모델을 실행한다는 것은 일반적으로 값비싼 클라우드 서버를 임대하거나 또 다른 구독 비용을 지불하는 것을 의미합니다. 메타는 그것을 바꾸고 싶어합니다. 이 회사는 지금까지 미국에서 출시된 제품 중 가장 유능한 오픈 웨이트 모델이라고 설명하는 Muse Spark Open용 웨이트를 출시했으며 데스크톱에서 실행할 수 있습니다.
하지만 문제가 있습니다. Apple의 새로운 M5 Ultra 칩으로 구동되는 Mac Studio 두 대가 필요합니다. Mark Zuckerberg는 X에 대한 소식을 공유하면서 이 모델이 John Ternus 및 Apple과의 협력 덕분에 새로운 Mac Studio에서 훌륭하게 실행된다고 말했습니다. Ternus는 “책상에서 바로 Muse Spark Open의 구경 모델을 실행하고 이를 효율적으로 확장할 수 있다는 것이 놀랍습니다.”라고 적으며 매우 기뻐했습니다.
Muse Spark Open이 특별한 이유는 무엇입니까?
Muse Spark Open에는 총 8,160억 개의 매개변수가 포함되어 있지만 한 번에 활성화되는 매개변수는 420억 개뿐입니다. 100만 개의 토큰 컨텍스트 창을 통해 엄청난 양의 정보를 추적할 수 있으며 텍스트, 이미지, 비디오 및 오디오를 즉시 사용할 수 있습니다.
Meta는 코딩 및 자율 작업을 염두에 두고 모델을 설계했기 때문에 복잡한 코드 작성이나 어려운 논리 문제 해결과 같이 여러 단계에 걸쳐 수행되는 대규모 작업을 수행할 수 있습니다.
두 개의 Mac Studio에서 어떻게 그렇게 큰 모델을 실행할 수 있습니까?
그 비결은 애플의 통합 메모리에 있다. 각 M5 Ultra Mac Studio의 GPU는 최대 512GB의 메모리를 활용할 수 있으므로 모델을 두 대의 시스템으로 분할하는 것이 효과적입니다. 1.2TB/s의 메모리 대역폭을 갖춘 이 듀오는 테라바이트 메모리를 갖춘 하나의 거대한 컴퓨터로 변합니다.
Meta는 실제 프로젝트에서 설정을 테스트했습니다. Muse Code를 중심으로 모델은 버그를 제거하고 새로운 기능을 출시했으며 오픈 소스 Mastodon 앱인 Ice Cubes의 전체 빌드를 처리했습니다. DaVinci Resolve를 처음부터 끝까지 실행하여 클립을 한 번에 한 프레임씩 샅샅이 뒤지고 세로 화면에 맞게 눈에 띄는 장면을 잘라냈습니다.
그것은 당신에게 무엇을 의미합니까?
두 개의 Mac Studio를 소유하고 있지 않은 경우 Groq 및 OpenRouter와 같은 플랫폼을 통해 Muse Spark Open을 사용해 볼 수 있으며 개발자는 Hugging Face에서 가중치를 다운로드할 수 있습니다.
관련 보도:
관련 정보는 아래 링크에서 확인하세요