Meta와 Apple, 데스크톱에서 8160억 파라미터 AI 구동에 도전

Meta와 Apple이 대규모 AI 모델을 로컬 컴퓨터에서 실행하는 실험을 진행했다는 소식입니다.

제공된 자료에 따르면 Meta의 오픈 웨이트 모델 Muse Spark Open은 전체 8160억 개 파라미터를 갖췄으며, 토큰마다 약 420억 개의 파라미터를 활성화하는 구조입니다. 클라우드 서버에 의존하지 않고 데스크톱에서 실행하는 것이 목표입니다.


1. 두 대의 Mac Studio로 구동

실험 구성은 고성능 Mac Studio 두 대를 Thunderbolt 5로 연결하고, Apple의 MLX 프레임워크를 활용하는 방식입니다.

- 각 Mac에 512GB 메모리 탑재
- 압축된 모델 가중치가 약 493GB 메모리 사용
- 두 대의 Mac에서 초당 약 25토큰 생성 속도 측정

모델은 텍스트, 이미지, 오디오, 비디오를 처리하며 코딩, 추론, AI 에이전트 작업을 지원한다고 소개됐습니다.

2. 모델을 직접 내려받아 실행

자료에 따르면 모델 가중치는 Hugging Face에서 내려받을 수 있고, 클라우드 API 방식으로도 사용할 수 있습니다.

다만 라이선스에는 연간 AI API 매출이 2,000만 달러를 넘는 재판매 사업자에 대한 추가 조건이 포함된다고 합니다.

3. 일반 PC에서도 가능할까?

이번 실험은 로컬 AI의 가능성을 보여주지만, 일반 가정용 PC에서 쉽게 따라 할 수 있는 구성은 아닙니다.

두 대의 Mac Studio를 갖추는 데 4만 달러 이상이 들 수 있다고 소개됐습니다. 따라서 고성능 하드웨어와 메모리 비용이 큰 진입 장벽입니다.

4. 로컬 AI의 의미

대형 AI 모델을 로컬에서 실행하면 데이터가 외부 서버로 전송되는 상황을 줄이고, 클라우드 연결 없이도 작업할 수 있는 가능성이 있습니다.

하지만 실제 개인정보 보호 수준은 모델 실행 방식, 저장·로그 처리, 사용 중인 앱과 네트워크 설정에 따라 달라집니다. 로컬 실행만으로 모든 데이터가 자동으로 안전해지는 것은 아닙니다.

핵심은 AI를 로컬에서 실행할 수 있는 규모가 커지고 있다는 점입니다. 다만 현재로서는 고가의 전문적인 데스크톱 구성이 필요한 실험에 가깝습니다.

※ 본문은 제공된 자료를 바탕으로 요약했습니다. 모델 명칭, 사양, 성능 수치 및 라이선스 조건은 공식 자료에서 별도로 확인할 필요가 있습니다.

출처:
Meta AI — Muse Spark Open
https://research.meta.ai/blog/muse-spark-open

인공지능 정보:
https://t.me/aiinnovationstudio

#MetaAI #Apple #MacStudio #로컬AI #오픈웨이트 #AI모델 #인공지능