10 月 15 日,Meta 在 Hugging Face 放出 Muse Spark Open 的權重:總參數約 816B,每個 token 啟用約 42B,支援最長 1M tokens 的上下文,可以輸入文字、圖片、影片與音訊,輸出只有文字。
Hugging Face 的說明稱它是目前最強的美國開放權重模型。同一週 Meta 另外推出更強的 Muse Wonder,那一個沒有開放。對要決定下載、自架或換模型的團隊來說,要先看的是授權、硬體和代理任務的表現,再看排行榜名次。
它是什麼:256 個專家選 8 個的大模型
模型卡列出的規格是:62 層、隱藏維度 8192、128 個 query heads 與 16 個 key-value heads。每個 MoE 層有 256 個專家,路由器每個 token 選 8 個。專家佔總參數約 97%。
另外有一個 1.8B 參數的感知編碼器負責影像與影片,音訊每 80 毫秒一個 token。影片預設每秒取 2 幀,上限 96 幀。
推論時能開的推理強度有 low、medium、high、xhigh 四檔,預設是 xhigh,而且推理不能關掉。Meta 建議複雜的程式與代理任務用 high 或 xhigh。這代表延遲與 token 成本要照最高檔先估。
成績:代理類領先,綜合指數落後
Meta 在模型卡公布的 xhigh 成績中,代理類包括 MCP-Atlas 89.2、JobBench 61.8、OSWorld Verified 80.4、Toolathlon Verified 72.8。程式類有 Terminal-Bench 2.1 的 76.4,知識推理類有 GPQA Diamond 的 89.0。
綜合指標 Artificial Analysis 智慧指數是 39。依 benchmarklist.com 彙整的 Meta 發表數字,GLM 5.3 是 45、Kimi K3 是 44,兩者都用最高強度執行,Muse Spark Open 在 GDPval-AA、Terminal-Bench 2.1、DeepSWE 1.1、SciCode、GPQA Diamond 這幾項也低於它們。
這些數字大多是 Meta 自己公布的,其中一部分來自 Artificial Analysis 與 Scale AI。Qwen3.8 的指數我沒有找到可以引用的數值,所以這篇不比。
授權:免費下載,但有兩個條件
Muse Model License 允許使用、修改(包含微調)、蒸餾與再散布。條件有兩個。
第一,衍生模型要明確標示「Built with Muse Spark Open」。
第二,授權人所屬集團任何 12 個月內的總營收超過 2,000 萬美元,而且把模型當作 Model-as-a-Service 提供給別人,就必須通知 Meta 並另簽協議。內部使用與研究不在這一條裡。
附帶的使用政策禁止違法用途、惡意程式、騷擾與未取得執照的專業行為,也註明不適用於 18 歲以下使用者。Meta 對模型輸出不主張所有權。
硬體:自架的門檻在記憶體
模型卡的最低需求是 NVFP4 版至少 700 GB VRAM、BF16 版 2 TB。BF16 檢查點約 1.5 TB(Meta 部落格寫約 1.6 TB),NVFP4 檢查點約 530 GB。KV cache 在 BF16 下每個 token 約 250 KB,塞滿 1M tokens 約 266 GB。
Hugging Face 列的幾種跑法:
Meta 另外與 Apple 合作,讓它能在兩台 M5 Ultra 的 Mac Studio 上運行。Meta 部落格寫兩台各 512 GB,或四台各 256 GB,可以放下 NVFP4 版本。這是桌面級的測試環境,每秒 18 到 21 tokens 的速度,適合單人試用,不是多人服務的規格。
不想自架的話,Meta 列出 Baseten、Fireworks AI、Groq(限量預覽)、Modal、Nebius、OpenRouter、Together AI 可以託管,Amazon SageMaker AI、Google Cloud Model Garden 與 Microsoft Foundry Models 也已上架。
微調與加速:發布當天就有的工具
Hugging Face 附了一個 TRL 微調範例:用 8 個節點、共 64 張 H100,對注意力投影層做 LoRA(r=16、lora_alpha=32),專家層凍結。跑 500 步約 2 小時,每秒約 8,000 tokens,平均 token 準確率從 72% 升到 84%,loss 從 1.26 降到 0.57。這是範例資料上的訓練曲線,不代表任何下游任務的成績。
推論加速方面,Meta 部落格提到兩個草稿模型。SGLang 用的 DFlash V2 在 AMD MI355X 上單一請求吞吐量是 3.7 倍,16 個並行請求時是 2.9 倍,準確度不變,平均每步接受 6.4 個草稿 token。vLLM 用的 DSpark 一次最多提出 7 個 token。
AMD 的 FP8 版本在 GSM8K 上與 BF16 的準確度相同,頁面沒有給分數。後訓練可以走 TorchTitan、SGLang 加 Miles、NVIDIA NeMo AutoModel 與 Hugging Face TRL,Fireworks AI 與 Together AI 也提供託管的微調 API,Fireworks 支援最長 262,144 tokens 的序列。
該不該換:評估的順序
第一步看授權。自家產品內部使用、做研究,沒有營收門檻的問題。要把模型包成 API 或託管服務賣給客戶,而且集團營收超過 2,000 萬美元,就要先和 Meta 談協議,這一步沒談完,後面的測試都可能白做。
第二步看部署方式。有 Blackwell 或 H200 叢集的團隊可以自架,沒有的話,OpenRouter、Together AI、Fireworks AI 這幾個託管選項讓你不用先買硬體就能評估。只是想在自己的機器上試的人,512 GB 的 Mac Studio 可以跑 2-bit 量化版,要接受每秒約 18 tokens 的速度,以及量化可能讓品質下降。
第三步是用自己的任務比。Meta 公布的代理成績集中在 MCP-Atlas、Toolathlon、OSWorld 這類工具呼叫與電腦操作測試。如果你的流程是長鏈路的代理,抽 20 到 50 個固定任務,在現用模型和 Muse Spark Open 上各跑一次,記錄成功率、平均 token 數與延遲。推理強度預設是 xhigh 且關不掉,token 成本要用這一檔去算,不要用 low 的數字估。
名次放最後看。綜合指數 39 對 45 與 44,差距真實存在,但指數是十項左右評測的加權結果,你的工作大概只用得到其中一兩項。
Meta 為什麼放這個、不放那個
Meta 首席 AI 官 Alexandr Wang 說,基於安全與能力,通常不會開源最強的模型。報導引述他把免費釋出形容為漏斗的上端:開發者先在本機試,之後再向 Meta 買更多算力。Meta 同時在建立模型與算力的付費雲端業務。
這解釋了授權為什麼對服務商設了營收門檻,也解釋了 Muse Wonder 為什麼不在清單上。對一般團隊的意思是:這個模型可以放心拿來評估與自用,但不要把產品的核心依賴建立在 Meta 之後一定會持續釋出同等級的權重上。
還不確定的地方
Meta 公布的比較數字,獨立機構還沒有全部重現。模型卡也承認某些量化版本的品質會下降,多步推理可能出錯,並且沒有在所有訓練語言上評估過。對繁體中文的表現,模型卡沒有單獨的數字。
Hugging Face 頁面列的參數是 822B,模型卡寫 816B,差距可能來自感知編碼器等部分的計法,目前沒有官方說明。