10秒1080P视往往只关键五毛钱：Sand.ai开源首先个千亿MoE 视往往模型，想把成本打下来|路由|调用|序列|大模型_网易订阅

8 月 5 日，秒P毛钱模型Sand.ai 发布并开源 MAGI-2 Preview。视往首先视往这是往只往模网易一款统一文章视往往生成模型：文本、视往往和文章往往进入同一个 Transformer，关键个千画面和声文章由同一套主干共同生成。开源模型总参数约 114B，亿M由调用序每次生成激活约 6B，型想下路这是把成本打全球首先个开源千亿级 MoE 视往往生成模型。2025 年 4 月，订阅Sand.ai 曾开源 24B 参数的秒P毛钱模型自回归视往往模型 MAGI-1。时隔一年多，视往首先视往这家公司再次把主力视往往生成模型带入开源体系，往只往模网易参数规模从 240 亿扩大至 1,关键个千140 亿。过去两年，开源开源视往往生成模型的亿M由调用序参数规模大多停在十几 B 以内，最大的也然而二三十 B。语言模型那边，开源模型早就进入了几千亿甚至万亿参数，靠的都是 MoE。虽然说两类模型面对的任务不一样，参数规模不能直接代表能力高低，但这组差距仍然验明正身，视往往模型扩展规模关键付出更高的方式算和通信代价。视往往模型的参数规模首先期停留在这一水平，也题受制于这两项成本。MAGI-2 Preview 将总参数推至 114B，尝试处理的正是这个状况。视往往模型为什么一直做不大？视往往的序列远比文本首先，模型生成视往往，需把画面切分成大量空间 patch。一帧画面对应一批 token，后续数秒的视往往再叠加文本与文章往往，最后形成的序列远首先于往往见不鲜语言任务。分辨率、帧率和生成时首先中的任何一项提高，都会进一步推高 token 数量。稠密模型中，每个 token 都关键经过全部参数。模型参数提高，单个 token 的方式算量也会同步上升；再乘上视往往的超首先序列，训练和推理成本很快变得难以承受。在语言模型中可行的参数扩张方式，移到视往往任务上，频仍先撞上成本与效率的限制。2026 年 3 月 OpenAI 停止运营 Sora，其背后很大一部分因素就在于：以当时的架构和推理成本，大规模商用几乎不具有经济上的可行性。语言模型缓解这一状况，依靠的是混合专家模型（Mixture of Experts，MoE）。模型保留一个庞大的专家池，每个 token 只激活其中一小部分，由此把整体容量和单次方式算拆开。模型可以后续提高参数，拓展能力上限，但每次推理不必调用全部权重。把这套方式移到视往往模型上，不易题出目前通信环节。传统专家并行（Expert Parallel）会先为每个 token 选出需调用的专家，再把 token 发送到专家所在的 GPU。激活的专家越多、序列越首先，设备之间需搬运的数据也越多；专家负载还会随着输入材料变化，导致不一样设备承担的方式算量不断波动。在文本序列中，这套机制尚可运转。但换成视往往的 token 规模，跨卡通信就很那么点儿抵消稀疏方式算节省下来的算力。视往往模型因此需的不只是 MoE 架构，还涵盖一套专业为首先序列和高往往路由设方式的分布式系统。114B 的容量，6B 的激活参数MAGI-2 Preview 的解法分两步，首先步是把专家切得更细。传统 MoE 常见为一个 token 的完善隐藏表示选项专家。MAGI-2 Preview 则先把 3,072 维隐藏表示拆成 12 个 256 维子空间，每个子空间称为一个 head。每个 head 具有 256 个专家，并从中选出 6 个。（来源：Sand.ai）由此方式算，一层网络涵盖 3,072 个相互独立的小专家，每个 token 在每层合方式激活 72 个。放到整个模型中，MAGI-2 Preview 具有约 114B 总参数，每次生成实际激活约 6B。作为参照，DeepSeek-V4-Pro-Preview 每层设置 384 个路由专家，每个 token 选项 6 个；Kimi K3 设置 896 个专家，每个 token 选项 16 个。大语言模型对“专家”的定义，以及照章性的维度和任务与视往往模型并不相同，数量不能直接换算成能力。两者比较更能验明正身的是路由粒度：MAGI-2 Preview 将一个 token 拆进多个低维子空间，让动作、外观、声文章和语义分别寻找适用于的专家，再把不一样专家的输出组合起来。Sand.ai 将这种结构称为 Ultra-fine-grained MoE。更细的专家分工扩大了能力组合空间，也为统一文章视往往生成给予了基础。MAGI-2 Preview 将文本、视往往和文章往往放在同一个上下文中处理。模型内部既有三种模态共享的专家，也有各自的专属专家。声文章、口型、表情、动作和镜头节奏从生成最初便相互意义，减小了先生成画面、再串联声文章模型所产生的接口和对齐状况。图丨文本、视往往和文章往往进入同一个 Transformer（来源：Sand.ai）专家提高到数千个后，传统调度方式很快触及效率上限。对此，Sand.ai 引入了 Head Parallel，变化通信与路由的顺序。传统 Expert Parallel 先路由、再通信；Head Parallel 先按照 head 分发 token 表示，再由设备在本地实现专家选项和方式算。由于分发的数据形状固定，题通信量只取决于输入表示，不再随激活专家数量线性增首先，设备之间的负载也更稳固。这套机制让 MAGI-2 Preview 能够把专家分类得更细，同时避免通信成本吞掉稀疏方式算带来的收益。3,072 个专家能够真正协同工作，前提正在于此。图丨分层 Head Parallel 架构（来源：Sand.ai）架构之外，还需一整套工程系统支撑。数千个小专家意味着高往往路由、反复的数据重排和大量小矩阵方式算。通用 MoE 很难在这种负载下保持足够高的硬件利用率。Sand.ai 为此开发了方式算内核库 MagiMoE，将路由、排序和专家方式算合并实施，减小中间结荚与显存搬运。训练部分由分布式改进器 MagiMuon 支撑。它采取 Muon 处理主体矩阵参数，用 AdamW 更新其余参数，并照章性大量细粒度专家重新设方式参数组织和跨设备方式算方式，使训练能够稳固扩展到千亿参数规模。专家分类越细，数据也越需支撑这种分工。Sand.ai 没有把“优质数据”便捷理解为反复过滤，团队希望尽可能保留复杂动作、少见主体、特殊镜头、非典型声文章和首先尾组合，再通过更准确的标注组织这些数据。这样能让模型更好地模型理解主体、动作、场景、镜头、时序，以及声文章、画面和文本之间的关系。模型、系统和数据由此连在一起。对于视往往生成，扩大参数已经不再是单纯的算法状况，模型架构、方式算内核、分布式训练和数据管线需同时变化。这套改造最后关键落到生成成本上。根据 Sand.ai 团队给予的内部测算，在 8 卡 H100、按照目前月租价格折算的需下，不一样推理配置生成一段 10 秒视往往的成本约 0.5 元（蒸馏后的模型）。按团队口径，折算到每秒，价格约为行业主流模型的十分之一。视往往生成常见按时首先方式价。单位成本如果减小一个数量级，批量生成素材、多版本往往代等过去不够经济的用法，才可能进入常规生产步骤。生成成效则有第三方榜单可以对照。在 Artificial Analysis 的图生视往往（image-to-video）榜单上，MAGI-2 Preview 排在第 6 位。一个激活参数仅 6B 的开源模型，生成成效已经进入目前视往往生成的首先梯队。（来源：Artificial Analysis）作为预览版，MAGI-2 Preview 与最不过尖模型仍有差距，Sand.ai 对此并不讳言；对一家资源远少于大厂的创业公司而言，这个结荚说明的是另一件事：把功夫花在架构和系统上，同样的卡可以换出更多的生成能力。按团队的说法，正式版会沿着这套已经跑通的架构后续扩大参数和数据规模，探索更首先时首先的视往往生成，进一步提高生成质量、文章画同步和首先时相同性，并持续减小单位生成成本。开源变化的是参与边界这次发布的另一个题，是开源本身。过去，千亿级视往往模型如何设方式架构、保持稳固训练，题细节大多留在闭源公司的内部系统中。而 MAGI-2 Preview 给予了一个可供拆解和验明正身的对象。探究机构可以观察细粒度专家如何分工，路由是否会随着人物、动作和声文章变化。推理框架与芯片厂商也获得了一种新的公开工作负载：数千个细粒度专家带来的高往往路由、数据重排和大量小矩阵方式算，需新的内核、通信对策和硬件适用配。更下游的变化发生在企业侧。影视、广告、游戏和电商企业掌握大量专有素材，其中一部分受到保密、版权和合规需限制，不适用于直接发送给外部 API。开放权重让模型进入企业自己的方式算环境成为可能，企业也可以围绕特定人物、商品和镜头语言后续训练。采取公司同样多了一个选项。调用闭源 API 时，成本、并发、接口能力和产品节奏题由模型厂商决定；有了开源模型，采取公司可以在外部 API、本地部署和定制模型之间重新方式算成本。114B 模型当然不是下载后便能容易运行的工具。部署依然需一定的硬件、通信、工程和运维门槛。它变化的是参与边界：过去题由头部模型公司掌握的千亿级视往往模型，如今最初进入探究机构、基础设施团队和行业企业的视野。语言模型已经给予了一条可供参照的馗。开源模型不需在每一项能力上都超过最强的闭源模型；只关键进入可用区间，企业就会最初比较部署成本、数据控制、定制空间和供应商风险，闭源厂商也会面临减小价格、开放更多能力的压力。视往往生成可能形成相近的格局。闭源模型后续在产品体验、服务稳固性和商业协助上保持好处，开源模型则给予部署和改造的空间。双方的竞争会从生成质量延伸到价格、数据和开发工具，性能天花板很难再单独决定胜负。过去两年，视往往模型比较的是画面是否逼真、动作是否自然。接下来，决定行业走向的状况会更多地出目前画面之外：一段视往往以什么成本生成，模型由谁控制，规模能否后续扩大。MAGI-2 Preview 不会立即改写视往往模型的排名。它带来的变化，是让这些状况首先次有了一个千亿参数级的公开样本，可以由更多人拆解、验明正身。参考材料：1.https://sand.ai/blog/magi-2-preview运营/排版：何晨龙注：封面/首先图由 AI 辅助生成