阿里巴巴推出更高效的Qwen3-Next人工智能模型
發布時間:2025-09-12 06:29 作者:清風不語
【阿里巴巴推出更高效的Qwen3-Next人工智能模型】八六軟件園報道,阿里巴巴旗下通義千問發布了下一代基礎模型架構Qwen3-Next,并開源了基于該架構的Qwen3-Next-80B-A3B系列模型。該結構相比Qwen3的MoE模型結構,進行了以下核心改進:混合注意力機制、高稀疏度MoE結構、一系列訓練穩定友好的優化,以及提升推理效率的多token預測機制?;赒wen3-Next的模型結構,阿里訓練了Qwen3-Next-80B-A3B-Base模型,該模型擁有800億參數僅激活30億參數。該Base模型實現了與Qwen3-32B dense模型相近甚至略好的性能,而它的訓練成本(GPU hours) 僅為Qwen3-32B的十分之一不到,在32k以上的上下文下的推理吞吐則是Qwen3-32B的十倍以上,實現了極致的訓練和推理性價比。
本分分類: 7*24快訊
版權聲明:本文由八六軟件園用戶發布,不代表八六軟件園立場,轉載聯系作者并注明出處:http://m.ilovecl.com/post/43065.html

