蚂蚁集团发布3.0闪电模型，每个令牌激活51亿个

蚂蚁集团的AI组织InclusionAI发布了3.0闪电模型，该模型在总参数1240亿中仅激活每个令牌51亿个。FP8量化版的容量约为BF16版的一半，约为128GB。3.0闪电的BF16原版和FP8量化版已在Hugging Face和ModelScope上以MIT许可证发布，并可通过SGLang或vLLM进行分发。该模型采用专家混合（Mixture-of-Experts，MoE）结构，根据输入仅调用部分专家网络，从而减少计算量。基本上支持256K上下文窗口，并可扩展至1M令牌。在高频任务中，目标是实现每秒最多1000个令牌的峰值推理速度和低于100毫秒的首个令牌响应时间。根据官方文档，3.0闪电采用了KDA和MLA层以5:1的比例交叉排列的混合线性注意力结构。3.0闪电将于韩国时间7月23日凌晨1点至8月7日凌晨0点59分59秒免费提供，8月份将应用75%的折扣，正常价格为每百万输入令牌0.40元，每百万输出令牌1.20元。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。