今晚,月之暗面宣布开源 Kimi K3,并同步放出了模型权重和技术报告。

Kimi K3 是目前月之暗面能力最强的模型,采用 2.8T MoE 架构,支持原生视觉理解,拥有 100 万 Token 上下文窗口。官方介绍,新架构让模型在相同算力下,智能水平提升了 2.5 倍。

除了模型本身,这次还把背后的技术栈一起开源,包括高性能 Attention Kernel、MoE 通信库,以及支撑大规模 Agent 运行的基础设施。

相比单独开源一个模型,这种做法的价值在于,开发者可以直接复用训练和推理过程中最核心的基础组件,自己训练、部署和优化大模型的门槛会继续下降。

Model weights: https://huggingface.co/moonshotai/Kimi-K3
Tech report: https://github.com/MoonshotAI/Kimi-K3/blob/master/k3_tech_report.pdf
Tech blog: https://www.kimi.com/blog/kimi-k3

cr. Kimi.ai

by @科技编辑 #科技圈大小事
 
 
Back to Top