DeepSeek发布新版本模型:优化推理效率,API降

互联网资讯
澎湃新闻 互联网资讯 发布于 昨天 22:15
本条新闻为单纯事实消息的时事新闻,转载自澎湃新闻,版权归源站所有,如有侵权,烦请联系我们


DeepSeek发布新版本模型,调用API成本降低超50%。

9月29日,DeepSeek正式发布DeepSeek-V3.2-Exp模型,这是一个实验性(Experimental)的版本。

值得注意的是,此前有不少科技博主发现,DeepSeek-V3.2新模型已上传至其HuggingFace官方页面,随后被删除,此后DeepSeek正式公告新版本的推出。

据DeepSeek介绍,作为迈向新一代架构的中间步骤,V3.2-Exp在V3.1-Terminus的基础上引入DeepSeek Sparse Attention(一种稀疏注意力机制),针对长文本的训练和推理效率进行探索性优化和验证。目前,官方App、网页端、小程序均已同步更新为DeepSeek-V3.2-Exp,同时API大幅度降价。

据了解,DeepSeek Sparse Attention(DSA)首次实现细粒度稀疏注意力机制,在几乎不影响模型输出效果的前提下,实现长文本训练和推理效率的大幅提升。为严谨评估引入稀疏注意力带来的影响,把DeepSeek-V3.2-Exp的训练设置与V3.1-Terminus进行严格的对齐。在各领域的公开评测集上,DeepSeek-V3.2-Exp的表现与V3.1-Terminus基本持平。

在新模型的研究过程中,需要设计和实现很多新的GPU算子,使用高级语言TileLang进行快速原型开发,以支持更深入的探索。在最后阶段,以TileLang作为精度基线,逐步使用底层语言实现更高效的版本。此次开源的主要算子包含TileLang与 CUDA两种版本。

DeepSeek表示,得益于新模型服务成本的大幅降低,官方API价格也相应下调,开发者调用DeepSeek API的成本将降低50%以上。从价格来看,输入缓存命中从0.5元降至0.2元/百万tokens,缓存未命中从4元降至2元/百万tokens,输出由12元降至3元/百万tokens。


除了DeepSeek,国内另一大模型厂商智谱的新一代旗舰模型GLM-4.6也即将发布,目前,在Z.ai官网可以看到,GLM-4.5标识为上一代旗舰模型。

此前9月18日,梁文锋带着DeepSeek-R1的研究,登上最新一期国际顶级期刊《自然》(Nature)封面。

今年1月份,国产大模型公司深度求索(DeepSeek)在预印本平台arxiv公布论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》,创始人梁文锋位于署名之列。

《自然》杂志指出,如此总结DeepSeek-R1带来的进步:如果训练出的大模型能够规划解决问题所需的步骤,那么它们往往能够更好地解决问题。这种“推理”与人类处理更复杂问题的方式类似,但这对人工智能有极大挑战,需要人工干预来添加标签和注释。

DeepSeek的研究人员揭示了他们如何能够在极少的人工输入下训练一个模型,并使其进行推理。DeepSeek-R1模型采用强化学习进行训练。在这种学习中,模型正确解答数学问题时会获得高分奖励,答错则会受到惩罚。

点赞 0 收藏(0)  分享
0个评论
  • 消灭零评论
本版公告

欢迎访问资讯板块,我们将在本版块为您带来最新最全最热的资讯,包含互联网、科技、数码、电脑、科普、体育、娱乐、国内等新闻。所有新闻都为单纯事实消息的时事新闻,转载均注明了来源,版权归源站所有,如有侵权,烦请联系我们

更多【互联网】资讯...
字节出手!豆包输入法iOS版内测,AI让打字效率 0
国庆前放大招!DeepSeek-V3.2-Exp发布并开源,A 0
独家!DeepSeek最新模型上线,全新注意力机制基 0
数贸会Vlog|3D 打印鞋、泳池清洁机器人……这 0
扶优打劣,直播电商新规重塑行业生态 0
深度求索正式发布DeepSeek-V3.2-Exp模型 0
美团首次上线夜间无人机配送服务 0
DeepSeek发布新版本模型:优化推理效率,API降 0
更长的赛程、更急的“抢跑”,第17个“双11”无 0
DeepSeek-V3.2-Exp API价格官宣大幅下调 0