的冲击。全周,道指涨0.27%,标普500指数跌1%,纳指跌1.64%。
显示,DeepSeek-R1是一款具有先进推理能力的开源模型。与直接提供答案不同,像DeepSeek-R1这样的推理模型会对一个问题进行多次推理,通过思维链、共识和方法来生成最佳答案。
英伟达称,执行这一系列推理过程称为测试时间扩展。DeepSeek-R1是此扩展定律的完美示例,证明了加速计算对于代理AI推理的需求至关重要。
由于模型可以反复“思考”问题,因此它们会创建更多输出Token和更长的生成周期,模型质量会不断提高。大量的测试时计算对于实现实时推理和来自DeepSeek-R1等推理模型的更高质量响应至关重要,这需要更大规模的推理部署。R1在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性,同时还提供了高推理效率。
英伟达表示,为了帮助开发者安全地实验这些功能并构建自己的专业代理,拥有6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在线。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上实现每秒3872个Token的处理能力。
英伟达称,开发人员可以使用应用程序编程接口进行测试和试验,该接口预计很快将作为可下载的NIM微服务提供,作为NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM微服务通过支持行业标准API来简化部署。企业可以在其首选的加速计算基础设施上运行NIM微服务,以最大化安全性和数据隐私。借助NVIDIA AI Foundry和NVIDIA NeMo软件,企业还将能够创建定制化的DeepSeek-R1 NIM微服务,用于专业AI代理。