点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:真实测评第二弹!DeepSeek-R1 API版性能测评
首页> 科技频道> 综合新闻 > 正文

真实测评第二弹!DeepSeek-R1 API版性能测评

来源:光明网2025-03-05 10:08

  在上期《DeepSeek-R1服务性能评测网页版》分析中,各平台在用户体验与功能表现方面存在一定差异。本轮评测则采用中国软件评测中心人工智能部自研大模型服务性能工具,选取六家主流平台的API版本,通过多时段多轮次测试开展系统性评估。

  评测采用标准化代码题作为测试用例,在多个典型时段进行重复性验证,采用核心性能指标、综合稳定性指标两大评估体系:

  1.核心性能指标:涵盖首Token延迟时间、推理过程耗时、回复响应时间、总处理时长等基础指标,以及基于时间计算的推理速度(tokens/sec)、回复速度(tokens/sec)和平均总速度(tokens/sec)等衍生指标;

  2.综合稳定性指标:通过上述核心性能指标以及总体标准差和极差两项统计量,系统评估各平台在不同时段的性能波动情况。

  一、核心性能指标分析

  (一)首Token延迟时间

  为分析各平台响应速度,我们采取多时段抽样评测方法,测试各平台首Token延迟时间(从触发请求指令起至模型产生首个有效Token的时间间隔),本次测试结果显示大部分平台表现出良好的稳定性,首Token延迟时间均稳定在2秒以内,用户体验未出现显著延迟感知。其中,硅基流动平台在14:00时段出现明显波动,波动频次较多,首Token延迟时间达到异常峰值,形成与其他平台的显著差异。

真实测评第二弹!DeepSeek-R1 API版性能测评

  表1:首Token延迟时间(单位:秒)

  (二)推理过程耗时和全流程总处理时长

  鉴于DeepSeek-R1平台深度推理的技术特性,为分析各平台在时间表现上差异性,本次评测对其推理过程耗时和全流程总处理时长分别进行了单独测量。百度智能云、火山引擎、腾讯云、讯飞开放平台等在时间表现上差异较小。硅基流动平台在推理时间和总处理时间耗时均较高,与其他平台存在一定差距;阿里云百炼平台则呈现出明显的时段性波动特征,上午时段各项耗时指标均稳定在基准值范围内,但下午时段整体耗时出现一定幅度的波动。

真实测评第二弹!DeepSeek-R1 API版性能测评

  图1:推理与全流程总处理时间(单位:秒)

  (三)推理速度

  分析大模型对输入内容进行理解、分析、推理等核心处理环节效率,通过推理速度[ 单位时间内处理的Token量来量化模型处理复杂任务的计算效率]反映其底层架构的优化程度和并行计算能力。在用户体验层面,较快的推理速度能够缩短复杂问题的响应时间,提升交互过程中模型的“即时智能感”,从而增强用户对系统专业性的认知。从评测数据来看,火山引擎平台在该项指标上表现出显著优势,其推理速度均值达到29tokens/s。相较之下,讯飞开放平台的推理速度均值为1.2tokens/s,与领先平台存在一定性能差距。

真实测评第二弹!DeepSeek-R1 API版性能测评

  图2:推理速度(单位:token/s)

  (四)回复速度

  采用回复速度[ 从接收输入到输出完整回复的时间效率。]衡量模型响应用户请求效率,通过单位时间内生成的Token量来量化交互流畅度。火山引擎平台在该项指标上领先于其他平台,其回复速度均值达到32tokens/s,交互感受自然流畅。在稳定性方面,硅基流动平台的回复速度数据呈现明显波动特征,与其他平台相比存在较大离散度。

真实测评第二弹!DeepSeek-R1 API版性能测评

  图3:回复速度(单位:token/s)

  (五)总平均速度

  采用总平均速度衡量各平台平均反应速度,火山引擎反应速度最快,百度智能云、阿里云、腾讯云等平均速度差距较小,表现较好,讯飞可能限于算力问题,总平均速度表现较差。

真实测评第二弹!DeepSeek-R1 API版性能测评

  图4:总平均速度(单位:token/s)

  二、综合稳定性指标

  在综合评估环节,采用熵权法[ 根据各指标数值变化对整体的影响,计算指标的熵值,进而确定权重。]进行指标权重分配,通过计算各指标数据的离散程度确定客观权重,权重分配见表2。

真实测评第二弹!DeepSeek-R1 API版性能测评

  表2:各参数熵权法权重分配

  权重分配后的性能综合评估(见图5)及各指标均值统计(见表3):火山引擎平台在核心性能维度保持行业领先水平,其综合表现呈现全面均衡特征,在深度推理时间与总处理时长两项关键指标上,优势显著,均值水平优于其他平台。硅基流动平台在多时段测试中表现出较高的离散程度,其性能指标波动幅度在稳定性评估中处于相对高位。

真实测评第二弹!DeepSeek-R1 API版性能测评

  图5:各平台API性能图

真实测评第二弹!DeepSeek-R1 API版性能测评

  表3:各指标平均数据图

  三、多平台API大模型评测结果分析

  综合来看,火山引擎平台凭借在深度推理效率与系统稳定性方面的显著优势,成为本次评测中综合性能最均衡的选择,该平台在权重分配中获得最高综合得分(99.52),在首Token延迟时间、推理过程耗时等基础指标,以及推理速度等衍生指标上,均展现出卓越的表现,其深度推理耗时均值位于行业平均水平的前列,展现出底层架构的高效优化能力。百度智能云(73.21)、腾讯云(72.73)、讯飞开放平台(66.27)等平台在一般性的内容创作、知识问答等场景中,能够较好地满足需求,表现出了稳定的性能。硅基流动可能存在限于用户量大算力不足情况,稳定性欠佳,容易出现响应延迟以及结果波动的情况。

  本次测评为企业及开发者应用提供客观参考,分析平台性能优势,帮助用户根据实际需求选择最适配的平台,增强行业竞争力与用户体验,进一步助力技术和行业应用落地。(中国软件评测中心)

[ 责编:战钊 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见冰岛总统托马斯多蒂尔

  • 习近平会见莫桑比克总理莱维

独家策划

推荐阅读
不久前的国庆中秋假期,人形机器人俨然成为多地商场、工厂、医院甚至众多家庭的“明星”。这款名为Galbot的人形机器人来自银河通用,已正式“入职”该智慧工厂,承担自动质检、零部件分拣与搬运等复杂任务。
2025-10-14 09:57
近日,工业和信息化部、国家标准化管理委员会印发了《云计算综合标准化体系建设指南(2025版)》(以下简称《指南》)。
2025-10-14 09:56
最长主跨跨径、最高主塔塔高、最大锚碇基础、最大主缆规模、最多车道数量……狮子洋大桥集齐了双层悬索桥的多个世界第一。
2025-10-14 09:55
13日18时00分,我国在酒泉卫星发射中心使用长征二号丁运载火箭,成功将试验三十一号卫星发射升空,卫星顺利进入预定轨道,发射任务获得圆满成功。
2025-10-14 09:53
日前从2025龙骨坡遗址学术研讨会获悉,龙骨坡遗址第5轮发掘获得的粪化石中,有几枚被确认为剑齿虎粪化石。
2025-10-14 09:51
十多位国内外医学“大咖”在接受“新华深读”栏目采访时表示:结节检出率升高,核心原因是检查设备精度的显著提升,让过去难以发现的微小结节“无所遁形”。随着医学影像技术的进步和体检普及度的提升,甲状腺、乳腺及肺结节的检出率呈上升趋势。
2025-10-13 10:26
现有将聚合物转化为金属或陶瓷的技术,往往会导致材料多孔、强度不足,而且部件会出现严重收缩,导致变形。这种3D打印工艺实现了从“制造零件”到“生长功能”的跨越,有望为航空航天、生物医疗、机器人等领域带来新的变革。
2025-10-13 10:24
一个国际科研团队在9日出版的《天体物理学杂志》上发表研究称,他们首次拍摄到两个黑洞相互环绕运行的无线电影像。由芬兰图尔库大学天文学家领衔的研究团队,瞄准一个异常明亮的星系核心中心区域名为OJ287的类星体,成功拍摄到其中两个黑洞相互绕行的珍贵画面。
2025-10-13 10:23
作为深远海风电产业链的“链主”企业,运达能源科技集团股份有限公司(以下简称“运达能源科技集团”)见证并引领了中国风电从无到有、从弱到强的全过程。2024年,中国风电新增装机容量达79.8GW,占全球新增装机总量的68.2%,这意味着,全球每新增3台风机,就有近2台落地中国。
2025-10-13 10:22
10月14日,一场赏心悦目的木星伴月将在凌晨上演,为初秋天宇增添一抹诗意。木星是一颗气态行星,也是太阳系中个头最大的行星,虽然距离地球比较远,但由于个头大,从地球上看起来非常明亮。
2025-10-13 10:19
团队进一步提出了跨平台系统设计方法论,包含二维-CMOS电路协同设计、二维-CMOS跨平台接口设计等,并将这一系统集成框架命名为“长缨(CY-01)”架构。据了解,团队下一步计划建立实验基地,与相关机构合作,建立自主主导的工程化项目,并计划用3至5年时间将项目集成到兆量级水平。
2025-10-13 10:18
日前,位于浙江杭州的国家重大科技基础设施——超重力离心模拟与实验装置的核心设备正式启用。
2025-10-11 09:44
近日,中国科学院广州地球化学研究所与国际合作团队在国际学术期刊《自然·地球科学》发表论文指出,海洋硫酸盐浓度的变化能够改变甲烷的消耗方式。
2025-10-11 09:43
著名科幻作家刘慈欣在小说《诗云》中曾描写过“微型白洞”,让很多人浮想联翩。有趣的是,白洞和黑洞在数学上是同一个“解”——它们的质量、角动量、电荷都相同,唯一的区别是时间反了过来。
2025-10-11 09:40
“金钉子”是定义和区别全球不同年代所形成的地层的“锚点”,用来划分全球地质年代界线。
2025-10-11 09:38
植物生长不仅依赖阳光雨露,更与土壤中“看不见的世界”密不可分——这里生活着大量微生物,它们附着在根系上,帮助植物吸收养分、抵抗逆境。
2025-10-11 09:32
5年来,坚持把创新摆在国家发展全局的突出位置,我国科技事业取得历史性成就、发生历史性变革,国家综合创新能力排名由2020年的第14位提升至2024年的第10位。
2025-10-10 10:16
在人工智能(AI)与神经科学的强强联合下,美国加州大学旧金山分校与艾伦研究所团队联合开发出一种名为CellTransformer的AI模型,助力绘制出目前最精细的小鼠脑图,共包含1300个脑区及亚区。
2025-10-10 10:13
美国麻省理工学院研究团队结合模拟计算与机器学习,研制出一种新型3D打印铝合金,不仅耐高温,强度更是传统铸造铝合金的5倍,且比未经机器学习辅助设计的合金强度高出50%。
2025-10-10 10:10
连日来,北方气温骤降,不少秋冬季独有的养生方式和健康说法随之而来,有些操作或说法听起来科学健康,但权威专家表示,如果开展不当反而会带来健康风险。
2025-10-10 10:07
加载更多