在 AI 大模型加速落地的关键阶段,国产推理性能迎来重大突破。近日,云算力平台 SophNet 重磅推出 DeepSeek-V3 API 极速版。实测数据显示,其推理速度突破 100 Tokens/s,较市场平均水平提升 5 倍,成功刷新国产推理速度上限。
国产自研突破速度瓶颈,SophNet 树立行业新高度
随着 AI 应用场景对低延迟、高速度的需求愈发强烈,SophNet 凭借自身强大的自研技术实力,再次突破行业瓶颈。此次发布的 DeepSeek-V3 API 极速版,基于 DeepSeek V3 0324 版本构建,采用非量化 671B 参数模型,全面强化代码处理与数学运算能力,实现 “毫秒级响应”。
据了解,在实际应用场景中,该版本的响应速度优势显著,已在医疗问诊、金融风控、AI 直播等领域实现流畅应用。
核心优势:国产智算卡 SC11 FP300 全力赋能
SophNet 此次实现速度飞跃的核心,得益于自研智算卡 SC11 FP300 的强力支持。与依赖进口 GPU 的传统方案不同,SC11 FP300 依托全链路自主可控的 TPU 架构,具备更高效、更具性价比的推理能力:
- 配备 256GB 高带宽 LPDDR5X 内存,搭载原生 FP8 算力单元,精准满足大模型计算需求;
- 拥有 1.1TB/s 内存带宽,结合 PCIe Gen5 高速互联技术,大幅提升数据流通效率;
- 通过硬件与算法的协同优化,加速 Transformer、MoE 等主流大模型关键运算;
- 自研深度算子与专用计算引擎,显著提升稀疏计算与专家路由效率。
多元场景释放价值,推动 AI 普惠更进一步
高 TPS 性能不仅是技术上的重大突破,更意味着实际应用场景效率的全面提升:
- 医疗 AI:问诊响应速度提升 5 倍,显著改善患者体验;
- 金融投顾:实时解读市场行情,动态调整投资策略;
- 直播互动:智能伴聊与多语言翻译实现秒级回复;
- 对话系统:企业客服服务零卡顿、零延迟。
SophNet 表示,未来将持续优化云算力服务,助力更多企业与开发者以低成本、高效率的方式接入顶尖 AI 模型,推动 AI 计算的普惠化落地。
关于 SophNet
SophNet(网址:sophnet.com)是算能科技打造的国产云算力平台。该平台基于自研 TPU 算力,致力于提供更快、更稳、更省的一站式 AI 模型服务,支持主流大模型 API 接入与智能体零代码创建,助力企业实现 AI 应用降本增效。
本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。:https://www.kj.zqbgyp.com/12091.html