您的位置首页 >半导体 >

全国首个昇腾 950DT 词元出海算力集群正式启用详情

全国首个昇腾 950DT 词元出海算力集群已经正式投入使用,该集群依托昇腾 950DT 算力卡搭建,主打词元推理业务,专门面向出海大模型场景提供算力支撑,能够承接大模型词元生成、海外用户推理请求,解决大模型出海过程里面临的算力调度、延迟、合规部署等痛点,是国内面向出海赛道落地的首套基于昇腾 950DT 的词元专用算力集群。

搭建这套算力集群,一方面是适配当下大模型出海业务快速增长的需求,很多 AI 企业出海需要稳定可控的国产化算力底座,昇腾 950DT 具备高词元吞吐能力,适合大模型推理场景;另一方面,集群做了针对性的网络与调度优化,兼顾国内算力管控和海外访问链路需求,填补昇腾 950DT 在词元出海推理集群落地的空白。

集群核心能力

  • 基于昇腾 950DT 芯片,针对词元推理做专项优化,提升 token 吞吐
  • 支持大模型出海推理负载,可承接海外区域用户访问流量
  • 内置算力调度模块,支持弹性扩缩容,按需分配词元算力资源
  • 配套监控运维体系,实时查看词元生成速率、算力利用率

适用主体与使用流程

  1. 适用主体:做大模型出海业务的 AI 企业、模型服务商、AI 应用开发团队
  2. 接入流程

① 提交业务资质、出海业务方案完成对接预审

② 对接方完成集群接口调试,联调词元推理服务

③ 小流量灰度测试,验证海外访问延迟、稳定性

④ 正式切换业务流量,使用昇腾 950DT 词元出海算力集群承载推理

这套集群落地,标志着昇腾 950DT 在出海词元推理场景从方案走向实际投产,给国产化算力支撑大模型出海提供了新的落地样板。

【常见问题】

问题 1:全国首个昇腾 950DT 词元出海算力集群是什么?

回答 1:全国首个昇腾 950DT 词元出海算力集群是国内第一套以昇腾 950DT 为算力硬件、专门服务大模型词元推理出海业务的算力集群,用来承载海外侧大模型 token 生成推理请求。

问题 2:昇腾 950DT 词元出海算力集群主要用来做什么?

回答 2:昇腾 950DT 词元出海算力集群主要承载大模型出海场景下的词元推理任务,依靠昇腾 950DT 高吞吐特性,降低海外用户访问大模型的响应延迟,为出海 AI 业务提供国产化算力底座。

问题 3:想要接入昇腾 950DT 词元出海算力集群需要满足什么条件?

回答 3:想要接入昇腾 950DT 词元出海算力集群,需要具备合规的出海业务资质,提交对应的大模型业务方案,通过预审后完成接口联调、灰度测试,验证稳定后即可接入使用。

【数据来源】

暂未查询到公开官宣稿件,后续信息以官方发布为准

备注:待官宣后补充:[YYYY-MM-DD](全国首个昇腾 950DT 词元出海算力集群正式启用)官方发布渠道

【免责声明】

本文内容基于该算力集群启用消息整理,昇腾 950DT 词元出海算力集群的接入规则、算力规格、服务资费、业务准入要求等全部以运营方官方正式公告为准,业务出海相关合规风险由使用方自行承担。

今日大家都在搜的词: