大模型服务 · 万卡异构训推

从异构集群到智能体优化,
训推一体的全栈大模型服务

依托达索时代算力集群与万卡级异构调度,提供从多元异构芯片、可信数据、模型协同、智能体开发到行业应用的全栈平台——芯片不挑、答案更准、说话更省、响应更快,把 AI 能力真正落进生产。

+18~35%芯片总体效率 · GPU 异构
+20~50%复杂任务准确率 · 模型准确率优化
1/3~1/4思维链 Token 消耗 · 更省钱
1.5–2.5×SLO 内有效产能 · 跑得更快
以领先大模型构建

覆盖文本、图像、视频、代码与语音的顶级模型

主流开源与国产大模型开箱即用,统一 API 接入,按需调度到最优芯片——文本对话、代码生成、图像视频创作、语音合成一站可得。

文本DeepSeek
DeepSeek-V3.2

超强推理与通用对话,开源旗舰 MoE 大模型

文本阿里通义
Qwen3-235B

2350 亿参数旗舰,中文能力标杆

文本智谱 AI
GLM-4.7

长上下文与工具调用见长

文本月之暗面
Kimi-k2

超长上下文智能体模型

文本Meta
Llama 4

国际开源生态旗舰

代码阿里通义
Qwen3-Coder

仓库级代码生成与补全

代码DeepSeek
DeepSeek-Coder-V2

多语言编程与代码推理

图像Black Forest Labs
FLUX.1

顶级文生图质量与可控性

图像阿里通义
通义万相 Wan2.5

中文语义理解出色的生图模型

文本DeepSeek
DeepSeek-V3.2

超强推理与通用对话,开源旗舰 MoE 大模型

文本阿里通义
Qwen3-235B

2350 亿参数旗舰,中文能力标杆

文本智谱 AI
GLM-4.7

长上下文与工具调用见长

文本月之暗面
Kimi-k2

超长上下文智能体模型

文本Meta
Llama 4

国际开源生态旗舰

代码阿里通义
Qwen3-Coder

仓库级代码生成与补全

代码DeepSeek
DeepSeek-Coder-V2

多语言编程与代码推理

图像Black Forest Labs
FLUX.1

顶级文生图质量与可控性

图像阿里通义
通义万相 Wan2.5

中文语义理解出色的生图模型

图像阿里通义
Qwen-Image

图像编辑与海报级文字渲染

视频阿里通义
Wan2.2-Video

开源文生视频 · 图生视频

视频快手
可灵 Kling 2.0

影视级视频生成

视频腾讯混元
HunyuanVideo

开源高质量视频生成

语音阿里通义
CosyVoice 3

拟真语音合成 · 声音克隆

语音OpenAI
Whisper-v3

高精度多语言语音识别

语音阶跃星辰
Step-Audio 2

端到端语音对话大模型

多模态阿里通义
Qwen3-VL

图文视频理解旗舰

多模态智谱 AI
GLM-4.7V

视觉理解与 GUI 智能体

图像阿里通义
Qwen-Image

图像编辑与海报级文字渲染

视频阿里通义
Wan2.2-Video

开源文生视频 · 图生视频

视频快手
可灵 Kling 2.0

影视级视频生成

视频腾讯混元
HunyuanVideo

开源高质量视频生成

语音阿里通义
CosyVoice 3

拟真语音合成 · 声音克隆

语音OpenAI
Whisper-v3

高精度多语言语音识别

语音阶跃星辰
Step-Audio 2

端到端语音对话大模型

多模态阿里通义
Qwen3-VL

图文视频理解旗舰

多模态智谱 AI
GLM-4.7V

视觉理解与 GUI 智能体

POWERHUB · AI 超级管线

把大模型真正用起来,要解决四件事

不是堆更多的卡,而是从芯片、模型到智能体层层提效——芯片不挑、答案更准、说话更省、响应更快。四件事叠在一起,同一份业务的算力账单会成倍下降。

POWERHUB · 五大独有能力
01MAX-MAD
超级大脑

模拟多人辩论与协作,让多个智能体协同完成复杂推理,决策效果显著优于单个 SOTA 模型。

→ 答得更准
02MiniCoT
更短思维链

模型自压缩框架 + 压缩感知混合训练框架,在不损失准确率的前提下缩短思维链。

→ 更省 Token
03Mix
异构芯片训推统一优化

统一优化异构芯片训练与推理全链条,实现训练参数与推理参数的自适应优化。

→ 不挑芯片
04Edge
低延迟端侧多模态

按行业需求训练新能力,构建不影响精度、极低延迟的端侧多模态大模型。

→ 更快 · 更省
05Cord
新一代自进化智能体

Cross-Instance Learning + 独有辩论机制,兼顾多智能体协作的效率与准确性。

→ 答得更准
价值一GPU 异构

多品牌异构芯片统一调度,模型部署不受限制

芯片供应不稳、型号分散,是企业上 AI 的第一道坎。我们把不同品牌与代际的算力池化为统一逻辑资源池:任意主流模型自动调度到最优芯片组合上训练与推理,存量卡持续复用,采购不被单一厂商锁死。

一套系统管住所有品牌的卡

打破 NVIDIA / 华为昇腾 / 海光等硬件壁垒,统一抽象层 + 跨平台编译,自动对接 PTX 或 CANN,业务侧无需为换卡改一行代码。

快卡不等慢卡,没有"木桶效应"

静态分析与动态反馈结合的两阶段代价模型,按每种芯片的实时吞吐动态分配任务量,混合集群不再被最慢的那张卡拖住。

不同芯片之间也能高速对话

TCCL 异构 AI 芯片统一通信库:AllReduce / AllGather / Broadcast 等原语跨 NCCL、HCCL、OpenMPI 协议统一,协议无关、接近裸金属性能。

训练和推理互相喂经验,越跑越快

训练策略、推理部署与算子级优化打通,跨平台评测、瓶颈归因与反馈回写形成闭环,参数自适应寻优而不是靠人调。

M 个模型
DeepSeek
Qwen
GLM
Kimi
Llama
FLUX
N 种芯片
NVIDIA GPU
昇腾 NPU
海光 DCU
寒武纪
沐曦
摩尔线程
单一逻辑算力池 · TCCL 统一通信 任意模型 → 最优芯片组合 · 接近裸金属性能
+18~35%芯片总体效率提升
+30~40%训练速度提升
-15~35%推理延迟下降
+30~40%能效提升
混合训练与算力编排GPU / NPU / DCU 统一编排
深度算子分析器5000+ 算子跨平台适配
训练策略 + 推理部署参数训练与推理统一自优化
异构评测反馈基准跨平台评测 · 瓶颈归因回写
与同类产品的差别:市面产品多偏重单个环节或单一功能的优化,缺少端到端评测与全局优化闭环;国产异构芯片存在代际差距,训推成本显著高于国外大模型——效率提升本身就是成本竞争力。
价值二模型准确率优化

多个大模型协作互评,生成最优最准答案

复杂问题上,单个模型容易一条道走到黑。我们让多个大模型像专家组一样并行作答、互相质询与评分,再汇总出最优解——用几张消费级显卡,拿到旗舰模型级别的答案质量。

天互 MAX-MAD · 多智能体辩论弱模型超越强模型

模拟多人辩论与协作的过程,让多个智能体在复杂推理任务中协同工作,获得比单个 SOTA 模型更优的决策结果;同时把中小模型的性能发挥到极致,在算力受限的场景下尤其适用。

86.67%AIME2024 数学推理:4 个 Qwen3-32B 智能体经 Free-MAD 高效辩论后的准确率
20~50%准确率提升幅度,同期 ModelFusion / Hermes MoA 仅提升 <10%
2–4 张消费级 4090 显卡即可部署 32B 级模型,无需专业集群
-50%+Token 消耗下降(Free-MAD 单轮辩论机制),辩论不等于烧钱
技术来源:清华大学团队人工智能与智能体成果,《麻省理工科技评论》专题报道。金融分析、医疗诊断、舆情分析等实测均更优。
Cord · 自进化智能体对标 Claude Code / Codex / Hermes

从失败中默默自动学习,找出反复出现的共性问题,自动迭代系统运行参数——智能体上线之后不再是"一次性交付",而是每跑一轮都在变好。

改进循环时间
4 小时→39 分钟
任务平均成功率
33%→70%
Cross-Instance Learning + 独有辩论机制,在 Tau2 基准上兼顾多智能体协作的效率与准确性,成功率远高于现有 SOTA 水平。
价值三Token 效率优化

精简推理流程,同样水平的答案,减少 2/3 Token 用量

推理成本是今天大模型最大的一笔开支,而其中很大一部分花在了模型冗长的"内心独白"上。MiniCoT 把思维链压缩到原来的 1/3–1/4,准确率保持不变——没有生成的 Token,成本为零。这是唯一能绕过算力优化、直接把账单砍掉的杠杆。

超短思维链:精度不变,Token 降为原来的 1/3~1/4

推理成本大幅下降的同时推理速度显著提升——同一个问题,模型少绕弯路直接给结论。

两级核心技术路径

① 模型自压缩框架:让模型学会自己判断"这一步该不该想";② 压缩感知混合训练框架:训练阶段就把简洁推理的习惯固化进权重。

模型塑形:量化 · 剪枝 · 蒸馏

PPO 强化学习统一指挥剪枝率与量化位宽,逐层精度自适应;硬件感知联合压缩实现 75%+ 压缩率、1.5× 加速,精度损失控制在 1% 以内。

Edge:把推理搬到设备侧

按行业需求定制、不影响精度的低延迟端侧多模态大模型,常见请求在本地解决,中心算力只处理真正需要它的任务。

准确率与 TOKEN 对比 · DeepSeek-R1-Distill-Qwen-7B
基准原模型 准确率 / TokenMiniCoT 准确率 / TokenToken 降幅
GSM8K91.8 / 1,75092.0 / 520-70%
MATH50092.8 / 4,30093.1 / 2,250-48%
AMC2382.5 / 6,40082.7 / 3,500-45%
AIME2454.0 / 11,80053.8 / 7,700-35%
四项数学推理基准上准确率持平或略升,Token 消耗大幅下降。行业背景:推理成本已是基模公司最大的成本开支,头部厂商数万张卡中的大部分用于对外提供推理 Token。
价值四SLO 策略优化

同样的输出,回得更快、占用的卡更少

面向大规模异构 GPU 集群的模型服务与推理优化:供应商提供规模化算力,我们提供模型服务与推理优化,通过联合 Benchmark 把机器能力转化为可度量、可分级、可销售的 Token 产品。

什么是 SLO

它不是一句"我们很快",而是一组能被考核的数字:首字多久蹦出来(TTFT)、之后每秒吐多少字(TPOT)、多大比例的请求做到了(成功率)。写成合同里的一行,就是双方共同的验收标准。

客户侧始终是统一的 API 与同一条 SLO 线;底层则依据硬件画像自动切换引擎、精度、并行与调度策略——不同品牌的卡各自跑到最好,业务侧感受不到差别。

举个例子:一条实时客服的 SLO
95% 的提问,首个字在 500 毫秒内出现
回答过程中每秒至少产出 30 个字,不卡顿
高峰期请求成功率不低于 99.5%

达标的输出才计入产能。跑满显卡却让 20% 的用户等了两秒——在这套口径里不算业绩。

01 · 统一体验,底层差异化优化
客户只见统一 API 与同一条 SLO;平台按硬件画像自动选择引擎、精度、并行与调度。
  • Token 服务层统一 API · 配额 · 计量
  • 主流模型层Qwen · DeepSeek · GLM · Kimi
  • 推理策略层PD 分离 · KV Cache · 推测解码
  • 异构算力层多品牌 · 多规格 · 多拓扑
PROFILE → SELECT → CONFIG → VERIFY | 24–72h API 可用 · 3–7 个工作日性能化上线
02 · 策略按场景动态组合
引擎实时感知队列、接受率与资源压力,按「目标 × 请求 × 运行状态」组合优化手段。
  • 低延迟交互Decode 优先 · 小批量调度
  • 长输出MTP / EAGLE-3 推测解码
  • 长上下文PD 分离 · Prefix / KV Cache
  • 高并发批处理Continuous Batching · 量化
推测解码仅在模型与接受率条件满足时启用
03 · 验收口径:SLO Goodput
达标输出 Token ÷ 累计 GPU·second——显卡跑满不算产能,达标的答案才算。
1.5–2.5×Goodput 提升目标
30–50%单位 Token 成本下降
75–85%SLO 内有效 GPU 时间
<10%显存碎片率控制
冻结基线与公式 · 稳态运行 ≥24h · 报告 P50 / P95 / P99
模型库 · TOKEN 计价

领先的开源模型,随时投入生产

浏览并对比持续扩充的模型库——文本、代码、推理、图像到视频,按量计费、即接即用。

DeepSeek-V4-Flash

deepseek-ai · DeepSeek文本284B

轻量旗舰,通用对话与日常调用的高性价比首选。

输入
¥1
元 / 百万 Token
输出
¥2
元 / 百万 Token

MiniMax-M2.5

MiniMaxAI · MiniMax长上下文229B

百万级上下文,超长文档理解与检索增强。

输入
¥2.1
元 / 百万 Token
输出
¥8.4
元 / 百万 Token

Qwen3.7-Plus

Qwen · 阿里通义长上下文

1M 上下文与均衡成本,企业 RAG 常用。

输入
¥2
元 / 百万 Token
输出
¥9
元 / 百万 Token

Nemotron 3 Ultra

nvidia · NVIDIA文本

面向企业级推理与智能体的 NVIDIA 开源旗舰。

输入
¥4
元 / 百万 Token
输出
¥24
元 / 百万 Token

GLM-5.2

zai-org · 智谱 AI文本753B

工具调用与结构化输出见长,智能体常用底座。

输入
¥6
元 / 百万 Token
输出
¥28
元 / 百万 Token

Kimi-K2.7-Code

moonshotai · 月之暗面代码1000B

仓库级代码生成与智能体执行,研发提效首选。

输入
¥6.5
元 / 百万 Token
输出
¥27
元 / 百万 Token

Llama 3.3 70B

Meta · Llama文本70B

国际开源生态标杆,输入输出同价,成本可预期。

输入
¥7
元 / 百万 Token
输出
¥7
元 / 百万 Token

DeepSeek-V4-Pro

deepseek-ai · DeepSeek推理1600B

强推理旗舰,数学、科研与高价值决策类任务。

输入
¥12
元 / 百万 Token
输出
¥24
元 / 百万 Token

Qwen3.8-2.4T-A95B

Qwen · 阿里通义推理2.4T

超大参数旗舰,中文能力与复杂推理天花板。

输入
¥17
元 / 百万 Token
输出
¥42
元 / 百万 Token

Kimi K3

moonshotai · 月之暗面推理

顶配智能体模型,超长上下文与多步自主任务。

输入
¥20
元 / 百万 Token
输出
¥101
元 / 百万 Token

Nano Banana

google · 谷歌图像

爆款图像生成与编辑,人物一致性表现出色。

单价
¥0.26
元 / 张

Seedance 2.0

bytedance · 字节跳动视频

高质量文生视频 · 图生视频,影视级动态表现。

单价
¥1.1
元 / 条
五大平台 · 全栈整体方案

领先的 AI 芯片层-数据层-模型层-智能体-应用层

五层平台高度协同,构成从国产异构算力到行业智能体的完整闭环——每一层都可独立交付,也可整体落地。

异构算力池多品牌 · 多规格
→
模型服务Qwen · DeepSeek · GLM · Kimi
→
SLO 策略延迟 · 吞吐 · 成本
→
Token 产品API · 计量 · 分级
PLATFORM 01

多元异构训推平台

万卡异构

MixStack 异构混合训练与算力编排框架 + PowerHub 训推统一优化:打破硬件孤岛、统一资源池化,跨 NVIDIA、昇腾、海光等芯片实现混合调度与训练,感知-决策-执行-反馈闭环持续寻优。

  • TCCL 异构 AI 芯片统一通信库
  • 统一抽象层 · 跨平台编译,自动对接 PTX / CANN
  • 负载动态平衡,消除异构协同木桶效应
  • 硬件感知联合压缩:75%+ 压缩 · 1.5× 加速,精度损失 <1%
PLATFORM 02

天枢 · 可信数据空间

数据底座

可信数据空间、高质量数据集构建平台、大模型训推数据湖仓与天玑隐私计算平台,支撑国家关键基础设施级的数据流通与治理。

  • 主导系统与安全国家/国际标准 6 项
  • 支撑数字人民币 · 多边央行货币桥
  • 服务国际最大区块链平台超级账本
  • 数据不出域 · 全程可信存证
PLATFORM 03

天互 · 多模态大模型协同 MAX-MAD

弱模型超越强模型

多智能体对抗(MAD)技术让多个开源模型组合协同:4 个国产开源模型的组合在数学推理等基准上超越国际 SOTA 闭源模型,被《麻省理工科技评论》专题报道。

  • AIME2024:4×Qwen3-235B 达 90%(单模型 73.33%)
  • 准确率提升 15~20%,Token 消耗降低 50%+
  • 32B 模型仅需 2–4 张消费级显卡部署
  • 金融分析 · 医疗诊断 · 舆情分析实测更优
PLATFORM 04

天互 · 智能体开发平台与企业中台

SOTA 多智能体

主 Agent 统一指挥、子 Agent 并行池执行的多智能体架构,配合企业级智能体中台:访问控制 + AutoConnect 业务系统连接器,实现对企业既有 IT 资产的安全集成与 AI 增强。

  • SQuAD、SemEval 等 5 项国际竞赛第一
  • 镜像 / MCP / Skill 全生命周期管理
  • 并行池硬性控制,防止 Token 爆炸
  • 大小模型协同测评超过同类产品
PLATFORM 05

天迹 · 工业智能体与天衍协作平台

对标 Palantir

高度可定制、可订阅的通用智能体平台:30 类企业智能体深入能源、通信、化工等高壁垒行业,服务多家世界 500 强与行业龙头。

  • 大模型特殊作业安全审核 · 智慧工地
  • 金融与供应链世界模型 · 舆情 ESG
  • 灵枢智脑高精度检索 · 自动化科研
  • AI4S 科学大模型:勘探训练效率 +30%、RTM 提速 15~20×
推理服务 · TOKEN 产品
01更快变现

模型上线后快速形成可售 API,24–72 小时 API 可用,3–7 个工作日性能化上线。

02更高产能

同等硬件基线下提升 SLO Goodput,产出更多有效 Token。

03更好经营

按 SLO 分级与计量,支撑差异化定价与精细化运营。

双方联合价值:机器规模化供给模型快速上线SLO 产能优化Token 产品销售
行业落地

已在能源、通信、化工等关键行业规模落地

服务多家世界 500 强与行业龙头企业,从央企一线生产系统到科学计算前沿。

大模型特殊作业安全审核 智慧工地 · 软硬件协同 国家电网 · 碳足迹可信提升 国家管网 · 质能网六大场景 金融与供应链世界模型 · 舆情风控 ESG 灵枢智脑高精度检索 · 自动化科研 煤炭地质总局 · AI 地质勘探 低空空管 · 深部矿产勘探