包含内容

硬件要求与任务类型密切相关:运行现成模型与训练模型,预算完全不在一个量级。

沟通服务内容

配置测算

按具体任务确定加速卡、显存容量、处理器与内存。

本地部署

在贵司环境中安装并配置模型,全程不调用外部服务。

数据存储

训练数据的快速读取、版本管理与备份。

网络隔离

划分不通外网的网段、做权限分离并记录访问日志。

监控

加速卡负载、温度与任务队列。

算力租用

当任务是一次性的或用量难以预估时,可选择无需固定资产投入的方式。

工作如何开展

部署现成模型需几天;用于训练的基础设施含到货周期需数周。

01

明确需求

用哪个模型、规模多大、并发请求多少、是否需要训练。

02

测算

给出配置方案及依据,并对比租用与自购。

03

部署

安装、配置,并与贵司系统集成。

04

交接

交付文档、部署监控并培训管理员。

运行现成模型与训练模型,硬件要求相差数十倍。常规文本类任务,一台配中端加速卡的服务器就够。从零训练需要集群与另一个量级的预算,而绝大多数情况下并不必要。

常见问题

如果数据不敏感就不必:租用算力更便宜也更快。只有当数据因监管要求或保密需要不能离开内网时,才需要自有设备。

由模型规模决定,关键参数是显存容量,模型必须放得下。常规文本任务通常中端卡即可,不必上最贵的。

用于文本摘要、文档检索、分类与撰写回复,通常够用。涉及复杂推理时,开源模型不及大型云端模型。采购前应当用贵司自己的任务实测。

我们来搭建AI基础设施

请说明任务类型与数据方面的要求。我们会测算配置,并与租用方案做对比。