适合企业技术团队、应用项目负责人和基础设施合作伙伴进行初步沟通。若仍处于验证阶段,可以提供需求范围、已有测量结果和不确定项,不必先给出看似精确的采购数量。

把需求拆成六组

  1. 项目用途:开发、测试还是业务运行;任务是否持续运行,哪些中断可以接受。
  2. 计算条件:CPU、内存、加速设备和运行环境的必要条件;明确「必须」和「可替代」。
  3. 存储条件:现有数据量、增长范围、读写模式、备份和恢复目标。
  4. 网络条件:访问方、连接方向、带宽估计、固定地址或隔离要求,以及需要谁审批。
  5. 时间安排:预计开始和结束时间、验证窗口、可能的扩容节点及迁出时间。
  6. 责任分工:设备、系统、应用、账号、日志、备份各由谁负责,异常时联系谁。

涉及敏感数据和访问权限时,先说明分类与限制,不在初次询问中提供真实业务数据或管理密码。

工作负载需求表样例

下表为虚构示例,项目与数字均为假设。也可以下载工作负载需求表直接填写。

栏目 填写示例
工作负载 推理服务,内部知识库问答
模型 开源大模型,约 70 亿参数,BF16 精度
并发与长度 高峰约 20 个并发请求,单次输入约 4000 Token
计算 至少 1 张显存 24GB 以上的加速卡;型号可替代
存储 模型文件约 15GB,知识库文档约 200GB,每日增量备份
网络 只允许公司办公网访问;需要固定出口地址
周期 约一年;前 2 周为验证期
中断容忍 工作日白天不可中断,夜间可安排维护
责任 我方负责应用与数据;设备、网络、系统待商定
待确认 是否需要第二台做冗余

「约 70 亿参数、BF16」对应的模型权重约 14GB,这类估算方法见私有化部署的显存估算。

部署形态怎么选

同样一个工作负载,可以用不同形态承载。形态定下来,才好核对资源。

形态 适合 需要自己负责的
整机(裸金属) 长期运行、对性能和隔离要求高 操作系统、驱动、运行环境与应用
虚拟机或容器 资源需求中等、希望灵活调整 运行环境与应用
托管推理服务 只想调用接口,不想管理机器 调用方式、数据与结果核验

形态不同,责任边界也不同。能否提供某种形态,需要按实际资源确认。

如何把需求变成可讨论的方案

描述当前环境和工作负载,并把已有监控或测试结果整理成区间。对无法测量的部分标注假设,不把预计值写成保证值。

随后核对可匹配资源、运行条件与合作周期。只有资源和责任都确认后,才进一步讨论报价、验证及实施安排。

需求里常漏掉的四点

  • 只报设备型号:同一型号在不同并发、上下文长度下能支撑的业务量差别很大,要同时说明工作负载。
  • 把峰值当常态:分开写平时用量和峰值,峰值持续多久也要写。
  • 忽略存储和网络:模型文件、日志和数据的存放与传输,常常比计算更早成为瓶颈。
  • 没有迁出计划:合作结束时数据怎么导出、导出需要多久,开始前就要想好。

常见问题

可以直接询问某个设备型号吗?

可以,但同时说明用途、数量、运行环境与替代条件。型号是否可用必须实际确认,不能根据「自建机房」推断。

没有准确用量怎么办?

提供预计范围、依据和增长假设。可以讨论如何验证,但验证资源、费用与安排需另行确认。

使用模型 API 是否意味着模型在此机房运行?

不是。模型接入渠道和基础设施是不同事项,第三方模型的实际部署位置不能从易AI拥有机房这一事实推断。

训练和推理可以写在一份需求里吗?

建议分开写。两者对显存、存储和使用周期的要求差别很大,详见训练、微调与推理的资源差异。

参考资料

  1. Google Cloud 架构框架:责任分工(新窗口)
  2. Hugging Face:大模型推理的显存与优化(新窗口)

官方资料用于核对产品或通用概念,不构成对易AI的授权、认证或背书。具体合作以双方确认的方案为准。

对应业务

基础设施能力

易AI 拥有自建机房,将按工作负载与周期确认资源匹配情况及双方分工。

咨询合作了解这项服务