适合企业技术团队、应用项目负责人和基础设施合作伙伴进行初步沟通。若仍处于验证阶段,可以提供需求范围、已有测量结果和不确定项,不必先给出看似精确的采购数量。
把需求拆成六组
- 项目用途:开发、测试还是业务运行;任务是否持续运行,哪些中断可以接受。
- 计算条件:CPU、内存、加速设备和运行环境的必要条件;明确「必须」和「可替代」。
- 存储条件:现有数据量、增长范围、读写模式、备份和恢复目标。
- 网络条件:访问方、连接方向、带宽估计、固定地址或隔离要求,以及需要谁审批。
- 时间安排:预计开始和结束时间、验证窗口、可能的扩容节点及迁出时间。
- 责任分工:设备、系统、应用、账号、日志、备份各由谁负责,异常时联系谁。
涉及敏感数据和访问权限时,先说明分类与限制,不在初次询问中提供真实业务数据或管理密码。
工作负载需求表样例
下表为虚构示例,项目与数字均为假设。也可以下载工作负载需求表直接填写。
| 栏目 | 填写示例 |
|---|---|
| 工作负载 | 推理服务,内部知识库问答 |
| 模型 | 开源大模型,约 70 亿参数,BF16 精度 |
| 并发与长度 | 高峰约 20 个并发请求,单次输入约 4000 Token |
| 计算 | 至少 1 张显存 24GB 以上的加速卡;型号可替代 |
| 存储 | 模型文件约 15GB,知识库文档约 200GB,每日增量备份 |
| 网络 | 只允许公司办公网访问;需要固定出口地址 |
| 周期 | 约一年;前 2 周为验证期 |
| 中断容忍 | 工作日白天不可中断,夜间可安排维护 |
| 责任 | 我方负责应用与数据;设备、网络、系统待商定 |
| 待确认 | 是否需要第二台做冗余 |
「约 70 亿参数、BF16」对应的模型权重约 14GB,这类估算方法见私有化部署的显存估算。
部署形态怎么选
同样一个工作负载,可以用不同形态承载。形态定下来,才好核对资源。
| 形态 | 适合 | 需要自己负责的 |
|---|---|---|
| 整机(裸金属) | 长期运行、对性能和隔离要求高 | 操作系统、驱动、运行环境与应用 |
| 虚拟机或容器 | 资源需求中等、希望灵活调整 | 运行环境与应用 |
| 托管推理服务 | 只想调用接口,不想管理机器 | 调用方式、数据与结果核验 |
形态不同,责任边界也不同。能否提供某种形态,需要按实际资源确认。
如何把需求变成可讨论的方案
描述当前环境和工作负载,并把已有监控或测试结果整理成区间。对无法测量的部分标注假设,不把预计值写成保证值。
随后核对可匹配资源、运行条件与合作周期。只有资源和责任都确认后,才进一步讨论报价、验证及实施安排。
需求里常漏掉的四点
- 只报设备型号:同一型号在不同并发、上下文长度下能支撑的业务量差别很大,要同时说明工作负载。
- 把峰值当常态:分开写平时用量和峰值,峰值持续多久也要写。
- 忽略存储和网络:模型文件、日志和数据的存放与传输,常常比计算更早成为瓶颈。
- 没有迁出计划:合作结束时数据怎么导出、导出需要多久,开始前就要想好。
常见问题
可以直接询问某个设备型号吗?
可以,但同时说明用途、数量、运行环境与替代条件。型号是否可用必须实际确认,不能根据「自建机房」推断。
没有准确用量怎么办?
提供预计范围、依据和增长假设。可以讨论如何验证,但验证资源、费用与安排需另行确认。
使用模型 API 是否意味着模型在此机房运行?
不是。模型接入渠道和基础设施是不同事项,第三方模型的实际部署位置不能从易AI拥有机房这一事实推断。
训练和推理可以写在一份需求里吗?
建议分开写。两者对显存、存储和使用周期的要求差别很大,详见训练、微调与推理的资源差异。
参考资料
官方资料用于核对产品或通用概念,不构成对易AI的授权、认证或背书。具体合作以双方确认的方案为准。