登录注册
chatgpt的成本测算
无名小韭44690202
2023-02-11 17:47:53

访问阶段的算力才是真正每天都发生的,这块的成本是衡量chatgpt最主要投入的关键指标。

我们以一天的算力耗损,所需电费来给大家客观描述一下,计算假设:英伟达A100系列GPU性能计算,英伟达DGX A100服务器,单机有8个A100GPU,AI算力性能为5PetaFLOP/s,单机最大功率6.5kw,售价19.9万美元;

标准机柜:19英寸、42U,单个DGXA100服务器尺寸为6U,标准机柜下可放7个DGXA100服务器,单个标准机柜的成本为140万美元、56个A100GPU、算力性能为35PetaFLOP/s、最大功率45.5kw

ChatGPT单日算力成本:

计算假设:1月份当前ChatGPT每天约1亿次咨询,每人提问10个问题,每个问题平均30个字,单个字大约在A100 GPU上消耗350ms。

一天共需要消耗2,916,700个A100GPU小时(单颗英伟达A100系列GPU需要计算292万个小时),则对应每天需要2,916,700/24=121,529个英伟达A100GPU同时计算,才能够满足ChatGPT当前的访问量。

初始投入:以上文中提及的A100标准机柜,共需要121,529/56=2,170个机柜,为满足ChatGPT当前千万用户咨询量的初始投入成本在2,170*140=30.38亿美元。

每日电费:2,170个机柜*45.5kw*24h=2,369,640 kwh/天,按照上海工业工业电均价1.3元计算,每天电费成本2,369,640*1.3=308.1万元,这是目前Chatgpt正常运行每天的成本,还没算折旧摊销(美国电费更高)。

声明:文章观点来自网友,仅为作者个人研究意见,不代表韭研公社观点及立场,站内所有文章均不构成投资建议,请投资者注意风险,独立审慎决策。
S
汉王科技
工分
0.47
转发
收藏
投诉
复制链接
分享到微信
有用 0
打赏作者
无用
真知无价,用钱说话
0个人打赏
同时转发
暂无数据