千问这个外卖活动真的成功,还真在微信群里看到服务崩了的现场,用这位网友的原话说:千问这样显得我很舔狗。 AI和传统云服务不同,AI点外卖背后是调用大语言模型进行推理,通过工具调用和API接口的方式实现点奶茶的操作,每个request都需要让模型跑几百上千甚至更多token来实现最终结果。 国内本身算力规模就不如美国,遇上这种高并发的推理需求,卡顿也是很正常的事情。。。

千问这个外卖活动真的成功,还真在微信群里看到服务崩了的现场,用这位网友的原话说:千问这样显得我很舔狗。 AI和传统云服务不同,AI点外卖背后是调用大语言模型进行推理,通过工具调用和API接口的方式实现点奶茶的操作,每个request都需要让模型跑几百上千甚至更多token来实现最终结果。 国内本身算力规模就不如美国,遇上这种高并发的推理需求,卡顿也是很正常的事情。。。
