每次看 B 站一堆“本地部署 AI 大模型”的软广我都想笑：

没有保密需求的，你为什么不直接用 API 满血版？而一定要本地搞一个残血版，电费都回不来

有保密需求的，也不会用桌面级的芯片去跑，有钱的上 H100、昇腾 等计算卡，没钱的搞 4090 或者 5090 的魔改卡

从手机、汽车、电脑三个领域的情况来看，只有汽车的自动驾驶是明确无误的本地端推理需求，但也只是小模型

另外几个行业的需求，云端大模型 API 接入的方式可以解决 99.999% 的问题