没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型

蚁工厂 2025-07-31 09:49:38

没有GPU也可以相对较快的跑本地大模型了。上海交大搞了一个专为本地运行的系列模型SmallThinker。其SmallThinker-21BA3B-Instruct版本性能和Qwen3-30BA3B相仿，CPU + 8G内存就能跑起来。在普通消费级CPU上的运行速度均超过 20 tokens/s。速度对比如图。 ​​​

0 阅读：28

猜你喜欢

蚁工厂

蚁工厂

感谢大家的关注

作者最新文章

1
苹果刚开源了 container 项目，可以使用它来创建和运行 Linux 容器
2
我在AI创造营 很想你！和我一起完成任务打卡，即有机会获得红包，还有机会赢取奖金
3
高考结束填报志愿可参考这个网站：“高等院校三千所 👨‍🎓 助力考生选大学”l
4
经常线下收款的小老板们可用：将微信与支付宝收款码融合为单张图片的项目github
5
一本数据结构教程《A First Course on Data Structur
6
懒猫微服老板推荐的一份计算机书籍推荐清单manateelazycat.githu
7
电子书《use the index，luke！》面向开发者的数据库性能指南链接：
8
mozilla炮轰meta起因应该是meta新发布的app：Meta AI，在这
9
[喵喵] ​​​
10
住在高智能的家里是什么体验家里没啥智能设备，之前住过的酒店里AI特色房里最实用的

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 婚姻 正能量

科技TOP

1
微信员工回应新iPhone提示空间不足早之前就有网友出现这个问题，要是还解决不了
2
OPPOFindX9的屏幕，由两条顶级产线共炼：第一条，OPPO独家定制行业
3
翻开王腾过去从业史，在好几家手机品牌都干过，在OPPO从2008年一直到2016
4
离职前，OPPO产品经理莫妮卡与客户网友的同框合影照。莫妮卡不仅漂亮清爽，还亲切
5
华为的前三号员工1.任正非（工号001）华为创始人，1987年集资2.1万
6
史上最薄iPhoneiPhoneAir现场真机实拍这外观给几分？​​​​
7
重磅！华为公布多颗新昇腾芯片9月18日，在华为全连接大会2025上，华为轮值
8
4499起步倒不算意外，但小米17Pro是4999起步倒是挺意外的。骁龙8
9
追觅官宣造车追觅：要造最快的车！这么卷的汽车市场还有选手入场，给追觅点赞[爱你
10
iPhone17，终于亮相。今年的颜色都还不错呀，造型就是跟16基本一样。屏

科技最新文章

1
真替友商捏把汗当小米17价格公布那一刻友商估计心都凉了一半，本以为4499起
2
4499起步倒不算意外，但小米17Pro是4999起步倒是挺意外的。骁龙8
3
小米17Pro背屏游戏壳iPhone实现不了了雷总给实现了！这波回忆杀太顶了。小
4
Magic8黑边更窄了据说Magic8的黑边区域也做到了1.1mm左右的宽度，
5
坏了，年底这波旗舰机大家都叫“影像大王”、“逆光之王”、“夜神”……到底谁更强？
6
旗舰都在用这些屏幕！认准他们准不差跟你们透个底！发现vivoX300系列屏幕
7
偷偷拍了几张荣耀Magic8的真机照！就这个色，这个正面，黑边情况和R角，你打几
8
朋友纠结了，问我荣耀Magic8Pro和小米17Pro怎么选，一图看懂配置差
9
不用开发布会了，荣耀Magic8Pro现在就差一个价格，具体的配置已经确定
10
不装了，直接摊牌，荣耀Magic8系列这是要掀桌子的节奏！没想到这次Magic8