建德观趣事的文章

关于评论区说到的MLX Serve+ddalcu版模型，我需要补充几个技术细节：

2026-09-25 01:12

关于评论区说到的MLX Serve+ddalcu版模型，我需要补充几个技术细节：

把M5 Ultra Mac Studio作为AI服务器真正投入使用，光靠Quic

2026-09-24 18:19

把M5 Ultra Mac Studio作为AI服务器真正投入使用，光靠Quic

把M5 Ultra Mac Studio作为AI服务器真正投入使用，光靠Quick Start上那一行看起来很漂亮很简单的命令是远远不够的：demo会告诉你某个机器可以跑某个模型，但这个模型真正要投入生产，你需要研究考虑的细节真的很多。这些天折腾了很多MLX VLM的东西，和大家分享一下：首先，无论你运行什么模型，都

2026-09-24 18:30

把M5 Ultra Mac Studio作为AI服务器真正投入使用，光靠Quick Start上那一行看起来很漂亮很简单的命令是远远不够的：demo会告诉你某个机器可以跑某个模型，但这个模型真正要投入生产，你需要研究考虑的细节真的很多。这些天折腾了很多MLX VLM的东西，和大家分享一下：首先，无论你运行什么模型，都

卧槽……"GLM-5.3-Flash-MLX-4bit-MTP（169.3 GB

2026-09-24 09:14

卧槽……"GLM-5.3-Flash-MLX-4bit-MTP（169.3 GB

卧槽…… "GLM-5.3-Flash-MLX-4bit-MTP（169.3 GB）被真实删除了。这是我的操作失误，不是产品缺陷，对不起。" 等等，该不会是因为它看到硬盘里有自己之外的其他模型，所以动了杀心吧？好地雷哦（bushi）

2026-09-24 18:58

卧槽…… "GLM-5.3-Flash-MLX-4bit-MTP（169.3 GB）被真实删除了。这是我的操作失误，不是产品缺陷，对不起。" 等等，该不会是因为它看到硬盘里有自己之外的其他模型，所以动了杀心吧？好地雷哦（bushi）

另外，4并发真的不是什么很高的要求，我一个会话里开三个子Agent随手就是3并发

2026-09-24 09:14

另外，4并发真的不是什么很高的要求，我一个会话里开三个子Agent随手就是3并发

另外，4并发真的不是什么很高的要求，我一个会话里开三个子Agent随手就是3并发了，还有一个会话在另一个项目里跑，我单人就能凑够4并发对于一整个工作室的局域网AI服务器来说……4并发真的是最低要求了[泪奔]

2026-09-24 12:42

另外，4并发真的不是什么很高的要求，我一个会话里开三个子Agent随手就是3并发了，还有一个会话在另一个项目里跑，我单人就能凑够4并发对于一整个工作室的局域网AI服务器来说……4并发真的是最低要求了[泪奔]

这一条就来详细聊一下昨天晚上很多人关心的，本地LLM吞吐的问题，我觉得关于这个，

2026-09-22 18:10

这一条就来详细聊一下昨天晚上很多人关心的，本地LLM吞吐的问题，我觉得关于这个，

这一条就来详细聊一下昨天晚上很多人关心的，本地LLM吞吐的问题，我觉得关于这个，昨天视频评论区里很多评论都没说到点子上：【本地运行AI，最大的问题是计算资源/服务容量，这不是单纯看解码速度的】首先介绍一下测试方法：我使用一个真实的Kimi Code Session，裁切到32K、64K和128K上下文，使用O

2026-09-22 19:16

这一条就来详细聊一下昨天晚上很多人关心的，本地LLM吞吐的问题，我觉得关于这个，昨天视频评论区里很多评论都没说到点子上：【本地运行AI，最大的问题是计算资源/服务容量，这不是单纯看解码速度的】首先介绍一下测试方法：我使用一个真实的Kimi Code Session，裁切到32K、64K和128K上下文，使用O