刚开源了Checkpoint Engine 项目
github.com/MoonshotAI/checkpoint-engine
Checkpoint-engine 是一个简单的中间件,用于更新大语言模型推理引擎中的模型权重——这是强化学习中的一个关键步骤。
基于该项目可以在不中断服务、不重启整个模型的情况下,直接修改正在运行中的大模型推理服务所使用的权重参数,更新kimi k2的参数只需要20秒。
AI生活指南AI创造营
刚开源了Checkpoint Engine 项目
github.com/MoonshotAI/checkpoint-engine
Checkpoint-engine 是一个简单的中间件,用于更新大语言模型推理引擎中的模型权重——这是强化学习中的一个关键步骤。
基于该项目可以在不中断服务、不重启整个模型的情况下,直接修改正在运行中的大模型推理服务所使用的权重参数,更新kimi k2的参数只需要20秒。
AI生活指南AI创造营
猜你喜欢
【1评论】【4点赞】
【39评论】【37点赞】
【2评论】【1点赞】
【11评论】【4点赞】
【4评论】【4点赞】
【15评论】【10点赞】
作者最新文章
热门分类
科技TOP
科技最新文章