云霞育儿网

字节跳动申请语料合成及大语言模型训练相关专利 有助于提高模型训练效果

金融界2025年7月14日消息,国家知识产权局信息显示,北京字跳网络技术有限公司申请一项名为“语料合成方法、大语言模型的训练方法及相关产品”的专利,公开号CN120297286A,申请日期为2025年03月。

专利摘要显示,本说明书实施例公开了一种语料合成方法、大语言模型的训练方法及相关产品。所述语料合成方法包括:将原始语料作为根节点,对根节点进行逐层扩展,得到n级子节点;第i‑1级子节点表示通过大语言模型,对第i‑1级子节点的父节点执行目标处理任务得到的一种任务处理结果,第i级子节点表示通过大语言模型,对第i级子节点的父节点执行目标处理任务的逆操作得到的一种候选语料,1<i≤n;基于第n级子节点与根节点之间的相似度,从第n级子节点中确定第一节点;基于第一节点生成合成语料。由此得到的合成语料能够模拟原始语料的分布和复杂性,帮助解决原始语料存在的问题,进一步与原始语料一起用于大语言模型的训练,有助于提高模型训练效果。

天眼查资料显示,北京字跳网络技术有限公司,成立于2018年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本10000万美元。通过天眼查大数据分析,北京字跳网络技术有限公司共对外投资了17家企业,参与招投标项目65次,财产线索方面有商标信息5000条,专利信息5000条,此外企业还拥有行政许可30个。

本文源自:金融界