分词器 —— 决定你每个字花多少钱
[仙女棒unlock]同样一段话，为什么中文比英文更贵？分词器了解一下

分词器（Tokenizer）是把文字切成 Token 的“切菜刀”，切法直接决定成本和效果。
· 中文、英文、代码切法不同
· 切得越碎，Token 越多，越贵
· 好分词器能省真金白银

[看]展开讲讲：“人工智能”可以切成一个词，也可以切成“人工/智能”两个 Token。同样一句话，不同分词器算出的 Token 数不同，账单也不同。
中文曾是“吃亏语言”——早期分词器为英文优化，同样内容中文消耗 Token 更多。国产模型都在优化中文分词，这直接降低中文场景的调用成本。

🔺一句话：分词器，决定你每个字花多少钱

人工智能 大模型 算力大有 AI新手村