大模型的Token是什么？

Token（词元）可以解读为AI理解人类语言的"乐高积木"教一个完全不懂中文的婴儿说话，肯定不会一开始就念一整篇文章，而是先指着东西说"苹…果"。AI学习语言也是同样的道理，它无法直接理解我们输入的整段文字，需要先把句子"打碎"

举个例子I like apples.可以拆分成：["I", "like", "apples","."］这几个Token

我喜欢苹果。可以拆分成：["我","喜欢","苹果","。"］这几个Token

这个过程就叫Token化。经过这样处理，复杂的文本就变成了一堆AI可以理解和处理的小积木。1个token=1-2个汉字＝0.75个英文单词

日常编写提示词时我们应该怎么做呢？1⃣向AI提问时，尽量做到言简意赅、没有废话，就能节省Token2⃣AI可能会忘记最初聊过的事情。重要的信息最好在对话中适时地重复或强调3⃣空格也算token，大家在写提示词的时候可以注意下噢～