在大语言模型中,Token 是文本处理的基本单元,类似于“文字块”,模型通过将文本分割成Token来理解和生成内容。举一个形象一点的例子,可以理解为 AI 处理文字时的“最小积木块”。就像搭乐高时,每块积木是基础单位一样,AI 会把你的话拆成一个个 Token 来理解和生成回答。
举个栗子🌰:
- 中文:“我喜欢猫” → 可能拆成 ["我", "喜欢", "猫"](3个Token)。
- 英文:“Hello!” → 拆成 ["Hello", "!"](2个Token)。
- 长单词:“strawberry” → 拆成 ["str", "aw", "berry"](3个Token)。
为什么需要拆成 Token?
因为 AI 只能看懂数字,每个 Token 会被转成唯一的数字 ID(比如“猫”→ 12345),然后 AI 通过这些数字学习文字之间的关系,比如“猫”后面常接“很可爱”。
Token 的三大特点:
- 不是简单的字或词:可能拆成长一点的词,也可能拆成短一点的字母组合。
- 数量决定“饭量”:Token 越多,AI 处理越慢、费用越高(比如提问+回答总 Token 数会计费)。
- 影响回答质量:问题太长(Token 太多)可能被截断,太短可能答不全。
省 Token 小技巧:
- 提问直奔主题,比如:“推荐上海3天行程,避开人多,预算3000元”。
- 少用客套话(比如“你好,请问……”),每个标点符号都算 Token。
简单来说,Token 就是 AI 眼里的“文字积木”,拆得越合理,AI 越懂你。