AI 是怎么读懂一段话的？
关键词：Token · 模型处理文本的小单位
一句话说清模型不会直接读「字」，而是先把文本切成一个个 Token，再把它们变成数字来计算。
打个比方
像把一整块乐高拆成标准积木。模型只认识积木的编号，再用编号去拼出意思。
记住这一点
计费、长度限制，都是按 Token 算的。
举个例子
「我喜欢学 AI」可能被切成：我 / 喜欢 / 学 / AI 英文单词 unbelievable 可能被切成：un / believ / able 同样的意思，中文、英文切出来的 Token 数量往往不一样。
常见误区
- ✕ 一个汉字就是一个 Token✓ 不一定。切法由模型的分词器决定，一个字可能是 1 个 Token，也可能更多。
- ✕ Token 只和字数有关✓ 标点、空格、换行、代码符号都会占用 Token。
动手试一试
把一段 300 字的中文，分别用中文和英文让 AI 总结，对比它在用量页面显示的 Token 数。
考考你
3 道小题，看看这张卡片记住了多少。选完马上能看到解析。
1模型在“读”一段文字之前，第一步做的是什么？
模型只认数字。它先用分词器把文本切成 Token，再把每个 Token 变成编号去计算。
2下面哪种说法是对的？
切法由分词器决定，标点、空格、换行和代码符号都会占用 Token，所以不能简单按字数估算。
3AI 服务的计费和长度限制，通常按什么来算？
无论是收费还是“一次最多能放多少内容”，大多数模型都按 Token 计算。
接着翻这几张
灵点AI 知识卡片 · 第 1 / 48 张