盘点计算机领域【Token】的几种常见含义（LLMs、访问控制、区块链……）

人工智能

自然语言处理(Natural Language Processing, NLP)中， 「token」指的是处理文本的最小单元或基本元素。 它可以是一个单词、一个词组、一个标点符号、一个子词或者一个字符

目前很多大模型无论展示能力，还是收费定价，都是以 token 为单位。如deepseek api网站对token的描述及转换标准：

token 是模型用来表示自然语言文本的基本单位，也是我们的计费单元，可以直观的理解为“字”或“词”；通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token。

一般情况下模型中 token 和字数的换算比例大致如下：

• 1 个英文字符 ≈ 0.3 个 token
• 1 个中文字符 ≈ 0.6 个 token

模型只能处理 token 序列，通过 token 来理解上下文、生成输出

访问控制—令牌

通常出现在 OAuth 等授权体系，包含访问范围（scopes）和有效期，用于服务端验证用户是否有权限执行某操作

1. 「token」的引入：Token是在客户端频繁向服务端请求数据，服务端频繁的去数据库查询用户名和密码并进行对比，判断用户名和密码正确与否，并作出相应提示，在这样的背景下，Token便应运而生。
2. 「token」的定义：是服务端生成的一串字符串，以作客户端进行请求的一个令牌，当第一次登录后，服务器生成一个Token便将此Token返回给客户端，以后客户端只需带上这个Token前来请求数据即可，无需再次带上用户名和密码
3. 使用「token」的目的：降低查询数据库的频率以减轻服务器压力

补充：JWT （JSON Web Token）

一种结构化、可签名的用户身份令牌，相比于普通「token」，可读性强、无状态（服务器无需存储），可嵌用户信息：

1. Header：加密算法
2. Payload：负载（如userId、权限）
3. Signature：签名（防篡改）

使用流程：

1. 用户登录成功 → 服务端生成 JWT（包含用户身份及权限，设置有效期）；
2. 客户端保存 JWT（通常放在 Authorization header 中，格式为 Bearer <token>）；
3. 客户端请求接口时附带该 token；
4. 服务端验证签名、检查有效期与其他 claims；
5. 验证成功则执行请求，失败则拒绝访问

优点：

1. 无状态（Stateless）：不需服务端存 session，适用于微服务与跨域场景。
2. 安全可靠：签名校验保证数据可信，通过 HTTPS 或加密使用可进一步保证安全。
3. 应用广泛：常用于认证（ID Token）、授权（Access Token）、信息传递，广泛支持 OAuth 2.0、OpenID Connect、SSO 等

编译原理—标记

在编译原理里，「token」 是词法分析器从源代码中提取出的最小语法单元，如关键词、标识符、运算符、常量、标点符号等

列如 C 代码sum = 3 + 2，会被分成记号序列 sum, = , 3 , + , 2

区块链—数字代币

在以太坊等区块链平台上，由智能合约生成的数字代币（如 ERC-20、NFT），代表资产、投票权、访问权益等形式的数字「token」

参考

1. https://api-docs.deepseek.com/zh-cn/quick_start/token_usage
2. https://blog.51cto.com/wyong/1553352
3. https://zh.wikipedia.org/wiki/NFT
4. https://blog.postman.com/what-is-jwt/