约 8 分钟
分词器读到一个数字字符,会继续往后看,把连着的数字字符一起吃进来,凑成一个完整的数字。比如读到 1,发现后面还有 2、3,就合成一个 token 123,而不是三个小 token。
1
2
3
123
读到 4、5、+、6,数字 token 会怎么分?
4
5
+
6
登录 后可看答案