认出数字

8 分钟

分词器读到一个数字字符,会继续往后看,把连着的数字字符一起吃进来,凑成一个完整的数字。比如读到 1,发现后面还有 23,就合成一个 token 123,而不是三个小 token。

小纸条

读到 45+6,数字 token 会怎么分?

登录 后可看答案

认出数字 · 计算机原理 · op599 课程