约 8 分钟
运算符和标点也是 token,比如 + - * / = ( )。有些符号是两个字符连起来的,比如 == 表示"相等",分词时要小心别把 == 拆成两个 =。
+ - * / = ( )
==
=
a == b 里,中间应该切成一个 token 还是两个?
a == b
登录 后可看答案