约 10 分钟
分词器其实就是一个循环，从头看每个字符，是数字就一路吃数字，是字母就一路吃字母，是符号就单独取出，是空格就跳过。像下面这样一格一格往前挪：
把 12+ab 这串字符按分词器的规则切开，会得到哪几个 token？
登录 后可看答案