空白与换行

源代码里的空格、制表符、换行，大多只是给人看得舒服的，分词时通常直接跳过。3+4 和 3 + 4 切出来的 token 一模一样。当然有些语言拿缩进当规则，那就另说。