tokenstream
- 网络流；记号流的内容与；字流
tokenstreamtokenstream
流
它一个方法叫Next，也就是返回一个语汇单元流（TokenStream）的下一个语汇单元（Token，也就是一个词），这个方法由To…
记号流的内容与
Field ... reader- 读者的内容与 tokenStream- 记号流的内容与 value- 二进制值 ...
字流
...章句子中的汉字一个个地提取出来，形成一个标记化的“字流”(TokenStream)。