48、Java I/O系统中的分词与代码风格检查

Java I/O系统中的分词与代码风格检查

1. 输入分词概述

分词是将字符序列拆分为“标记”序列的过程，这些标记是由你选择的分隔符界定的文本片段。例如，标记可以是单词，由空格和标点符号分隔。Java标准库中提供了两个可用于分词的类： StreamTokenizer 和 StringTokenizer 。

2. StreamTokenizer

StreamTokenizer 虽并非继承自 InputStream 或 OutputStream ，但仅能与 InputStream 对象配合使用，因此属于Java I/O库的一部分。

以下是一个统计文本文件中单词出现次数的程序示例：

//: c11:WordCount.java
// Counts words from a file, outputs
// results in sorted form.
import java.io.*;
import java.util.*;

class Counter {
  private int i = 1;
  int read() { return i; }
  void increment() { i++; }
}

public class WordCount {
  private FileReader file;
  private StreamTokenizer st;
  // A TreeMap k