Na biblioteca Lucene, a classe Analyzer é responsável pelo trabalho de criar tokens para o texto de entrada, enquanto o Tokenizer é responsável por quebrar o texto de entrada em tokens. A Lucene disponibiliza alguns analisadores, como, por exemplo, StandardAnalyzer, WhitespaceAnalyzer e StopAnalyzer.