あたまがうにになる

人工無能が辞書を作ったり、文章を再構成する為に、まずは形態素解析を行います。
形態素解析とは、文を意味のある最小の単位(品詞等)に分解する事を言います。
例えば「日本語って難しいです」と言う文を形態素解析すると
「日本語/って/難しい/です」といったように意味が通じるギリギリの範囲で分解されます。

今回は、このような形態素解析にChaSen(茶筌)を使います。
ChaSenを使うのに、言語処理などの特別な知識は必要ありません。
ChaSenに形態素解析をしたい文章を渡せば、形態素解析を行った結果を返してくれます。

形態素解析については、プログラムからChaSenを使う部分のソースを見るのが一番早いかもしれません。
ソースを見れば形態素解析をどう使うかは置いといて、とりあえず形態素解析は出来るようになると思います。

ここから先、ご利用のマシンへChaSen(もしくは別の形態素解析ツール)がインストールされてない場合、
殆ど意味の無い情報になる可能性が高いです。(私が解説する人工無能は形態素解析ツールに頼りまくりです)
人工無能を作る気は無いが、とりあえずサンプルプログラムを動かしたい方などは、形態素解析ツール(なるべくなら、解説の都合上ChaSen)をインストールしてみてください。