“ページを閲覧すると、内蔵するはてなの公開した本文抽出Javascriptライブラリを利用してページの本文を抽出します。
Yahoo! JAPANの日本語形態素解析APIに本文を投げ、名詞だけを抽出します。
ページのURLをMD5でハッシュ化した値をキーに、タイトルや本文をGM_setValueで保存します。 併せて、上記形態素解析されたキーワードもMD5ハッシュ値をキーに、出現するページへのポインタやキーワードの出現回数と併せてGM_setValueで保存します。 この2つのキー・バリュー型のDBが検索用インデックスになります。
”
