キーワード抽出による関連ページ導出(2)

Webページから単語抽出して遊ぼう．前回は，キーワードとしてふさわしくないような単語まで抽出されて，頭を抱えたところで終わった．今回はそのページに検索エンジンでの検索で使われたキーワードを取得して使ってみる．

2009-08-01 対象の検索エンジンにBingを追加しました

2008-03-02 初版

この状況を何とかしようとして普通に考えると，

ということになるが，これは終わりのない面倒な作業だ．

そこで，

という事実に着目した．

　↑Google Analyticsによるカモランドのリファラーのグラフ

検索エンジン経由で来てそのページが表示されたということは，そこで使われた検索キーワードはそのページに関係が深いはず(検索エンジンはそういう風に作られている)なので，その検索キーワードをそのページを代表するキーワードだと考えても，おかしくないはずだ．

すると，そもそもの目的の「関連ページを表示する」を考えたとき，

と言えるのではなかろうか．

そこで，検索エンジン経由でカモランドのページに到達した場合は，検索で使われたキーワードを含むページを，そのページの関連ページと見なして下部に表示するようにしてみた．

具体的には，「redhat oracle」というキーワードでGoogleで検索すると，カモランド(プログラマー'sペイジ)のページが上位あたり(今日は2位)に出るが，そのリンクをクリックして表示されたカモランドのページでは，関連ページの表示部が

このサイト内の関連ページ (redhat oracle)

という風にキーワード検索の結果になっているのです．まぁ，LPO(ランディングページ最適化)もどきですわ．

あと、日本語文字の検索語への対応については、少し考える必要がある。検索語のエンコーディングが不定なので、動的な文字コード判定を組み込む必要がある．例えば，GoogleならリファラーURLのパラメータieにエンコーディングが含まれているとかいう話で、これを他の検索エンジンについても調べる必要がある。

ちょっと、Apacheの過去ログを眺めたり実サイトで実際に叩いたりして，調べてみた．

検索エンジン名	エンコパラメータ名	無指定時のエンコ	備考
Google	ie	UTF-8 or Shift_JIS
Yahoo	ei	UTF-8 or EUC-JP
Bing	-	UTF-8
LiveSearch	cp	UTF-8	cp=932(ほぼShift_JIS)のみ確認
MSN	cp	UTF-8	cp=932(ほぼShift_JIS)のみ確認
goo	ie	EUC-JP
Infoseek	-	UTF-8 or EUC-JP
nifty(昔)	ie	Shift_JIS or EUC-JP	パスは/cgi-bin/
nifty	-	UTF-8	パスは/websearch/
biglobe	-	Shift_JIS or EUC-JP
Mooter	-	UTF-8

カモランドで収集した情報だけなので、漏れがあると思います。今のところ、これらの情報を使って文字コードを判別するようにすることで、日本語のキーワードも正しく扱えているようだ。

[参考]