<title>キーワード抽出による関連ページ導出(2)</title>
<link>http://kamoland.com/wiki/wiki.cgi?%A5%AD%A1%BC%A5%EF%A1%BC%A5%C9%C3%EA%BD%D0%A4%CB%A4%E8%A4%EB%B4%D8%CF%A2%A5%DA%A1%BC%A5%B8%C6%B3%BD%D0%282%29</link>
<description>Webページから単語抽出して遊ぼう．前回は，キーワードとしてふさわしくないような単語まで抽出されて，頭を抱えたところで終わった．【更新】対象の検索エンジンにBingを追加しました (2009-08-01)</description>
<content:encoded><![CDATA[<p>

• WikiにDisqusを組み込む
• １．日本語化
• ボタン類の日本語化
• メッセージの強制差し替え
• ２．デザインのカスタマイズ
• テーマの選び方
• コメント入力欄以外のカスタマイズ
• コメント入力欄(iframe)のカスタマイズ
• ３．ページのエンコーディングがUTF-8で無い場合の注意
• ４．ここまでのまとめ
• DISQUSの設定
• Disqusを設置しているページのHTML記述
• 投稿欄に適用する外部CSS
• ５．Disqusの変な自画面リロードURLへの対策
• 参考

You are commenting as a Guest. You may select one to log into:

var disqus_my_customize_retry = 10;
function disqus_my_customize() {
	if( ! document.getElementById('dsq-login-message')) {
		if (--disqus_my_customize_retry > 0) {
			window.setTimeout('disqus_my_customize()',1000);
		}
		return;
	}
	document.getElementById('dsq-login-message').innerHTML =
'Disqus，Twitterのアカウントがある人は，下のボタンでログインすればその名義で書き込みできます．' +
'ただしブラウザが第三者のクッキー許可の設定になっていない場合は，ログインできません．<br>' +
'ログインしない場合は「ネーム」と「メールアドレス」が入力必須になりますが，' +
'メールアドレスは表示も公開もされません';
}

<script type="text/javascript" src="http://disqus.com/forums/kamoland/embed.js"></script>
<script type="text/javascript">
disqus_my_customize();
</script>

h3#dsq-comments-count { display: none; }
div#dsq-options { display: none; }
div.dsq-likedtxt {display:none;}
li.dsq-rate {display:none !important;}
li.dsq-report {display:none !important;}
h3#dsq-add-new-comment {
	font-size:100%;
	background-color:#606070;
 	color: #ffffff;
	font-weight:bold;
	padding: .2em 0px .5em 1em;
	border: 0px;
	margin: 0px 0px 0.2em 0px;
	width:400px;
}
div#disqus_thread {
	width: 400px;
	float: left;
	margin-top: 2em;
}

★ HTML本体
<script type="text/javascript">
var disqus_iframe_css = "http://kamoland.com/wiki/skin/disqus_iframe.css";
</script>
<script type="text/javascript" src="http://disqus.com/forums/kamoland/embed.js"></script>

★ disqus_iframe.css
form#comment-form textarea {height:4em;}
div#form-block-name {}
div#form-block-email {}
div#form-block-url {display:none;}
div#form-block-submit {}

<title>DISQUS | Error (500)</title>
・・・中略・・・
<h3>Sorry, an error occurred on our end.</h3>
<p>We've been notified of the issue and are on the case.</p>

var disqus_title = "\u0057\u0069\u006B\u0069\u306B\u0044\u0069\u0073\u0071\u0075\u0073\u3092\u7D44\u307F 〜";

var disqus_default_text = " ";

/* 投稿欄の周りの部分のカスタマイズ */
h3#dsq-comments-count { display: none; }
div#dsq-options { display: none; }
div.dsq-likedtxt {display:none;}
li.dsq-rate {display:none !important;}
li.dsq-report {display:none !important;}
h3#dsq-add-new-comment {
	font-size:100%;
	background-color:#606070;
 	color: #ffffff;
	font-weight:bold;
	padding: .2em 0px .5em 1em;
	border: 0px;
	margin: 0px 0px 0.2em 0px;
	width:400px;
}
div#disqus_thread {
	width: 400px;
	float: left;
	margin-top: 2em;
}

<div id="disqus_thread"></div>
<script type="text/javascript">
// 英語のメッセージを日本語メッセージに強制書き換え
var disqus_my_customize_retry = 10;
function disqus_my_customize() {
	if( ! document.getElementById('dsq-login-message')) {
		if (--disqus_my_customize_retry > 0) {
			// DISQUSの要素が構築されるまでリトライする
			window.setTimeout('disqus_my_customize()',1000);
		}
		return;
	}
	document.getElementById('dsq-login-message').innerHTML =
'Disqus，Twitterのアカウントがある人は，下のボタンでログインすればその名義で書き込みできます．ただしブラウザが第三者のクッキー許可の設定になっていない場合は，ログインできません．<br>ログインしない場合はメッセージは管理者が承認するまで公開されません．また「ネーム」と「メールアドレス」が入力必須になりますが，メールアドレスは表示も公開もされません';
}
// ページのURL
var disqus_url = "http://kamoland.com/wiki/wiki.cgi?Wiki%A4%CBDisqus%A4%F2%C1%C8%A4%DF%B9%FE%A4%E0";

// 投稿欄をカスタマイズするための外部CSS
var disqus_iframe_css = "http://kamoland.com/wiki/skin/disqus_iframe.css";

// ページの文字コードがUTF-8でない場合は，これらを設定しないと文字化けする
// ページのタイトル (通常は<title>の内容)
var disqus_title = "\u0057\u0069\u006B\u0069\u306B\u0044\u0069\u0073\u0071\u0075\u0073\u3092\u7D44\u307F\u8FBC\u3080\u0020\u002D\u0020\u004B\u0061\u006D\u006F\u004C\u0061\u006E\u0064";
// ページの説明
var disqus_message = "\u4FBF\u5229\u305D\u3046\u306A\u306E\u3067\uFF0C\u0044\u0069\u0073\u0071\u0075\u0073\u30B3\u30E1\u30F3\u30C8\u30B7\u30B9\u30C6\u30E0\u3092\u30AB\u30E2\u30E9\u30F3\u30C9\u0028\u0050\u0079\u0075\u006B\u0069\u0057\u0069\u006B\u0069\u30D9\u30FC\u30B9\u0029\u306B\u7D44\u307F\u8FBC\u3093\u3060\uFF0E\u30C7\u30B6\u30A4\u30F3\u306E\u30AB\u30B9\u30BF\u30DE\u30A4\u30BA\u3084\u65E5\u672C\u8A9E\u5316\u306B\u3064\u3044\u3066\u306E\u82E6\u52B4\u8A71\uFF0E";
// コメント入力欄が空の時に表示する文字列 (本来は「ここにコメントを入力」だったもの)
var disqus_default_text = " ";

// メッセージ強制書き換えの呼び出し
disqus_my_customize();
</script>

// DISQUSのJavaScript取り込み
<script type="text/javascript" src="http://disqus.com/forums/kamoland/embed.js"></script>

/* 投稿欄のカスタマイズ */
form#comment-form textarea {height:4em;} /* コメント欄の高さを縮小 */
div#form-block-name {}
div#form-block-email {}
div#form-block-url {display:none;} /* URL入力欄は表示しない */
div#form-block-submit {}

【投稿時】&dsq=16909359#comment-16909359
【ログイン時】&success

2009-08-01 対象の検索エンジンにBingを追加しました

2008-03-02 初版

このサイト内の関連ページ (redhat oracle)

xmlns:georss="http://www.georss.org/georss"

<georss:point>35.272298 136.263111</georss:point>

<?xml version="1.0" encoding="utf-8" ?>
<rdf:RDF
 xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
 xmlns="http://purl.org/rss/1.0/"
 xmlns:dc="http://purl.org/dc/elements/1.1/"
 xmlns:georss="http://www.georss.org/georss"
>

<channel rdf:about="http://kamoland.com">
 <title>琵琶湖サイクリング(2009年5月)</title>
 <link>http://kamoland.com</link>
 <description></description>
 <items>
  <rdf:Seq>
   <rdf:li rdf:resource="http://kamoland.com/wiki/wiki.cgi?%C8%FC%C7%CA%B8%D0%A5%B5%A5%A4%A5%AF%A5%EA%A5%F3%A5%B0%282009%C7%AF5%B7%EE%29#mk1" />
  </rdf:Seq>
 </items>
</channel>
   <item rdf:about="http://kamoland.com/wiki/wiki.cgi?%C8%FC%C7%CA%B8%D0%A5%B5%A5%A4%A5%AF%A5%EA%A5%F3%A5%B0%282009%C7%AF5%B7%EE%29#mk1">
    <title>01. 彦根駅出発</title>
    <link>http://kamoland.com/wiki/wiki.cgi?%C8%FC%C7%CA%B8%D0%A5%B5%A5%A4%A5%AF%A5%EA%A5%F3%A5%B0%282009%C7%AF5%B7%EE%29#mk1</link>
    <description>9:40 彦根駅出発</description>
    <dc:date></dc:date>
    <dc:subject></dc:subject>
    <georss:point>35.272298 136.263111</georss:point>
   </item>
</rdf:RDF>

<description>TEST &lt;img src="http://kamoland.com/image/blog.jpg" width="212" height="83"&gt;</description>

http://kamoland.com/wiki/wiki.cgi?cmd=rss10koutei&p=%C8%FC%C7%CA%B8%D0%A5%B5%A5%A4%A5%AF%A5%EA%A5%F3%A5%B0%282009%C7%AF5%B7%EE%29

http://maps.google.com/maps?f=q&hl=ja&ie=UTF8&q=http%3A%2F%2Fkamoland.com%2Fwiki%2Fwiki.cgi%3Fcmd%3Drss10koutei%26p%3D%25C8%25FC%25C7%25CA%25B8%25D0%25A5%25B5%25A5%25A4%25A5%25AF%25A5%25EA%25A5%25F3%25A5%25B0%25282009%25C7%25AF5%25B7%25EE%2529

/usr/local/apache2/bin/htpasswd -mc /usr/local/apache/conf/.dav davuser

HTTP エラー:301 (恒久的に移動)
URL:http://kamoland.com/wiki/wiki.cgi?mod_cache%A4%C7Wiki%A4%F2%B9%E2%C2%AE%B2%BD(4)
エラー検出日:2009/03/03

サイトマップの URL のサンプルをテストしたところ，一部の URL が別のページ
にリダイレクトされることがわかりました．サイトマップには，他の URL にリダ
イレクトされる URL ではなく，最終的なリンク先 (リダイレクト先) の URL を
指定するようお勧めします．

http://kamoland.com/wiki/wiki.cgi?mod_cache%A4%C7Wiki%A4%F2%B9%E2%C2%AE%B2%BD%284%29

http://kamoland.com/wiki/wiki.cgi?mod_cache%A4%C7Wiki%A4%F2%B9%E2%C2%AE%B2%BD%284%29

http://kamoland.com/wiki/wiki.cgi?mod_cache%A4%C7Wiki%A4%F2%B9%E2%C2%AE%B2%BD(4)

http://kamoland.com/wiki/wiki.cgi?mod_cache%A4%C7Wiki%A4%F2%B9%E2%C2%AE%B2%BD%284%29

http://kamoland.com/wiki/wiki.cgi?mod_cache%A4%C7Wiki%A4%F2%B9%E2%C2%AE%B2%BD(4)

unreserved  = ALPHA / DIGIT / "-" / "." / "_" / "~"

     foo://example.com:8042/over/there?name=ferret#nose
     \_/   \______________/\_________/ \_________/ \__/
      |           |            |            |        |
   scheme     authority       path        query   fragment

3.4.  Query
query       = *( pchar / "/" / "?" )

pchar       = unreserved / pct-encoded / sub-delims / ":" / "@"
unreserved  = ALPHA / DIGIT / "-" / "." / "_" / "~"
sub-delims  = "!" / "$" / "&" / "'" / "(" / ")"
            / "*" / "+" / "," / ";" / "="

sub-delims群 !$&'()*+,;=
pchar追加分  :@
query追加分  /?

以下の文字は生のまま残して，それ以外の文字をパーセントエンコーディングする
a-zA-Z0-9-._~!$'()*+,;:@/?

・perl
s/([^a-zA-Z0-9\-\._~!\$'\(\)\*+,;:\@\/\?])/'%'.uc(unpack('H2', $1))/eg;

・ruby
str.gsub(/([^a-zA-Z0-9\-\._~!\$'\(\)\*+,;:\@\/\?])/) { "%#{$1.unpack('H*')[0].scan(/../).join('%').upcase }" }

[変更前]
	print "Location: $new_url\n";
-----------------------
[変更後]
	print "Status: 301 Moved Permanently\n";  # ←追加
	print "Location: $new_url\n";
	print "\n";

[ 2008/08/30 05:07	現在]
アメリカドル (USD)			 109.75	108.75	107.75
オーストラリアドル (AUD)	 94.60	93.60	 92.60

<title>[為替] (EUR) 2009-01-17 120.45 (LOW 0/2/20)</title>
<description>ユーロ(EUR) の為替レート:117.00．2ヶ月20日ぶりの安値です．前回は，2008/10/28 の 116.15 円/EUR です．最安値は，2000/10/27 の 89.45 円/EUR です</description>

HTML形式(記事本体)
 → [JavaScript等の除去] → RSSに入れる全文HTML形式(content:encoded)
 → [サマリ抽出] → RSSに入れるサマリの形式(description)

sub as_string {
    my ($self) = @_;
    my $doc = <<"EOD";
<?xml version="1.0" encoding="$self->{encoding}" ?>

<rdf:RDF
 xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
 xmlns="http://purl.org/rss/1.0/"
 xmlns:dc="http://purl.org/dc/elements/1.1/"
 xmlns:content="http://purl.org/rss/1.0/modules/content/" 
>

<channel rdf:about="$self->{channel}->{link}">
 <title>$self->{channel}->{title}</title>
 <link>$self->{channel}->{link}</link>
 <description>$self->{channel}->{description}</description>
 <items>
  <rdf:Seq>
   @{[
    map {
     qq{<rdf:li rdf:resource="$_->{link}" />}
    } @{$self->{items}}
   ]}
  </rdf:Seq>
 </items>
</channel>
@{[
 map {
  qq{
   <item rdf:about="$_->{link}">
    <title>$_->{title}</title>
    <link>$_->{link}</link>
    <description>$_->{description}</description>
    <content:encoded><![CDATA[@{[ filter_content($_->{content}) ]}]]></content:encoded> 
    <dc:date>$_->{dc_date}</dc:date>
    <dc:subject>$_->{subject}</dc:subject>
   </item>
  }
 } @{$self->{items}}
]}
</rdf:RDF>
EOD
}

# HTMLを<content:encoded>向けの内容に変換する
# これはカモランドのWikiが生成するHTMLに合わせた変換なので，
# 実際にサイトで使っているHTMLタグに合わせて変換をカスタマイズする必要あり
#
sub filter_content {
	my ($c) = @_;

	$c =~ s/<script.+?<\/script.*?>//gis;
	$c =~ s/<style.+?<\/style.*?>//gis;
	$c =~ s/<([^>]+)>/tagfilter($1)/eg;

	return $c;
}

sub tagfilter {
	my ($tag) = @_;

	$tag = tagfilter2($tag);
	$tag =~ s/ class="[^"]+"//;
	$tag =~ s/ class='[^']+'//;
	return $tag;
}

sub tagfilter2 {
	my ($tag) = @_;
	my $ltag = lc $tag;

	return "<$tag>" if ($ltag =~ /^\/?p$/);
	return "<$tag>" if ($ltag =~ /^\/?h[0-9]$/);
	return "<$tag>" if ($ltag =~ /^a /);
	return "<$tag>" if ($ltag =~ /^\/a$/);
	return "<$tag>" if ($ltag =~ /^\/?li( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?ul( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?ol( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?pre( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?br$/);
	return "<$tag>" if ($ltag =~ /^\/?span( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?div( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?table( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?tr( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?td( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?th( |$)/);
	return "<$tag>" if ($ltag =~ /^\/?dl$/);
	return "<$tag>" if ($ltag =~ /^\/?dt$/);
	return "<$tag>" if ($ltag =~ /^\/?dd$/);
}

Yahoo! JAPANが検索結果に表示されるように努めているのは次のようなウェブページです。
 ・・・
タイトルやディスクリプションなどのメタデータ（HTMLの<head>のなかの記述）で、
ウェブページの内容が適切に記述されているウェブページ。

・SQL
SELECT
	date_trunc('day', reqtime) AS d,
	count(*) AS nreq
FROM
	apache_log
WHERE
	vhost = 'kamoland.com' AND
	reqtime >= date_trunc('month', current_timestamp) AND
	reqtime < date_trunc('month', current_timestamp) + interval '1 month'
	AND
	statuscode IN ('200', '206', '304')
	AND
	NOT EXISTS (
		SELECT 1 FROM al_useragent_ex WHERE useragent LIKE ex_pattern
	)
GROUP BY d
ORDER BY d

・実行結果
          d          | nreq
---------------------+-------
 2008-08-01 00:00:00 |  6374
 2008-08-02 00:00:00 |  3039
 2008-08-03 00:00:00 |  2761
 2008-08-04 00:00:00 |  6069
 2008-08-05 00:00:00 |  6401
 2008-08-06 00:00:00 |  7130
 2008-08-07 00:00:00 |  6732
 2008-08-08 00:00:00 |  6366
 2008-08-09 00:00:00 |  2432
 2008-08-10 00:00:00 |  3633
 2008-08-11 00:00:00 |  9177
 2008-08-12 00:00:00 | 14913
 2008-08-13 00:00:00 | 11264
 2008-08-14 00:00:00 |  6897
 2008-08-15 00:00:00 |  6998
 2008-08-16 00:00:00 |  4211
 2008-08-17 00:00:00 |  4082
 2008-08-18 00:00:00 |  9344
 2008-08-19 00:00:00 | 10803
 2008-08-20 00:00:00 |  8860
 2008-08-21 00:00:00 |  8383
 2008-08-22 00:00:00 |  8677
 2008-08-23 00:00:00 |   602
(23 rows)

statuscode IN ('200', '206', '304')

----- 実行計画 -----
Sort  (cost=1031579.43..1031579.94 rows=201 width=8) (actual time=11926.030..11926.088 rows=23 loops=1)
  Sort Key: (date_trunc('day'::text, apache_log.reqtime))
  Sort Method:  quicksort  Memory: 17kB
  ->  HashAggregate  (cost=1031568.73..1031571.74 rows=201 width=8)
 (actual time=11925.776..11925.860 rows=23 loops=1)
        ->  Bitmap Heap Scan on apache_log  (cost=8472.23..1031201.20 rows=73506 width=8)
 (actual time=815.828..11236.473 rows=155148 loops=1)
              Recheck Cond: ((vhost = 'kamoland.com'::text) AND (reqtime >= date_trunc('month'::text, now()))
 AND (reqtime < (date_trunc('month'::text, now()) + '1 mon'::interval)))
              Filter: ((statuscode = ANY ('{200,206,304}'::text[])) AND (NOT (subplan)))
              ->  Bitmap Index Scan on apache_log_p  (cost=0.00..8453.85 rows=169990 width=0)
 (actual time=799.165..799.165 rows=242821 loops=1)
                    Index Cond: ((vhost = 'kamoland.com'::text) AND (reqtime >= date_trunc('month'::text, now()))
 AND (reqtime < (date_trunc('month'::text, now()) + '1 mon'::interval)))
              SubPlan
                ->  Seq Scan on al_useragent_ex  (cost=0.00..24.50 rows=6 width=0)
 (actual time=0.029..0.029 rows=0 loops=231411)
                      Filter: ($0 ~~ ex_pattern)
Total runtime: 11926.463 ms