まとめとしてとても良い記事だったので、そのままパクリます。（自分用）
重要なHTML要素
title要素にキーワードを含みましょう。
h1,h2,h3要素にキーワードを含みましょう。
b要素、strong要素でキーワードを包みましょう。
img要素のalt属性、ファイル名にキーワードを含みましょう。
a要素のtitle属性、アンカーテキストにはキーワードを含ませましょう。
a要素のnofollowを上手に使いましょう。
インデクシングに関する限界
ページのファイルサイズは150KB以下にしましょう。
ページ内のリンクは100個以内にしましょう。
title要素は70文字(半角)以内にしましょう。
meta要素のdescriptionは155文字（半角）以内にしましょう。
URLの含まれるパラメーターは2個以内にしましょう。
ディレクトリの深さは4階層以内にしましょう。
お勧めのtitle要素の書き方
キーワード < カテゴリー | サイト名
ホームページの表記方法
「http://www.mysite.com」や「http://mysite.com」、「http://www.mysite.com/index.html」、「http://mysite.com/index.html」などの複数の表記を使わず、次の項目で説明するApachの301 リダイレクトを利用して「http://www.mysite.com」のようなひとつの表記に統一しましょう。
301リダイレクト
Redirect 301 /oldpage.html http://www.newdomain.com/newpage.htmlファイルやフォルダへのアクセスを新しいファイルや、異なるドメインにリダイレクトします。
RewriteEngine on
RewriteCond %{HTTP_HOST} ^mysite.com [NC]
RewriteRule ^(.*)$ http://www.mysite.com/$1 [L,R=301]ドメイン以下のすべてのファイルにおいて、http://mysite.com を http://www.mysite.comにリダイレクトします。
Entire site:
Redirect 301 / http://www.newdomain.com/
Redirect permanent /old http://www.newdomain.com/new301(お勧めの)か302のどちらかを利用して新しいドメインに全体のドメインをリダイレクトします。
重要な検索クローラー
重要な検索クローラーのユーザーエージェントリストです。
Google Search Googlebot/2.1 ( http://www.google.com/bot.html)
Google Search Googlebot/2.1 ( http://www.googlebot.com/bot.html)
Google Image Search Googlebot-Image/1.0
Google Image Search Googlebot-Image/1.0 ( http://www.googlebot.com/bot.html)
Yahoo Blog Search Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/ysearch/crawling/
crawling-02.html )
Yahoo Multimedia Search Yahoo-MMAudVid/1.0 (mms dash mmaudvidcrawler dash support at yahoo dash inc dot com)
Yahoo Product Search YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/shop/merchant/)
Yahoo Product Search YahooSeeker/1.0 (compatible; Mozilla 4.0; MSIE 5.5; http://search.yahoo.com/yahooseeker.html)
Yahoo Product Search YahooSeeker/1.1 (compatible; Mozilla 4.0; MSIE 5.5; http://help.yahoo.com/help/us/shop/merchant/)
MSN Search msnbot/x.xx ( http://search.msn.com/msnbot.htm)
MSN Search MSNBOT/0.xx (http://search.msn.com/msnbot.htm)
MSN Media Search Robot msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
Windows Live Product Search msnbot-Products/1.0 (+http://search.msn.com/msnbot.htm)
Microsoft Search for Mobiles MSNBOT_Mobile MSMOBOT Mozilla/2.0 (compatible; MSIE 4.02; Windows CE; Default)
Alexa / The Internet Archive ia_archiver
Alexa / The Internet Archive ia_archiver-web.archive.org
Alexa / The Internet Archive ia_archiver/1.6
ロボット用のMETA要素
<meta name="ROBOT NAME" content="ARGUMENTS" />すべての検索エンジンを対象にする場合はROBOT NAMEには「robots」と入れてください。
個別に対応する場合には先ほどのユーザーエージェントリストを参考に、ROBOT NAMEにはユーザーエージェンを入れてください。
ARGUMENTSには以下の項目が入ります。
noindex ページをインデックスしません。
nofollow ページにあるすべてのリンクを読み取りません。
noarchive ページの内容をキャッシュしません。
noodp titleやdescriptionの内容をDMOZのもので上書きしません。
nodir titleやdescriptionの内容をYahooディレクトリのもので上書きしません。(yahooのみ利用可能)
nosnippet Googleの検索結果で自分のページのスニペットを非表示にできる
検索エンジンがインデックスできないコンテンツ
フォームで入力されたコンテンツ。
セッションIDがURLに含まれるコンテンツ。
クッキーによって制限されたコンテンツ。
フレームで生成されたコンテンツ。
ログインが必要なコンテンツ。
robots.txtの文法
User-agent: *
Disallow: /privatefolder
Disallow: /privatefile.html
User-agent: Googlebot/2.1
Disallow: /nogoogle.html
Sitemap: http://www.mysite.com/sitemap.xmlsitemapの文法
<?xml version="1.0" encoding='UTF-8'?>
<urlset xmins='http://www.sitemaps.org/schemas/sitemap/0.9'>
<url>
<loc>http://www.mysite.com/</loc>
<lastmod>1987-05-25</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>検索エンジンが最初にサイトマップを探す場所
http://www.mysite.com/sitemap.xml
http://www.mysite.com/sitemap.xml.gz
http://www.mysite.com/sitemap.gz
情報元to-R
