★新URL：http://20kaido.com/
★新RSS:http://20kaido.com/index.rdf
いままでFC2ブログで5年間、お世話になりました。感謝です。
移転先でもよろしくお願いいたします！
二十歳街道まっしぐら（FC2ブログ時代）人気記事TOP50まとめ
サイト内の「Robots.txt」の動作確認ができるサイト「Robots.txt Checker」
Robots.txtをチェックしてくれるサイト
「Robots.txt Checker」はサイトの「Robots.txt」を確認できるサイトです。
「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。
詳細はrobots.txt とは？をご覧下さい。
Robots.txtを設置したときの確認などに利用してみましょう。
以下に使ってみた様子を載せておきます。
「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。
詳細はrobots.txt とは？をご覧下さい。
Robots.txtを設置したときの確認などに利用してみましょう。
以下に使ってみた様子を載せておきます。
Robots.txtの内容を確認
まず「Robots.txt Checker」にアクセスします。
「Check URL」にチェックしたいサイトのURLを入れます。
「サイトURL＋robots.txt」が自動抽出されます。
他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。
結果です。
正常に取得できました。
特に検索エンジンをはじいていないのでこのような結果に。
サイトによっては、このように検索エンジンによってクロールを禁止しているところも。
これらの設定はRobots.txtを書き換えるとOKです。
なんか最近検索エンジンにクロールされないなと思ったときはまずチェックですね。
（本記事で紹介したサイト：Robots.txt Checker）
「Check URL」にチェックしたいサイトのURLを入れます。
「サイトURL＋robots.txt」が自動抽出されます。
他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。
結果です。
正常に取得できました。
特に検索エンジンをはじいていないのでこのような結果に。
サイトによっては、このように検索エンジンによってクロールを禁止しているところも。
これらの設定はRobots.txtを書き換えるとOKです。
なんか最近検索エンジンにクロールされないなと思ったときはまずチェックですね。
（本記事で紹介したサイト：Robots.txt Checker）
- 関連記事
http://tokuna.blog40.fc2.com/tb.php/2048-f72835ea
2010年04月19日 | 
メール：20kaido@gmail.com
twitter：
mixi：参加中
はてな：
YouTube：参加中
Flickr：
Last.fm：
Tumblr：
手書きブログ：
iKnow!：
Skype：kamekiti-
