二十歳街道まっしぐら
お得なサイト お得なツール 小ネタ ゲーム ニュース 画像関連 動画関連 音楽関連 このブログの読者になる
TOP > スポンサー広告 > TOP > お得なサイト > サイト制作支援 Webサービス
タレコミNEW!! | メルマガ | お問い合わせ

★新URL:http://20kaido.com/
★新RSS:http://20kaido.com/index.rdf
いままでFC2ブログで5年間、お世話になりました。感謝です。
移転先でもよろしくお願いいたします!
二十歳街道まっしぐら(FC2ブログ時代)人気記事TOP50まとめ

スポンサーサイト このエントリーを含むはてなブックマーク あとで読む

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

エントリー詳細 --年--月--日 | スポンサー広告 > |

サイト内の「Robots.txt」の動作確認ができるサイト「Robots.txt Checker」 このエントリーを含むはてなブックマーク あとで読む

Robots.txt Checker
Robots.txtをチェックしてくれるサイト

Robots.txt Checker」はサイトの「Robots.txt」を確認できるサイトです。

「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。
詳細はrobots.txt とは?をご覧下さい。

Robots.txtを設置したときの確認などに利用してみましょう。
以下に使ってみた様子を載せておきます。


Robots.txtの内容を確認

まず「Robots.txt Checker」にアクセスします。
Robots.txt Checker
Check URL」にチェックしたいサイトのURLを入れます。
「サイトURL+robots.txt」が自動抽出されます。
他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。

結果です。
Robots.txt Checker
正常に取得できました。
特に検索エンジンをはじいていないのでこのような結果に。

Robots.txt Checker
サイトによっては、このように検索エンジンによってクロールを禁止しているところも。
これらの設定はRobots.txtを書き換えるとOKです。


なんか最近検索エンジンにクロールされないなと思ったときはまずチェックですね。
本記事で紹介したサイト:Robots.txt Checker




関連記事

このエントリーを含むはてなブックマーク Yahoo!ブックマークに登録 このエントリを del.icio.us に登録 このエントリをlivedoorクリップに登録 Add to Google
http://tokuna.blog40.fc2.com/tb.php/2048-f72835ea


【週末ネタ】Amazonのダンボールはなぜ大きいのか?  +20記事 トップページへ戻る 1ファイルあたり最大10GBまでアップロードできるアップローダ「AnyHub」
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。