Home > web
web Archive
robots.txtが間違っていてインターネットの端っこに居た件
googleやyahooでいつまで経っても自分のブログが引っかからないので、おかしいな？と思っていたら、
robots.txtの記述を間違っていました＾＾；
設定していた記述
User-Agent: * Disallow: /
本来はhtdocs以下すべての巡回を許可するつもりでしたが、
勝手な思い込みで、上で大丈夫だと思っていました。。。
これだとドキュメントルート以下全てNGでした。。。
間違いだと気づいたのはwordpress 最適化の続きで、３大検索エンジンのサイト管理ツールにサイトを登録をしこしことやっていて
google,yahoo,msnと順に登録していったときに、googleのGoogleウェブマスターツールで
robots.txt の解析で提供しているテストスクリプトが全く通らなかったので発見しました。
google先生の教えとおりに
User-Agent: * Allow: /
と変更して、数分後・・・・・・・・・・・・・やっとrobotsが巡回にきてくれました。
あと、サイトマップに関してもwordpressのプラグインをGoogle (XML) Sitemaps Generator for WordPressからインストールして設定しておきました。
ただ、これだとドキュメントルート以下でなく/blogからのサイトマップが作成されるので、サイトマップのジェネレータツールのxml-sitemaps.comも合わせて利用してsitemap.xmlを作成しました。
明日にはインデックスが作成されてるはず。
- Comments: 0
- Trackbacks: 0
ホーム > web
- Search
- Feeds
-