robots.txtの正解
SEOWordPress
Search Console
robots.txtは「クローラーが無駄なく巡回できるようにするもの」です。
クローラーを呼ぶのではなく
クローラーに読まれたくないものを書くのが正解。
デフォルト例
User-agent: *
Disallow: /wp-admin/
Allow:
Sitemap:http: //tukuttoko.com/sitemap.xml
「*」はすべてのクローラーOKという意味。
WordPressの場合、管理画面は読まれなくていい場所なのでこうなるわけですね。
Allowは読んでほしいものを書くのかな。
サイトマップの置き場所はルートの一番上なので、wwwより外にファイルを置けないbeatはここでもイレギュラー。
「クレーム対応のページ」や「二次創作の入ったフォルダ」はDisallowしたほうがいいでしょうけど。
普通は*とサイトマップだけでいいということか。
そして、せっかくサイトマップあるなら、サチコでアップロードしとけよ、となるのも必然。
2つがいつもいっしょくたに語られるのは、そこまでが一連のSEOだからなのね。