よもやまチョモランマ

robots.txtの正解

robots.txtは「クローラーが無駄なく巡回できるようにするもの」です。

クローラーを呼ぶのではなく
クローラーに読まれたくないものを書くのが正解。

デフォルト例
 User-agent: *
 Disallow: /wp-admin/
 Allow:
 Sitemap:http: //tukuttoko.com/sitemap.xml

「*」はすべてのクローラーOKという意味。
WordPressの場合、管理画面は読まれなくていい場所なのでこうなるわけですね。
Allowは読んでほしいものを書くのかな。
サイトマップの置き場所はルートの一番上なので、wwwより外にファイルを置けないbeatはここでもイレギュラー。

「クレーム対応のページ」や「二次創作の入ったフォルダ」はDisallowしたほうがいいでしょうけど。
普通は*とサイトマップだけでいいということか。

そして、せっかくサイトマップあるなら、サチコでアップロードしとけよ、となるのも必然。
2つがいつもいっしょくたに語られるのは、そこまでが一連のSEOだからなのね。