サーチコンソールを見ていたら、何やら恐ろしいグラフが出てきました。
ブロックされたリソース？ なにそれ？
このホストのリソースは貴サイトで使用されていますが、Googlebot に対してブロックされています。Googlebot がページ上の重要なリソースにアクセスできないと、そのページは正しくインデックス登録されない場合があります。
え、ブログの記事の半分近くが検索にインデックスされてないってこと？
めっちゃ焦ったので色々調べました。
ブロックされたリソースが表示された原因
クローラーというロボットが絶えず、私たちのWebページ上を巡回しています。
そのロボットが私のブログにやってきたときに、記事の全体もしくは一部のコンテンツが読み込めないぞこの野郎。というのがリソースがブロックされるということです。
そして、クローラーに対して「ここのリンクはたどっちゃダメだよ」とか「ここのコンテンツは無視していいよ」などの指示を与えることができます。
それがrobots.txtです。
はてなブログではデフォルトで勝手に決められていて、変更も基本的にできないと思います。Word Pressなら色々変更可能です。
自分のブログのトップのURLに/robots.txt をつけるとクローラーへの指示内容が表示されます。
https://www.prog-ganbaru.com/robots.txt
このDisallowというのがクローラーに対して
「お前来るな！」という命令になります。
/api
/apiというのは、はてなブログの、記事に対するコメント内容のことです。
記事に対するコメントをページのコンテンツとして扱ってしまうと、スパムコメントなどによりそのページの順位に悪影響がでる可能性があります。
なのではてなブログでは、デフォルトでクローラーにコメントはたどらせないように設定されています。
/draft
draftは記事の下書きのことで、下書きのページを辿られても困るので、設定されています。
対策方法は？
まあ、なんか無視しても大丈夫なみたいです。
こちらの記事を書かれた方の話を参考にすると、上記の理由からはてな側が意図的にブロックしているので無視しても問題ないということだそうです。
しかし一つ疑問なのが、なぜに最近になってブロックされたリソースが急増したのかということです。
あ、わかったかも。
今までサーチコンソールを使ったことなくて、最近になってサーチコンソールに登録したからだ。多分。
疑問が解決しました。皆さんお騒がせしてすみませんでした。
