ブラウザではリンクをたどれるのに、wgetでは再帰的にダウンロードしてくれない。
やっと解決できたのでメモ。
<meta name=”robots” content=”noindex, nofollow”>
<meta name=”robots” content=”noarchive”>
サイト内すべての上記をコメントアウトしたところ再帰的にダウンロードすることができました。
wgetはrobotのクロールと扱われているんですね。
ブラウザではリンクをたどれるのに、wgetでは再帰的にダウンロードしてくれない。
やっと解決できたのでメモ。
<meta name=”robots” content=”noindex, nofollow”>
<meta name=”robots” content=”noarchive”>
サイト内すべての上記をコメントアウトしたところ再帰的にダウンロードすることができました。
wgetはrobotのクロールと扱われているんですね。
