wgetで再帰的ダウンロードができない

ブラウザではリンクをたどれるのに、wgetでは再帰的にダウンロードしてくれない。
やっと解決できたのでメモ。

<meta name=”robots” content=”noindex, nofollow”>
<meta name=”robots” content=”noarchive”>

サイト内すべての上記をコメントアウトしたところ再帰的にダウンロードすることができました。
wgetはrobotのクロールと扱われているんですね。