<head>に記載することで検索エンジンからのクロールを拒否することができる。
<meta name="robots" content="noindex">
ちなみにGoogleのクローラーのみを拒否したい場合は、
<meta name="googlebot" content="noindex">
クローラーを拒否する理由
SEOの視点からだと、コンテンツとして価値の低いページはnoindexにしたほうがサイト全体の価値を上げることに繋がる。
例えば、問い合わせのサンクスページや、CMSによって自動生成される画像ページ等。
また画像URLをnoindexにすることでサイトのプライバシーを守ることにもなる。会員サイト等でプライバシーな情報が写っている画像ページをクロールさせないことで、Googleなどの検索エンジンに画像をヒットさせなくすることができる。