40.01.USER_AGENT

アクセスされたブラウザを見て表示を変更するケースは良くあります。
そこでテストしてみます。

CCBot/2.0 (http://commoncrawl.org/faq/)

//この記事は編集中です。