また使う機会があるかもしれないので書いておきます。 robots.txt のUserAgentに使えます。 主要なクローラーだけなので、書きそびれているクローラー名もたくさんあると思います。 それに、robots.txt を無視するのもあるので注意。 以下、66個。 コピー Ad…