######## # (1) 全てのロボットを拒否する ######## User-agent: * Disallow: / ######## # (2) (1)において、特定のロボットを許可する ######## User-agent: Googlebot Disallow: Disallow: /x/ Disallow: /erie/ User-agent: msnbot Disallow: Disallow: /x/ Disallow: /erie/ User-agent: Slurp Disallow: User-agent: Teoma Disallow: ######## # (3) (1)、(2)において特定のディレクトリを拒否する ######## User-agent: * Disallow: /x/ Disallow: /erie/ ######## # (4) その他、固有の設定 ######## User-agent: Hatena Antenna Disallow: User-agent: LinkWalker Disallow: / User-agent: ConveraCrawler Disallow: / User-agent: psbot Disallow: /