robots.txt
robots-txt

クローラー
くろーらー

bot
ぼっと

直接リンク
ちょくせつりんく

.htaccess
えいちてぃーあくせす