网站一般在( )文件中描述被爬取的规则。

ALicense.txt[|]robots.txt[|]ReadMe.txt[|]hentrix.txt