目录User，Agent，UA，是HTTP协议请求头的一部分，它提供了用户软件的信息，包括应用类型、操作系统、供应商和版本，搜索引擎爬虫频繁的爬行和较高的爬行频率，有时会对网站造成较大的负载，搜索引擎爬虫作为搜索引擎获取和理解网页内容的工具，其User，Agent一般都是带有spider、bot字样，同时还会有搜索引擎厂商的标识，比如...。