的汇总-UA标识-常见搜索引擎蜘蛛爬虫UserAgent

Mozilla/5.0(compatible;Baiduspider/2.0;+或
Mozilla/5.0(compatible;Baiduspider-render/2.0;+百度移动蜘蛛
Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3(compatible;Baiduspider/2.0;+或
Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+百度小程序蜘蛛
Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;Smartapp;+
Google 蜘蛛(googlebot)
Google PC蜘蛛
Mozilla/5.0AppleWebKit/537.36(KHTML,likeGecko;compatible;Googlebot/2.1;+其中W.X.Y.Z是Chrome浏览器版本号。Google蜘蛛从2019年开始使用最新版本的Chrome引擎抓取、渲染页面，所以这个版本号会保持更新。
或（偶尔使用）
Mozilla/5.0(compatible;Googlebot/2.1;+或（偶尔使用）
Googlebot/2.1(+移动蜘蛛
Mozilla/5.0(Linux;Android6.0.1;Nexus5XBuild/MMB29P)AppleWebKit/537.36(KHTML,likeGecko)Chrome/W.X.Y.ZMobileSafari/537.36(compatible;Googlebot/2.1;+图片蜘蛛
Googlebot-Image/1.0
Google视频蜘蛛
Googlebot-Video/1.0
360搜索蜘蛛(360spider)
Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.102Safari/537.36;360Spider
搜狗蜘蛛(sogou)
搜狗PC蜘蛛
Sogouwebspider/4.0(+搜狗移动蜘蛛
Sogouwapspider/4.0(+蜘蛛(bingbot)
Mozilla/5.0(Linux;Android6.0.1;Nexus5XBuild/MMB29P)AppleWebKit/537.36(KHTML,likeGecko)Chrome/W.X.Y.ZMobileSafari/537.36Edg/W.X.Y.Z(compatible;bingbot/2.0;+其中W.X.Y.Z是Chrome和Edge浏览器版本号。和Google一样，Bing也使用最新版本的Microsoft Edge引擎抓取、渲染页面。Edge和Chrome一样，也使用Chromium内核，所以Bing蜘蛛用户代理字符串里还包含一个Chrome版本号。
头条搜索爬虫(bytespider)
神马搜索的蜘蛛爬虫(YisouSpider)
YisouSpider的行为特点包括频繁的爬行和较高的爬行频率，有时会对网站造成较大的负载，尤其是对于VPS或内存较小的虚拟机，可能会导致网站崩溃或性能下降‌。此外，YisouSpider的爬行不受时间限制，白天和晚上都会进行爬行，且爬行次数和频率超过其他蜘蛛的总和‌.
雅虎搜索引擎的蜘蛛
Slurp的主要功能是抓取网页内容，帮助雅虎搜索引擎更新和索引互联网上的信息。与其他搜索引擎蜘蛛类似，Slurp会定期访问网站，抓取新的或更新的内容，并将其添加到雅虎的索引中。
总结
个人使用的蜘蛛列表：['baiduspider', 'googlebot', '360spider', 'sogou', 'bingbot', 'yisouspider', 'bytespider', 'slurp', 'yahoo', 'yandexbot', 'exabot', 'ia_archiver']