如果你做过网站，可能会经常听到“搜索引擎蜘蛛”这个词。其实，这些蜘蛛就是各大搜索引擎派来我们网站“抓取”内容的机器人。为了方便我们认出它们，每个蜘蛛在访问时都会自带一个“数字身份证”，也就是我们常说的 User-Agent（简称 UA）。今天，我就用大白话带大家认识一下各大搜索引擎蜘蛛的常见“名片”。不过在看之前，一定要记住一个核心原则：UA 标识是可以被伪造的！ 就像坏人可以戴上警察的面具一样，有些恶意程序也会冒充搜索引擎蜘蛛。所以，以下这些标识我们只能作为参考，不能盲目迷信。1. 谷歌搜索 (Googlebot)桌面端蜘蛛：它的“名片”上写着 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)。手机端蜘蛛：专门负责抓取手机网页的蜘蛛，名片上除了包含 Googlebot 字样，还会带有 Android 和 Mobile 等字样，表明它是来查看移动端页面的。2. 百度搜索 (Baiduspider)百度蜘蛛的“名片”非常直白，里面包含了 Baiduspider 字样，比如 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)。看到 Baiduspider，基本就是百度派来的访客了。3. 必应搜索 (Bingbot)微软必应的蜘蛛名片上写着 bingbot，例如 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)。4. 其他常见的搜索引擎蜘蛛俄罗斯 Yandex 搜索：名片上带有 YandexBot。搜狗搜索：名片上带有 Sogou web spider。360搜索 (好搜)：它的标识比较特别，除了带有 360Spider 字样，前面还模仿了老版本 IE 浏览器的格式。如何防范“假蜘蛛”？既然 UA 可以伪装，网站管理员该怎么辨别真假呢？最靠谱的方法是进行**“双重验证”**：看名片 (UA)：先通过日志检查它的 User-Agent 是否符合上述特征。查户口 (IP反向解析)：真正的搜索引擎蜘蛛，其 IP 地址是可以反向解析出官方域名的（比如百度蜘蛛会解析出 *.baidu.com）。如果一个访客拿着百度蜘蛛的名片，却查不到百度的官方 IP，那它大概率就是来捣乱的“假蜘蛛”了！