很多站长在做网站运维时，为保护私有内容、避免页面被随意收录复制，会手动配置robots协议、后台封禁爬虫，明确禁止百度蜘蛛抓取网站数据。但配置完成后，依旧能看到百度爬虫持续访问站点、抓取页面，不少站长心生不满：明明已经禁止抓取，百度仍然爬站，站长到底能不能起诉百度维权？
首先客观说明行业现状：单纯依靠robots禁止爬虫、百度依旧抓取，普通站长起诉胜诉难度极高。很多站长误以为robots协议具备绝对法律效力，一旦爬虫无视规则就是违法，其实并不准确。Robots属于行业自律协议，不属于硬性法律条文，仅作为搜索引擎遵守的行业道德规范，而非强制约束条款。
结合过往司法案例可以看出，法院判定爬虫违规，有着严格的判定条件。大多仅在搜索引擎恶意抓取私有付费内容、涉密内容、绕过网站多重技术防护、抓取行为造成企业直接经济损失、数据被盗用商用的情况下，才会判定搜索引擎构成不正当竞争，支持站长维权索赔。
而大多数普通企业站、资讯站，网站内容属于公开展示内容，即便站长设置robots禁止抓取，百度爬虫访问收录，很难判定为侵权违规。简单来说，公开展示的网页，本身面向互联网开放，搜索引擎抓取属于常规检索行为，很难通过法律追责。
除此之外，百度也有对应的平台规则兜底。搜索引擎需要全网抓取公开页面，完善检索资源、满足用户搜索需求。如果全部无条件遵守站点robots禁止规则，会造成大量网络公开信息缺失，影响搜索服务完整性，因此平台会保留自主复核、选择性抓取的权限。
武荣网络总结，普通站长想要靠起诉杜绝百度爬虫，实操性较低、维权成本高。与其耗费精力维权，不如做好技术防护：加固网站爬虫限制规则、封禁无效蜘蛛IP、设置访问拦截。针对私密内容、未上线内容，做好权限隐藏、禁止公开访问，从根源杜绝爬虫抓取，更适合中小站长维稳站点。
下一篇：没有了！
35058302350743号
