打开服务器根目录下的Nginx访问日志。一份单日产生200万行记录的日志文件里记录着各类程序的访问请求。一台标配4核8G的云服务器每月承受大约80万次来自外网的自动化请求。真实买家的点击在页面加载后产生少量的图片和脚本读取指令数量控制在50个HTTP请求以内。服务器的CPU占用率在凌晨2点经常飙升到85%。检查IP来源表明大量请求指向网站的300个旧版文章归档页。网站管理员每个月支付500块钱的服务器账单其中150块钱被用于处理机器程序的空转。谷歌蜘蛛每天分配给一个新建企业站的配额大约是2000个页面。无效的请求塞满服务器队列正常的网页收录周期从3天拖延到15天。创建一个纯文本文件放置在网站根目录。文件大小通常不超过2KB。纯文本内容被机器程序读取的响应时间要求控制在50毫秒之内。机器程序在发起任何页面请求前强制要求访问这个特定文本。观察一家日均访问量1000IP的外贸独立站管理员在文件中写入拦截指令。3天后服务器的出口带宽峰值从5兆每秒下降到1.2兆每秒。不需要复杂的防火墙配置服务器内存占用释放了大约300兆。谷歌站长控制台的抓取统计图表显示针对产品详情页的有效抓取比例从12%上升到78%。运营人员手动提交50个新上架产品当天下午3点能在搜索结果中查到45个。代码编辑器里输入几行纯文本。代码行数不超过20行。第一组指令写入MJ12bot。这个爬虫每月在小型网站产生2万次空点击。加入AhrefsBot的拦截规则。机器程序单方面抓取反向链接数据。写入SemrushBot。服务器端日志显示它经常在深夜12点进行全站遍历。包含DotBot的禁止抓取代码。减少每月额外30GB的流量消耗。针对Rogerbot添加限制。降低全站的页面响应延迟50毫秒。网站后台目录添加星号匹配。屏蔽包含wp-admin字符的55个管理路径。带有问号的动态参数加入拦截列表。防止产生1万个重复的搜索结果页。配置完成后通过FTP软件上传至服务器空间。文件权限设置为644。阅读第二天的服务器状态报表。返回状态码为404的错误页面记录减少了60%。拦截规则生效期间主流搜索引擎的真实抓取频率保持在每分钟3次。查阅2万条蜘蛛访问记录百度爬虫在首页停留的时间平均为1.5秒。微软必应程序的抓取间隔保持在10秒一次。包含CSS样式的文件夹允许抓取5个总大小200KB的样式文件保证了移动端页面的正确渲染。网页文字被读取后排版保持正常。使用测试工具模拟抓取检测耗时低于0.2秒。返回结果显示为绿色状态。文本文件的最底端添加XML格式的网站地图绝对路径。一份标准的地图文件包含1万条商品链接。地图体积控制在5MB以内。每隔24小时更新一次600个商品的价格标签。爬虫读取地图后跳过3个层级的目录结构。商品图片文件夹包含5000张高分辨率产品图。限制机器程序抓取2MB大小的原始图片放开对300KB压缩图的访问权限。商品页面的收录数在一个月内多出400条。列出常见机器程序的资源占用清单。机器程序名称行为特征描述日均抓取量预估带宽消耗占比谷歌爬虫索引网页内容3000次15%MJ12bot收集链接数据15000次25%SemrushBot读取网页文字8000次20%必应爬虫同步搜索库2000次10%表格中列出的非搜索引擎程序在第一行写入User-agent指令。拦截后服务器CPU日均负载下降30%。处理1万个请求的响应时间缩短了800毫秒。开发者在修改纯文本文件时多敲了一个斜杠符号。一条包含星号和单斜杠的简短指令阻止了所有的抓取行为。一天之内网站在搜索引擎中的索引量掉了5000个。排名在第一页的8个关键词消失。修改错误指令后重新提交验证等待了72小时。检查规则时避开针对JS文件夹的拦截。3个包含交互特效的脚本文件总共50KB。阻止脚本抓取会导致移动设备适配测试得分为0。将敏感的客户资料存放在带有128位加密的数据库中。纯文本文件暴露在公网任何人输入文件路径就能读取所有12条指令。一份包含50万个汉字的内容站点内部存在1000个标签页面。搜索引擎的质检程序每次来访只分配10分钟的处理时间。标签页面占据了80%的抓取时间。发布的两篇2000字行业分析文章停留在未收录状态长达4天。通过纯文本配置将1000个标签路径屏蔽。质检程序将省下来的8分钟用于读取新文章。第二天早晨8点两篇新文章出现在搜索结果的前3页。服务器磁盘的读取操作每秒减少了50次。维持这份纯文本规则每月省下的服务器流量支持多出500个真实用户的访问并发量。大型电商站点的商品品类超过2000种。站内搜索框每天产生3万次查询记录。机器程序顺着查询结果页面不停抓取。单月多出10万个带有搜索参数的无效路径。服务器硬盘的读写速度下降到每秒20兆字节。硬件机房的CPU温度升高5度。把搜索结果页面的特定字符加入纯文本拦截名单中。3天时间里无效路径的读取次数减少了8万次。硬件资源的消耗恢复到正常水平。真实买家打开商品详情页的速度快了0.6秒。购物车页面的加载时间缩短到1.2秒。多语言版本的网站部署了5个不同语种的子目录。每个子目录包含5000篇文章。西班牙语版本的页面访问量每天只有200次。蜘蛛程序把一半的停留时间花费在西班牙语目录上。英语主站的1万个产品页面得不到及时收录。在纯文本文件中针对特定语言目录设定抓取延迟指令。两次抓取的间隔时间设定为30秒。主站英语页面的收录速度变快了3倍。服务器每小时分配给主站的宽带增加了50MB。7天后英语地区用户的访问量多出2000人次。