第57章 阻挡爬虫
“搬家？”张健起身快步凑过去看了一眼，“臥槽，这抓取频率，这是爬虫啊！谁特么这么缺德，大半夜閒的来爬咱们的用户帖子？”
“查一下ip。”白宇航眼神一凝，身子坐直了。
宛良皓手指飞快地打开网站访问数据日誌，几秒钟后，一行地址跳了出来。
“ip归属地……京城。”宛良皓转头看向白宇航，“hd区的ip段。”
包厢里的空气瞬间凝固了。
京城，海淀，爬虫技术。
这几个词组合在一起，在这个年代，指向性太明显了。
那个刚刚海归回国不久，在中关村租了个宾馆房间，开始搞搜索的男人，或者是那几家正在阵痛转型的门户巨头，已经闻到了这边的血腥味。
“看来咱们的动静，確实比想像中还要大。”白宇航盯著那个闪烁的ip，嘴角勾起一抹冷笑，隨手拿起桌上的打火机，“啪”地打著了火，“这是好事。说明咱们已经入了真正的正规军的法眼。让他爬，把咱们的防火墙策略改一下，让他吃一口漏一口，別让他吃得太顺嘴了。”
宛良皓说话间按照白宇航的想法，改好了防火墙策略。將对启航校內网的所有访问要求中，筛选出短时间內的连续访问刷新的ip，增加了验证。然后几人盯著屏幕上不断实时跳动的日誌，眉头越锁越紧，最后忍不住拿笔帽戳了戳显示器：“这孙子还没停，频率反而更高了。你看这请求路径，专门盯著『班级成员列表』和『用户个人资料』抓。这是想把咱们的户口本都给端走啊。”
“hd区的ip，这会儿还没睡，也是个加班的苦命鬼。”张健凑过来扫了一眼，含糊不清地骂道，“真特么不要脸，咱们辛辛苦苦拉的人头，他写个脚本就想白嫖？老六，要不我顺著ip摸过去，给他伺服器种个木马？”
“別乱来，咱们是正经公司，不干那黑客的勾当。”白宇航把刚点著的烟，架在菸灰缸上，身子前倾，盯著那一行行贪婪的访问记录。
2000年的网际网路还是片蛮荒之地，各大门户和搜寻引擎为了扩充內容库，派出的爬虫就像蝗虫一样，所过之处寸草不生。
后来著名的robots协议此时在大多数站长眼里就是个摆设，更別提什么隱私保护观念了。
但在白宇航眼里，这不仅仅是几个页面的事，爬走的数据並不能为启航校內网扩充搜寻引擎的访问结果，反而將用户信息暴露在公网上，这是在动启航的根基。
“他这是在偷咱们的关係链。”白宇航手指在桌面上轻叩，“咱们最值钱的不是页面，是『谁认识谁』这张网。要是被百度或者別的什么门户抓走了，咱们的护城河就漏了。”
“那咋整？封ip？”宛良皓看著白宇航，“封了一个，人家换个代理或者ip接著爬，治標不治本。”
“那就把门关上，修个围墙。”白宇航眼神一凛，迅速做出了决定，“老三，听我的，改代码。全站开启强制登录验证。游客身份只能看首页和註册页，想看內页？想看班花照片？想看谁是谁同学？必须登录。”
“全封？”宛良皓愣了一下，“老六，这可是把双刃剑。搜寻引擎抓不到咱们，以后在网上可就搜不到咱们的內容了，这不等於自绝於网民和用户吗？现在的网站，都巴不得把裤衩子脱了，给搜寻引擎看。”
“咱们不一样。咱们做的是熟人社交，真实社交，不是新闻门户。”白宇航语气篤定，“咱们要的是私密感，是安全感。你想想，如果一个女生的照片，隨便谁在百度上一搜就能搜到，还带著她的名字，她还敢发吗？只有把墙砌高了，墙里的人才玩得开。至於流量？咱们靠的是人拉人，不需要那帮冷冰冰的爬虫带路。”
见宛良皓还在犹豫，白宇航直接拋出了杀手鐧：“再加一道锁。给那些访问频率异常高的ip，过页访问时，直接上验证码。”
“验证码？那是啥？”屋里几个人都一脸茫然。
“就是生成一张满是噪点和干扰线的图片，上面隨机写几个歪歪扭扭的字母或者是数字，让用户输入对了才能继续访问。这个在csdn开发者论坛上，有直接可以调用的代码模块，你下载下来，调试直接用。”白宇航隨手在纸上画了个草图，“验证码，人眼能勉强认出来，但现在搜寻引擎爬虫的ocr技术绝对认不出来，专门治这种不请自来的脚本机器人。”
宛良皓眼睛瞬间亮了，一拍大腿：“臥槽，这招损啊！既不用封ip，又能把那帮爬虫噁心死。行，我这就干！”
键盘敲击声再次在包厢里密集响起。
101看书 101 看书网超好用，.??????隨时看 全手打无错站
宛良皓一边写一边坏笑，仿佛已经看到了对面那个程式设计师抓耳挠腮的样子。
二十分钟后。
“上线！”
隨著宛良皓按下回车键，防火墙日誌上的画面瞬间变了。那个来自hd区的ip依旧在疯狂请求，但返回的状態码从一路绿灯的“200”，瞬间变成了一片惨红的“403 forbidden”和重定向请求。
“哎哟，还在试呢？”宛良皓看著日誌乐了，“这爬虫机器人估计懵了，明明刚才还吃著免费自助餐，突然就被保安扔出来了。”
“让他试。”白宇航看著那一片红色的拒绝访问记录，把烟屁股按灭，“等他发现连个標点符號都爬不走的时候，自然就老实了。咱们的数据，那是金矿，想进矿山？要么进门买门票，要么自己找矿挖，想偷？门都没有。”
宛良皓看著屏幕上终於慢下来，直至消失的异常流量，长出了一口气，拧开一瓶冰红茶，灌了一大口：“爽！老六，截住了搜寻引擎的爬虫，我们伺服器的负载能低不少。哎，你说对面那帮人知道了，现在是不是在骂娘？”
“骂娘是肯定的。”白宇航靠回椅背，嘴角勾起一抹玩味的笑，“不过骂完之后，他们就该琢磨，怎么给咱们估值了。毕竟，一个连爬虫都爬不动的网站，才说明里面的东西是真的值钱。”
“查一下ip。”白宇航眼神一凝，身子坐直了。
宛良皓手指飞快地打开网站访问数据日誌，几秒钟后，一行地址跳了出来。
“ip归属地……京城。”宛良皓转头看向白宇航，“hd区的ip段。”
包厢里的空气瞬间凝固了。
京城，海淀，爬虫技术。
这几个词组合在一起，在这个年代，指向性太明显了。
那个刚刚海归回国不久，在中关村租了个宾馆房间，开始搞搜索的男人，或者是那几家正在阵痛转型的门户巨头，已经闻到了这边的血腥味。
“看来咱们的动静，確实比想像中还要大。”白宇航盯著那个闪烁的ip，嘴角勾起一抹冷笑，隨手拿起桌上的打火机，“啪”地打著了火，“这是好事。说明咱们已经入了真正的正规军的法眼。让他爬，把咱们的防火墙策略改一下，让他吃一口漏一口，別让他吃得太顺嘴了。”
宛良皓说话间按照白宇航的想法，改好了防火墙策略。將对启航校內网的所有访问要求中，筛选出短时间內的连续访问刷新的ip，增加了验证。然后几人盯著屏幕上不断实时跳动的日誌，眉头越锁越紧，最后忍不住拿笔帽戳了戳显示器：“这孙子还没停，频率反而更高了。你看这请求路径，专门盯著『班级成员列表』和『用户个人资料』抓。这是想把咱们的户口本都给端走啊。”
“hd区的ip，这会儿还没睡，也是个加班的苦命鬼。”张健凑过来扫了一眼，含糊不清地骂道，“真特么不要脸，咱们辛辛苦苦拉的人头，他写个脚本就想白嫖？老六，要不我顺著ip摸过去，给他伺服器种个木马？”
“別乱来，咱们是正经公司，不干那黑客的勾当。”白宇航把刚点著的烟，架在菸灰缸上，身子前倾，盯著那一行行贪婪的访问记录。
2000年的网际网路还是片蛮荒之地，各大门户和搜寻引擎为了扩充內容库，派出的爬虫就像蝗虫一样，所过之处寸草不生。
后来著名的robots协议此时在大多数站长眼里就是个摆设，更別提什么隱私保护观念了。
但在白宇航眼里，这不仅仅是几个页面的事，爬走的数据並不能为启航校內网扩充搜寻引擎的访问结果，反而將用户信息暴露在公网上，这是在动启航的根基。
“他这是在偷咱们的关係链。”白宇航手指在桌面上轻叩，“咱们最值钱的不是页面，是『谁认识谁』这张网。要是被百度或者別的什么门户抓走了，咱们的护城河就漏了。”
“那咋整？封ip？”宛良皓看著白宇航，“封了一个，人家换个代理或者ip接著爬，治標不治本。”
“那就把门关上，修个围墙。”白宇航眼神一凛，迅速做出了决定，“老三，听我的，改代码。全站开启强制登录验证。游客身份只能看首页和註册页，想看內页？想看班花照片？想看谁是谁同学？必须登录。”
“全封？”宛良皓愣了一下，“老六，这可是把双刃剑。搜寻引擎抓不到咱们，以后在网上可就搜不到咱们的內容了，这不等於自绝於网民和用户吗？现在的网站，都巴不得把裤衩子脱了，给搜寻引擎看。”
“咱们不一样。咱们做的是熟人社交，真实社交，不是新闻门户。”白宇航语气篤定，“咱们要的是私密感，是安全感。你想想，如果一个女生的照片，隨便谁在百度上一搜就能搜到，还带著她的名字，她还敢发吗？只有把墙砌高了，墙里的人才玩得开。至於流量？咱们靠的是人拉人，不需要那帮冷冰冰的爬虫带路。”
见宛良皓还在犹豫，白宇航直接拋出了杀手鐧：“再加一道锁。给那些访问频率异常高的ip，过页访问时，直接上验证码。”
“验证码？那是啥？”屋里几个人都一脸茫然。
“就是生成一张满是噪点和干扰线的图片，上面隨机写几个歪歪扭扭的字母或者是数字，让用户输入对了才能继续访问。这个在csdn开发者论坛上，有直接可以调用的代码模块，你下载下来，调试直接用。”白宇航隨手在纸上画了个草图，“验证码，人眼能勉强认出来，但现在搜寻引擎爬虫的ocr技术绝对认不出来，专门治这种不请自来的脚本机器人。”
宛良皓眼睛瞬间亮了，一拍大腿：“臥槽，这招损啊！既不用封ip，又能把那帮爬虫噁心死。行，我这就干！”
键盘敲击声再次在包厢里密集响起。
101看书 101 看书网超好用，.??????隨时看 全手打无错站
宛良皓一边写一边坏笑，仿佛已经看到了对面那个程式设计师抓耳挠腮的样子。
二十分钟后。
“上线！”
隨著宛良皓按下回车键，防火墙日誌上的画面瞬间变了。那个来自hd区的ip依旧在疯狂请求，但返回的状態码从一路绿灯的“200”，瞬间变成了一片惨红的“403 forbidden”和重定向请求。
“哎哟，还在试呢？”宛良皓看著日誌乐了，“这爬虫机器人估计懵了，明明刚才还吃著免费自助餐，突然就被保安扔出来了。”
“让他试。”白宇航看著那一片红色的拒绝访问记录，把烟屁股按灭，“等他发现连个標点符號都爬不走的时候，自然就老实了。咱们的数据，那是金矿，想进矿山？要么进门买门票，要么自己找矿挖，想偷？门都没有。”
宛良皓看著屏幕上终於慢下来，直至消失的异常流量，长出了一口气，拧开一瓶冰红茶，灌了一大口：“爽！老六，截住了搜寻引擎的爬虫，我们伺服器的负载能低不少。哎，你说对面那帮人知道了，现在是不是在骂娘？”
“骂娘是肯定的。”白宇航靠回椅背，嘴角勾起一抹玩味的笑，“不过骂完之后，他们就该琢磨，怎么给咱们估值了。毕竟，一个连爬虫都爬不动的网站，才说明里面的东西是真的值钱。”