第57章 阻挡爬虫(1 / 2)
“搬家?”张健起身快步凑过去看了一眼,“臥槽,这抓取频率,这是爬虫啊!谁特么这么缺德,大半夜閒的来爬咱们的用户帖子?”
“查一下ip。”白宇航眼神一凝,身子坐直了。
宛良皓手指飞快地打开网站访问数据日誌,几秒钟后,一行地址跳了出来。
“ip归属地……京城。”宛良皓转头看向白宇航,“hd区的ip段。”
包厢里的空气瞬间凝固了。
京城,海淀,爬虫技术。
这几个词组合在一起,在这个年代,指向性太明显了。
那个刚刚海归回国不久,在中关村租了个宾馆房间,开始搞搜索的男人,或者是那几家正在阵痛转型的门户巨头,已经闻到了这边的血腥味。
“看来咱们的动静,確实比想像中还要大。”白宇航盯著那个闪烁的ip,嘴角勾起一抹冷笑,隨手拿起桌上的打火机,“啪”地打著了火,“这是好事。说明咱们已经入了真正的正规军的法眼。让他爬,把咱们的防火墙策略改一下,让他吃一口漏一口,別让他吃得太顺嘴了。”
宛良皓说话间按照白宇航的想法,改好了防火墙策略。將对启航校內网的所有访问要求中,筛选出短时间內的连续访问刷新的ip,增加了验证。然后几人盯著屏幕上不断实时跳动的日誌,眉头越锁越紧,最后忍不住拿笔帽戳了戳显示器:“这孙子还没停,频率反而更高了。你看这请求路径,专门盯著『班级成员列表』和『用户个人资料』抓。这是想把咱们的户口本都给端走啊。”
“hd区的ip,这会儿还没睡,也是个加班的苦命鬼。”张健凑过来扫了一眼,含糊不清地骂道,“真特么不要脸,咱们辛辛苦苦拉的人头,他写个脚本就想白嫖?老六,要不我顺著ip摸过去,给他伺服器种个木马?”
“別乱来,咱们是正经公司,不干那黑客的勾当。”白宇航把刚点著的烟,架在菸灰缸上,身子前倾,盯著那一行行贪婪的访问记录。
2000年的网际网路还是片蛮荒之地,各大门户和搜寻引擎为了扩充內容库,派出的爬虫就像蝗虫一样,所过之处寸草不生。
后来著名的robots协议此时在大多数站长眼里就是个摆设,更別提什么隱私保护观念了。
但在白宇航眼里,这不仅仅是几个页面的事,爬走的数据並不能为启航校內网扩充搜寻引擎的访问结果,反而將用户信息暴露在公网上,这是在动启航的根基。
“他这是在偷咱们的关係链。”白宇航手指在桌面上轻叩,“咱们最值钱的不是页面,是『谁认识谁』这张网。要是被百度或者別的什么门户抓走了,咱们的护城河就漏了。”
“那咋整?封ip?”宛良皓看著白宇航,“封了一个,人家换个代理或者ip接著爬,治標不治本。”
“那就把门关上,修个围墙。”白宇航眼神一凛,迅速做出了决定,“老三,听我的,改代码。全站开启强制登录验证。游客身份只能看首页和註册页,想看內页?想看班花照片?想看谁是谁同学?必须登录。”
“全封?”宛良皓愣了一下,“老六,这可是把双刃剑。搜寻引擎抓不到咱们,以后在网上可就搜不到咱们的內容了,这不等於自绝於网民和用户吗?现在的网站,都巴不得把裤衩子脱了,给搜寻引擎看。”
“咱们不一样。咱们做的是熟人社交,真实社交,不是新闻门户。”白宇航语气篤定,“咱们要的是私密感,是安全感。你想想,如果一个女生的照片,隨便谁在百度上一搜就能搜到,还带著她的名字,她还敢发吗?只有把墙砌高了,墙里的人才玩得开。至於流量?咱们靠的是人拉人,不需要那帮冷冰冰的爬虫带路。”
见宛良皓还在犹豫,白宇航直接拋出了杀手鐧:“再加一道锁。给那些访问频率异常高的ip,过页访问时,直接上验证码。”
“验证码?那是啥?”屋里几个人都一脸茫然。
“就是生成一张满是噪点和干扰线的图片,上面隨机写几个歪歪扭扭的字母或者是数字,让用户输入对了才能继续访问。这个在csdn开发者论坛上,有直接可以调用的代码模块,你下载下来,调试直接用。”白宇航隨手在纸上画了个草图,“验证码,人眼能勉强认出来,但现在搜寻引擎爬虫的ocr技术绝对认不出来,专门治这种不请自来的脚本机器人。”
宛良皓眼睛瞬间亮了,一拍大腿:“臥槽,这招损啊!既不用封ip,又能把那帮爬虫噁心死。行,我这就干!”
键盘敲击声再次在包厢里密集响起。
101看书 101 看书网超好用,.??????隨时看 全手打无错站
宛良皓一边写一边坏笑,仿佛已经看到了对面那个程式设计师抓耳挠腮的样子。
二十分钟后。
“上线!”
隨著宛良皓按下回车键,防火墙日誌上的画面瞬间变了。那个来自hd区的ip依旧在疯狂请求,但返回的状態码从一路绿灯的“200”,瞬间变成了一片惨红的“403 forbidden”和重定向请求。 ↑返回顶部↑
“查一下ip。”白宇航眼神一凝,身子坐直了。
宛良皓手指飞快地打开网站访问数据日誌,几秒钟后,一行地址跳了出来。
“ip归属地……京城。”宛良皓转头看向白宇航,“hd区的ip段。”
包厢里的空气瞬间凝固了。
京城,海淀,爬虫技术。
这几个词组合在一起,在这个年代,指向性太明显了。
那个刚刚海归回国不久,在中关村租了个宾馆房间,开始搞搜索的男人,或者是那几家正在阵痛转型的门户巨头,已经闻到了这边的血腥味。
“看来咱们的动静,確实比想像中还要大。”白宇航盯著那个闪烁的ip,嘴角勾起一抹冷笑,隨手拿起桌上的打火机,“啪”地打著了火,“这是好事。说明咱们已经入了真正的正规军的法眼。让他爬,把咱们的防火墙策略改一下,让他吃一口漏一口,別让他吃得太顺嘴了。”
宛良皓说话间按照白宇航的想法,改好了防火墙策略。將对启航校內网的所有访问要求中,筛选出短时间內的连续访问刷新的ip,增加了验证。然后几人盯著屏幕上不断实时跳动的日誌,眉头越锁越紧,最后忍不住拿笔帽戳了戳显示器:“这孙子还没停,频率反而更高了。你看这请求路径,专门盯著『班级成员列表』和『用户个人资料』抓。这是想把咱们的户口本都给端走啊。”
“hd区的ip,这会儿还没睡,也是个加班的苦命鬼。”张健凑过来扫了一眼,含糊不清地骂道,“真特么不要脸,咱们辛辛苦苦拉的人头,他写个脚本就想白嫖?老六,要不我顺著ip摸过去,给他伺服器种个木马?”
“別乱来,咱们是正经公司,不干那黑客的勾当。”白宇航把刚点著的烟,架在菸灰缸上,身子前倾,盯著那一行行贪婪的访问记录。
2000年的网际网路还是片蛮荒之地,各大门户和搜寻引擎为了扩充內容库,派出的爬虫就像蝗虫一样,所过之处寸草不生。
后来著名的robots协议此时在大多数站长眼里就是个摆设,更別提什么隱私保护观念了。
但在白宇航眼里,这不仅仅是几个页面的事,爬走的数据並不能为启航校內网扩充搜寻引擎的访问结果,反而將用户信息暴露在公网上,这是在动启航的根基。
“他这是在偷咱们的关係链。”白宇航手指在桌面上轻叩,“咱们最值钱的不是页面,是『谁认识谁』这张网。要是被百度或者別的什么门户抓走了,咱们的护城河就漏了。”
“那咋整?封ip?”宛良皓看著白宇航,“封了一个,人家换个代理或者ip接著爬,治標不治本。”
“那就把门关上,修个围墙。”白宇航眼神一凛,迅速做出了决定,“老三,听我的,改代码。全站开启强制登录验证。游客身份只能看首页和註册页,想看內页?想看班花照片?想看谁是谁同学?必须登录。”
“全封?”宛良皓愣了一下,“老六,这可是把双刃剑。搜寻引擎抓不到咱们,以后在网上可就搜不到咱们的內容了,这不等於自绝於网民和用户吗?现在的网站,都巴不得把裤衩子脱了,给搜寻引擎看。”
“咱们不一样。咱们做的是熟人社交,真实社交,不是新闻门户。”白宇航语气篤定,“咱们要的是私密感,是安全感。你想想,如果一个女生的照片,隨便谁在百度上一搜就能搜到,还带著她的名字,她还敢发吗?只有把墙砌高了,墙里的人才玩得开。至於流量?咱们靠的是人拉人,不需要那帮冷冰冰的爬虫带路。”
见宛良皓还在犹豫,白宇航直接拋出了杀手鐧:“再加一道锁。给那些访问频率异常高的ip,过页访问时,直接上验证码。”
“验证码?那是啥?”屋里几个人都一脸茫然。
“就是生成一张满是噪点和干扰线的图片,上面隨机写几个歪歪扭扭的字母或者是数字,让用户输入对了才能继续访问。这个在csdn开发者论坛上,有直接可以调用的代码模块,你下载下来,调试直接用。”白宇航隨手在纸上画了个草图,“验证码,人眼能勉强认出来,但现在搜寻引擎爬虫的ocr技术绝对认不出来,专门治这种不请自来的脚本机器人。”
宛良皓眼睛瞬间亮了,一拍大腿:“臥槽,这招损啊!既不用封ip,又能把那帮爬虫噁心死。行,我这就干!”
键盘敲击声再次在包厢里密集响起。
101看书 101 看书网超好用,.??????隨时看 全手打无错站
宛良皓一边写一边坏笑,仿佛已经看到了对面那个程式设计师抓耳挠腮的样子。
二十分钟后。
“上线!”
隨著宛良皓按下回车键,防火墙日誌上的画面瞬间变了。那个来自hd区的ip依旧在疯狂请求,但返回的状態码从一路绿灯的“200”,瞬间变成了一片惨红的“403 forbidden”和重定向请求。 ↑返回顶部↑