一个网页距离爬虫上次访问是否更新了,这个是重要但是又非常难判断的问题。如果只是一次性抓取来一些数据来用,那这个 […]
Continue reading…
Search Results for: 爬虫
有关爬虫框架的设计的一些备忘
我们公司一直在使用自己设计的爬虫框架,这么做的初衷是让框架保持简单,新手可以很快写一个爬虫工作。但是也遇到过许 […]
Continue reading…
爬虫常用的工具
前面写过一篇《如何成为一名爬虫工程师》,这篇博文介绍一些写爬虫的神器。比如查看网络请求,模拟网络请求等。本文不 […]
Continue reading…
如何成为一名爬虫工程师
程序员有时候很难和外行人讲明白自己的工作是什么,甚至有些时候,跟同行的人讲清楚“你是干什么的”也很困难。比如我 […]
Continue reading…
介绍 Lobbyboy 项目
上周末写了一个小工具,叫做 Lobbyboy(源代码:https://github.com/laixintao […]
Continue reading…