python爬虫的基础是基本的python语法和网络编程,python语法可以参考我前面的文章,这篇文章主要学习网络编程。

模块socket和socketsever

socket用于编写客户端和服务端,操作方法也很简单。socketsever是一个用于编写服务器的模块。由于和爬虫关系不大,此处略。

模块urllib和urllib2

在python3中,urllib2合并到了urllib。
首先我们来打开一个远程文件(准确来说返回的是一个对象)(只能读取)

from urllib.request import urlopen
page = urlopen('https://enterdawn.top')

urlopen返回的对象支持close、read、readline和readlines,还支持迭代等。
如果我们要下载一个文件,可以使用urlretrieve:

urlretrieve('https://enterdawn.top','D:\\python\\enterdawn.html')

如果没有指定文件名,下载将储存到一个临时位置中,可以用open打开,但使用完成后,需要用函数urlcleanup(不提供任何参数)来清除。
在这里,最基本的爬虫就结束了,流程就是 下载网页——正则匹配。

模块tidy

首先我们需要安装pytidylib库:

pip install pytidylib

如果使用VS等集成开发环境,一般里面也会带有第三方库管理组件。
这个库用于修复格式不规范的html代码,下面是一个例子:

from tidylib import tidy_document
errors = tidy_document(response)