1.在Scrapy工程下新建“middlewares.py”
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# Importing base64 library because we'll need it ONLY in case if the proxy we are going to use requires authentication
import base64
# Start your middleware class
class ProxyMiddleware(object):
# overwrite process request
def process_request(self, request, spider):...
Python资源整理
Python基本安装：
* http://www.python.org/ 官方标准Python开发包和支持环境，同时也是Python的官方网站； * http://www.activestate.com/ 集成多个有用插件的强大非官方版本，特别是针对Windows环境有不少改进；
Python文档：
* http://www.python.org/doc/current/lib/lib.html Python库参考手册。 * http://www.byteofpython.info/ 可以代替Tutorial使用，有中文译版的入门书籍。 * h...