Twisted 是一个异步网络框架，不幸的是大部分数据库api实现只有阻塞式接口，twisted.enterprise.adbapi为此产生，它是DB-API 2.0 API的非阻塞接口，可以访问各种关系数据库。

ython中字符串的大小写转换和判断字符串大小写的函数

python 字符串去除空格可以用到strip()方法，这个是去除字符串的两边空格。

Python加密模块有好几个，但无论是哪种加密方式都需要先导入相应的加密模块然后再使用模块对字符串加密

当我们说“上下文”的时候，指的是程序在执行中的一个状态

parse可以返回Request列表，或者items列表，如果返回的是Request，则这个Request会放到下一次需要抓取的队列，如果返回items，则对应的items才能传到pipelines处理

使用scrapy定时执行抓取任务，由于scrapy本身没有提供定时执行的功能，所以采用了crontab的方式进行定时执行

Python 支持格式化字符串的输出 。尽管这样可能会用到非常复杂的表达式，但最基本的用法是将一个值插入到一个有字符串格式符 %s 的字符串中

Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程

创建多个spider， scrapy genspider spidername domain