主要介绍了Python实现在线程里运行scrapy的方法,涉及Python线程操作的技巧,非常具有实用价值,需要的朋友可以参考下

本文实例讲述了Python实现在线程里运行scrapy的方法。分享给大家供大家参考。具体如下： 如果你希望在一个写好的程序里调用scrapy，就可以通过下面的代码，让scrapy运行在一个线程里。 Code to run Scrapy crawler in a thread - works on Scrapy 0.8 import threading, Queue from twisted.internet import reactor from scrapy.xlib.pydispatc