说明:介绍
意外之财是利用Cypress.js进行概念性Web爬虫的证明。 它的目标是可重用和通用,同时具有足够的通用性以执行最常见的抓取任务。 它由Express服务器调用,并使用node-ipc传达其结果和进度。 包括一个React前端,允许用户根据自己的选择运行一个刮擦作业或多个刮擦作业,查看刮擦的结果,并单独或成批批准结果以保存到Mongo数据库。
怎么运行的
位于fixtures文件夹中的刮擦定义提供了刮擦作业的定义列表。
定义如下所示:
{
name : 'Monster:
<weixin_42099987> 上传 | 大小:797kb