WEBCRAWLER 网络爬虫实训项目 1 WEBCRAWLER 网 络 爬 虫 实 训 项 目 文档版本： 1.0.0.1 编写单位： 达内IT培训集团 C++教学研发部 编写人员： 闵卫 定稿日期： 2015年11月20日 星期五WEBCRAWLER 网络爬虫实训项目 2 1. 项目概述 互联网产品形形色色，有产品导向的，有营销导向的，也有技术导向的，但是 以技术见长的互联网产品比例相对小些。搜索引擎是目前互联网产品中最具技 术含量的产品，如果不是唯一，至少也是其中之一。 经过十几年的发展

盾 一个以文本类算法为基础，结合场景的风险防控系统。 简介 风险控制系统有很多应用场景，某些反垃圾邮件，新闻风控，广告反作弊等等，此处引入从文本角度入手，介绍一些风控系统的常用方法 文本预先 将文本分割为首要 分词 标准化 去掉标点符号，可以使用正则表达式，全角转半角等 长度过小的词，某些单字 全部转换为小写字母 去掉终止词 简单的名词替换 词性标注 分词的同时可以进行词性标注的工作，某些场景下可能只需要保留动词或者名词，形容词可能就没那么重要。 可以使用一些现有的语法表进行替换，后续可以使用W

这是一个用引导的项目。 入门 首先，运行开发服务器： npm run dev # or yarn dev 使用浏览器打开以查看结果。 您可以通过修改pages/index.js来开始编辑页面。 当您编辑文件时，页面会自动更新。 可以在上访问。 可以在pages/api/hello.js编辑此端点。 pages/api目录映射到/api/* 。 此目录中的文件被视为而不是React页面。 了解更多 要了解有关Next.js的更多信息，请查看以下资源： -了解Next.js功能和API。