笔记 尽管此脚本可以运行，但它不是最佳选择，需要进行一些调整以提高其性能。 渥太华时间表刮板 这是一个Python脚本，可提取有关渥太华大学课程的信息，例如其名称，学科，学期和时间。 该脚本使用Web自动工具Selenium和python的excel模块xlwt。 安装 要使用此脚本，您只需下载或克隆存储库即可。 之后，您将有一个包含文件的文件夹，其中包括Courses.py，这是用于抓取的脚本。 您还需要安装Selenium WebDriver，可在此处下载： 该脚本还使用FireFox浏览

标题刮板脚本 这是一个非常基本的新闻网站标题抓取类，使用urllib用于分页网页，使用Selenium用于连续滚动网页。 我这样做是为了为现在废弃的机器学习项目收集数据。 这个脚本是专门为我试图从中抓取的网站而制作的，但是在某种程度上可以扩展到其他网站。 我不打算维护此功能，因此使用后果自负，但是如果有帮助，您可以自由使用它们。 虽然那里可能还有更多有用的代码。 所需的包 Selenium（我使用的版本为3.141.0，但以后的版本可能会起作用） WebScraper类 此文件包含WebScra

刮板机 包含网络刮板项目

推特刮板 为什么？ 这次是我创建这个项目的动机。 我在演讲中讨论了该机器人的更通用版本。 将此机器人仅用于教育目的。 基本 在开始之前，您需要知道该机器人仅使用Python> = 3。 该机器人包含少量可以传递的命令行参数。这是它们的完整列表： -a或--agents （包含向Twitter发出HTTP请求时要使用的用户代理的文件） -i或--invalidate （擦除所有已保存的会话；这包括cookie或从以前的Web请求中保存的任何其他数据） -c或--config （包

刮板-顶石项目 指示 在运行程序之前，请确保安装依赖项（在终端中运行“捆绑安装”）！ 要运行此文件，您必须在主文件夹中打开一个终端，然后键入“ bin / main.rb”而不带引号。 然后，程序将询问您是否要从网页提交文件或运行默认文件。 如果您决定继续使用默认页面（美国的“后端开发人员”工作），只需按Enter即可。 如果您决定输入网页，建议您访问并搜索所需内容，然后复制链接（全部链接！）并将其粘贴到终端中。 它将检查页面是否具有所需的语法。 如果很好，那就尽情享受吧！ PS当文