今天因为需要做了一个爬取知网博硕士论文及中国专利的爬虫，在制作的过程中遇到了不少坑，在网上查资料时都是很老的资源，在现在知网的反爬虫下不起作用，所以我来写这篇文章来供大家参考。（这篇文章主要介绍通过改写获得的网址来避开知网的反爬机制，完成普通文章和以表格为主体的html代码的信息的抓取） 这篇代码主要是抓取指望中关键字为保护渣的博硕士论文以及中国专利信息，其中中国专利信息较难抓取，主要是因为专利的信息在表格中，而表格又是动态的，代码末尾处有提示如何改代码，你可以通过改写代码中key的值，改变抓取