参考这篇文章:https://www.cnblogs.com/37Y37/p/12551839.html
需要注意的是,要修改dns服务器
书籍推荐:才哥的爬虫书和东哥的反爬虫书
数据爬取难度持续增大,也不完全是坏事,这让企业对爬虫工程师的需求量在逐步增多,薪资待遇也提升了不少。当然,技术要求也越来越高,例如 JavaScript、App 的逆向等几乎已经是爬虫工程师必备的技能,如果不懂,很多网站的数据是难以有效爬取的。另外,爬虫涉及的面很广,对计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等方向也有一定的要求。