本部分为爬虫入门篇的实战教程,我会用到除了selenium外所有在上文介绍过的模块来编写实例,爬取4399小游戏网站首页上的内容。robots.txtrobots.txt是指存放在网页根目录下的一个文件,广义上也指互联网间的robots协议。robots协...