所谓爬虫，就是通过编程的方式自动从网络上获取自己所需的资源，比如文章、图片、音乐、视频等多媒体资源。通过一定的方式获取到html的内容，再通过各种手段分析得到自己所需的内容，比如通过BeautifulSoup对网页内容进行解析提取。 本文通过selenium的webdriver模拟浏览器来浏览网页，通过lxml库解析得到咱所需的内容。下面开始我们的爬虫工作。
本文目录：
1.目标
我们今天的目标是自动加载多页新闻内容的：标题、图片、作者、类型、发布时间
在浏览器里，头条的首页是可以不断滑动到底自动加载下一页新闻内容的，我们在上一篇文章 中实现的，只能获取第一页的10条新闻，因为这些新闻内容是通过异步请求刷新的，本节我们将实现自动循环加载N页新闻内容
2.实现
2.1、模拟页面滚动到底
我们看下在上一节实践中我们写的代码：
""" 获取头条首页内容 """ def __getTouTiaoHtml(self, url): # 简单的入参校验 if url and '' != url and url.startswith("http"): # 浏览器打开页面 self.__browser.get(url) try: # 此处等到我们所需的热文元素加载出来了再进行下一步，避免页面还没加载完成就去解析内容导致内容为空 element = WebDriverWait(self.__browser, 10).until( EC.presence_of_element_located((By.XPATH, "//ul/li/div[@ga_event=article_item_click]")) ) except Exception as ex: print(ex) finally: pass resHtml = self.__browser.page_source return resHtml 在try-catch 那里只是等待页面加载完成出现新闻内容的布局元素后，就往下继续执行了，所以这里只能加载一页数据。找到问题就好办了，那么我们在
resHtml = self.__browser.page_source这行代码之前，加一段代码实现循环模拟滑动滚动条到底部触发自动加载机制来加载更多内容：
1、简单实现：通过滑动到底后，sleep一定时间来保障分页内容加载完成：
try: """ 模拟滚动到底部加载下一页，一共循环6次，每次等待4s，这个时间根据网速调整，如果你需要获取更多，那么把循环的范围加大就行了。 """ for i in range(1, 6): self.__browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(4)except Exception as ex: print(ex) 最后，重新执行下，就能看到效果了，总共获取了70条新闻内容
2、高逼格一点的方法：我们分析下图布局：
try: # 模拟滚动到底部 for i in range(1, 6): self.__browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') # sleep(4) 替换为下面的方式来监听分页内容是否加载完成了。 try: # 此处等到我们所需的热文元素加载出来了再进行下一步，避免页面还没加载完成就去解析内容导致内容为空 element = WebDriverWait(self.__browser, 10).until( EC.presence_of_element_located((By.XPATH, '//span[contains(text(), "加载中")]/../div[@class="feed-infinite-wrapper"]/div[contains(@class, "ball-pulse")][contains(@class, "loading")][@style="display: none;"]')) ) except Exception as ex: pass except Exception as ex: print(ex) 本文完整代码 →：
全文完结，后续实现用其它框架来爬虫新闻资源。敬请期待~
参考资料：
[1]:
[2]: [3]: [4]: [5]: 其他所有分享过python学习填坑网友的经验