这个项目是通过pywinauto控制windows(win10)上的微信PC客户端来实现公众号文章的抓取。代码分成server和client两部分。server接收client抓取的微信公众号文章，并且保存到数据库。另外server支持简单的搜索和导出功能。client通过pywinauto实现微信公众号文章的抓取。
转载请注明：虚幻私塾 » python使用pywinauto驱动微信客户端实现公众号爬虫

https://github.com/fancyerii/wechat-gongzhonghao-crawler

pywinauto是一个python的工具，可以用于控制Windows的GUI程序。详细的文档可以参考这里。

自动化微信的代码封装在了类WechatAutomator里，完整的代码可以参考这里。这里简要的介绍一下其中的主要方法：

3.1init_window

这个方法完成类的初始化，它的代码为：

我们首先来看函数的参数：

• exe_path
  • 微信程序的地址
• turn_page_interval
  • 抓取翻页时的时间间隔，默认3s
• click_url_interval
  • 在抓取一页的url时的间隔，默认1s
• win_width
  • 设置窗口的宽度
• win_height
  • 设置窗口的高度，如果显示器的分辨率较大，可以设置的更加高一些，从而一页包含的文章数更多一些，从而翻页少一点。注意：一定要保证窗口完全可见，也就是说win_height不能大于实际分辨率的高度！

这个函数的主要功能是构建Application对象从而通过pywinauto实现控制，这里使用的是uia的backend，然后设置窗口的大小并且把窗口移到最左上角。因为根据so文章，pywinauto 0.6.8存在bug，只能通过win32的backend来移到窗口，所以构造了self.app2然后调用move_window()函数把窗口移到最左上角。

3.2crawl_gongzhonghao

这个函数实现了某个公众号的文章抓取。它的基本控制逻辑如下：

• 首先通过搜索框根据名字搜索公众号并且点击它。
• 对于当前页点击所有的链接并且下载其内容。
• 使用PAGE_DOWN键往下翻页
• 需要判断是否继续抓取

第一个是通过locate_user函数实现，后面会介绍。第二个是通过process_page函数实现，后面也会介绍。判断是否继续抓取的逻辑为：

• 如果翻页超过max_pages，则停止抓取
• 如果碰到某个url曾经抓取过，那说明之前的文章都已经抓取过了，则停止抓取
• 如果lastest_date不是None并且一篇文章的发布日期早于它，则停止抓取

所以我们通常会在第一次抓取的时候把max_pages设置的很大(比如100)，然后通过latest_date来抓到指定的日期。而之后的抓取则设置max_pages为较小的值(比如默认的6)，这样只要爬虫在两次抓取之间公众号的更新不超过6页，那么就不会漏掉文章。具体的逻辑可以参考main.py，它会把抓取的文章通过http请求发给Server，并且每次抓取的时候从Server查询抓取过的文章存放到states这个list里states[i][“url”]就存储了第i篇文章的url。

3.3locate_user

locate_user函数的控制流程为：

• 找到左上角的搜索框并且点击它获得焦点
• 使用ctrl+a选中可能有的文字(之前的bug?)并且使用后退键删除它们
• 输入公众号名称
• 在弹出的list里点击这个公众号名称从而进入公众号

这里主要就是通过child_window函数进行定位，关于它的用法这里不介绍。关于怎么定位元素的方法可以使用Inspect.exe或者print_control_identifiers函数，具体参考这里。

3.4process_page

这个函数是最主要的抓取代码，它处理当前一页的内容，它的控制流程如下：

• 构建当前页的tree
• 使用recursive_get函数遍历这颗树并且找到每篇文章对应的element
• 遍历每一篇文章
  • 如果文章的名字在上一页出现过，则跳过
  • 获得这篇文章的坐标信息
  • 如果文章不可见(rect.top >= win_rect.bottom or rect.bottom <= self.visible_top)则跳过
  • 计算点击的坐标
  • 点击文章打开新的窗口
  • 在新的窗口中点击【复制链接】按钮
  • 从剪贴板复制链接url
  • 通过url下载文章内容并且parse发布日期

逻辑比较简单，但是有一些很trick的地方：

• 微信翻页的实现
  • 微信客户端的翻页和浏览器不同，它的内容是累加的，比如第一页3篇文章，往下翻一页可能变成6篇文章，再翻可能变成9篇。这个时候这9篇文章都是在tree中的，只不过最后3篇的坐标(top和bottom)是空间的。
• 能否点击 一篇文章对应的框(图)可能是部分可见的，甚至它的top非常接近屏幕的最下方，这个时候可能点不了。如下图所示：

与此类似的是右上角的黑色头部(不能滚到并且会遮挡)也有一定空间，如下图所示：

• 点击的位置

因为这个框可能很窄(bottom-top很小)并且可能在很靠上或者靠下的位置。所以有如下代码：

完整代码如下：