越来越多的人开始使用Serverless构架搭建自己的应用,而Serverless的缺点显而易见,很难自定义运行时。当我尝试在云函数搭建一个基于Webdriver的爬虫程序时,我了解到,基于python的Selenium应用还无法在云函数上运行,这是由于云函数并没有安装chrome浏览器。

如果想在云函数上运行Selenium,则必须使用node.js 8.10版本+puppeteer插件。对于node.js并不熟悉的我,需要重新学习这款程序。

我相信,随着Serverless的发展,会有越来越多的人跟我一样,希望通过云函数基于Python实现Selenium爬虫。因此,我将在此方向上,迈出一步,构建一个Selenium的api。此应用,应当以url作为参数,并返回给用户js处理后的html代码。我希望它是运行在云函数上的。

也许它能够成为,反向代理的一种方式。那么现在开始学习Nodjs吧!

评论