现在检测Puppeteer越来越难了，用户可以通过js对无头浏览器进行各种伪装，webdriver、webgl、plugins都很难检测到爬虫，在这里有一个新思路。 许多网页都有检测控制台是否开启的功能，其中大多数网页会直接禁用F12和右键，但这似乎并没有什么用处，因为浏览器也有其他办法开启控制台，偶然的机会，我看到这篇文章《判断控制台是否开启(chrome)》。其中提供了一个思路来检测控制...

1.开篇抢座程序分为两种，基于selenium的浏览器自动化程序，和基于requests库的http模拟请求程序。 为了成功运行程序，请确保你的计算机安装了Python。如何安装Python可自行网上搜索。两种程序命中率均比较高。可任选一种运行。 项目地址：https://github.com/xieqifei/AutoLernraum 2.基于Requests库的预定程序(正在测试当中，不...

1. 导语Selenium作为浏览器自动化工具，由于其可以直接执行js代码的优越性，经常被用做爬虫工具。但是，毕竟需要控制浏览器，低效率高内存始终是其难以甩掉的标签。在我个人爬虫开发中，对如何高效利用selenium有了一套个人的理解。 2. 用js注入代替selenium原生操作selenium库提供的execute_script方法使js注入成为可能。下面是一个js注入的例子 12js&...

越来越多的人开始使用Serverless构架搭建自己的应用，而Serverless的缺点显而易见，很难自定义运行时。当我尝试在云函数搭建一个基于Webdriver的爬虫程序时，我了解到，基于python的Selenium应用还无法在云函数上运行，这是由于云函数并没有安装chrome浏览器。 如果想在云函数上运行Selenium，则必须使用node.js 8.10版本+puppeteer插件。...

1：使用手册一个基于python，搭建在Serverless云函数上的免费音乐下载程序。可剥离云函数本地运行。 通过构造形如<https://m.sci.ci/>音乐相关信息这样的网址，就可在浏览器上下载喜欢的音乐了。 demo简单的例子，想听爱的供养？ 尝试在浏览器地址栏输入m.sci.ci/爱的供养 现在试试👉m.sci.ci/爱的供养 返回的音乐文件是杨幂版本的，不喜欢？...

0：绪在上个月，我通过爬取youtube视频，提取mp3，制作了一个基于云函数的搜索音乐网站。后来，我抱着解决ifvod广告的想法，阅读了ifvod的网站源码，并且通过修改js代码，成功删除了ifvod的广告。受上述两个过程的启发，我想，通过提取ifvod上的视频m3u8链接来制作一个基于云函数的视频搜索网站。 1：什么是m3u8m3u8文件是一种文本文件，其格式如下： 1234567#EX...

1：绪最近在做一个音乐下载软件，通过搜索音乐名称，下载youtube上信息匹配度最高的视频，提取其中的音频，来获取音乐。开源软件youtube-dl已经完成了视频下载和音频提取的全部工作，我要做的就是，获取目标视频的id或者视频链接，然后调用youtube-dl下载。 2：接口谷歌官方其实已经提供了获取YouTube搜索结果的api，直接调用即可。 12345678910#调用谷歌api获取...

1：root手机昨天，我利用mitmproxy成功拦截了饿了么服务器返回的订单信息。今天，我准备故技重施，获取美团订单。残酷的现实给我炽热地心浇了一盆冷水。无论我如何调整mitmproxy和美团外卖商家版，都无法获取到美团服务器返回的数据。更确切地说，美团服务器似乎发现，有这么一个小偷，准备偷取它返回给客户端地数据。因此拒绝给客户端传递数据。 我在网上找了一些解答，在安卓7.0之后，安卓系统...

1：简单说两句这是我一个准备做的完整项目中的一个小部分。从很早以前，我就在思考，如何将美团和饿了么以及我自己做的小程序订单合并在一起，这样来实现统一的管理。。之所以要统一管理，是因为我母亲从事鲜花零售，在节假日里，会有大量的订单，而鲜花的包扎是个时间活。制作和配送，以及订单的处理，繁杂的程序会让人晕头转向。为了减轻我母亲的节假日压力，我想到了一些方法，来帮助她管理订单。 完整的项目是，汇总小...