Puppeteer on Time Friend

Puppeteer在工作中是如何伪装自己的(爬虫与反爬虫)

Sat, 29 Aug 2020 20:32:05 +0000

为了更好保护我们的数据与程序安全.

今天就介绍一下,如何检测访问我们的web程序是否为无头浏览器, 以及他们的一些反检测的方法.

Webdriver检测

一般来说,如果是无头浏览器模式下, navigator.webdriver 会返回 true.

检测方式

最简单的检测方式

if (navigator.webdriver) {
 // 针对无头浏览器的操作
}

使用defineProperty删除webdriver后如何检测

如果对方使用以下方式删除了webdriver属性,其实还是有办法检测的

 Object.defineProperty(navigator, 'webdriver', {
 get: () => undefined,
 })

应对方案

以下方式,还是可以检测出来

webdriver in navigator

navigator.hasOwnProperty("webdriver")

绕过方法

直接删掉webdriver属性,这是我目前验证成功的方法. 目前其他网上找到的方法已经无效.

await page.evaluateOnNewDocument(() => {
 const newProto = navigator.__proto__;
 delete newProto.webdriver;
 navigator.__proto__ = newProto;
 });

chrome属性检测

检测方式

在无头浏览器模式下,全局对象下的chrome对象是没有 runtime属性的

if (!window.chrome || !window.chrome.runtime) {
 // 无头浏览器模式...
}

绕过方法

所以绕过方法也很简单,我们只需要伪造一个

window.navigator.chrome = {
 runtime: {}
 };

如果是Puppeteer 我们跟上面一样,只要提前运行一下上面的代码就好了.

await page.evaluateOnNewDocument(() => {
 window.navigator.chrome = {
 runtime: {}
 };
 });

尾巴

其他网络上的方法我都尝试过,可以成功的我都放在了这里. 因为浏览器跟反爬虫方式时时刻刻都会更新,所以可能当你看到这篇文章的时候. 有的方式已经不能用了,但是核心点还是要善于观察力与对比. 所有的形式都可以有伪装与绕过的方法.大致思路都跟上面提到的差不多.

Node.js爬虫技巧-使用Puppeteer下载图片或文件

Tue, 23 Oct 2018 20:32:05 +0000

一些网站的图片不允许外链,我们想要下载这些网站的图片通过Puppeteer是比较好解决的. 今天就给大家介绍一个爬虫技巧,通过Puppeteer下载你想要的图片或者文件.

怎么通过Puppeteer下载?

我们需要额外依赖的库 fs-extra

代码很简单,主要代码可以简化到两三行

 const fse = require('fs-extra'); // 需要依赖的库,你想用原生fs也是没有问题的

 // 主要代码
 var viewSource = await page.goto(url);
 await fse.outputFile(`path`, await viewSource.buffer()) //下载到你想要的路径

Centos7环境下启动Puppeteer失败解决办法

Sun, 25 Feb 2018 19:33:33 +0000

小贴士: 在centos6环境下,是不能启动puppeteer的,在centos6下,很多puppeteer依赖库是不存在的.所以如果你想在centos6上运行puppeteer,建议还是放弃,把时间花在其他地方比较值得.

缺少依赖

在新的centos7上运行puppeteer往往会运行失败,很多时候会报这样的错:

...node_modules/puppeteer/.local-chromium/linux-496140/chrome-linux/chrome: error while loading shared libraries: libpangocairo-1.0.so.0: cannot open shared object file: No such file or directory

这样的错表示,缺少依赖.

下面列出,你的系统可能需要安装的依赖库,使用yum安装

#字体
yum install ipa-gothic-fonts xorg-x11-fonts-100dpi xorg-x11-fonts-75dpi xorg-x11-utils xorg-x11-fonts-cyrillic xorg-x11-fonts-Type1 xorg-x11-fonts-misc -y

#依赖库
yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x86_64 libXext.x86_64 libXi.x86_64 libXtst.x86_64 cups-libs.x86_64 libXScrnSaver.x86_64 libXrandr.x86_64 GConf2.x86_64 alsa-lib.x86_64 atk.x86_64 gtk3.x86_64 -y

禁用沙箱模式

在Linux环境下,往往还会出现以下错误:

https://github.com/GoogleChrome/puppeteer/issues/290

(node:30559) UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 1): Error: Failed to connect to chrome!
(node:30559) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.

js示例代码

const puppeteer = require('puppeteer');

(async () => {
 //禁用沙箱模式
 const browser = await puppeteer.launch({args: ['--no-sandbox', '--disable-setuid-sandbox']});
 const page = await browser.newPage();
 await browser.close();
})();

一个没有界面的Chrome浏览器：Puppeteer

Thu, 21 Dec 2017 20:32:05 +0000

Puppeteer介绍

Puppeteer是一个node库，提供了一组用来操纵Chrome的API。相对PhantomJS来说，他可以直接在你的node项目里面直接调用Chrome的API。以后很多的自动化测试，爬虫都可以基于Puppeteer来做。

安装

npm install puppeteer

使用

截屏

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});

 await browser.close();
})();

保存页面为PDF

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://news.ycombinator.com', {waitUntil: 'networkidle2'});
 await page.pdf({path: 'hn.pdf', format: 'A4'});

 await browser.close();
})();

Puppeteer 还提供了很多的Chrome API https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md