问题引出：
目标网站应用数据分析工具【百度、数据联盟】等外部分析网站，加载页面起来懂不懂几十秒。而ChromeDriver默认是必须等所有的资源加载完，才进我们的页面分析处理过程中来。这一切非常恼火
技术点：selenium ChromeDriver PageLoadStrategy Chrome
其中PageLoadStrategy有三种选择：
(1) NONE: 当html下载完成之后，不等待解析完成，selenium会直接返回
(2) EAGER: 要等待整个dom树加载完成，即DOMContentLoaded这个事件完成，仅对html的内容进行下载解析
(3) NORMAL: 即正常情况下，selenium会等待整个界面加载完成（指对html和子资源的下载与解析,如JS文件，图片等，不包括ajax）
1、解决办法遇败
网上充斥着：PageLoadStrategy = eager 能解决问题，嗯是的，不过Chrome不支持这个属性，只支持none
//老方法 适用于老版本Selenium
DesiredCapabilities caps = DesiredCapabilities.chrome();
caps.setCapability("pageLoadStrategy", "eager");两种实现方式都试一把，结果就是，不管怎么样 Chrome就是用了这个eager属性，一执行就报：
org.openqa.selenium.WebDriverException: unknown error: cannot parse capability: pageLoadStrategy
#新方法 适用于新版本Selenium
ChromeOptions options = new ChromeOptions();
opt.setPageLoadStrategy( PageLoadStrategy.EAGER );2、柳暗花明-终极解决办法
DesiredCapabilities caps = DesiredCapabilities.chrome();
caps.setCapability("pageLoadStrategy", "none");
WebDriver mDriver = new ChromeDriver( caps );
driver.navigate().to("https://www.douban.com/");
//因为前文设置了 pageLoadStrategy=none
//html获取到后就直接开始分析页面信息--可能domcument还未加载完成
//所以需要等待某元素加载才开始，超时时间为10S
WebDriverWait wait=new WebDriverWait(driver,10);
wait.until(ExpectedConditions.presenceOfElementLocated( By.xpath("/html") ));
//上面这一段代码就解决了URL一直加载的问题
//我使用的Webmagic java实现
WebElement webElement = webDriver.findElement(By.xpath("/html"));
if( webElement != null ){
logger.info( "获取整个页面信息失败，但是业务流程不受影响........" );
String content = webElement.getAttribute("outerHTML");
page.setRawText(content);
page.setHtml(new Html(content, request.getUrl()));
page.setUrl(new PlainText(request.getUrl()));
page.setRequest(request);
webDriverPool.returnToPool(webDriver);
}3、参考信息
Page load strategy for Chrome driver
Does chrome chrome driver support PageLoadStrategy=’eager’ for Selenium?
Selenium2(WebDriver)总结(一)—启动浏览器、设置profile&加载插件
Chrome驱动程序的页面加载策略（更新至Selenium v3.12.0）
Page load strategy for Chrome driver (Updated till Selenium v3.12.0)
部分资料可能需要翻-墙出去才能.
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/160907.html
