了解了htmlunit之后我们再来学习如何在页面中抓取我们想要的数据我们在学习初期可以找一些结构比较清晰的网站来做测试爬取首先我们随意找个网站如下

当我们打开网站F12进入开发者模式我们在学习之前我们需要知道我们要爬取什么数据了解数据和页面的结构。

就拿这个网站来说我们如果要爬取它的数据首先需要获取他们的类别在获取类别下的数据。

那我们在点击类别的时候需要分析下地址有没有变化如果变化了我们需要拿到指定类别的地址然后和域名拼接成完整地址抓取其类目下的数据。

为什么要拼接呢因为在网站类目使用的跳转会自动加上站点地址我们在爬取的时候是没有该网站域名的。

这个列子非常简单我们直接要获取它的类别跳转的地址再根据爬取的地址爬取其详情数据

htmlunit

SpiderUtils.crawlPageWithoutAnalyseJs(https://www.yiyiwiy.com/);//System.err.println(page);ListHtmlAnchor

htmlAnchorList

page.getAnchors();log.info(htmlAnchorList.size()

htmlAnchorList.size());log.info(********************);htmlAnchorList.forEach(f

{if(f.getHrefAttribute().contains(vodtypehtml)){log.info(f.getHrefAttribute());}});log.info(********************);}}我们抓取的是所有页面的a标签所以我们需要过滤掉我们不需要的地址

if(f.getHrefAttribute().contains(vodtypehtml)){log.info(f.getHrefAttribute());