一、主题式网络爬虫设计方案

-实现思路本次设计方案首先分析网站页面主要使用requests爬虫程序实现网页的请求、解析、过滤、存储等通过pandas库对数据进行分析和数据可视化处理。

-该过程遇到的难点动态加载、反爬虫、导致爬虫难以获取和解析数据数据可视化的效果和美观性

(1)

classtianqi_pub_nav_box右侧热门城市历史天气

内容区

数据来源:查看天气网http://www.tianqi.com.cn。

访问海口市的历史天气网址https://lishi.tianqi.com/haikou/202311.html利用Python的爬虫技术从网站上爬取东莞市2023-11月历史天气数据信息。

Part1:

爬取天气网历海口史天气数据并保存未海口历史天气【2023年11月】.xls文件

import

fhttps://lishi.tianqi.com/{city}/{year}{month}.html20

headers

text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,\*/\*;q0.8,application/signed-exchange;vb3;q0.7,23

accept-language:

Hm\_lvt\_7c50c7060f1f743bccf8c150a646e90a1701184759;

Hm\_lvt\_30606b57e40fddacb2c26d2b789efbcb1701184793;

Hm\_lpvt\_30606b57e40fddacb2c26d2b789efbcb1701184932;

Hm\_lpvt\_7c50c7060f1f743bccf8c150a646e90a1701185017,27

pragma:

https://lishi.tianqi.com/ankang/202309.html,29

sec-ch-ua:

requests.get(start\_url,headersheaders).text40

tree

tree.xpath(/html/body/div\[classmain

clearfix\]/div\[classmain\_left

inleft\]/div\[classtian\_three\]/ul\[classthrui\]/li)42

weizhi

tree.xpath(/html/body/div\[classmain

clearfix\]/div\[classmain\_left

inleft\]/div\[classinleft\_tian\]/div\[classtian\_one\]/div\[classflex\]\[1\]/h3/text())\[0\]43

self.parase(datas,weizhi,year,month)44

#解析部分47

parase(self,datas,weizhi,year,month):

for

data.xpath(./div\[classth200\]/text())\[0\]51

#2、最高气温52

data.xpath(./div\[classth140\]\[1\]/text())\[0\]53

#3、最低气温54

data.xpath(./div\[classth140\]\[2\]/text())\[0\]55

#4、天气56

data.xpath(./div\[classth140\]\[3\]/text())\[0\]57

#5、风向58

data.xpath(./div\[classth140\]\[4\]/text())\[0\]59

dict\_tianqi

f{weizhi}【{year}年{month}月】:\[datetime,max\_qiwen,min\_qiwen,tianqi,fengxiang\]68

}69

self.chucun\_excel(data\_excel,weizhi,year,month)70

#储存部分74

os.path.exists(f{weizhi}【{year}年{month}月】.xls):76

1、创建

wb.add\_sheet(f{weizhi}【{year}年{month}月】,

3、设置

wb.save(f{weizhi}【{year}年{month}月】.xls)

105

os.path.exists(f{weizhi}【{year}年{month}月】.xls):

107

xlrd.open\_workbook(f{weizhi}【{year}年{month}月】.xls)

109

wb.sheet\_by\_name(sheets\[i\])

114

new\_worksheet.write(rows\_old,

num,

new\_workbook.save(f{weizhi}【{year}年{month}月】.xls)

125

Part2:根据海口历史天气【2023年11月】.xls生成海口市天气分布图

import

analysis\_parts.append(f{gender}天气占比为{percentage:.2f}%)

analysis\_report

pd.read\_excel(海口历史天气【2023年11月】.xls)

gender\_counts

Pie(init\_optsopts.InitOpts(themeThemeType.WESTEROS,bg\_color#e4cf8e))

pie.add(

zip(gender\_counts.index.tolist(),

gender\_counts.values.tolist())\],

radius\[40%,

label\_optsopts.LabelOpts(is\_showTrue,

positionoutside,

title\_optsopts.TitleOpts(title海口市11月份天气分布,pos\_right50%),

legend\_optsopts.LegendOpts(orientvertical,

pos\_top15%,

toolbox\_optsopts.ToolboxOpts(is\_showTrue)

pie.set\_series\_opts(label\_optsopts.LabelOpts(formatter{b}:

{c}

open(海口历史天气【2023年11月】饼图可视化.html,

encodingutf-8)

Part3:根据海口历史天气【2023年11月】.xls生成海口市温度趋势

import

font\_manager.FontProperties(fnameC:\\Windows\\Fonts\\STKAITI.TTF)8

读取数据

pd.read\_excel(海口历史天气【2023年11月】.xls)

jieba

.join(jieba.cut(x))).str.replace(℃,

).astype(float)

.join(jieba.cut(x))).str.replace(℃,

).astype(float)

Part4:根据海口历史天气【2023年11月】.xls生成海口市词汇图

from

pd.read\_excel(海口历史天气【2023年11月】.xls)

提取商品名

WordCloud(init\_optsopts.InitOpts(bg\_color#00FFFF))

.add(,

textstyle\_optsopts.TextStyleOpts(font\_familycursive,

font\_size15))

.set\_global\_opts(title\_optsopts.TitleOpts(title天气预报词云图,pos\_top5%,

pos\_leftcenter),

fhttps://lishi.tianqi.com/{city}/{year}{month}.html20

headers

text/html,application/xhtmlxml,application/xml;q0.9,image/avif,image/webp,image/apng,\*/\*;q0.8,application/signed-exchange;vb3;q0.7,23

accept-language:

Hm\_lvt\_7c50c7060f1f743bccf8c150a646e90a1701184759;

Hm\_lvt\_30606b57e40fddacb2c26d2b789efbcb1701184793;

Hm\_lpvt\_30606b57e40fddacb2c26d2b789efbcb1701184932;

Hm\_lpvt\_7c50c7060f1f743bccf8c150a646e90a1701185017,27

pragma:

https://lishi.tianqi.com/ankang/202309.html,29

sec-ch-ua:

requests.get(start\_url,headersheaders).text40

tree

tree.xpath(/html/body/div\[classmain

clearfix\]/div\[classmain\_left

inleft\]/div\[classtian\_three\]/ul\[classthrui\]/li)42

weizhi

tree.xpath(/html/body/div\[classmain

clearfix\]/div\[classmain\_left

inleft\]/div\[classinleft\_tian\]/div\[classtian\_one\]/div\[classflex\]\[1\]/h3/text())\[0\]43

self.parase(datas,weizhi,year,month)44

#解析部分47

parase(self,datas,weizhi,year,month):48

for

data.xpath(./div\[classth200\]/text())\[0\]51

#2、最高气温52

data.xpath(./div\[classth140\]\[1\]/text())\[0\]53

#3、最低气温54

data.xpath(./div\[classth140\]\[2\]/text())\[0\]55

#4、天气56

data.xpath(./div\[classth140\]\[3\]/text())\[0\]57

#5、风向58

data.xpath(./div\[classth140\]\[4\]/text())\[0\]59

dict\_tianqi

f{weizhi}【{year}年{month}月】:\[datetime,max\_qiwen,min\_qiwen,tianqi,fengxiang\]68

}69

self.chucun\_excel(data\_excel,weizhi,year,month)70

#储存部分74

os.path.exists(f{weizhi}【{year}年{month}月】.xls):76

1、创建

wb.add\_sheet(f{weizhi}【{year}年{month}月】,

3、设置

wb.save(f{weizhi}【{year}年{month}月】.xls)

105

os.path.exists(f{weizhi}【{year}年{month}月】.xls):

107

xlrd.open\_workbook(f{weizhi}【{year}年{month}月】.xls)

109

wb.sheet\_by\_name(sheets\[i\])

114

new\_worksheet.write(rows\_old,

num,

new\_workbook.save(f{weizhi}【{year}年{month}月】.xls)

125

pd.read\_excel(海口历史天气【2023年11月】.xls)

138

.join(jieba.cut(x))).str.replace(℃,

).astype(float)

.join(jieba.cut(x))).str.replace(℃,

).astype(float)

scatter.add\_xaxis(df\[最低气温\].tolist())

146

scatter.set\_global\_opts(title\_optsopts.TitleOpts(title最低气温与最高气温的散点图))

148

open(海口历史天气【2023年11月】散点可视化.html,

encodingutf-8)

analysis\_parts.append(f{gender}天气占比为{percentage:.2f}%)

187

pd.read\_excel(海口历史天气【2023年11月】.xls)

191

Pie(init\_optsopts.InitOpts(themeThemeType.WESTEROS,bg\_color#e4cf8e))

194

zip(gender\_counts.index.tolist(),

gender\_counts.values.tolist())\],

197

label\_optsopts.LabelOpts(is\_showTrue,

positionoutside,

title\_optsopts.TitleOpts(title海口市11月份天气分布,pos\_right50%),

204

legend\_optsopts.LegendOpts(orientvertical,

pos\_top15%,

toolbox\_optsopts.ToolboxOpts(is\_showTrue)

206

pie.set\_series\_opts(label\_optsopts.LabelOpts(formatter{b}:

{c}

font\_manager.FontProperties(fnameC:\\Windows\\Fonts\\STKAITI.TTF)

234

pd.read\_excel(海口历史天气【2023年11月】.xls)

237

.join(jieba.cut(x))).str.replace(℃,

).astype(float)

.join(jieba.cut(x))).str.replace(℃,

).astype(float)

pd.read\_excel(海口历史天气【2023年11月】.xls)

269

WordCloud(init\_optsopts.InitOpts(bg\_color#00FFFF))

280

textstyle\_optsopts.TextStyleOpts(font\_familycursive,

font\_size15))

.set\_global\_opts(title\_optsopts.TitleOpts(title天气预报词云图,pos\_top5%,

pos\_leftcenter),

10.877423389618516来获取海口市11月份温度趋势

2.根据饼状图可以了解海口市11月份的天气比例多云天气占比为53.33%晴天气占比为26.67%阴天气占比为13.33%小雨天气占比为6.67%

_综述是通过Python爬虫技术获取天气预报数据_数据爬取方面通过Python编写爬虫程序利用网络爬虫技术从天气网站上获取天气预报数据并进行数据清洗和处理。

_数据可视化方面利用数据可视化工具将存储的数据进行可视化展示以便用户更直观地了解天气情况_因此用户更好地理解和应用天气数据从而做出更准确的决策和规划。

由于篇幅限制无法展示完整代码需要的朋友可在下方获取100%免费。