一、实践练习：综合实战——豆瓣电影Top250数据采集与分析

项目目标

爬取豆瓣电影Top250的电影名称、年份、评分和评价人数

对数据进行清洗和统计分析

f'https://movie.douban.com/top250?start={start}'try:response

requests.get(url,

headers=headers)response.raise_for_status()soup

'html.parser')#

comment})print(f"已爬取第{start//25

1}页，当前总数：{len(movies)}")time.sleep(2)

礼貌延迟，避免被封except

e:print(f"爬取失败：{e}")breakreturn

movies

pd.read_csv('douban_top250.csv')

print(df['rating'].describe())

df['year'].str.extract('(\d+)').astype(float)

提取数字年份

plt.rcParams['font.sans-serif']

['SimHei']

plt.rcParams['axes.unicode_minus']

False

df['decade'].value_counts().sort_index()

plt.bar(decade_counts.index.astype(str),

color='skyblue',

plt.savefig('movie_analysis1.png',

dpi=300)

plt.savefig('movie_analysis2.png',

dpi=300)

plt.title('豆瓣Top250评分最高的10部电影')

for

enumerate(top10.iterrows()):

0.1,

plt.savefig('movie_analysis3.png',

dpi=300)

解决：设置合理的User-Agent，模拟浏览器请求

技巧：可以轮换多个User-Agent，添加Referer头

问题：中文显示乱码

解决：plt.rcParams['font.sans-serif']设置中文字体，如'SimHei'

解决：确保调用plt.show()，或在Jupyter中使用%matplotlib

inline

解决：检查dtype，使用astype()转换类型

二、学习总结

掌握了pip包管理和虚拟环境的使用，为项目开发奠定基础

requests

BeautifulSoup是网络爬虫的黄金组合，可以采集绝大多数静态网页

numpy提供高效的数值计算能力，matplotlib让数据可视化变得简单直观

通过豆瓣电影项目，完整实践了"数据采集→清洗→分析→可视化"的数据处理全流程

第三方库极大地扩展了Python的能力，生态是Python最大的优势