练习1：使用Selenium模拟登录豆瓣并获取个人主页信息

python

driver.get("https://accounts.douban.com/passport/login")

#

driver.find_element(By.CSS_SELECTOR,

".account-tab-account").click()#

输入账号密码

"username").send_keys(username)

"password").send_keys(password)#

点击登录

driver.find_element(By.CSS_SELECTOR,

time.sleep(5)#

driver.get("https://www.douban.com/people/xxx/")

html

id="调用请使用自己的账号密码">调用（请使用自己的账号密码）

id="douban_loginyour_username-your_password">douban_login("your_username",

练习2：Scrapy爬取豆瓣电影Top250（使用Item

Pipeline保存到JSON）

DoubanMovieItem(scrapy.Item):

title

Top250Spider(scrapy.Spider):

name

[f"https://movie.douban.com/top250?start={i*25}"

for

movie.css('.title::text').get()item['rating']

movie.css('.rating_num::text').get()item['quote']

movie.css('.inq::text').get()info

movie.css('.bd

配置Pipeline（pipelines.py）：

python

'\n'self.file.write(line)return

item

在settings.py中启用Pipeline：

python

'douban.pipelines.DoubanPipeline':

300,

练习3：使用代理IP池和User-Agent轮换

python

id="middlewarespy">middlewares.py

import

init(self):


self.ua

spider):request.headers['User-Agent']

self.ua.random

['http://123.123.123.123:8080',

'http://111.111.111.111:8888']


proxy

'douban.middlewares.RandomUserAgentMiddleware':

400,


'douban.middlewares.ProxyMiddleware':

410,


问题：Selenium启动浏览器时报错“chromedriver”找不到

解决：下载对应Chrome版本的驱动，并将其所在目录添加到系统PATH，或在代码中显式指定路径。

问题：页面元素定位不到（NoSuchElementException）

解决：检查是否在iframe中（需先switch_to.frame），或增加等待时间，或使用更稳定的CSS/XPath。

解决：在settings中设置DOWNLOAD_DELAY，启用RANDOMIZE_DOWNLOAD_DELAY，使用代理。

问题：Scrapy的parse方法中yield多个Request导致数据重复

解决：使用dont_filter=True避免去重，或调整去重策略。

问题：JavaScript动态内容在Scrapy中无法直接获取

解决：可以结合Selenium（但效率低），或分析Ajax接口直接请求JSON数据，或使用Splash等渲染服务。

三、学习总结


Selenium是处理动态页面的利器，但速度较慢，适合中小规模爬虫或需要交互的场景

反爬虫策略需要综合使用：User-Agent轮换、代理IP、请求延迟、Cookie模拟等

Scrapy框架提供了强大的异步爬取能力和模块化设计，适合大规模数据采集

通过Item、Pipeline、Middleware等组件，可以构建清晰可维护的爬虫项目

真实爬虫项目往往需要结合多种技术，分析网络请求、模拟浏览器、处理反爬等