爬取项目以学习为主#xff0c;尽可能使用更多的模块进行练习#xff0c;而不是最优解。

爬虫概要

库爬取模块request解析模块BeautifulSoup存储类型list#xff08;方便存入数据库#xff09…

爬虫概要

库爬取模块request解析模块BeautifulSoup存储类型list方便存入数据库

代码示例

text/html,application/xhtmlxml,application/xml;q0.9,image/webp,image/apng,*/*;q0.8,application/signed-exchange;vb3,Referer:

https://maoyan.com/board,}try:response

requests.get(urlurl,

movie.find(nameem).getText()name

movie.find(namespan,

movie.find(namep).getText().strip().replace(

\n).replace(...\n

re果然原生字符串处理麻烦的一匹strip去除空格replace替换旨在将不同信息分类存储到不同的参数如导演、主演、上映时间、上映时间和电影类型bd

movie.find(namep).getText().strip().replace(

\n).replace(...\n

re果然原生字符串处理麻烦的一匹strip去除空格replace替换旨在将不同信息分类存储到不同的参数如导演、主演、上映时间、上映时间和电影类型#

豆瓣有些主演没有。

。

。

贼蛋疼为了简便只能写个烂代码再增加一次了if

len(bd)

这里直接存储到字典方便存到数据库douBanDict[rank]

rankdouBanDict[name]

某些列表有空格直接strip()去除空格douBanDict[country]

inqdouBanList.append(str(douBanDict))

字典先转为字符串再累加到列表中否则无法字典值会一直变return

douBanListif

https://movie.douban.com/top250?start{}filter.format(start)html

parse_page(html)print(douBanList)

数据存储