。

例如#xff0c;当网页仅在向下滚动或将鼠标移动到屏幕上时才完全加载时#xff0c;这背后一定有一些动态编程。

当您将鼠标指针悬停在某些文本上时#xff0c;它会为您提供一些选项#xff0c;它还包含一些动态.这是是一篇关于动态…

动态网站根据用户的某些操作产生一些结果。

例如当网页仅在向下滚动或将鼠标移动到屏幕上时才完全加载时这背后一定有一些动态编程。

当您将鼠标指针悬停在某些文本上时它会为您提供一些选项它还包含一些动态.这是是一篇关于动态网页的非常好的详细文章。

您可以在互联网上找到许多文章来帮助您抓取动态网站。

这篇文章是我抓取Doordash.com

javascript。

而且这是通过无头浏览器完成的稍后会解释。

Doordash.com

让我们通过导入一些必要的库以及我们可能需要的一些辅助库来开始编码。

正如标题所示我将使用

Selenium

selenium.webdriver.common.action_chains

import

selenium.webdriver.remote.webelement

import

selenium.webdriver.support.wait

import

selenium_move_cursor.MouseActions

import

selenium.webdriver.chrome.options

import

的“Webdriver”模块是最重要的因为它将控制浏览器。

为了控制浏览器有一定的要求这些要求已经以驱动程序的形式设置例如“google

chromedriver

让我们为“webdriver”定义这个浏览器并将其选项设置为“--headless”。

#defining

webdriver.Chrome(‘chromedriver’,

optionsopts)

放在项目目录中以保持路径简单。

或者可以使用“OS”模块定义路径来代替“chromedriver”。

第一种方法

webdriver.Chrome(‘chromedriver’,

optionsopts)

driver.execute_script(window.scrollTo(0,

5-点击“Pizza

driver.find_element_by_xpath(‘//h2[text()”Top

Cuisines

You”]’).find_element_by_xpath(‘//a[class”sc-hrWEMg

fFHnHa”]’)

len(driver.find_elements_by_xpath(“//div[class’StoreCard_root___1p3uN’]”))products_per_page

list_length1#loop

1):time.sleep(7)driver.execute_script(“window.scrollTo({top:75,

store_name

driver.find_elements_by_xpath(‘//div[class”StoreCard_storeDetail___3C0TX”]’)strnm

strnm.text)time.sleep(4)elementdriver.find_elements_by_xpath(“//div[class’StoreCard_storeDetail___3C0TX’]”)click

element[x]move_to_element_chrome(driver,

click,

display_scaling100)time.sleep(7)click.click()driver.implicitly_wait(360)

8-抓取菜单并抓取后返回商店页面

driver.page_sourcetime.sleep(11)soup

‘html.parser’)div

disk’)names.append(pros.text)rates

i.find(‘span’,

rates.textelse:print(‘N/A’)rate

‘N/A’prices.append(rate)driver.back()

length

10050)):ctypes.windll.user32.MessageBoxW(0,

f”Congratulations!

1)breakelse:driver.back()continue

10000

buttondriver.find_elements_by_xpath(‘//div[class”sc-gGBfsJ

12-将结果保存为

df.to_csv(‘doordash_menues.csv’)