代码拉取完成,页面将自动刷新
from lxml import etree
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
def get_page_source():
path = 'D:\pythonProject\spiderplus\chromedriver.exe'
browser = webdriver.Chrome(path)
url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&pvid=38cea4e45bed4666a75c7e0cad0b2f74'
browser.get(url)
browser.implicitly_wait(3)
# 最大化浏览器窗口,主要是防止内容被遮挡
browser.maximize_window()
# 通过id=key定位到搜索框
input_search = browser.find_element_by_xpath('//*[@id="search_2015"]/div/input')
input_search.send_keys("白酒")
# 模拟键盘回车Enter操作进行搜索
input_search.send_keys(Keys.ENTER)
# 强制等待3秒
time.sleep(1)
# 获取所有打开的窗口
windows = browser.window_handles
# 切换到新的窗口
browser.switch_to.window(windows[-1])
# 获取新窗口的源代码
time.sleep(1)
return browser
def get_product_details(browser):
html = etree.HTML(browser)
elem = html.find_element_by_xpath('//*[@id="shop_list"]/li[1]/div/div[2]/a/div[1]/span/text()')
print(elem)
if __name__ == '__main__':
html = get_page_source()
print('get Html')
get_product_details(html.page_source)
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。