1 Star 1 Fork 0

大学失业人员/爬虫逆向

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
test.py 1.27 KB
一键复制 编辑 原始数据 按行查看 历史
from lxml import etree
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
def get_page_source():
path = 'D:\pythonProject\spiderplus\chromedriver.exe'
browser = webdriver.Chrome(path)
url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&pvid=38cea4e45bed4666a75c7e0cad0b2f74'
browser.get(url)
browser.implicitly_wait(3)
# 最大化浏览器窗口,主要是防止内容被遮挡
browser.maximize_window()
# 通过id=key定位到搜索框
input_search = browser.find_element_by_xpath('//*[@id="search_2015"]/div/input')
input_search.send_keys("白酒")
# 模拟键盘回车Enter操作进行搜索
input_search.send_keys(Keys.ENTER)
# 强制等待3秒
time.sleep(1)
# 获取所有打开的窗口
windows = browser.window_handles
# 切换到新的窗口
browser.switch_to.window(windows[-1])
# 获取新窗口的源代码
time.sleep(1)
return browser
def get_product_details(browser):
html = etree.HTML(browser)
elem = html.find_element_by_xpath('//*[@id="shop_list"]/li[1]/div/div[2]/a/div[1]/span/text()')
print(elem)
if __name__ == '__main__':
html = get_page_source()
print('get Html')
get_product_details(html.page_source)
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/Oliveira123/crawler-reverse.git
[email protected]:Oliveira123/crawler-reverse.git
Oliveira123
crawler-reverse
爬虫逆向
master

搜索帮助