免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 398 | 回复: 3

关于爬取百度搜索结果不对的问题 [复制链接]

论坛徽章:
0
发表于 2018-11-19 15:12 |显示全部楼层
  1. from selenium import webdriver
  2. from selenium.webdriver.support.ui import WebDriverWait
  3. from selenium.webdriver.support import expected_conditions as EC
  4. from selenium.webdriver.common.by import By
  5. from pyquery import PyQuery as pq
  6. import time

  7. if __name__ == "__main__":
  8.     browser = webdriver.Chrome()
  9.     wait = WebDriverWait(browser, 5)
  10.     browser.get("http://www.baidu.com")
  11.     kw = browser.find_element_by_id("kw")
  12.     kw.send_keys("iphone6")
  13.    
  14.     button = browser.find_element_by_id("su")
  15.     button.click()
  16.     wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#container #content_left')))
  17.     html = browser.page_source
  18.     print(html)
  19.     browser.close()
复制代码
html里的内容不对。只有一个什么<meta>这个标签的内容。没有搜索结果。不知道什么地方不对

论坛徽章:
0
发表于 2018-11-30 18:48 |显示全部楼层
点击  "cu" button后浏览器里显示什么?

论坛徽章:
0
发表于 2018-12-05 14:14 |显示全部楼层
浏览器显示是正常的内容

论坛徽章:
0
发表于 2018-12-06 09:02 |显示全部楼层
wait.until(EC.presence_of_element_located(
        (By.ID, 'content_left')))
    html = browser.find_element_by_id('content_left')
改成这样只获得
<selenium.webdriver.remote.webelement.WebElement (session="37f57cbb9e767f7497a32c4fdfa04430", element="0.21314784833102896-3")>
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP