1 Star 0 Fork 0

MaCong/Spider58

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
basePage.py 1.38 KB
一键复制 编辑 原始数据 按行查看 历史
mark 提交于 2017-12-29 10:14 . 爬取58保定二手房数据并分析
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
' a main page module '
__author__ = 'Ma Cong'
import re
import MySqlHelper
class basePage(object):
def __init__(self, url):
self.url = url
self.sql = MySqlHelper.MySQL_Utils()
self.header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36',
'Connection': 'keep-alive'}
def request_details(self):
return None
def dataToSqlInfo(self, sql, data):
strSqlCount = "select * from info;"
result = sql.exec_sql(strSqlCount)
count = len(result)
sqlStr = "INSERT INTO info VALUES (%d, %s);" % (count + 1, data.toSql())
#strSqlName = "select * from info where title='%s';" % data.title
#resultName = sql.exec_sql(strSqlName)
#countName = len(resultName)
# if countName < 1:
# #print(sqlStr)
# sql.exec_txsql(sqlStr)
# else:
# print('已存在信息:' + data.title)
sql.exec_txsql(sqlStr) # 重名的也放入数据库
def getText(self, list):
if len(list) > 0:
return list[0].getText()
else:
return ''
def deleteEmpty(self, str):
str = str.replace(' ', '')
str = re.sub(r'\r', '', str)
return re.sub(r'\n', '', str).replace(' ', '')
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/blueskymc/Spider58.git
[email protected]:blueskymc/Spider58.git
blueskymc
Spider58
Spider58
master

搜索帮助