Python
Python爬虫：Xpath语法笔记
一、选取节点常用的路劲表达式：表达式描述实例 nodename选取nodename节点的所有子节点xpath(‘//div’)选取了div节点的所有子节点/从根节点选取xpath(‘/div’)从根节点上选取div节点//选取所有的当前节点，不考虑他...
python数据库操作常用功能使用详解(创建表/插入数据/获取数据)
实例1、取得MYSQL版本 复制代码代码如下:#-*-coding:UTF-8-*-#安装MYSQLDBforpythonimportMySQLdbasmdbcon=Nonetry: #连接mysql的方法：connect('ip','user','passwor...
mysql-python
sudopipinstallMySQL-python centos安装python-dev包提示Nopackagepython-devavailable：出现此问题的原因是python-dev的包在centos的yum中不叫python-dev，而是python-devel.所以使用下...
Python MySQLdb在Linux下的快速安装
在家里windows环境下搞了一次见 pythonMySQLdb在windows环境下的快速安装、问题解决方式http://blog.csdn.NET/wklken/article/details/7253245 在公司开发需要，再搞一次，Linux下的。发现用编译的方式安装...
_mysql.c(42) : fatal error C1083: Cannot open include file: 'config-win.h':问题的解决 mysql安装python
在win7下安装了Python后，想安装python-MySQL，使用pip安装出现如下问题：>pipinstallMySQL-python_mysql.c(42):fatalerrorC1083:Cannotopenincludefile:'config-win.h':Nosuchfileordirectory...
Python获取文件名
本文实例讲述了python实现从URL地址提取文件名的方法。分享给大家供大家参考。具体分析如下：如：地址为http://www.51dev.com//FileUpload/news/202004/20200402163507868.gif要想从该地址提取logo.gif，只需要一句代码就可以搞定importosurl=...
八大排序算法的python实现
#-*-coding:utf-8-*-#冒泡排序defbubble_sort(nums):i=1exchanged=Truewhilei<len(nums)andexchanged:exchanged=Falseforjinrange(len(nums)-i):ifnums[j]>nums[j+1]:num...
Python3《机器学习实战》学习笔记（一）：k-近邻算法(史诗级干货长文)
https://blog.csdn.net/c406495762/article/details/75172850...
python爬虫scrapy之登录知乎
下面我们看看用scrapy模拟登录的基本写法： 注意：我们经常调试代码的时候基本都用chrome浏览器，但是我就因为用了谷歌浏览器（它总是登录的时候不提示我用验证码，误导我以为登录时不需要验证码，其实登录时候必须要验证码的），这里你可以多试试几个浏览器，一定要找个提示你输入验证码的浏览器调试。 1、我们登录的时候，...
python爬虫scrapy之downloader_middleware设置proxy代理
一、背景： 小编在爬虫的时候肯定会遇到被封杀的情况，昨天爬了一个网站，刚开始是可以了，在settings的设置DEFAULT_REQUEST_HEADERS伪装自己是chrome浏览器，刚开始是可以的，紧接着就被对方服务器封杀了。代理： 代理，代理，一直觉得爬去网页把爬去速度放慢一点就能基本避免被封杀，...
python爬虫scrapy之如何同时执行多个scrapy爬行任务
背景： 刚开始学习scrapy爬虫框架的时候，就在想如果我在服务器上执行一个爬虫任务的话，还说的过去。但是我不能每个爬虫任务就新建一个项目吧。例如我建立了一个知乎的爬行任务，但是我在这个爬行任务中，写了多个spider，重要的是我想让他们同时运行，怎么办？小白解决办法： 1、在spiders同目录下新建一个run....
python爬虫之scrapy的pipeline的使用
scrapy的pipeline是一个非常重要的模块，主要作用是将return的items写入到数据库、文件等持久化模块，下面我们就简单的了解一下pipelines的用法。案例一： items池classZhihuuserItem(scrapy.Item):#definethefieldsforyouritemhere...
python爬虫之初始scrapy
简介： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amaz...
python爬虫之Anaconda安装
Anaconda是一个用于科学计算的Python发行版，支持Linux,Mac,Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理，并且已经包含了Python和...
python爬虫之scrapy安装（一）
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、si...
