Python
python爬虫之redis环境简单部署
Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他key-value缓存产品有以下三个特点：Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据，同时还提供list...
python爬虫之win7Mongod安装使用
1、下载地址：https://www.mongodb.com/download-center#community下载完成以后下一步下一步安装。 安装路径还需要建立一个数据库存储位置C:mongodbdatadb 2、添加环境变量，然后打开cmd执行如下命令告诉数据库数据存储位置。#mongod--d...
python爬虫之xpath的基本使用
一、简介 XPath是一门在XML文档中查找信息的语言。XPath可用来在XML文档中对元素和属性进行遍历。XPath是W3CXSLT标准的主要元素，并且XQuery和XPointer都构建于XPath表达之上。 参照二、安装pip3installlxml 三、使用 1、导入fromlxmlimpor...
python爬虫之git的使用(windows下pycharm使用)
相信很多同学学会了git或者github以后都不知道怎么跟windows上的pycharm连在一起工作，那么下面我们开始介绍简单的安装和使用方法。一、安装 1、首先你的有一个github的账户。注册什么的就不在这里说了，百度一大片。 2、配置pycharm的github信息，一定要点击t...
python爬虫之git的团队协作
一、Git实践： commit，push，pull，status，add基本是最常用的几个命令。 1、首先我在github上创建了一个项目，然后我在本地的文件建立了一个普通的目录（git_data）。使用gitclone命令将github远程仓库在本地克隆出一个本地仓库。 2、接着，既然是项目可能不是一个人完成的...
python爬虫之git的使用（origin说明）
1、首先我们回忆两个命令#gitremoteaddorigin 远程仓库链接#gitpush-uoriginmaster 我们一起看看这个命令，git是git的一级命令，push就是下载，-u应该使用用账户验证maser就是分支的名字（前面我们说过），那么这个origin是个什么鬼？ 大家看看...
python爬虫之git的使用（github的使用）
上面博文中我们简单的了解了一下基本的git操作，但是我们都是将代码放到了本地的仓库里面，但是如果我们是一个团队开发的话，肯定不会放到每个人的本地，必须得有个统一的地方存放代码，国外的大家都在使用github，很多的开源项目都在github上面，但是这个使用起来呢一是得翻墙，二是公开的仓库是免费的，私有的...
python爬虫之git的使用
一、简单认识：1、初始化文件夹为版本控制文件夹，首先建立一个文件夹，进入这个文件夹以后输入gitinit初始化这个文件夹。2、Git几种位置概念1、本地代码：本地更改完代码以后，虽然是存放在git的文件夹里面，但是没有添加到待提交列表里面。2、待提交列表：执行完gitadd文件名，但是未执行gitcommi...
python爬虫之git的安装
一、初始1、发展历史*最开始没有对代码的管理，导致很多东西混乱和丢失。*后来大家想了一个办法，用最简单最笨的方法，各种复制文件夹。*然后就出现了版本控制的工具。 1、单机版：RCS（1982），SCCS(1972) 2、客户端-服务器：CVS（1986）Subversion（2000） 3、分布式（多...
python爬虫之初始Selenium
1、初始 Selenium[1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，Opera等。这个工具的主要功能包括：测试...
python爬虫之MongoDB测试环境安装
一. 下载从http://www.mongodb.org/downloads地址中下载：mongodb-linux-x86_64-2.4.11.tar 二. 安装1>设置mongoDB目录[root@vm13home]#cd/home/apps &n...
python爬虫之正则表达式
正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：RegularExpression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些匹配...
python爬虫之pandas
PythonDataAnalysisLibrary或pandas是基于NumPy的一种工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为...
python爬虫之Beautiful Soup的基本使用
简单来说，BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程...
python爬虫之requests的基本使用
Requests是用python语言基于urllib编写的，采用的是Apache2Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。 pip快速安装pipinstallrequests 1、先上一串代码impor...
