51dev.com IT技术开发者社区

51dev.com 技术开发者社区

抓取

wireshark抓取本地数据包

wireshark抓取本地数据包

windows系统中,本地向自身发送数据包没有经过真实的网络接口,而是通过环路(loopbackinterface)接口发送,所以使用基于只能从真实网络接口中抓数据的winpcap是无法抓取本地数据包,需要使用npcap,npcap是基于winpcap4.1.3开发的,api兼容WinPcap,并且提供“npcaplo...

爬虫进阶之Selenium和chromedriver,动态网页(Ajax)数据抓取

爬虫进阶之Selenium和chromedriver,动态网页(Ajax)数据抓取

Ajax(AsynchronouseJavaScriptAndXML)异步JavaScript和XML。过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。传统的网页(不使用Ajax)如果需要更新内容,必须重载整个网页页面。因为传统的在传输...

WebRequest抓取网页数据出现乱码问题

WebRequest抓取网页数据出现乱码问题

今天项目里突然有个功能用不起来了,本机确实好的,这个很无语 不知道为啥经过写日志发现html 变成了这样的东西,很是头疼,刚开始各种编码转换,发现这并不是编码的问题   后面观察目标网站多了一个gzip压缩标识,开始尝试解压Gzip 找到AutomaticDe...

【pyQuery】抓取startup news首页

【pyQuery】抓取startup news首页

#!/usr/bin/python#coding:utf-8frompyqueryimportPyQueryc=PyQuery('http://news.dbanotes.net/')titles=c.find('.title')fortintitles:title=c(t).find('a')t1=title('a'...

JMeter -----设置代理抓取web的HTTPS请求,“您的连接不是私密链接”的处理方案

JMeter -----设置代理抓取web的HTTPS请求,“您的连接不是私密链接”的处理方案

  出现如上截图的问题,已确定将网站的证书、jmeter的证书均安装完成,并未提示报错,但是在配置代理后,刷新网站抓取请求时总是提示如上报错 解决方案:  1、关闭电脑上的所有浏览器  2、打开“终端”运行:    /Applications/GoogleChrome.app/Conten...

Jmeter-----【mac电脑】配置web浏览器的代理抓取请求

Jmeter-----【mac电脑】配置web浏览器的代理抓取请求

   在测试中,不仅会涉及到APP中的数据测试,时常我们APP的数据需要与后台进行交互,因此我们不可避免的也需要对web进行接口测试,更准确的来说是使用web的接口来快速的帮我们实现App中所需的数据录入,因此我们一步一步来看如何实现接口的录入和测试。第一步、我们需要打开Jmeter   ...

Postman----设置代理抓取手机上的请求

Postman----设置代理抓取手机上的请求

一般为方便接口测试,我们都会设置代理,抓取手机上的请求来方便测试,具体的操作方法如下。操作步骤: 一、手机和电脑连接同一网络,查看电脑连接网络的IP,配置手机的代理 1、查看电脑连接的网络与IP地址  2、设置手机上的代理  二、开启postman的代理&nb...

Jmeter Web 性能测试入门 (二):Fiddler 抓取 http/https 请求

Jmeter Web 性能测试入门 (二):Fiddler 抓取 http/https 请求

jmeter自带了拦截request的功能,并且也有对应的tool:badboy可以用。但由于我经常做移动端的项目,个人还是习惯用fiddler来收集request。官网下载并安装Fiddler抓取PC上的http/https请求1.开启https抓包选项2.浏览器访问http://127.0.0.1:8888/fid...

抓取网络图片保存到本地

抓取网络图片保存到本地

#regionC#抓取网络图片保存到本地publicstaticBitmapGetRequestImg(){Bitmapimg=null;HttpWebRequestreq;HttpWebResponseres=null;try{System.UrihttpUrl=newSystem.Uri("http://www.5...

python实现一个栏目的分页抓取列表页抓取

python实现一个栏目的分页抓取列表页抓取

python实现一个栏目的分页抓取列表页抓取#!/usr/bin/envpython#coding=utf-8importrequestsfrombs4importBeautifulSoupimportpymysqlimportsys,iosys.stdout=io.TextIOWrapper(sys.stdout.b...

python实现列表页数据的批量抓取练手练手的

python实现列表页数据的批量抓取练手练手的

python实现列表页数据的批量抓取,练手的,下回带分页的#!/usr/bin/envpython#coding=utf-8importrequestsfrombs4importBeautifulSoupimportpymysqlimportsys,iosys.stdout=io.TextIOWrapper(sys.s...

第一个python抓取单网页的例子

第一个python抓取单网页的例子

#!/usr/bin/envpython#coding=utf-8importrequestsfrombs4importBeautifulSoupimportpymysqlimportsys,iosys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')...

python第一个爬虫的例子抓取数据到mysql,实测有数据

python第一个爬虫的例子抓取数据到mysql,实测有数据

python3.5先安装库或者扩展1requests第三方扩展库 pip3installrequests2pymysqlpip3installpymysql3lxmlpip3installlxml4 贴个代码#!/usr/bin/envpython#coding=utf-8importrequest...

python3一个简单的网页抓取

python3一个简单的网页抓取

都是学PYTHON。怎么学都是学,按照基础学也好,按照例子增加印象也好,反正都是学importurllibimporturllib.requestdata={}data['word']='baker95935'url_values=urllib.parse.urlencode(data)url="http://www....

fiddler抓取手机数据包

fiddler抓取手机数据包

Fiddler目前默认安装对http协议进行抓取但是对手机以及其他一些是https协议的通讯抓取需要配置。1、在fiddler中找到菜单栏的Tools>Options,打开“Options”对话框2、在打开的“HTTPS”选项卡中,勾选“CaptureHTTPS CONNECTs”和“DecryptHT...