comments:

/images/backimg/SunsetClimbing.png

网络协议

https://www.tcpdump.org/manpages/tcpdump.1.html

https://danielmiessler.com/study/tcpdump/

1.3相关头部字段

Network虚拟私人网络。

它可以在公共网络上建立专用网络进行加密通讯。

2.1作用

提高上网的安全性保护公司内部资料隐藏上网者的身份突破网站的地域限制有些网站针对不同地区的用户展示不同的内容突破网络封锁

2.2VPN

默认会对数据进行加密代理默认不会对数据进行加密数据最终是否加密取决于使用的协议本身

一般情况下VPN

利用最靠近每位用户的服务器更快更可靠地将音乐、图片、视频等资源文件一般是静态资源传递给用户

CDN

运营商在全国、乃至全球的各个大枢纽城市都建立了机房部署了大量拥有高存储高带宽的节点构建了一个跨运营商、跨地域的专用网络。

内容所有者向

Spider。

模拟人类使用浏览器操作页面的行为对页面进行相关的操作。

常用爬虫工具Python

https://jsoup.org/packages/jsoup-1.13.1.jar

https://mirror.bit.edu.cn/apache//commons/io/binaries/commons-io-2.8.0-bin.zip

爬取目标https://ext.se.360.cn/webstore/categor

import

org.apache.commons.io.FileUtils;

import

请求网站https://ext.se.360.cn/webstore/category//

dir

https://ext.se.360.cn/webstore/category;Document

doc

Jsoup.connect(url).get();Elements

eles

ele.selectFirst(img).attr(src);String

title

ele.selectFirst(h3).text();String

intro

ele.selectFirst(.intro).text();//

下载图片String

.png);FileUtils.copyURLToFile(new

URL(img),

是存放于网站根目录下的文本文件用来告诉爬虫哪些内容是不应被爬取的哪些是可以被爬取的。

比如https://www.baidu.com/robots.txt

URL

no-storage不缓存数据到本地public允许用户、代理服务器缓存数据到本地private只允许用户缓存数据到本地max-age缓存的有效时间多长时间不过期单位秒no-cache每次需要发请求给服务器询问缓存是否有变化再来决定如何使用缓存

优先级Pragma

秒内被修改了客户端将无法获取最新的资源数据如果某些资源被修改了最后一次修改时间发生了变化但是内容并没有任何变化则会导致相同数据重复传输没有使用到缓存

ETag

只要资源的内容没有变化就不会重复传输资源数据只要资源的内容发生了变化就会返回最新的资源数据给客户端

6.2请求头

数据存储在浏览器客户端数据有大小和数量的限制适合存储一些小型、不敏感的数据默认情况下关闭浏览器后就会销毁

Session

数据存储在服务器端数据没有大小和数量的限制可以存储大型、敏感的数据比如用户信息默认情况下未使用

分钟后就会销毁

不推荐listsers/getser?id6/uer/list/user/get?id6

HTTP