。

它是互联网上最流行的应用之一#xff0c;允许用户通过超链接访问各种类型的资源#xff08;如文本、图像、视频等#xff09;。

核…6.4.1万维网概述

WebWWW是一种基于超文本和超媒体的分布式信息系统。

它是互联网上最流行的应用之一允许用户通过超链接访问各种类型的资源如文本、图像、视频等。

核心特征

超文本包含链接到其他文档或资源的文本。

分布式资源可分布在不同的服务器上。

跨平台兼容多种设备和操作系统。

发展历史

提出目的是方便科学家共享研究成果。

1990年第一个Web浏览器WorldWideWeb和服务器诞生。

1993年以Mosaic浏览器为起点WWW快速普及。

核心技术要素

技术作用URI/URL统一资源标识符/定位符用于唯一标识和定位资源如http://example.com。

HTML超文本标记语言定义网页结构和内容如段落、图片、链接。

HTTP超文本传输协议客户端与服务器之间传输数据的协议。

客户端Browser用户通过浏览器发起请求并渲染内容如Chrome、Firefox。

服务器Web

Server存储资源并响应客户端请求如Apache、Nginx。

通信协议HTTP/HTTPS规范数据传输的格式和流程。

工作流程示例

静态内容预先存储在服务器上的固定文件如.html、.css。

动态内容由服务器端程序实时生成如PHP、Python脚本处理用户输入并返回结果。

搜索引擎如Google、Baidu通过爬虫索引网页并返回搜索请求。

超链接实现跨文档跳转形成网状信息结构。

万维网通过URI、HTML、HTTP技术的结合构建了一个跨平台、分布式、可扩展的信息共享平台。

其核心思想是通过超链接将分散的资源整合成一个统一的知识网络。

6.4.2统一资源定位URL

Locator是互联网上用于标识和定位资源的标准地址格式。

通过URL用户可以唯一确定访问目标如网页、图片、API等并通过协议与服务器交互。

URL由协议、主机名、端口号可选、路径、参数可选、片段标识符可选组成标准格式如下

协议Scheme

http超文本传输协议默认端口80https安全HTTP默认端口443ftp文件传输协议mailto电子邮件地址file本地文件协议

主机名Hostname

https://www.example.com:8080/path/to/page?useralicelangcn#footer部分值协议https主机名www.example.com端口号8080路径/path/to/page参数useralicelangcn片段标识符footer

三、URL编码与特殊字符

URL中非ASCII字符或保留字符如空格、?、#需用%加十六进制码转义

字符编码空格%20?%3F#%23

https://example.com/search?qhello%20world四、相对URL与绝对URL

绝对URL完整资源地址如

https://example.com/about.html相对URL基于当前页面的路径如

/images/logo.png

https://example.com/images/logo.png

五、URL工作流程

Identifier更广泛的资源标识符概念。

URL是URI的子集定位资源如

Resource

http://example.com。

自动编码特殊字符。

渲染时展示简化后的URL隐藏默认端口和片段。

6.4.3超文本传送协议HTTP

Protocol是一种无状态的应用层协议用于实现客户端如浏览器与服务器之间的通信。

它允许客户端通过请求-响应模型获取或发送数据如HTML文件、图片、视频等。

核心特性

无状态服务器不保存客户端的请求历史但可通过Cookie/Session管理状态。

基于TCPHTTP依赖TCP实现可靠传输三次握手建立连接四次挥手关闭连接。

可扩展通过首部字段Headers支持灵活的功能扩展如缓存、压缩。

三、HTTP报文结构

方法作用幂等性GET获取资源如网页、图片是POST提交数据如表单否PUT更新资源是DELETE删除资源是

状态码分类

特性HTTP/1.0HTTP/1.1连接管理非持久连接每次请求新TCP连接默认持久连接重用TCP连接管道化传输不支持支持缓存控制简单通过Expires增强Cache-Control首部

HTTP/2优化

多路复用单个连接支持并行请求解决队头阻塞问题。

头部压缩通过HPACK算法减少重复首部字段。

服务端推送服务器主动发送资源如CSS/JS文件。

无状态问题

服务器通过Set-Cookie首部下发唯一标识到客户端。

Session:

Cookie流程

HTTP是Web通信的基石其核心是请求-响应模型与TCP连接管理。

通过状态码、方法、首部字段等组件实现灵活的资源操作。

从HTTP/1.1的持久连接到HTTP/2的多路复用协议不断优化以满足现代Web的高性能需求。

万维网中的文档主要分为静态文档、动态文档和活动文档三种类型关键技术对比如下

类型技术实现交互性实时性工作位置典型技术静态文档预先存放的HTML文件低无需服务器纯HTML、CSS动态文档运行时生成内容中高服务器PHP、Java

Servlet、CGI活动文档客户端执行程序高即时客户端JavaScript、Java

Applet

预存储服务器上的固定文件.html/.css/.jpg等无实时处理内容不随请求变化快速响应无需计算开销

应用场景

Spring数据动态组装模板引擎Jinja2、Thymeleaf交互支持通过表单提交参数

典型特点

实时生成内容如最新股价依赖数据库交互动态参数处理URL参数/表单提交

四、活动文档Active

AppletJVM插件沙箱机制已淘汰安全限制JavaScript浏览器引擎同源策略主流ES6标准WebAssembly浏览器虚拟机内存隔离新兴技术

核心优势

离线交互例如网页游戏即时响应无需反复请求服务器复杂交互可视化图表/富文本编辑器

五、理解要点总结

静态文档服务器→客户端单向动态文档数据库↔服务器↔客户端双向活动文档客户端本地处理自循环

安全机制区别

SSR服务端渲染动态文档提升SEOCSR客户端渲染活动文档提供更好UX

全文搜索引擎

工作原理通过爬虫程序Spider/Bot抓取网页内容建立索引数据库实时匹配用户查询词。

特点覆盖范围广实时性强。

示例Google、Bing、Baidu。

流程图

用户按分类查找。

特点准确性高但更新慢。

示例早期的Yahoo。

流程图

网络爬虫Web

广度优先BFS或深度优先DFS遍历。

遵守robots.txt协议避免抓取禁止页面。

支持增量更新区分已抓/未抓页面。

索引器Indexer

分词将文本拆分为词元如中文分词。

去噪过滤停用词如“的”“和”。

归一化转为小写、词干提取如“running”→“run”。

生成倒排索引Inverted

Index

查询解析分词后生成词项列表。

布尔模型合并词项对应的文档集合如AND/OR操作。

向量空间模型计算文档与查询的余弦相似度。

相关性排序基于PageRank、TF-IDF等算法。

用户接口UI

支持关键词提示Autocomplete。

结果高亮与摘要生成Snippet

Generation。

支持高级语法如site:example.com。

三、搜索排序算法

\log\left(\frac{N}{\text{DF}(t)}\right)

TF-IDF(t,d)TF(t,d)×log(DF(t)N​)

四、典型查询处理流程

Encoding减少存储开销。

分布式处理MapReduce框架构建倒排索引如Hadoop。

缓存机制对高频查询结果缓存提升响应速度。

实时更新增量索引应对网页新增/删除。

6.4.6博客和微博

博客是网络日志Weblog的简称属于用户生成内容UGC平台。

核心特点包括

低创作门槛仅需上网与文字输入能力无需HTML技能交互性用户可阅读、评论或仅做内容消费者多样化内容从个人日记扩展到各类主题内容媒体转变实现网民从纯消费者到生产者消费者双重身份转化

技术实现

1997年提出Weblog1999年缩写为blog开始动词化使用写博客衍生词Blogger博主/博客用户

技术对比

维度个人网站博客开发成本域名/空间租用完全免费技术要求HTML网页制作基础操作能力内容更新效率高耗时实时发布

典型案例

碎片化记录三言两语的即时动态真实性要求呈现真实生活片段开放传播成为个人的通讯社技术特点

关键技术参数

字符限制初始140英文→支持长微博多媒体支持图片/视频/音乐嵌入消息传播支持API推送手机/网页/WAP

社会影响

传播性超传统媒体时效性实时性现场直播式传播案例2010年新浪月活达4.65亿

发展节点

2009年爆发新浪微博、腾讯微博等平台崛起名人效应覆盖文体明星/企业家群体

三、博客

对比维度博客微博内容形式结构化长文碎片化短内容创作深度需逻辑性与完整性即时思维片段传播模式封闭式受众传播裂变式开放传播技术复杂度传统HTTP长连接结合长轮询/Websocket社交属性弱强转发/评论互动

四、关键技术延伸

组件功能描述关键技术负载均衡层分发海量用户请求Nginx/HAProxy、DNS轮询业务逻辑服务器处理用户认证、动态发布、消息推送RESTful

API、WebSocket关系型数据库存储用户资料、社交关系MySQL分库分表、读写分离NoSQL数据库存储动态内容、即时消息MongoDB、Redis缓存热点数据对象存储/CDN存储图片/视频文件阿里云OSS、AWS

内容分发网络消息队列异步处理点赞/评论通知RabbitMQ/Kafka

二、关键技术解析

WebSocket协议突破HTTP短连接限制实现消息即时推送保活心跳包每30秒发送空数据包维持TCP连接Connection:

keep-alive消息分流策略按用户ID哈希分配长连接服务器

社交图谱存储

采用图数据库如Neo4j存储复杂社交关系三度人脉查询优化BloomFilter预处理内存级缓存

内容分发策略

内容类型存储策略分发方式文本动态数据库分片存储就近读取主副本热门图片CDN边缘节点缓存客户端动态选择最优节点直播视频流海量推流服务器集群RTMP协议接入

HLS切片分发

水平扩展无状态服务器可快速扩容熔断降级自动屏蔽异常服务节点如评论功能暂时关闭流量削峰夜间活动提醒通过消息队列延时发送

三、典型协议交互流程

TLS1.3加密通信敏感字段二次加密如密码SHA-256加盐哈希

权限控制系统