应用层

目标：

网络应用的原理：网络应用协议的概念和 实现方面

• 传输层的服务模型
• 客户-服务器模式
• 对等模式(peer-to-peer)
• 内容分发网络

网络应用的实例：互 联网流行的应用层协 议

HTTP 、FTP 、SMTP / POP3 / IMAP 、DNS

编程： 网络应用程序

Socket API

传输层向应用层提供的原语 也是Socket API

创建一个新的网络应用

1. 编程

• 在不同的端系统上运行

• 通过网络基础设施提供的服 务，应用进程彼此通信

• 如Web:

• • Web 服务器软件与浏览器软件 通信

1. 网络核心中没有应用层软件

• 网络核心没有应用层功能
• 网络应用只在端系统上存在 ，快速网络应用开发和部署

应用层协议原理

网络应用的体系结构

1. 客户-服务器模式（C/S:client/server）
2. 对等模式(P2P:Peer To Peer)
3. 混合体：客户-服务器和对等体系结构

1. 客户-服务器(C/S)体系结构

服务器:

• 一直运行

• 固定的IP地址和周知的端 口号（约定）

• 扩展性：服务器场

• • 数据中心进行扩展
  • 扩展性差(缺点)

如果说当用户达到一定的量， 那么服务器的性能是会下降的， 但是那也是正常的y=ax的下降速率 ，但是C/S模型当用户达到一定的数量会呈现指数级下降。

客户端:

• 主动与服务器通信
• 与互联网有间歇性的连接
• 可能是动态IP 地址
• 不直接与其它客户端通信

2. 对等体系结构（P2P）

随着用户的增加， 下滑的速率基本保持不变。

• （几乎）没有一直运行的服务 器
• 任意端系统之间可以进行通信
• 每一个节点既是客户端又是服 务器
• 自扩展性-新peer节点带来新的 服务能力，当然也带来新的服 务请求
• 参与的主机间歇性连接且可以 改变IP 地址
• 难以管理 （缺点）
• 例子: Gnutella，迅雷

3. 混合体系统结构（客户-服务器和对等体系结构）

Napster

• 文件搜索：集中

• • 主机在中心服务器上注册其资源
  • 主机向中心服务器查询资源位置

• 文件传输：P2P

• • 任意Peer节点之间

即时通信

• 在线检测：集中

• • 当用户上线时，向中心服务器注册其IP地址
  • 用户与中心服务器联系，以找到其在线好友的位置

• 两个用户之间聊天：P2P

进程通信

进程 ：在主机上运行的应用程序

• 在同一个主机内，使用 进程间通信机制通信（ 操作系统定义）

• 不同主机，通过交换报 文（Message）来通信

• • 使用OS提供的通信服务
  • 按照应用协议交换报文。

客户端进程： 发送通信的进程

服务器进程： 等待连接的进程

注意：P2P架构的应用也 有客户端进程和服务器进 程之分

分布是进程通信需要解决的问题？

1. 进程标示和寻址问题（服务用户）

利用进程表示自己， 让其他用户知道你的id 、地址 等 信息

让进程自己处于唯一的 ，而不是

1. 传输层-应用层提供服务是如何（服务）

应用通过层间接口借助传输层提供的服务向对方发送数据报文。

位置 ： ：层间界面的SAP （TCP/IP ：socket）

形式 ： ：应用程序接口API （TCP/IP ：socket API）

1. 如何使用传输层提供的服务，实现应用进 程之间的报文交换，实现应用（用户使用服务）

- 定义应用层协议：报文格式，解释，时序等

- 编制程序，使用OS提供的API ，调用网络基础设施提 供通信服务传报文，实现应用时序等；

解决问题1： 对进程进行编址（addressing）

进程为了接收报文，必须有一个标识 ( 即：SAP（发送也需要标示） )

这个标识由三部分组成

1. 主机： 唯一的 32位IP地址
2. 所采用的传输层协议：TCP or UDP
3. 端口号（Port Numbers）

知名端口：

HTTP: TCP 80 Mail: TCP25 ftp:TCP 2

一个进程： 用IP + Port 标示端节点

本质上 一对主机进程之间的通信由2个端节点构 成

解决问题2： 传输层提供的服务-需要穿过层间的信息

1. 层间接口必须要携带的信息

• 要传输的报文（对于本层来说：SDU）
• 谁传的：对方的应用进程的标示：IP+TCP(UDP) 端口
• 传给谁：对方的应用进程的标示：对方的IP+TCP(UDP)端口号

1. 传输层实体（tcp或者udp实体）根据这些信息进行TCP报文段（UDP数据报）的封装

• 源端口号，目标端口号，数据等
• 将IP地址往下交IP实体，用于封装IP数据报：源IP,目标IP

解决问题2： 如何使用传输层提供的服务实现应用

• 定义应用层协议：报文格式，解释，时序等
• 编制程序，通过API调用网络基础设施提供通信 服务传报文，解析报文，实现应用时序等

传输层提供的服务-层间信息的代表 （★★TCPSocket★★）

上述的问题2 所实现的方法，需要传输的东西太多了 。如何减少发送的报文呢！我们用Socket API

ping只是调用网络层的ICMP，网络层就可以搞定，和应用层没啥关系

• 如果Socket API 每次传输报文，都携带如此多 的信息，太繁琐易错，不便于管理
• 用个代号标示通信的双方或者单方：socket 【就像OS打开文件返回的句柄一样 】

TCP Socket(一个本地标识)

TCP服务，两个进程之间的通信需要之前要建立连接

• 两个进程通信会持续一段时间，通信关系稳定
• 穿过层间接口的信息量最小

可以用一个整数表示两个应用实体之间的通信关系 ，本地标示 .

这个整数就是四元组 ：

四元组:源端系统ip、源端系统port、目标端系统ip、目标端系统port

TCP：四元组，UDP：二元组（我和对方的ip）

TCP之上的套接字（socket）

对于使用面向连接服务（TCP）的应用而言，嵌套字是4元组的一个****具有本地意义的标识

• 4元组：(源IP，源port，目标IP，目标port)
• 唯一的指定了一个会话（2个进程之间的会话关系）
• 应用使用这个标示，与远程的应用进程通信
• 不必在每一个报文的发送都要指定这4元组
• 就像使用操作系统打开一个文件，OS返回一个文件句 柄一样，以后使用这个文件句柄，而不是使用这个文件 的目录名、文件名
• 简单，便于管理

TCP连接建立的过程:

下图两个进程之间的通信。

S: 表示Socket的值

TCP Socket ： 代表的就是两个进程的会话关系。

UDP Socket（udp上的会话关系）

UDP服务，两个进程之间的通信需要之前无需建立连接

• 每个报文都是独立传输的
• 前后报文可能给不同的分布式进程

因此。 只能用一个整数表示本应用实体的标示 【因为这个报文可能传给另外一个分布式进程 ·1 】

• 穿过层间接口的信息大小最小

要提供的二元组： 本IP、本端口 ； 但是传输 报文时：必须要提供对方IP，port

传输的步骤(特点)：

1. UDP套接字指定了应用所在的一个端节点（end point）
2. 在发送数据报时，采用创建好的本地套接字（标示 ID），就不必在发送每个报文中指明自己所采用的 ip和port
3. 但是在发送报文时，必须要指定对方的ip和udp port(另外一个段节点)

套接字（Socket）

• 进程向套接字发送报文或从套接字接收报文
• 套接字 <-==-> 门户

发送进程将报文推出门户，发送进程依赖于传输层设施在另外一侧的 门将报文交付给接受进程

接收进程从另外一端的门户收到报文（依赖于传输层设施 ）

应用层协议 :

定义了：运行在不同端系统上 的应用进程如何相互交换报文

• 交换的报文类型：请求和应答报 文
• 各种报文类型的语法：报文中的 各个字段及其描述
• 字段的语义：即字段取值的含义
• 进程何时、如何发送报文及对报 文进行响应的规则

应用协议仅仅是应用的一个组成部分一个Web应用包括：：

Http协议， web客户端，web服务器，HTML 等等

协议分为：

• 公开协议：

由RFC文档定义 ；允许相互操作； 如http

• 专用协议：

协议不公开； 如Skype

应用需要传输层提供什么样的服务？

这种服务主要有四部分衡量指标：

1. 数据丢失率

• 有些应用则要求100%的可 靠数据传输（如文件）
• 有些应用（如音频）能容忍 一定比例以下的数据丢失

1. 吞吐

• 一些应用（如多媒体）必须 需要最小限度的吞吐，从而 使得应用能够有效运转
• 一些应用能充分利用可供使 用的吞吐(弹性应用

1. 延迟

一些应用 出于有效性考虑，对 数据传输有严格的时间限制

Internet 电话、交互式游戏 等

1. 安全性

机密性 ； 完整性 ； 可认证性（鉴别）

常见的应用对传输服务的要求：

Internet 传输层提供的服务

1. TCP 服务：

• 可靠的传输服务
• 流量控制：发送方不会淹 没接受方
• 拥塞控制：当网络出现拥 塞时，能抑制发送方
• 不能提供的服务：时间保 证、最小吞吐保证和安全
• 面向连接：要求在客户端 进程和服务器进程之间建 立连接

2. UDP服务

• 不可靠数据传输
• 不提供的服务：可靠， 流量控制、拥塞控制、 时间、带宽保证、建立 连接

UDP服务存在的必要性

• 能够区分不同的进程，而IP服务不能

• • 在IP提供的主机到主机端到端功能的基础上，区分了主机的 应用进程

• 无需建立连接，省去了建立连接时间，适合事务性的 应用

• 不做可靠性的工作，例如检错重发，适合那些对实时 性要求比较高而对正确性要求不高的应用

• • 因为为了实现可靠性（准确性、保序等），必须付出时间代 价（检错重发）

• 没有拥塞控制和流量控制，应用能够按照设定的速度 发送数据

• • 而在TCP上面的应用，应用发送数据的速度和主机向网络发送 的实际速度是不一致的，因为有流量控制和拥塞控制

Internet应用及其应用层协议和传输协议

安全TCP

TCP & UDP都是不安全的，他们在传输过程中都不提供任何的安全性， 都是明文传输的， 明文通过互联网传输 ，甚至密码

如何增加安全性 ？

1. SSL ： 在TCP上面实现，提供加密的TCP连接

基本上是在应用层， 但是也可以在传输层。

1. SSL socket API

应用通过API将明文交 给socket，SSL将其加 密在互联网上传输

Web and HTTP

相关术语：

Web页：由一些对象组成

对象可以是HTML文件、JPEG图像、Java小程序、声 音剪辑文件等

Web页含有一个基本的HTML文件，该基本HTML文 件又包含若干对象的引用（链接）

通过URL对每个对象进行引用

访问协议，用户名，口令字，端口等；

URL格式：

互联网中的所有指向都是通过这种对象的形式呈现的网状。

我们想要找到某一个内容从这个网状结构中 ，就需要通过搜索引擎来建立索引，然后通过我们输入的关键字作为索引， 他就会将匹配的内容给你。

HTTP概述

Http： 超文本传输协议

包括：

• Web的应用层协议
• 客户/服务器模式

客户: 请求、接收和显示 Web对象的浏览器

服务器: 对请求进行响应， 发送对象的Web服务器

协议有：

• HTTP 1.0: 在RFC 1945中描述
• HTTP 1.1: 在RFC 2068中描述

HTTP是跑在TCP之上的（步骤）★★★★★

1. 首先， 客户发起一个与服务器的 TCP连接 (建立套接字) ， 端口号为 80
2. 服务器接受客户的TCP连 接
3. 然后， 在浏览器(HTTP客户端) 与 Web服务器(HTTP服 务器 server)交换HTTP 报文 (应用层协议报文 ）
4. 最后， TCP连接关闭

解释：

服务器端建立的时候会有一个Socket 用来守护80 端口。（假装叫Socket1）

客户端通过请求发送到服务器之后 ，服务器端会产生Socket （叫Socket2） ，这个Socket代表的就是这个客户端和 当前服务器端建立的会话关系。

之后来的请求同样会建立会话关系（Socket i）

刚开始建立的Socket1并不会有动作， 他会等待其他浏览器的请求， 来建立并发的会话关系

上述的Socket处理请求就类似于： 他（Socket1）是大堂经理，来客人后，把客人分给手下具体营业员管理（Socket i）

HTTP是无状态的。服务器并不维护关 于客户的任何信息

维护状态的协议很复杂！

• 必须维护历史信息(状态)
• 如果服务器/客户端死机，它 们的状态信息可能不一致， 二者的信息必须是一致
• 无状态的服务器能够支持更 多的客户端

HTTP连接

非持久HTTP(三次握手初讲)

• 最多只有一个对象在 TCP连接上发送
• 下载多个对象需要多 个TCP连接
• HTTP/1.0使用非持 久连接

在一个Web浏览器和一个Web服务器想要建立连接的时候（HTTP 1.0 版本）

1. 首先借助SocketAPI 告诉下面的TCP要根对方建立连接了（发送请求）
2. 然后这个请求还会回来（建立确认）， 然后进行交互才能完成。
3. 借者就是发送HTTP请求， 然后响应等等

响应时间模型

往返时间RTT（round-trip time）：一个小的分组从客 户端到服务器，在回到客户 端的时间（传输时间忽略）

响应时间：

• 一个RTT用来发起TCP连接
• 一个 RTT用来HTTP请求并 等待HTTP响应
• 文件传输时间

共：2RTT+传输时间

传输是把分组打出去的时间，传播是分组在介质中运行的时间

持久HTTP

• 多个对象可以在一个 （在客户端和服务器 之间的）TCP连接上 传输
• 在相同客户端和服务器之间的后 续请求和响应报文通过相同的连 接进行传送
• 客户端在遇到一个引用对象的时 候，就可以尽快发送该对象的请 求
• HTTP/1.1 默认使用 持久连接

非持久的缺点：

• 每个对象要2个 RTT
• 操作系统必须为每个TCP连接分 配资源
• 但浏览器通常打开并行TCP连接 ，以获取引用对象

(一) 流水线方式的持久HTTP

• 客户端只能在收到前一个响应后 才能发出新的请求
• 每个引用对象花费一个RTT
• HTTP/1.1 默认使用 持久连接

类似于并行的方式吧，

(二) 非流水线方式的持久HTTP

• HTTP/1.1的默认模式
• 客户端遇到一个引用对象就立即 产生一个请求
• 所有引用（小）对象只花费一个 RTT是可能的

HTTP请求报文

两种类型的HTTP报文：请求、响应

HTTP请求报文:

• ASCII (人能阅读)

通用的请求报文格式

(一) Post方式 ：

• 网页通常包括表单输 入
• 包含在实体主体 (entity body )中的 输入被提交到服务器

(二) URL方式：

• 方法：GET
• 输入通过请求行的 URL字段上载

方法类型：

(一) HTTP/1.0

GET 、 POST、HEAD

要求服务器在响应报文中 不包含请求对象 –> 故障 跟踪

(二) HTTP/1.1

除了 GET、 POST、HEAD之外还有

PUT ：将实体主体中的文件上载 到URL字段规定的路径

DELETE ： 删除URL字段规定的文件

HTTP响应报文

响应状态码：

位于服务器客户端的响应报文中的首行

常见的几种状态码

200 OK

请求成功，请求对象包含在响应报文的后续部分

301 Moved Permanently

请求的对象已经被永久转移了；新的URL在响应报文的Location: 首部行中指定

客户端软件自动用新的URL去获取对象

400 Bad Request

一个通用的差错代码，表示该请求不能被服务器解读

404 Not Found

请求的文档在该服务上没有找到 505 HTTP Version Not Supported

Trying out HTTP (client side) for yourself

在自己的linux操作系统上发送连接

用户-服务器状态：cookies

Http协议实际上是一个无状态的协议。 服务器不会维护客户端的状态， 请求只会解析封装响应给你， 而不会管这个用户(客户端）是否以后会访问.。这就慢慢的衍生出了cookie。

大多数主要的门户网站使用 cookies

Cookies的四个组成部分：

• 1) 在HTTP响应报文中有 一个cookie的首部行
• 2) 在HTTP请求报文含有 一个cookie的首部行
• 3) 在用户端系统中保留有 一个cookie文件，由用 户的浏览器管理
• 4) 在Web站点有一个后 端数据库

例如：

1. Susan总是用同一个PC使 用Internet Explore上 网
2. 她第一次访问了一个使 用了Cookie的电子商务 网站
3. 当最初的HTTP请求到达 服务器时，该Web站点 产生一个唯一的ID，并 以此作为索引在它的后 端数据库中产生一个项

Cookie能带来什么？

用户验证 、购物车 、 推荐 、 用户状态 (Web e-mail)

如何维持状态：

• 协议端节点：在多个事务上 ，发送端和接收端维持状态
• cookies: http报文携带状 态信息

Cookies与隐私

• Cookies允许站点知道许多关于 用户的信息
• 可能将它知道的东西卖给第三 方
• 使用重定向和cookie的搜索引 擎还能知道用户更多的信息
• 如通过某个用户在大量站点 上的行为，了解其个人浏览 方式的大致模式
• 广告公司从站点获得信息

Web缓存（代理服务器）

目标：不访问原始服务器，就满足客户的请求

操作：

1. 用户设置浏览器： 通 过缓存访问Web

2. 浏览器将所有的HTTP 请求发给缓存

3. 1. 在缓存中的对象：缓存 直接返回对象
   2. 如对象不在缓存，缓存 请求原始服务器，然后 再将对象返回给客户端

缓存即是客户端又是服务器端

通常 缓存是由ISP安装 (大学、公司、居民区ISP)

为什么要使用Web缓存 ？

• 降低客户端的请求响应时 间
• 可以大大减少一个机构内 部网络与Internent接链路上的流量
• 互联网大量采用了缓存： 可以使较弱的ICP也能够 有效提供内容

举例：

FTP : 文件传输协议

早期通过ftp来分享文件，内容等， 现在我们是通过网盘、 云盘等。

现在的ftp已经很少用了

• 向远程主机上传输文件或从远程主机接收文件

• 客户/服务器模式

• • 客户端：发起传输的一方
  • 服务器：远程主机

• ftp: RFC 959

• ftp服务器：端口号为21

FTP: 控制连接与数据连接分开

1. FTP客户端与FTP服务器通过端口21联系，并使用TCP为传输 协议
2. 客户端通过控制连接获得身份 确认
3. 客户端通过控制连接发送命令 浏览远程目录
4. 收到一个文件传输命令时，服 务器打开一个到客户端的数据 连接
5. 一个文件传输完成后，服务器 关闭连接

书上是服务器用自己的20号端口与客户进程建立数据传送连接

1. 服务器打开第二个TCP数据连接用 来传输另一个文件
2. 控制连接： 带外（ “out of band” ）传送
3. FTP服务器维护用户的状态信息： 当前路径、用户帐户与控制连接对 应 有状态

FTP命令、响应

相关命令样例：

• 在控制连接上以ASCII文本 方式传送
• USER username
• PASS password
• LIST：请服务器返回远程主机当前目录的文件列表
• RETR filename：从远程主机的当前目录检索文件 (gets)
• STOR filename：向远程主机的当前目录存放文件 (puts)

相关返回码样例：

• 状态码 和1 状态信息（同HTTP ）

Email

3个主要组成部分：

用户代理 、 邮件服务器 、 简单邮件传输协议：SMTP

简要描述：

用户通过用户代理 完成对邮件的编写 等操作 ，然后将邮件发送给邮件服务器， 邮件服务器就会将该邮件发送给目标邮件服务器。 目标用户通过登录客户端软件（QQ邮箱等用户代理）来阅读用户代理从用户服务器上拉去的邮件。

他们之间遵守的协议就是SMTP协议。

组成一： 用户代理

又名 “邮件阅读器”

撰写、编辑和阅读邮件的客户端软件。如Outlook、Foxmail

输出和输入邮件保存在服务器 上

组成二： 邮件服务器

邮件服务器作用：

• 邮箱中管理和维护发送给用户 的邮件

• 输出报文 队列保持待发送邮件 报文

• 邮件服务器之间的SMTP协议 ：发送email报文

• • 客户：发送方邮件服务器
  • 服务器：接收端邮件服务 器

组成三： 简单邮件传输协议：SMTP

• 使用TCP在客户端和服务器之间传送报文，端口号为25

• 直接传输：从发送方服务器到接收方服务器

• 传输的3个阶段： 握手 、传输报文 、关闭

• 命令/响应交互

• • 命令：ASCII文本
  • 响应：状态码和状态信息

• 报文必须为7位ASCII码

规范了邮件的内容必须是在七位ASCⅡ码范围内（最原始的。）

举例：

Alice给Bob发送报文

简单的交互

上述的这种传输就是纯明文之间的传输 ，不做任何的保护措施， 也就是说黑客是可以随时截胡这些内容， 并且可见的。

SMTP：总结

• SMTP使用持久连接
• SMTP要求报文（首部 和主体）为7位ASCII编 码
• SMTP服务器使用 CRLF.CRLF决定报文的 尾部

HTTP比较 ：

• HTTP：拉（pull）
• SMTP：推（push）

二者都是ASCII形式的命令/响应交互、状态码

• HTTP：每个对象封装在各自 的响应报文中
• SMTP：多个对象包含在一个 报文中

邮件的报文格式

报文格式 ： 多媒体扩展

邮件访问协议：

SMTP: 传送到接收方的邮件服务器

邮件访问协议：从服务器访问邮件

• POP：邮局访问协议（Post Office Protocol）[RFC 1939]

• • 用户身份确认 (代理<–>服务器) 并下载

• IMAP：Internet邮件访问协议（Internet Mail Access Protocol）[RFC 1730] 或者也可以是HTTP协议

• • 更多特性 (更复杂) ； 在服务器上处理存储的报文

• HTTP：H****otmail , Yahoo! Mail等

扩展PoP3协议 ：

POP3（续）

• 先前的例子使用 “下载 并删除”模式。

• • 如果改变客户机，Bob不 能阅读邮件

• “下载并保留”：不同 客户机上为报文的拷贝

• POP3在会话中是无状态 的

• 本地管理文件夹

IMAP

• IMAP服务器将每个报文 与一个文件夹联系起来

• 允许用户用目录来组织 报文

• 允许用户读取报文组件

• IMAP在会话过程中保留 用户状态：

• • 目录名、报文ID与目录名 之间映射

DNS

Email

DNS

P2P应用

CDN

TCP套接字（Socket）编程

UDP套接字编程