酷米网(kmw.com),专注高端域名快速交易!

  1. 当前位置: 
  2. 首页 > 
  3. 域名资讯  > 简单CDN
服务器时间:2018-05-22 02:56:23 (CST +08:00)

简单CDN

2017-12-17 17:22:22     浏览量: 25

197

,

7.1 CDN概述 CDN 是Content Delivery Network 首字母缩写,译成中文就是内容分发网络。使用

CDN 技术的主要目的在于增加访问速度、解决南北互联(中国适用)、提高用户体验等。

最早的商业CDN 服务可能诞生于1999年,但本人闻之CDN 这个业务则是2005年的事情了。到了2006年的春天,我有幸得到一个CDN 设计方面的工作,这才有机会全面了解CDN 原理、设计、部署以及运营等。

7.1.1 为什么使用CDN

(1)解决网站高流量、大并发的问题。我们知道,任何一个物理设备,其负载都有一个极限。为了应对访问量突增,使用CDN 服务是一个好的系统扩容方案。

(2)解决南北互联问题。我国的网络是划江而治的格局,因为利益之争,各网络服务商之间并不是通力协作,而是采取各种手段相互限制。这就导致各网之间的互联互通存在很大的问题,具体表现为:电信的用户访问放置在网通机房的服务器,响应时间特别长,反之亦然。使用CDN 技术,可以让电信的用户访问电信的内容缓存服务器,网通的用户访问网通的内容缓存服务器。通过这样一种策略,绕开了网络运营商之间人为设置的障碍。

(3)访问加速。CDN 采用缓存技术,把访问对象缓存起来,有的技术甚至能把对象缓存到内存(如Varnish ),这在效果上表现出来的即是访问加速。

(4)降低总体运营成本。在一些互联互通比较好的第三方BGP 机房,其带宽费高达300 ~ 400元/兆/月,而二、

三线城市单线接入的带宽费100M 一年的费用才5万左右。使用CDN 运营方案,我们把源站放在BGP 机房,而把缓存服务器放置在带宽费用较低的其他地方。因为CDN 的大部分流量被转移到缓存服务器上,源站只有较小的访问请求,因此总体运营成本大幅降低。

(5)提高网站的可用性。源站的访问量变得很小,这意味着源站系统有更低的负载,更低的磁盘I/O,防故障的几率大大降低。对于缓存服务器,多个服务器做成集群,保证了整个系统的高可用。

198

,

第7章 简单CDN (6)防DDOS 攻击。攻击负载被分配到不同的物理服务器,客观上起到防DDOS 的作用。

7.1.2 CDN适用的场合

任何一门技术,都有一定的适用范围,CDN 也不例外。实践证明,CDN 对于静态对象的加速和发布具有很好的效果,但对于动态的网站,则效果不佳。为了使用CDN 技术所带来的好处,我们可以通过动态内容静态化、静态内容分离(如动态站点里的图片)等方式,来加速访问和增强用户体验。

有哪些对象是静态可缓存的呢?这包括html 页面文件、视频文件、JS 文件、CSS 文件、EXE 文件、图片文件(JPEG 、GIF 、PNG )等。

7.1.3 CDN的组成

CDN 是一种组合技术,包括源站、缓存服务器、智能DNS 、客户端等几个部分。 ⏹ 源站指发布内容的原始站点。新增、删除和更改网站的文件,都是在源站上进

行的;缓存服务器抓取的对象也全部来自于源站。

缓存服务器是直接提供给用户访问的站点资源,有一个或数个服务器组成;当一个用户发起访问时,他的访问请求被智能DNS 定位到离他较近的缓存服务器。如果访问所需的内容没有被缓存,则缓存服务器向邻近的缓存服务器或直接向源站抓取内容,然后再返还给用户;如果用户所请求的内容刚好在缓存里面,则直接把内容返还给用户。

智能DNS 是整个CDN 的核心,它负责根据用户的来源,将其访问请求转向到离用户较近或较合适的缓存服务器,如把长沙电信的用户请求转向到长沙电信机房的缓存服务器。实现智能DNS 的一种技术是:Bind View ,在Bind 9以后的版本,都应该支持View 视图这个功能。另外还有一个方案,即DNS 轮询方式。

客户端即发起访问的普通用户,一般的访问方式是浏览器。这个不再做说明。 ⏹ ⏹ ⏹

除了前面列举的组件外,还有一个可选项目,即用来进行内部域名以及源站的域名解析。因为是可选的,因此也可以通过使用本地hosts 指定主机名来代替。

199

,

接下来,我们以图示来总结一下CDN 各组件间的关系和访问流程。

图7-1 CDN 各部分间的关系

图7-1展示了两种比较典型的访问场景,这两种场景,基本上能反映整个CDN 的工作机制。

⏹ 场景一:当“A 网用户”访问被CDN 加速的站点 http://www.formyz.cn时,

从本地的DNS 查询域名,最终可能在全局智能DNS 服务器得到域名所对应的IP 地址,即图7-1所示“A 网的缓存服务器”的IP ;接着“A 网用户”浏览器向“A 网的缓存服务器”发起访问请求,幸运的是所需的默认页面文件index.htm 正好被缓存在“A 网的缓存服务器”里,于是缓存服务器立即返还数据,完成一次访问请求。

⏹ 场景二:当“B 网用户”访问被CDN 加速的站点 http://www.formyz.cn时,

从本地的DNS 查询域名,最终可能在全局智能DNS 服务器得到域名所对应的IP 地址,即图7-1所示“B 网的缓存服务器”的IP ;接着“B 网用户”浏览器向“B 网的缓存服务器”发起访问请求,但是缓存服务器并没有缓存默认页面文件index.html ,它需要先从源站取得这个对象,缓存并把内容返还给“B 网用户”。“B 网缓存服务器”通过“内部DNS ”知道源站在哪里。

7.1.4 CDN的基本特点

CDN 的基本特点可概括为:内容缓存、就近访问以及以DNS 视图方式根据用户来200

,

第7章 简单CDN 源确定其访问位置。

⏹ 内容缓存:缓存服务器从源站取得所需数据,然后暂存在本地的硬盘或内存。

使用这种缓存机制的好处是:内容自动更新;无多个服务器数据相互同步问题。 就近访问:让用户的访问请求转向到离用户最近或最易于访问的缓存服务器。 以DNS 视图方式根据用户来源确定其访问位置:即让电信的用户访问电信的缓存服务器,网通的用户访问网通的缓存服务器。 ⏹ ⏹

7.1.5 什么是简单CDN

简单CDN 这个概念,是相对于复杂CDN 来定义的。因此,我们先来了解一下什么是复杂的CDN 。

笼统一点讲,CDN 服务提供商所运营的环境,就是复杂CDN 。就缓存服务器而言,其结构是分层次的,一般可划分为核心节点和边缘节点,并且同一层级的相邻节点之间又可形成姐妹关系,亦即在同一个集群下的节点互为姐妹关系。为了保证最高的性能和效率,不提倡跨网或跨物理范围的节点形成姐妹关系。为了更直观地理解这个结构和由此产生的好处,这里以一个最长访问路径的图示来说明,如图7-2所示。

源站服务器

图7-2 缓存服务器相互关系

201

,

说明如下: (1)用户向某边缘服务器(边缘A )发起访问请求,所需内容没有被缓存。 (2)边缘服务器(边缘A )于是询问其邻居,是否缓存了用户所需的请求对象,邻居节点也没有缓存所需的对象。 (3)边缘服务器(边缘A )转而向某个父节点(核心A )请求文件,如果该父节

点仍然无所需的文件,则该父节点询问其邻居;如果邻居也没有所需的文件,则把请求转给源站。

(4)源站返回数据给核心节点(核心A ),并缓存数据在该节点。

(5)核心节点(核心A )返还数据给边缘节点(边缘A ),并缓存数据在该节点。

(6)边缘节点返还数据给用户,一次最长路径的访问完成。

这种分层机制,既能保证最高的可用性,又能最大限度地减少向上一级节点的网络流量。

除了缓存服务器结构上的差异外,复杂CDN 还具备以下一些特性。

⏹ 缓存服务器布点范围广,服务器数量庞大。

⏹ 复杂的日志处理系统。因为计费依赖于访问日志。

⏹ 详细的视图划分。例如精确到每个省的IP 地址段。

⏹ 预加载机制。

当我们了解了复杂CDN 以后,再来了解简单CDN 就容易多了。所谓简单CDN

,就是节点层次简单、服务器数量有限、能实现有限规模站点加速和发布的平台。通常情况下,我们不必为实现CDN 带来的好处而部署复杂的

CDN 系统,这将花费巨大的人力、物力。

7.2 简单CDN 的设计

202

,

第7章 简单CDN 7.2.1 简单CDN 设计的基本原则

简单CDN 设计主要考虑以下几点。

⏹ 选点合理,能覆盖大部分网络用户。最起码得在电信和网通机房放置缓存服务

器,如果经费充裕,把教育网也考虑进来。

系统本身具备很好的高可用特性。用户的访问主要集中在缓存服务器,缓存服务器之间使用集群技术就能得到比较高的系统可用性。

核算自建简单CDN 的成本,使之有较好的性价比。如果自建一个CDN 远比购买CDN 服务商所花费的资金还高(目前国内商用CDN 每兆带宽为50元/月,基数是1G ),基本上没必要自己建立CDN 了。

系统应该具备很好的伸缩能力,以适应各种业务变化。如增加布点、增加设备、增加站点等。 ⏹ ⏹ ⏹

7.2.2 需求描述

欲对3个Web 服务进行加速。为了描述方便,使用域名来进行说明。这3个加速站点为图片站点 images.sery.cn 、下载站点dl.sery.cn 、主站 www.sery.cn ,3个站点全部是静态内容,其页面文件主要是.html (htm )、.exe 、.css 、.jpeg 、.js 等,非常适合被缓存。

服务的主要目标用户包括电信线路的用户、网通线路的用户、教育网的用户,其他线路的用户(如科技网、长城宽带等)访问请求被转向到网通线路的缓存服务器。为了实现这个目标,我们可能需要放置4组服务器来做缓存,即电信1组,网通2组,教育网1组。

7.2.3 简单CDN 的设计

需求明确之后,接下来的设计工作包括:布点选取、工具选取、CDN 结构设计等几部分。

1.布点选取

布点包括源站、全局智能DNS 和缓存服务器集群。

⏹ 源站及全局智能DNS 选择互联互通性较好的第三方BGH 机房;因为使用CDN

服务的站点数量有限,故在缓存服务器以主机名的方式寻址源站。

203

,

⏹ 缓存服务器共4组,选择二线或三线城市的机房托管,能节省大量的资金(北京、上海等城市带宽价格大概在300 ~ 400元/兆/月,而偏远一点二三线城市(如安阳)1G 带宽的年总费用才8 ~ 10万)。 2.工具选取

工具包括操作系统、DNS 软件、缓存服务器软件、负载均衡软件、源站软件以及定制的脚本。

⏹ 所有的服务器均使用32位的CentOS 5.x。曾经使用过64位的系统,但在执行

缓存服务器的缓存清理操作时,有些小问题。

⏹ DNS 使用Bind-9.4.0。低于9.4.0的版本,可能不支持视图View ,没有视图功

能,智能DNS 就无法实现。

⏹ 缓存服务器有两种选择,一种是Squid ,另一种是Varnish 。Squid 多用在复杂

CDN 场景,它能实现缓存服务器间的层级关系(邻居形成姊妹、边缘节点与核心节点形成父子关系),功能强大而配置复杂;Varnish 为后起之秀,配置简单而性能卓越,维护起来也比较简单,因此本案选择Varnish 作为缓存工具。

⏹ 负载均衡由Ipvsadm 和Keepalived 两部分组成。Ipvsadm 是核心,负责包转发

和负载分摊;Keepalived 为框架,负责故障隔离和失败切换FailOver 。

⏹ 可做Web 服务的软件比较多,因为站点为简单的静态文件,选择Nginx 比较

省事。

⏹ 定制脚本的主要目的是自动刷新缓存服务,把这个脚本放在某个服务器上,

只需执行一次(也可使用Crontab 自动调用)就能实现所有缓存服务器的缓存清理。

3.CDN 结构设计

我们可以根据CDN 的角色来设计整个结构,这些角色包括源站、智能DNS 及缓存服务器3大部分,根据布点选择和其他因素综合考虑,可以绘出整个CDN 的布局结构图如图7-3所示。

204

,

第7章 简单CDN

图7-3 CDN 服务器布局

从图7-3中可以看出有两组缓存服务器放置在网通机房,这两组服务器不在同一个物理位置。这样做的主要目的是:Bind 规划视图View 时,能收集到的地址比较有限,不再收集列表的其他IP 地址段,则统统转发给网通B 机房的服务器;另外网通B 机房的带宽比较便宜,机器数量也比较多,跟其他网段的互联互通还可以。

(1)源站

源站为内容的原始发布,尽管采用CDN 技术以后源站的负荷会变得很小,但为了有较高的可用性,可以把它部署成负载均衡集群。

(2)智能DNS

智能DNS 是用来实现用户访问转向功能的,即通过建立访问列表,判断用户的访问来源,确定其访问对象的位置。在本案中,建立电信、网通、教育网3个IP 地址列表,未在这3个列表中的称为其他;每个列表关联一个Bind 的视图View ,那么一共有4个视图View 。地址列表可以自己收集,也可以花钱购买,地址列表越大,DNS 定向准确性越高。

(3)缓存服务器

缓存服务器是CDN 环境使用量最大的设备。为保证缓存服务本身的高可用,每个布点的服务器都以负载均衡集群的方式存在。根据以往的经验,访问负荷比较重的机器,非常容易损坏硬盘,因此在设计时,尽可能地缓存内容到内存中,以增加访问的速度和延长机器的寿命。据说,一些CDN 运营商已经开始用固态盘来做缓存空间。

205

,

在简单CDN 的运行环境中,由于我们所使用的资源有限(服务器数量有限、带宽有限),很可能出现超负荷运行的情况,如单个服务器TCP 连接数过高、CPU 负载过大、流量峰值带宽超出合同规定的范围等。为了随时掌握整个系统的运行情况,并能对其进行快速反应和调整,因此必须有监控系统对其服务、资源进行实时监控。 为了对设计有一个整体把握,将上文所做的叙述做一个汇总,如表7-1所示。

表7-1 CDN设计汇总

7.3 简单CDN 的实现

这里所讲“简单CDN 的实现”主要偏重于技术上的实现,即怎么部署相应的服务和运行它。根据从简到繁的顺序,我们依次描述源站、缓存服务器及全局智能DNS 的部署及运行。

7.3.1 源站的部署和运行

源站Web 服务既可以是Apache ,也可以是Nginx 。基于性能和部署简单考虑,选用Nginx 做Web 工具。

1.安装Nginx

(1)下载最新的稳定版到当前目录:

206