IDC环境规范

2017-03-27

4900

基础环境规范备注：M6为本次使用的世纪互联M6机房的缩写，其他机房请更改此缩写。一、系统基础环境1. 主机名设置:物理服务器主机名与标签一致【虚拟机主机名与虚拟机标识(虚拟机管理平台上的标识) 一

基础环境规范

备注：M6为本次使用的世纪互联M6机房的缩写，其他机房请更改此缩写。

一、系统基础环境

1. 主机名设置:

物理服务器主机名与标签一致

【虚拟机主机名与虚拟机标识(虚拟机管理平台上的标识) 一致】主机名称所有IDC 范围内统一命名

主机名作为运维管理对象标识，在其生命周期内不变命名规则为：

M6-233-33.inc.91.com

M6为idc 名称；233-33为主机IP 后两位；inc.91.com 为本地zone 。

2. 路由设置（vpn 设置情况再讨论）

默认路由由各机房的网络情况决定；

内网路由添加至：

/etc/sysconfig/network-scripts/route-em1 (route-eth0)

3. NTP 设置

设置两个NTP 同步源

主：本IDC NTP服务器

备:中心节点NTP 服务器

同步到 cn.pool.ntp.org

4. DNS 设置（每个机房2个local dns；域名：inc.91.com dnspod 设置两个DNS 服务器

主：本地IDC DNS服务器；备：DNS 服务器

根据主机所提供的服务来定义域名：

例：cobbler 服务器

cob-idcM6 IN A 10.10.233.33 ntp-idcM6 IN cname M6-233-33.inc.91.com. cboss-manage IN cname M6-233-33.inc.91.com. 反解暂时不做（邮件系统要做反解）

5. YUM 设置）

Yum 源为本地IDC 内源

yum 源:yum-idcM6.inc.91.com,

6. Bash-hacker 安装

一个带命令记录的bash

Bash-4.1(源码)

7. 安装主机硬件检查（厂家工具）: 自动采集硬件信息

8. 进行文件完整性检查（tripwire ）工具安装

9. Profile 环境变量统一（/etc/profile; .bash_profile; 定义哪些东西？）

#禁止提示接收邮件

echo “unset MAILCHECK” >> /etc/profile

source /etc/profile

#连接超时10分钟

echo “TMOUT=600″ >>/etc/profile

source /etc/profile

#默认VI 为VIM

sed -i "8 s/^/alias vi ='vim' /" /root/.bashrc 2>/dev/null

echo 'syntax on' > /root/.vimrc 2>/dev/null

#解决SSH 登录慢的问题

sed -i "s/#UseDNS yes/UseDNS no/" /etc/ssh/sshd_config

/etc/init.d/sshd restart

#禁止按CTRL ALT DEL重启

sed -i s/^ca/#ca/g /etc/inittab # file descriptors ulimit -HSn 65535 echo -ne " * soft nofile 65536 * hard nofile 65536

" >>/etc/security/limits.conf

(/etc/security/limits.d/90-nproc.conf)(centos 6.5)

sed -i '/SELINUX /s/enforcing/disabled/' /etc/selinux /config

10. Crontab （注释怎么写，定义哪些东西；编辑方式crontab –e ；）

例：

Crontab –e

# 定时任务编写人的名字 - 用途 - 2014/01/27

#wangyuelong – 同步时间 – 2014/01/27

0 0 * * * /usr/sbin/ntpdate ntp.idcM6.inc.91.com

11. Ssh

服务端口44322

Root 用户登录用key 方式

密码固定时间进行重制

每台服务器建立普通帐号，用于启动业务

12. 关闭的服务（策略）

关闭Iptables 服务，（通过snort 进行安全防护）

关闭selinux

关闭networkmanager

关闭ip6tables

关闭sendmail （数据库服务器）

13. Lvm ，不开启

14. Agent 安装

1) 、需要安装的

Cacti 客户端

nagios 客户端

Ntp

Rsyslog

2) 、暂时不安装的

（Zabbix 客户端）

（企业MIB 客户端）

（Puppet 客户端）

（Openvas 客户端）

二、 IDC基础服务

15. NTP 时间服务:为内网主机提供时间同步服务

每个IDC 两台，1台主一台备，可与其他不常用的服务共用。

内部域名ntp-idcM6.inc.91.com

每台服务器定时同步时间：

Crontab –e

#同步时间

0 0 * * * /usr/sbin/ntpdate cn.pool.ntp.org

16. DNS 服务:为内网主机提供互联网DNS 转发及内部域名解释服务

每IDC 两台, 一台master ，一台为backup

每台服务器将DNS IP >> /etc/resolv.conf

17. YUM 源:为内网主机提供yum 服务

每机房一台，使用文件服务 (http)

域名:yum-idcM6.inc.91.com

加源 Centos/Dag /163/sohu/epel-x86_64

18. 文件服务器(FTP,windows共享，HTTP) ：为内网所有用户提供文件存储和

共享服务

每机房一台

域名：fs-idcM6.inc.91.com

使用ftp

19. Cobbler 服务器:提供物理机及虚拟机系统安装及初始化服务

每机房一台

域名：cob-idcM6.inc.91.com

Pxe ，脚本

分区：

/boot 500M

Swap 8G

/ 20G (系统)

/var 20G （系统级日志）

/data 50G （tomcat 等安装的应用）

/deploy 20G （程序代码）

/log 30G （业务日志）

20. Syslog-ng:为内网主机提供日志收集服务（rsyslog ，功能、扩展产品）

每机房一台，将所有应用日志及系统日志进行汇总

创建普通用户，用于开发等进行查看日志文件

Log-idcM6.inc.91.com

21. VPN 服务器:提供各IDC 的互联服务

每机房一台

域名：vpn-idcM6.inc.91.com

22. Snort IDS入侵检测系统：安全防护服务

每机房一台

域名：ids-idcM6.inc.91.com

23. OpenVAS/appscan/wvas/sqlmap :安全扫描和评估

内网中心节点一台

域名：vas-idcM6.inc.91.com

24. 文件系统完整性检测

tripwire ，aide

三、应用服务

25. 日志规划

所有程序的服务上生产时，保证日志存放位置为/logs下（老系统在/data/logs下）

例如：

dianpu 对应日志存放在

例子：/logs/dianpu/log.20140128

Log ：日志目录

dianpu ：项目名

Log.20140128：日志名

26. tomcat 规划

1) 存放位置为/app下(老系统/data)

2) 命名规范为服务名_tom

例如：

dianpu 对应的名称命名为

dianpu_tom

3)tomcat 自身的日志存放在/app/服务名_tom/logs/

tomcat 自身的日志保存周期为当天

4）tomcat 引用程序路径统一在server.XML 中定义

例如：

dianpu

/app/dianpu_tom/conf/server.xml

(老系统用/data/dianpu_tom/conf/server.xml)

5) 启动端口及其关闭端口定义。

启动端口使用1024以上未占用端口。

关闭端口在选定的启动端口前加1

例如：

选定的启动端口为7336

关闭端口则为17336

6）tomcat 启动时用普通用户tom 启动

四、虚拟机划分：

1、宿主机

是否支持虚拟化：grep -E -o 'vmx|svm' /proc/cpuinfo

统一安装kvm 和kvm 依赖的包

(yum -y install qemu-kvm libvirt python-virtinst bridge-utils

or yum -y groupinstall 'Virtualization' 'Virtualization Client' 'Virtualization Platform' 'Virtualization Tools' )

查看模块： lsmod | grep kvm

与虚拟机网络连接都是用桥接

使用：BRIDGE=br0

Ifcfg-br0

2、宿主机主机名

宿主机在兆维机房的第n 台

例：在兆维机房内的宿主机1的名称

M6vm-6-33

M6vm-6-33.inc.91.com

3、宿主机分区

Boot 500M

Swap 8/16G

/ 100G

/var 100G

/opt 50G

/kvm 剩余所有空间

4、宿主机存放虚拟机磁盘镜像路径

/kvm/virtualdisk/

/kvm/iso

5、虚拟机主机名：

虚拟机在宿主机节点1中，节点1 虚拟机ip 后两位例：node1-233-00

6、虚拟机资源分配

Cpu 根据需求分配 Mem 根据需求分配

Disk 根据需求分配

7、宿主使用规范

五、网络

所有vlan 网关都配置在核心上，各网的vlan 号顺延使用，除外网vlan 其它不同vlan 间可互相通讯。

2、

Ip 地址规划

单个vlan 中设备数不超过240台，并使用1个C 的IP 网段。所有物理机和虚拟机都具有一个外网IP 和一个私网IP 。服务器IP 由第一个IP 开始顺延使用，网关等网络所需IP 从最后一个IP 开始往前使用。

外网IP 根据IDC 机房分配使用。

私网IP 使用10.0.0.0/8这个网段，第二位为IDC 所在城市的区号，如果同一城市有两个及两个以上IDC 机房，根据区号向前或者向后顺延使用，私网的后两位与外网的后两位保持一致。

管理网IP 的第二位使用物理机的私网IP 第二位的数字加上一百，其余三位与私网IP 保持一致。

例如，北京的一台服务器：外网为58.68.233.4，私网为10.10.233.4，管理网为10.110.233.4。第二位10为北京区号，私网和管理网的后两位的233.4与外网保持一致。

3、新网段加入

遇到原IP 用尽IDC 新分配网段时，外网、私网和管理网都重新使用新vlan ，按照IP 地址规划分配使用新IP 段。

4、布线机柜布线

交换机摆放在机柜最上方，交换机前面板（端口）对着服务器后面板的网口，方便走线。

网络设备互联线使用，使用光纤连接。服务器与交换机连接的网线必须使用6类以上的成品线，禁止跨机柜连接服务器。

单一机房使用不同颜色的网线区分使用类别，例如：红色为私网；蓝色为外网；绿色为管理口；灰色为设备互联线。

连接服务器的网线根据机房环境从机柜左侧和右侧分别走线，并按照相同颜色扎带捆绑。

根据IDC 机房要求，一个机柜部署小于等于14台服务器。服务器与服务器中间空1U 空间。服务器的第一个网卡为私网，第二个网卡为外网，ilo 网卡为管理网。

5、标签

所有网线两端都贴有内容相同的标签，包含交换机端口号以及设备物理位置信息。

例如：SW1-P1---S-1-1，SW1为交换机1、P1为交换机第一个端口，S-1-1为机柜从上往下第一台服务器第一个网卡。

6、交换机以太网口使用

使用48口接入交换机，交换机后边的端口作为网络设备互联端口，连接服务器的端口按照服务器自上到下的顺序从第一个端口开始使用。

一个机柜最多摆放14台服务器，端口使用为：前20口为外网，后20口为内网，最后4光口为网络设备互联口，剩余8个端口作为冗余口以及测试端口使用。

单独一台24口交换机做为管理口的连接。

7、检查、备份、设备命名

所有交换机ssh 远程登录，snmp 监控所有端口流量。一个月备份所有设备配置一次。密码一年更改一次，并由字母、数字和符号组成，长度大于14位。

随着新服务器的进入随机现场巡检，固定1个月远程现场巡检一次设备。巡检项包含网络设备的状态、CPU 、内存、和端口状况等信息。

统一网络设备命名方式，例如ZW-D1408-D03-S5800，ZW 为兆维机房、D1为D1区域、408为408室、D03为D03机柜、S5800为设备型号。

服务器命名规则：例如ZW-233-11，ZW 为兆维机房、233-11为服务器IP 最后两段。

相关推荐