puppet-example

这是一个puppet示范项目，兼作我的运维学习笔记，在现实世界运行着，有三个成功案例，各管理100多台服务器，都是小型B2C网站，这些网站的架构大致如下图（图是网站上线前设计的，实际实施有所变化）：

出处：我的微博@qinjianxiang

我花了约100小时学习这些服务器配置，反复试错，并编写成puppet脚本和bash shell脚本，故本项目只能保证正常运行和基本的性能与安全，没有涉及这些服务器的高级技巧。

功能范围

已实现的功能模块

• compiler：编译工具
• coreseek：中文版的sphinx
• fastdfs：分布式文件系统
• firewall
  • filter：iptables防火墙
  • nat：端口转发
• gateway：网关（iptables实现）
• haproxy：负载均衡器
• hhvm：Facebook开源出来的高性能PHP引擎
• hosts：/etc/hosts配置工具
• inifile：ini配置文件操作工具（第三方开源）
• iptables：iptables规则配置工具（第三方开源）
• java：openjdk
• keepalived：高可用方案，IP共享（使用VRRP协议）
• limits：控制/etc/security/limits.conf文件
• memcached：高性能内存缓存服务器
• mongodb：NoSQL，面向文档的数据库
• mysql：MySQL服务器
• nfs：
  • nfs服务端，export
  • nfs客户端，mount
• nginx：高性能的Web服务器
• ntp：时间服务器和客户端
• percona：Percona over Galera，多主同步复制MySQL集群
• php：PHP语言环境（php-fpm和cli）
• pptp
  • VPN服务端：pptpd
  • 客户端：ppp（未实现）
• puppet
  • master：puppet服务端
  • client：客户端
• redis：高性能内存NoSQL
• rsyslog：日志服务器
• sphinx：实现的搜索引擎（独立于MySQL）
• ssh：SSH服务端
• svn：svn代码仓库服务器
• sysctl：控制/etc/sysctl.conf文件
• virtmanager：虚拟机管理工具
• vnc：VNC远程桌面服务端
• yum：yum源管理和本地yum镜像搭建工具

yum源

• centos：centos官方源的sohu镜像，含base、updates、extras
• epel：fedora-epel源，提供nginx, puppet, haproxy, keepalived等绝大部分软件包
• remi：PHP 5.4源（CentOS和epel源的PHP版本都较低，分别是5.1和5.2，没有内建php-fpm）
• percona：percona mysql cluster源
• pptp：pptpd和pptp源
• nginx：nginx官方源（epel上的nginx版本较低，为1.0.15）
• hop5：非facebook官方的hhvm源
• puppetlabs：puppet官方源

安装说明

clone centos vm时应注意的网络配置问题

在XEN和KVM平台，clone一台VM时，新克隆出来的vm，eth0会变成eth1，新克隆出来的vm，eth0由于mac地址冲突已经不能用了，自动生成了个eth1，而ifcfg-eth0配置文件仍然存在，只是不起作用了，要避免这种情况，需这样克隆：

• 启动要克隆的模板vm
• 删除/etc/udev/rules.d/70-persistent-net.rules，这个文件会在每次启动的时候自动生成，最好配个crontab定时删除
• 打开网卡配置文件（如/etc/sysconfig/network-scripts/ifcfg-eth0）
• 删除网上配置文件中的HWADDR那一行，删除它也能正常工作
• 确保ONBOOT=YES，若保留默认值NO，使用service network restart时会关闭这个网卡，但并不自动启动这个网卡
• 关闭模板vm
• 克隆

除CentOS外，其它的linux发行版应该也有这个问题，解决方法也是类似的。我验证过的只有Debian，但这是linux kernel的机制决定的，跟发行版关系不大，发行版不同，只是配置文件语法不同。

*** 更新 *** 这是我2012年发现的问题，当时我使用的是XCP和Promox VE。后来Ctrix把它的XenServer开源了，经测试，XenServer 6.2上安装CentOS 6.4，没有这个问题了。

从CentOS裸机安装puppet

参见puppet安装说明文档，包括puppet server和puppet client安装。

在puppet服务器使用本项目

参见puppet-example使用文档，包括单机模式和Client/Server模式的使用方法。

架构

开发本项目的第一版时，我初学puppet，虽然也用到了role，module，config来将我的代码分层，但分层执行不够彻底，抽象得还不够，坏处就是影响项目的通用性。

我重新梳理后的架构，分为五层：config - node - role - module type - module provider，越往右，通用性越强。使用本项目的用户，主要会去修改config和node两层，role层较少修改，module type和module provider层几乎不用修改，如果发现这两层满足不了需求，可以提需求给我，我来改。