彭雷的博客

自从VMware发布ESXi有了免费授权以后，公司里还有自己手里的测试机装了不少VMware ESXi，在不配盘柜不使用外部存储的情况下，在ESXi4.x版本上均不支持本地磁盘超过2T，其实原因是因为4.x对本地磁盘分区使用MBR，而MBR限制在2T。

而我手里的N台ESXi主机，都很无奈的创建了若干个2T的VD来使用，用起来有点不爽。

在VMware发布ESXi5.0后，发现它已经支持GPT分区，可以创建超过2T的数据存储，于是考虑顺便攒台装ESXi5.0的主机，经过一番搜索，发现目前最便宜的支持ESXi的RAID是Dell PERC 5I，在taobao上买了2块，因为是自己折腾用，所以没有配电池，最近硬盘疯狂涨价，只好把手里的一台nas服务器的4块2T硬盘拆下来用。

一切都准备好，开始装系统，由于5.0原生就支持将ESXi安装到U盘，所以就把ESXi装到了U盘上，4块2T硬盘组了个6T的raid5，安装都很顺利，不过登陆到vSphere Client上发现，原来在健康状况-传感器里可以看到的raid卡状态，在5.0上消失了，经过一番搜索得出结论，vmware官方取消了所有第三方的provider，如果需要的话，得自己安装自己raid卡对应的cim provider。以下是几个参考链接（都是英文的）

http://communities.vmware.com/thread/327238

http://tinkertry.com/lsi92658iesxi5/

需要手动安装的vib文件在这里下载

http://downloads.vmware.com/d/details/dt_esxi50_lsi_2108_v534/dHRAYnRqZWRiZHAlZA==

http://www.lsi.com/Search/Pages/downloads.aspx?k=vib&r=os%3D%22AQ5WTVdhcmUgRVNYIDUueAJvcwECXiICIiQ%3D%22

安装方法比较简单，稍微懂点Linux的就可以操作，以下是流水账

将下载下来的两个文件解压缩，其实就需要里面的两个vib文件

scsi-megaraid-sas-5.34-1vmw.500.0.0.406165.x86_64.vib

vmware-esx-provider-LSIProvider.vib

在ESXi上开启SSH，用Winscp将这两个文件拷贝到/tmp，再用putty或者其他的终端连入ESXi，输入以下命令即可

esxcli software vib install -v /tmp/scsi-megaraid-sas-5.34-1vmw.500.0.0.406165.x86_64.vib

esxcli software vib install -v /tmp/vmware-esx-provider-LSIProvider.vib

安装完以后重新启动ESXi以后，就可以在健康状况里看到RAID卡的各种状态了。

vmware已经推出了在Linux下运行的VMware vCenter Server Appliance用于不想在Windows下运行vCenter的用户。

新版本要求Windows下的vCenter必须安装在64位系统下，并且内存不能小于2G，而这个VMware vCenter Server Appliance更狠，ovf部署文件默认就分了它8G内存。

安装方法很简单，首先到vmware网站注册用户并申请试用，下载以下三个文件

将这三个文件拷贝到同一目录，使用vSphere Client的菜单部署OVF模板，选择VMware-vCenter-Server-Appliance-5.0.0.3324-472350_OVF10.ovf，一路下一步即可。

在控制台去修改和查看VMware vCenter Server Appliance的IP地址，并在浏览器中输入https://yourip:5480/进入登陆界面，默认用户名是root密码是vmware，登陆后先点击接受协议，然后点database里设置数据库，由于我是测试试用，就选择了embedded，成功后到status里点start vcenter即可。

接下来就用vSphere Client登陆这个vCenter或者直接通过浏览器访问http://ip:9443/vsphere-client/即可

另外，由于机器内存比较小，尝试把VMware vCenter Server Appliance的内存改小，经测试最小可以改到3G，但运行就稍微有点慢了，改到2G就无法启动embedded db2了（错误提示是开机启动服务的时候可以看到这个waiting for embedded db2 database to startup: failed，并且也无法启动vCenter服务了），看来虽然SUSE用DB2 Express for linux，也还是蛮吃内存的，估计把数据库换成oracle能行。

一般情况下，在Windows Server 2008 R2中安装Win7和2008是不需要再装驱动的，而安装2003或者XP则有驱动需要安装，虽然不太影响使用，但是看起来不太爽。
首先是网卡，如果懒得装驱动，可以在设置里删掉旧网卡，添加一块“旧版网络适配器”，这样XP和2003都可以自动识别。
不过在XP安装好以后，还会显示显示器适配器（Microsoft Emulated S3 Device Cap PCI\VEN_1414&DEV_5353&SUBSYS_00000000&REV_00\3&267A616A&0&40）和一个未知设备
在网上搜索了一下没找到，用驱动精灵之类的软件也无法识别，只好自己想办法。
由于VMware和之前的vpc都是有个iso可以提供给虚拟机来安装驱动的，按照这个思路，我在2008 R2系统中以iso为关键字搜索了一下，找到了一个文件C:\Windows\System32\vmguest.iso，我猜基本上就是它了，于是在虚拟机设置中加载这个iso文件，在XP的虚拟机中安装，接着就会有个Hyper-V 集成服务的程序进行自动安装，之后在设备管理器就看不到未知设备了。

终于VMware ESXi5发布正式版下载了，下载好以后发现目录结构有了很大变化，像以往一样，研究一下PXE网络安装。

找到一篇参考文章http://www.vcritical.com/2011/07/vmware-esxi-5-interactive-pxe-installation-improvements/

从描述上看，新版本的PXE设置非常简单，具体操作方法如下：

首先解压VMware-VMvisor-Installer-5.0.0-469512.x86_64.iso到TFTP服务器的某个文件夹（如/esxi5）

修改配置文件/esxi5/boot.cfg，把modules=后面的/都去掉，增加一个prefix=/esxi5/，如下所示

bootstate=0

title=Loading ESXi installer

prefix=/esxi5/

kernel=tboot.b00

kernelopt=runweasel

modules=b.b00 --- useropts.gz --- k.b00 --- a.b00 --- ata-pata.v00 --- ata-pata.v01 --- ata-pata.v02 --- ata-pata.v03 --- ata-pata.v04 --- ata-pata.v05 --- ata-pata.v06 --- ata-pata.v07 --- block-cc.v00 --- ehci-ehc.v00 --- s.v00 --- weaselin.i00 --- ima-qla4.v00 --- ipmi-ipm.v00 --- ipmi-ipm.v01 --- ipmi-ipm.v02 --- misc-cni.v00 --- misc-dri.v00 --- net-be2n.v00 --- net-bnx2.v00 --- net-bnx2.v01 --- net-cnic.v00 --- net-e100.v00 --- net-e100.v01 --- net-enic.v00 --- net-forc.v00 --- net-igb.v00 --- net-ixgb.v00 --- net-nx-n.v00 --- net-r816.v00 --- net-r816.v01 --- net-s2io.v00 --- net-sky2.v00 --- net-tg3.v00 --- ohci-usb.v00 --- sata-ahc.v00 --- sata-ata.v00 --- sata-sat.v00 --- sata-sat.v01 --- sata-sat.v02 --- sata-sat.v03 --- scsi-aac.v00 --- scsi-adp.v00 --- scsi-aic.v00 --- scsi-bnx.v00 --- scsi-fni.v00 --- scsi-hps.v00 --- scsi-ips.v00 --- scsi-lpf.v00 --- scsi-meg.v00 --- scsi-meg.v01 --- scsi-meg.v02 --- scsi-mpt.v00 --- scsi-mpt.v01 --- scsi-mpt.v02 --- scsi-qla.v00 --- scsi-qla.v01 --- uhci-usb.v00 --- tools.t00 --- imgdb.tgz --- imgpayld.tgz

build=

updated=0

最后修改pxe的配置文件增加以下内容即可

LABEL ESXi5

MENU LABEL ^V---- Install VMware ESXi 5

KERNEL /esxi5/mboot.c32

APPEND -c /esxi5/boot.cfg

至此TFTP方式安装ESXi5就完成了，不过我由于早就更换成了gpxe方式，gpxe可以通过http/ftp方式载入镜像（本示例中http://192.168.1.10/tftp目录就是tftp的目录），在跨网段环境下速度飞快，其实gpxe方式也比较简单，只是配置文件不同而已，首先需要更改/esxi5/boot.cfg

bootstate=0

title=Loading ESXi installer

prefix=http://192.168.1.10/tftp/esxi5/

kernel=tboot.b00

kernelopt=runweasel

modules=b.b00 --- useropts.gz --- k.b00 --- a.b00 --- ata-pata.v00 --- ata-pata.v01 --- ata-pata.v02 --- ata-pata.v03 --- ata-pata.v04 --- ata-pata.v05 --- ata-pata.v06 --- ata-pata.v07 --- block-cc.v00 --- ehci-ehc.v00 --- s.v00 --- weaselin.i00 --- ima-qla4.v00 --- ipmi-ipm.v00 --- ipmi-ipm.v01 --- ipmi-ipm.v02 --- misc-cni.v00 --- misc-dri.v00 --- net-be2n.v00 --- net-bnx2.v00 --- net-bnx2.v01 --- net-cnic.v00 --- net-e100.v00 --- net-e100.v01 --- net-enic.v00 --- net-forc.v00 --- net-igb.v00 --- net-ixgb.v00 --- net-nx-n.v00 --- net-r816.v00 --- net-r816.v01 --- net-s2io.v00 --- net-sky2.v00 --- net-tg3.v00 --- ohci-usb.v00 --- sata-ahc.v00 --- sata-ata.v00 --- sata-sat.v00 --- sata-sat.v01 --- sata-sat.v02 --- sata-sat.v03 --- scsi-aac.v00 --- scsi-adp.v00 --- scsi-aic.v00 --- scsi-bnx.v00 --- scsi-fni.v00 --- scsi-hps.v00 --- scsi-ips.v00 --- scsi-lpf.v00 --- scsi-meg.v00 --- scsi-meg.v01 --- scsi-meg.v02 --- scsi-mpt.v00 --- scsi-mpt.v01 --- scsi-mpt.v02 --- scsi-qla.v00 --- scsi-qla.v01 --- uhci-usb.v00 --- tools.t00 --- imgdb.tgz --- imgpayld.tgz

build=

updated=0

再修改pxe的配置文件即可

LABEL ESXi5

MENU LABEL ^V---- Install VMware ESXi 5

KERNEL http://192.168.1.10/tftp/esxi5/mboot.c32

APPEND -c http://192.168.1.10/tftp/esxi5/boot.cfg

ESXi5开始已经无需配置就可以在安装过程中提示覆盖安装、全新安装和升级安装了。

dbus_enable="YES"

hald_enable="YES"  

#/usr/local/etc/rc.d/hald start  

Option "AllowEmptyInput" "off"  

由于工作需要，我打算配置一个分布式文件系统集群，主要用samba来做备份，即廉价，又无单点故障。

经过一番调研，最终决定使用lustre，lustre的分布式架构分了五个角色，mds/mdt/oss/ost/client，mds即元数据服务器，它会连接多个mdt，oss即chunkserver，，它会连接至多8个ost，client就是客户端啦

以下是安装配置过程
安装过程参考了以下文章，在此表示感谢！

http://rainbird.blog.51cto.com/211214/198619 http://wiki.lustre.org/index.php/Main_Page，但下载还是在sun的网站，在sun下载东西必须要登录，如果你没有账户那就要注册一个了，呵呵

由于我使用的操作系统是CentOS5.2 32位CPU，所以我选择的是Red Hat Enterprise Linux 5,i686，下载以下几个文件（注：下载时间不同，版本好可能有差异）

e2fsprogs-1.41.6.sun1-0redhat.rhel5.i386.rpm
kernel-2.6.18-164.11.1.el5_lustre.1.8.2.i686.rpm
lustre-1.8.2-2.6.18_164.11.1.el5_lustre.1.8.2.i686.rpm
lustre-client-1.8.2-2.6.18_164.11.1.el5_lustre.1.8.2.i686.rpm
lustre-client-modules-1.8.2-2.6.18_164.11.1.el5_lustre.1.8.2.i686.rpm
lustre-ldiskfs-3.0.9-2.6.18_164.11.1.el5_lustre.1.8.2.i686.rpm
lustre-modules-1.8.2-2.6.18_164.11.1.el5_lustre.1.8.2.i686.rpm

如果你的操作系统版本刚好和这几个rpm包匹配，那么恭喜你，你可以直接强制安装这几个包，用以下命令

rpm -ivh -aid --force *.rpm 

由于我手上的CentOS版本是5.2不够新，我又懒得下载那好几百兆的文件升级，在我运行这个命令后，得到如下提示

ecryptfs-utils < 44 conflicts with kernel-2.6.18 

这个的意思是说，要安装打过patch的kernel，ecryptfs-utils的版本必须大于44，于是先更新ecryptfs-utils这个软件包

输入如下指令

yum update ecryptfs-utils 

升级完ecryptfs-utils，就可以重新敲刚才的命令了，一切顺利，安装完毕，下面开始配置部分

测试环境使用了3台centos，一台用作mds(192.168.0.101)，两台用作ost和client(192.168.0.102/103)，所有计算机上均配置两块硬盘，hda装系统，hdb用于存放数据

mds上配置如下命令：

modprobe lustre #内核加载lustre模块      

modprobe ldiskfs #内核加载ldiskfs模块      

modprobe lnet network=tcp0(eth0) #绑定网卡      

mkfs.lustre --fsname=test --mdt --reformat --mgs /dev/hdb #在第二块硬盘上创建lustre格式分区      

mkdir /home/lustre #创建目录      

mount.lustre /dev/hdb /home/lustre #把lustre分区挂载到本地文件夹 

oss上配置如下命令：

modprobe lustre #内核加载lustre模块      

modprobe ldiskfs #内核加载ldiskfs模块      

modprobe lnet network=tcp0(eth0) #绑定网卡      

mkfs.lustre --fsname=test --reformat --ost <a href="mailto:--mgsnode=192.168.0.101@tcp0">--mgsnode=192.168.0.101@tcp0</a> /dev/hdb #创建lustre分区并绑定到mdt      

mkdir /home/lustre  #创建目录      

mount.lustre /dev/hdb /home/lustre #把lustre分区挂载到本地文件夹      

mkdir /home/client #创建目录      

mount.lustre <a href="mailto:192.168.0.101@tcp0:/test">192.168.0.101@tcp0:/test</a> /home/client #把lustre分布式文件系统挂载到客户端使用

 

好了，大功告成，接下来配置需要的服务使用这个client文件夹就可以啦

以后再写mdt的冗余问题，目前的配置，还存在一个mdt的单点故障