NFS-RDMA安装配置

NFS-RDMA安装配置

在SUSE系统下编译的如下:

#cat /etc/issue

Welcome to SUSE Linux Enterprise Server 10 SP2 (x86_64) - Kernel \r (\l).

#uname –r

2.6.16.60-0.21-smp

############################################################################### 编译内核：

ftp:///pub/linux/kernel/v2.6/linux-2.6.26.tar.bz2

#tar -jxvf linux-2.6.26.tar.bz2 -C /usr/src

#cd /usr/src/linux-2.6.26

#make mrproper

#cp /boot/config-2.6.16.60-0.21-smp .config

#make oldconfig

#make dep

#make menuconfig

由于用的INTEL ESB硬盘控制器，要把AHCI SATA编译成模块，不然内核编译好系统因为找不到驱动而系统无法启动。其他型号的机器根据相对应的硬盘控制器选择相应的内核驱动模块。

Device Drivers ---> Serial ATA (prod) and Parallel ATA

(experimental) drivers --> AHCI SATA support Intel ESB,

ICH, PIIX3, PIIX4 PA TA/SATA support

确保选择InfiniBand支持RDMA

Device Drivers---> InfiniBand support ---> InfiniBand SCSI RDMA Protocol

#make bzImage

#make modules

#make modules_install

#make install

#reboot

#uname –r

2.6.26-smp #在新内核下工作了

验证我们想编译出的NFS-RDMA模块

#cd /lib/modules/2.6.26-smp/kernel/net/sunrpc/xprtrdma

#ls

svcrdma.ko xprtrdma.ko

#其中svcrdma.ko是服务端的模块xprtrdma.ko是客户端的模块

加载模块

# modprobe svcrdma

# modprobe xprtrdma

# lsmod |grep svcrdma

svcrdma 43572 0

rdma_cm 44404 2 xprtrdma,svcrdma

sunrpc 210632 5 xprtrdma,svcrdma

ib_core 72192 11 xprtrdma,svcrdma,rdma_cm,ib_cm,iw_cm,ib_ipoib,ib_sa,ib_uverbs,ib_umad,ib_mthca,ib_mad

# lsmod |grep svcrdma

xprtrdma 51996 0

rdma_cm 44404 2 xprtrdma,svcrdma

sunrpc 210632 5 xprtrdma,svcrdma

ib_core 72192 11 xprtrdma,svcrdma,rdma_cm,ib_cm,iw_cm,ib_ipoib,ib_sa,ib_uverbs,ib_umad,ib_mthca,ib_mad

############################################################################### 先安装nfs-utils-1.1.1，不然安装OFED会出现如下提示：

nfs-utils-1.1.1 is required to build kernel-ib

# rpm -qa |nfs-utils

系统自带的版本不够如下：

# rpm -qa |grep nfs-utils

nfs-utils-1.0.7-36.29

安装nfs-utils-1.1.4 FOR RDMA需要先安装e2fsprogs-1.40.11

安装e2fsprogs-1.40.11安装支持的库

#./configure

#make

#make install-libs (生成libblkid库nfs-utils-1.1.4所需要的库)

#make install

#ldconfig

安装nfs-utils-1.1.4需要tcpd-devel开发包，安装如下

#rpm -ivh tcpd-devel-7.6-731.2.x86_64.rpm

#tar -zxvf nfs-utils-1.1.4.tar.gz

# cd nfs-utils-1.1.4

# ./configure --disable-gss --disable-nfsv4

#make

#make install

# mount.nfs -V

mount.nfs (linux nfs-utils 1.1.4)

############################################################################### 安装OFED支持RDMA

# tar -zxvf OFED-1.4.tgz -C /usr/src

#cd /usr/src/OFED-1.4

# ./install.pl

当出现Please enter the OFED installation directory: [/usr]:按ctrl+c 这样在当前目录生成ofed.conf

#vi ofed.conf

在文件中加入：nfsrdma=y

#./install.pl –c ofed.conf