LINUX5.7+RAW+EMC+RAC+ORACLE 11G安装详细文档
****OTC系统安装
一、 服务器设置及操作系统安装
(一) 配置服务器Raid
1. Web登录EMC
IP： ID：
Passwd：
2. 建立RAID GROUP 3. 建立STORAGE GROUP 4. 安全设置
www.eimhe.com
(二) 安装操作系统
1. 开始安装操作系统
2. 跳过输入许可步骤
3. 确定系统分区
4. 引导选项（默认即可）
5. 设置主机名及IP地址（也可以安装好后修改）
6. 设置时区
7. 定制安装包
参考一下参数选择，选中程序之后鼠标右键全部选择（没有说明的选项全部默认）
1.Desktop 默认 2.Applications
Authoring and Publishing
全选 Editors
Engineering and Scientific
Office/Productivity Sound and Video Text-based Internet
默认
3.Development
Development Libraries Development Tools
GNOME Software Developmnt Java Development
Legacy Software Development Ruby
X Software Development
全选 4.Servers
FTP Server
全选 Legacy Network Server Network Servers Printing Support Server Configuration Tools
5.Base System----- 全选 6.Languages --------- Chinese
8. 参考上一步说明
9. 安装选项确认
10. 进入安装进程
漫长的等待可以去喝杯咖啡
11. 重启完成之后设置防火墙
Setup———防火墙 关闭。 或者装系统的时候直接选择关闭
(三) 操作系统相关配置
1. 网卡绑定
进入网络端口配置文件目录 cd /etc/sysconfig/network-scripts/ 节点一网络配置
按顺序修改以下网卡文件 vi ifcfg-eth0 [root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 # Intel Corporation 82580 Gigabit Network Connection DEVICE=eth0 BOOTPROTO=none HWADDR=90:E2:BA:0A:E4:A4 ONBOOT=yes MASTER=bond0 SLAVE=yes TYPE=Ethernet vi ifcfg-eth1 [root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1 # Intel Corporation 82580 Gigabit Network Connection DEVICE=eth1 BOOTPROTO=none HWADDR=90:E2:BA:0A:E4:A5 ONBOOT=yes MASTER=bond1 SLAVE=yes TYPE=Ethernet vi ifcfg-eth2 [root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth2 # Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet DEVICE=eth2 BOOTPROTO=none HWADDR=34:40:B5:B0:33:BC ONBOOT=yes MASTER=bond0 SLAVE=yes TYPE=Ethernet vi ifcfg-eth3 # Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet DEVICE=eth3 BOOTPROTO=none HWADDR=34:40:B5:B0:33:BE ONBOOT=yes MASTER=bond1 SLAVE=yes TYPE=Ethernet vi ifcfg-bond0 [root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 BOOTPROTO=none ONBOOT=yes IPADDR=10.101.51. NETMASK=255.255.255.0 TYPE=Ethernet vi ifcfg-bond1 [root@jf-otc-db1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond1 DEVICE=bond1 BOOTPROTO=none ONBOOT=yes IPADDR=192.168.51.1 NETMASK=255.255.255.0 TYPE=Ethernet 修改 /etc/modprobe.conf 添加如下内容 alias bond0 bonding options bond0 miimon=100 primary=eth0 mode=1 alias bond1 bonding options bond1 miimon=100 primary=eth1 mode=1
最后在/etc/rc.local中加入
modprobe bonding miimon=100 mode=1 使用root用户输入
service network restart 在第二台机器上重复此操作。
2. 开启FTP（两台机器都做）
修改vsftpd配置文件
vi /etc/vsftpd/user_list 这个文件里面的用户都是被禁止登陆ftp的，所以要使用root用户登陆ftp需要将root用注释掉。
文件内容如下 # vsftpd userlist # If userlist_deny=NO, only allow users in this file # If userlist_deny=YES (default), never allow users in this file, and # do not even prompt for a password. # Note that the default vsftpd pam config also checks /etc/vsftpd/ftpusers # for users that are denied. #root bin daemon adm lp sync shutdown halt mail news uucp operator games nobody vi /etc/vsftpd/ftpusers 这个文件里面的用户都是被禁止登陆ftp的，所以要使用root用户登陆ftp需要将root用注释掉。
文件内容如下
# Users that are not allowed to login via ftp #root bin daemon adm lp sync shutdown halt mail news uucp operator games nobody 修改完以上配置之后
service vsftpd start 启动vsftpd服务。 [root@jf-otc-db1 ~]# service vsftpd start Starting vsftpd for vsftpd: [ OK ] 3. 修改两台机器hosts文件
#vi /etc/hosts 添加以下内容
10.101.51. jf-otc-db1 10.101.51. jf-otc-db2 10.101.51. jf-otc=db1-vip 10.101.51. jf-otc-db2-vip 10.101.51. jf-otc-scan 192.168.51.1 jf-otc-db1-priv 192.168.51.2 jf-otc-db2-priv
二、 准备RAC安装环境
(一) 安装powerpath
1. 安装软件包
本次采用的是5.6的版本，上传
EMCPower.LINUX-5.6.0.00.00-143.RHEL5.x86_64.rpm 和
NaviHostAgent-Linux-64-x86-en_US-6.29.6.0.35-1.x86_64.rpm 安装过程如下：
[root@jf-otc-db1 pp]# rpm -ivh NaviHostAgent-Linux-64-x86-en_US-6.29.6.0.35-1.x86_64.rpm Preparing... ########################################### [100%] 1:NaviHostAgent-Linux-64-########################################### [100%] [root@jf-otc-db1 pp]# rpm -ivh EMCPower.LINUX-5.6.0.00.00-143.RHEL5.x86_64.rpm Preparing... ########################################### [100%] 1:EMCpower.LINUX ########################################### [100%] All trademarks used herein are the property of their respective owners. NOTE:License registration is not required to manage the CLARiiON AX series array. 2. 安装EMC Powerpath许可
[root@jf-otc-db1 pp]# emcpreg -install =========== EMC PowerPath Registration =========== Do you have a new registration key or keys to enter?[n] y Enter the registration keys(s) for your product(s), one per line, pressing Enter after each key. After typing all keys, press Enter again. Key (Enter if done): XCP6-MFPM-C3Q5-YPOM-AW9P-APGU 1 key(s) successfully added. Key successfully installed. Key (Enter if done): 1 key(s) successfully registered. [root@jf-otc-db1 pp]# 安装完成后需要重新启动机器让powerpath生效及扫描磁盘。
3. 扫描磁盘并修改伪设备名
重启完成后会在/dev/目录下生成以下几个文件 /dev/emcpowera /dev/emcpowerb /dev/emcpowerc /dev/emcpowerd /dev/emcpowere /dev/emcpowerf /dev/emcpowerg /dev/emcpowerh /dev/emcpoweri /dev/emcpowerj 修改伪设备名
因为powerpath在认盘的时候可能在两边顺序不太一样，所以要结合powermt display dev=all命令将两边的盘统一顺序。
emcpadm rename -s emcpowera -t emcpowerz emcpadm rename -s emcpowerb -t emcpowery emcpadm rename -s emcpowerc -t emcpowerx emcpadm rename -s emcpowerd -t emcpowerw emcpadm rename -s emcpowere -t emcpowerv emcpadm rename -s emcpowerf -t emcpoweru emcpadm rename -s emcpowerz -t emcpowerd emcpadm rename -s emcpowery -t emcpowerf emcpadm rename -s emcpowerx -t emcpowerb emcpadm rename -s emcpowerw -t emcpowere emcpadm rename -s emcpowerv -t emcpowera emcpadm rename -s emcpoweru -t emcpowerc (二) 添加用户并建立用户等效性
1. 创建用户及用户组
两台机器都要配置
groupadd dba -g 500 useradd -g dba -G users -d /home/oracle oracle -u 500 2. 修改用户配置文件
cd /home/oracle vi .bash_profile 添加以下内容
export ORACLE_BASE=/oracle export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db export ORACLE_CRS_HOME=$ORACLE_BASE/product/10.2.0/crs export TNS_ADMIN=$ORACLE_HOME/network/admin export ORA_NLS10=$ORACLE_HOME/nls/data export PATH=.:$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORACLE_CRS_HOME/bin export LD_LIBRARY_PATH=.:$LD_LIBRARY_PATH:$ORACLE_HOME/lib:$CRS_HOME/lib export NLS_LANG='SIMPLIFIED CHINESE_CHINA.ZHS16GBK' export ORACLE_SID=fmpdb export LANG=en_US unset USERNAME export PS1=`whoami`'@'`hostname`':${PWD}>' alias ls=\"ls --color=never\" ①注意这里的SID要区别主机和备机，不能一样。 ②只能与实例库的名字一样。
(三) 修改系统参数（两台设备都要做）
1. 修改/etc/sysctl.conf文件
kernel.shmmni = 4096 kernel.msgmni = 1024 # semaphores: semmsl, semmns, semopm, semmni kernel.sem = 250 32000 100 128 fs.file-max = 65536 net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default=262144 net.core.rmem_max=262144 net.core.wmem_default=262144 net.core.wmem_max=262144 2. 修改/etc/security/limits.conf文件
oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 oracle soft memlock 5242880 oracle hard memlock 524280 3. 修改/etc/pam.d/login
添加下面一行
session required /lib/security/pam_limits.so (四) 配置用户等效性
（需要使用Oracle用户登陆操作系统）
1. 第一步是生成 SSH 的公共密钥和专用密钥（两台都要配置）
#mkdir ~/.ssh #chmod 755 ~/.ssh #/usr/bin/ssh-keygen -t rsa #/usr/bin/ssh-keygen -t dsa 2. 生成秘钥文件（只需在第一个主机上，以 oracle 用户身份登录）
现在，必须将每个主机上的公共密钥文件 id_rsa.pub 和 id_dsa.pub 的内容复制到其他每个主机的 ~/.ssh/authorized_keys 文件中。
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys cp ~/.ssh/authorized_keys ~/.ssh/racdb1.authorized_keys 3. 只需在第二个主机上，以 oracle 用户身份登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys cp ~/.ssh/authorized_keys ~/.ssh/racdb2.authorized_keys 4. 在第一个主机上，以 oracle 用户身份登录
ftp 从jf-otc-db2主机取得jf-otc-db2.authorized_keys cat ~/.ssh/jf-otc-db2.authorized_keys >> ~/.ssh/authorized_keys chmod 644 ~/.ssh/authorized_keys 5. 在第二个主机上，以 oracle 用户身份登录
ftp 从hlzq-zhgl-s1主机取得hlzq-zhgl-s1.authorized_keys cat ~/.ssh/jf-otc-db1.authorized_keys >> ~/.ssh/authorized_keys chmod 644 ~/.ssh/authorized_keys 6. 交换两台机器的秘钥文件
cat ~/.ssh/jf-otc-db2.authorized_keys >> ~/.ssh/authorized_keys chmod 644 ~/.ssh/authorized_keys 请注意，使用 ssh 第一次访问远程主机时，其 RSA 密钥将是未知的，从而将提示确 认是否希望连接该主机。 SSH 将记录该远程主机的 RSA 密钥，并在以后连接该主机时不再做出相关提示。
7. 请注意，使用 ssh 第一次访问远程主机时，其 RSA 密钥将是未知的，从
而将提示确认是否希望连接该主机。 SSH 将记录该远程主机的 RSA 密钥，并在以后连接该主机时不再做出相关提示。
在第一个主机上，以 oracle 用户身份登录 ssh jf-otc-db1 ssh jf-otc-db2 在第二个主机上，以 oracle 用户身份登录 ssh jf-otc-db1 ssh jf-otc-db2 8. 验证用户等效性
在建立用户等效性时，不会再提示您输入口令。 在第一个主机上，以 oracle 用户身份登录 exec /usr/bin/ssh-agent $SHELL /usr/bin/ssh-add 在第二个主机上，以 oracle 用户身份登录 exec /usr/bin/ssh-agent $SHELL /usr/bin/ssh-add （请注意，用户等效性仅为当前会话建立。如果切换到其他会话或注销并重新登录，则必须再次运行 ssh-agent 和 ssh-add 才能重新建立用户等效性。）
(添加环境变量)
9. 测试连通性
如果一切均设置正确，现在就可以使用 ssh 在其他集群主机上不必输入口令而登录、执行程序和复制文件了。通过在远程集群主机上运行诸如 date 等简单命令来验证用户等效性：
ssh jf-otc-db2 hostname jf-otc-db2 测试每个方向上所有服务器的连通性是非常重要的。这样会确保当 OUI 在 CRS 和数据库软件安装期间试图复制文件时不会出现类似以下的消息。该消息只有在远程节点上第一次执行操作时才会出现，因此通过测试连通性，不仅确保了远程操作的正常运行，还完成了初始的安全密钥交换。
(五) 安装配置ASM
1. 安装下列ASM安装包（2.6.18-274.el5）
kernel-2.6.18-308.el5.x86_64.rpm -----------操作系统光盘 kernel-debug-2.6.18-308.el5.x86_64.rpm-----------操作系统光盘 kernel-xen-2.6.18-308.el5.x86_64.rpm-----------操作系统光盘 oracleasm-2.6.18-308.el5-2.0.5-1.el5.x86_64.rpm-----------甲骨文官方网站 oracleasm-2.6.18-308.el5debug-2.0.5-1.el5.x86_64.rpm oracleasm-2.6.18-308.el5-debuginfo-2.0.5-1.el5.x86_64.rpm oracleasm-2.6.18-308.el5xen-2.0.5-1.el5.x86_64.rpm oracleasmlib-2.0.4-1.el5.i386.rpm oracleasm-support-2.1.8-1.el5.i386.rpm
2. 配置ASM服务
运行 /etc/init.d/oracleasm configure 回答 oracle , dba, y, y 就可以了
[root@jf-otc-db1 asm]# /etc/init.d/oracleasm configure Configuring the Oracle ASM library driver. This will configure the on-boot properties of the Oracle ASM library driver. The following questions will determine whether the driver is loaded on boot and what permissions it will have. The current values will be shown in brackets ('[]'). Hitting 使用root用户登陆后用fdisk命令为硬盘分区。 fdisk /dev/emcpowera 进入任一一个节点执行 Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel Building a new DOS disklabel. Changes will remain in memory only, until you decide to write them. After that, of course, the previous content won't be recoverable. The number of cylinders for this disk is set to 1958. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g., old versions of LILO) 2) booting and partitioning software from other OSs (e.g., DOS FDISK, OS/2 FDISK) Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite) Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): Value out of range. Partition number (1-4): 1 First cylinder (1-145737, default 1): Using default value 1 Last cylinder, +cylinders or +size{K,M,G} (1-145737, default 145737): +60G Command (m for help): n Command action e extended Partition number (1-4): p Partition number (1-4): 2 First cylinder (7835-145737, default 7835): Using default value 7835 Last cylinder, +cylinders or +size{K,M,G} (7835-145737, default 145737): +700G Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 3 First cylinder (99215-145737, default 99215): Using default value 99215 Last cylinder, +cylinders or +size{K,M,G} (99215-145737, default 145737): Using default value 145737 Command (m for help): w The partition table has been altered! 另一个节点同步一下磁盘信息 partprobe ls /dev/sd* 4. 创建ASM磁盘 在主服务器上创建ASM磁盘 [root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk datavol1 /dev/emcpowerd1 Marking disk \"datavol1\" as an ASM disk: [ OK ] [root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk datavol2 /dev/emcpowere1 Marking disk \"datavol2\" as an ASM disk: [ OK ] [root@jf-otc-db1 asm]# /etc/init.d/oracleasm createdisk logvol1 /dev/emcpowerf1 Marking disk \"logvol1\" as an ASM disk: [ OK ] 5. 在备机扫描磁盘 使用下面命令 /etc/init.d/oracleasm scandisks ---------扫描ASM磁盘配置信息 /etc/init.d/oracleasm listdisks ------------------查看ASM磁盘信息 将raw 的配置信息， 直接写入: /etc/rc.d/rc.local。 这样启动自动加载。 没有使用udev来管理。 [root@rac2 ~]# vi /etc/rc.d/rc.local 添加以下内容 chown oracle:dba /dev/emcpowera chown oracle:dba /dev/emcpowera1 chown oracle:dba /dev/emcpowerb chown oracle:dba /dev/emcpowerb1 chown oracle:dba /dev/emcpowerc chown oracle:dba /dev/emcpowerc1 chown oracle:dba /dev/emcpowerd chown oracle:dba /dev/emcpowerd1 chown oracle:dba /dev/emcpowere chown oracle:dba /dev/emcpowere1 chown oracle:dba /dev/emcpowerf chown oracle:dba /dev/emcpowerf1 chmod 777 /dev/emcpowe* ##### # Oracle Cluster Registry (OCR) devices ##### raw /dev/raw/raw1 /dev/emcpowera1 raw /dev/raw/raw2 /dev/emcpowerb1 raw /dev/raw/raw3 /dev/emcpowerc1 sleep 2 chown oracle:dba /dev/raw/raw1 chown oracle:dba /dev/raw/raw2 chown oracle:dba /dev/raw/raw3 chmod 777 /dev/raw/ 三、 安装oracle (一) 检查安装环境 1. 检查安装包 binutils-2.17.50.0.6-2 (x86_64) compat-db-4.2.52-5.1 (x86_64) compat-libstdc++-296-2.96-138 (i386) compat-libstdc++-33-3.2.3-61(x86_64) compat-libstdc++-33-3.2.3-61 (i386) control-center-2.16.0-14 (x86_64) gcc-4.1.1-52 (x86_64) gcc-c++-4.1.1-52 (x86_64) glibc-2.5-12 (x86_64) glibc-2.5-12 (i686) glibc-common-2.5-12 (x86_64) glibc-devel-2.5-12 (x86_64) glibc-devel-2.5-12 (i386) glibc-headers-2.5-12 (x86_64) ksh-20060214-1.4 (x86_64) libaio-0.3.106-3.2 (x86_64) libgcc-4.1.1-52 (i386) libgcc-4.1.1-52 (x86_64) libgnome-2.16.0-6 (x86_64) libgnomeui-2.16.0-5 (x86_64) libgomp-4.1.1-52 (x86_64) libstdc++-4.1.1-52 (x86_64) libstdc++-devel-4.1.1-52 (x86_64) libXp-1.0.0-8 (i386) libXtst-1.0.1-3.1(i386) make-3.81-1.1 (x86_64) sysstat-7.0.0-3 (x86_64) 2. 配置oracle用户vnc（图形界面） 切换到oracle用户启动vncserver ps -ef | grep vnc 然后找到进程号，并杀掉，进程号是用户后面的四位数号码 Kill 进程号 修改 /home/oracle/.vnc/xstartup， oracle@tzjy1:/home/oracle>vi /home/oracle/.vnc/xstartup #!/bin/sh # Uncomment the following two lines for normal desktop: # unset SESSION_MANAGER # exec /etc/X11/xinit/xinitrc [ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup [ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources xsetroot -solid grey vncconfig -iconic & xterm -geometry 80x24+10+10 -ls -title \"$VNCDESKTOP Desktop\" & #twm & gnome-session & 用root启动vncserver vncserver You will require a password to access your desktops. Password:123456 #输入vnc 连接密码 Verify:123456 #确认vnc密码 xauth: creating new authority file /root/.Xauthority New ‘localhost.localdomain:1 (root)’ desktop is localhost.localdomain:1 Creating default startup script /root/.vnc/xstartup Starting applications specified in /root/.vnc/xstartup Log file is /root/.vnc/localhost.localdomain:1.log (二) 安装oracle软件（***必须注销后以Oracle登陆） 1. 安装grid软件 grid目录 $ ./runInstaller 2. 安装和配置集群机构 1.安装和配置集群基础机构 2.安装配置独立服务器基础机构 3.升级网络机构 4.仅升级网络机构软件 3. 高级模式 4. 选择语言 5. 填写集群名字和监听名字，端口号的信息 6. 集群节点信息 7. 添加节点2 8. 选择接口类型 9. 选择存储类型（ASM和共享文件系统） 10. 创建ASM磁盘组 11. 创建ASM口令 12. 不使用智能平台管理接口 13. 添加管理组权限 14. 指定oracle的路径和grid的路径 15. 指定清单路径 Go on 16. 配置 17. 执行1、2脚本 18. 安装 漫长的等待，去个厕所 19. 安装oracle数据库软件 在/tmp/oracle/database目录下输入./runinstaller启动图形安装 20. 跳过 21. 仅安装数据库 22. 选择两个节点 23. 语言 24. 企业版 25. oracle安装位置 26. 操作系统组 27. 标准状态，少包速度打吧 兄弟们 28. 配置信息汇总 安装 29. 安装时候，执行下命令（两台设备都执行） 等待中，可以睡会 30. 创建数据存储磁盘组 使用oracle登陆操作系统 并执行export ORACLE_SID=+ASM1 然后执行asmca 31. 创建数据库实例 使用oracle登陆操作系统， 执行dbca打开实例创建向导 32. 创建实例库 额外补偿，仅限此图 选择所有节点，下一步 因篇幅问题不能全部显示，请点此查看更多更全内容