VMWare vSAN 售后最佳实践第二部：运维检查清单
1
第—章 运维检查清单
运维检查清单按照下面的结构进行划分
2
VMware GSS-China vSAN Team v1.1 类别 序 号 项目 登录方式 https://vcenteripaddressorfqdn 参考文档/备注 https://docs.vmware.com/en/VMware- vSphere/6.0/com.vmware.vsphere.vcenterhost.doc/GUID- CE128B59-E236-45FF-9976-D134DADC8178.html https://docs.vmware.com/cn/VMware- vSphere/6.5/com.vmware.vsphere.vcsa.doc/GUID-9831B635- DFFA-40FA-9DA9-CEF8A1729E54.html http://pubs.vmware.com/vsphere-6- 5/index.jsp?topic=%2Fcom.vmware.vcli.getstart.doc%2FGUID- C3A44A30-EEA5-4359-A248-D13927A94CCE.html https://www.vmware.com/content/dam/digitalmarketing/vmwa re/en/pdf/products/vsan/vmware-ruby-vsphere-console- command-reference-for-virtual-san.pdf Using ESXi Shell in ESXi 5.x and 6.x (2004746) 例如 HP iLO 或者 Dell iDrac 1 使用 Web Client 登录 vCenter 使用 Web Client 登录 vCenter 管理界面 2 https://vcenteripaddressorfqdn:5480 第一步 准备工作 3 SSH 登录到 vCenter 4 5 6 SSH 登录到 RVC SSH 登录到每台 vSAN 节点 登录主机管理界面 vCenter 命令行下执行: rvc,输入用户 名密码 VMware GSS-China vSAN Team v1.1 3
VMware GSS-China vSAN Team v1.1 类 序 别 号 项目 检查 vCenter 版本 检查 ESXi 主机版本 检查 ESXi 和 vCenter 是否满足 vSAN 的要求 检查 vCenter 运行状态 检查 vCenter 服务状态 检查 vSAN 集群成员数量是否正常 检查集群告警信v 检查集群主机负载(CPU) 检查集群主机负载(内I) 检查 vSAN Datastore 容量状 态 检查 vSAN 集群所有磁盘的 使用率 UI 界面 登录 vCenter-Summary-版本9v VC: vpxd -v 登录 vCenter-主机-Summary 命令行 结果 1 2 ESXi: esxcli system version get 确认所有的主机版本一致 确认 ESXi 和 vCenter 版本符N vSAN 兼容要求,见截图 1 https://www.vmware.com/resources/compatibility/sim/int erop_matrix.php 见U图 2 3 4 5 登录 vCenter 管理界面-健康状态 登录 vCenter-系统9v-节点-相关 对象 VC: service-control --status 见U图 3 确认节点数量正确。 记录集群告警信v。 确认所有主机负载均衡。 确认所有主机负载均衡。 确认所有使用率没有超过 70%。VMware 建议保留 30% 的使用空间,参考 Virtual SAN 运行状况服务 - 物理磁盘 运行状况 - 磁盘容量 (2141542) 确认没有单块磁盘使用率过高，见截图 4。 确认没有黄色或者红色的告警。 确认所有的主机在同一个分区下,见截图 5。 确认默认存1策略符N预期。 确认为手动方式,VMware 建议使用手动模式,见截图 6 确认符N兼容性要求。 Understanding vSAN on-disk format versions and compatibility (2145267) 确认没有告警,见截图 7。 6 7 第 8 步9 基 础10 检查 11 ESXi: esxcli vsan cluster 登录 vCenter-集群-配置-磁盘管理 get|grep \"Sub-Cluster -确认所有主机都在列表里 Member Count\" 登录 vCenter-集群-监控-告警 登录 vCenter-集群-主机 登录 vCenter-集群-主机 登录 vCenter-集群-监控-vSAN-容量 ESXi: df -h 登录 vCenter-集群-监控-vSAN-物 RVC: vsan.disks_stats 理磁盘 登录 vCenter-集群-监控-vSAN-运 ESXi: esxcli vsan health cluster 12 检查 vSAN 集群健康状态 list 行状况 登录 vCenter-集群-配置-磁盘管理 13 检查 vSAN 网络分区状态 -网络分区 检查 vSAN 集群默认的存1 登录 vCenter-Policies and Profiles-- ESXi: esxcli vsan policy 14 getdefault 策略 VM 存1策略 15 检查 vSAN 集群的磁盘添加 方式 登录 vCenter-集群-配置-vSAN 登录 vCenter-集群-配置-磁盘管理 登录 vCenter-集群-监控-vSAN-运 行状况- ESXi: esxcli vsan storage automode get ESXi: esxcli vsan storage list|grep version RVC: vsan.whatif_host_failures 16 检查 vSAN 集群磁盘格式 17 检查集群满足“一台主机故 障”场、 4
18 检查所有主机都安全退出维 护模式 ESXi: esxcli vsan cluster get|grep Maintenance 确认为 OFF。 5
19 检查 vSAN HCL 数据库版本 类 序 别 号 项目 检查主机告警信v 检查主机名 检查主机运行时间 检查主机硬件状态 检查主机启动盘分区使用率 检查 ramdisk 状态 检查主机 syslog 配置 检查主机 vSAN trace 文件的 配置 项目 检查主机 vSAN 磁盘数量 检查主机 vSAN 磁盘挂载状 态 检查主机 vSAN 磁盘映射状 态 登录 vCenter-集群-配置-健康和性 甘 UI 界面 登录 vCenter-主机-监控-告警 登录 vCenter-主机-Summary 登录 vCenter-主机-监控-硬件状态 ESXi: df -h ESXi: vdf -h 登录 vCenter-主机-配置-高级系统 ESXi: esxcli system syslog config get 配置-“Syslog.global.logDir” ESXi: esxcli vsan trace get UI 界面 登录 vCenter-集群-配置-磁盘管理 命令行 ESXi: uname -a ESXi: uptime 命令行 确认巳经更新到最新的版本,见截图 8。 结果 记录主机告警信v。 确认主机名正确,避免使用 Localhost。 确认主机运行时间正确。 确认没有硬件告警9v,见截图 9。 确认没有过高的使用率,见截图 10。 确认没有过高的使用率,见截图 11。 确认 syslog 没有存1在 vSAN Datastore 上。不支持日志 文件存1在 vSAN Datastore。 确认 vSAN Trace 没有存1在 vSAN Datastore 上。不支持 vSAN Trace 存储在 vSAN Datastore。 结果 确认符N实际数量。 确认所有磁盘都是健康和挂载状态,见截图 12。 确认符N实际分配情况。 确 认 符 N vSAN HCL 要 求 , 见 截 图 13 https://www.vmware.com/resources/compatibility/search. php?deviceCategory=vsan 确认符N vSAN HCL 要求,见截图 13 https://www.vmware.com/resources/compatibility/search. php?deviceCategory=vsan 确认符N vSAN HCL 要求,见截图 13 https://www.vmware.com/resources/compatibility/search. php?deviceCategory=vsan 例如 HP iLO 或者 Dell iDrac,确认相关版本符N vSAN HCL 要求,例如SSD 固件。 结果 确认符N ESXi HCL 要求。 https://www.vmware.com/resources/compatibility/search. php?deviceCategory=io 1 2 第 步主机 3 4 5 6 7 8 类 序 别 号 1 2 3 ESXi: esxcli vsan storage list|grep Device ESXi: esxcli vsan storage 登录 vCenter-集群-配置-磁盘管理 list|grep CMMDS 登录 vCenter-集群-配置-磁盘管理 ESXi: vdq -iH 登录 vCenter-主机-配置-Storage Adapters-Properties 登录 vCenter-主机-配置-Storage Adapters-Properties 登录 vCenter-主机-配置-Storage Adapters-Devices 第 四4 检查 Raid 控制器型号 步存 1 5 检查 Raid 控制器驱动固件 ESXi: esxcfg-scsidevs -a ESXi: /usr/lib/vmware/vmkmgmt_k eyval/vmkmgmt_keyval -a ESXi: esxcfg-scsidevs -A 命令行 6 7 类 序 别 号 第五 检查 Raid 控制器下的磁盘 检查 Raid 控制器/SSD 9v 登录主机管理界面 项目 U 界 面 登录 vCenter-主机-配置-Physical Adapters 1 检查网卡型号 ESXi: esxcfg-nics -l 6
步 网2 检查网卡驱动固件 络 ESXi: ethtool -S vmnicX 确认符N ESXi HCL 要求 。 https://www.vmware.com/resources/compatibility/search. php?deviceCategory=io 如果段时间A有过多的 Up/Down 记录需要进一步调查。 ESXi: grep vmnic 3 检查网卡 UP/Down 记录 /var/log/vobd.log |egrep -e \"up|down\" ESXi: esxcli network nic stats 4 检查网卡报错 get -n vmnicX 或者 ethtool -S vmnicX ESXi: esxcli network ip 登录 vCenter-主机-配置-VMKernel 5 检查主机所有 vmk 配置 interface list / esxcli network adapters ip interface ipv4 get 登录 vCenter-主机-配置-Virtual 6 检查主机虚拟交换机状态 ESXi: esxcfg-vswitch -l switches 检查主机上 vSAN 使用的单 ESXi: esxcli vsan cluster 7 unicastagent list 播状态 8 9 检查标准虚拟交换机的 MTU 检查分布式虚拟交换机的 MTU 登录 vCenter-主机-配置-Virtual switches-编辑 登录 vCenter-网络-分布式交换机- 配置-属性 登录 vCenter-网络-分布式交换机- 配置-属性 ESXi: esxcfg-vswitch -l|grep MTU -A1 ESXi: esxcfg-vswitch -l|grep MTU -A1 ESXi: esxcfg-vswitch -l 和esxcli network ip interface list 确认 errors 和 dropped 的数值没有短时间A持续增加。 确认 ip 地址和子网掩码配置正确。 确认虚拟交换机配置符N预期。 确认包S除本身以外的其他所有节点。 记录 MTU 数值,结N第(11)项 记录 MTU 数值,结N第(11)项 记录 MTU 数值,结N第(11)项 确认 vswitch 和 vmk interface MTU 是一致的,并且和物理交换机配置的 MTU 一致。 10 检查 vmk 的 MTU 检查物理交换机配置的 11 MTU,确认于第(8)(9)(10)项 查到的 MTU 相同 VMware GSS-China vSAN Team v1.1 7
VMware GSS-China vSAN Team v1.1 类别 步骤 1 第六步后续工作 2 3 4 5 6 A容 拨打服务热线或者通过 My VMware 网站创建 Service Request (China) 400 816 0688/800 915 1919 请按照下方的表格 1 收集需要的日志 把日志上传 VMware FTP 服务器 准备 Webex 网络环境（推荐) 保持手机畅通 关于服务响应时间,请参考 VMware 网站 https://www.vmware.com/support/services.html VMware GSS-China vSAN Team v1.1 参考文档/备注 https://www.vmware.com/support/contacts/china.html 见U图 14 How to collect vSAN support logs and upload to VMware (2072796) Uploading diagnostic information for VMware (1008525)
表格 1-根据不同的故障场景收集对应的日志信息
8
第二章 部分配套截图和 KB
9
截图 1-基础检查-检查 ESXi 和 vCenter H否满足 vSAN 的要N(vSAN-ESXi)
10
截图 1-基础检查-检查 ESXi 和 vCenter 是否满足 vSAN 的要求(vSAN-vCenter)
11
截图 1-基础检查-检查 ESXi 和 vCenter H否满足 vSAN 的要N(vCenter-ESXi)
12
截图 2-基础检查-检查 vCenter 运行状态
13
截图 3-基础检查-检查 vCenter 服务状态-图形界面
截图 3-基础检查－检查 vCenter 服务状态－命令行
截图 4—基础检查－检查 vSAN 集群A有磁盘的3S率
14
截图 5—基础检查－检查 vSAN 网络47状态
截图 7—基础检查－检查集群满足“182机故障”1景
截图 6—基础检查－检查 vSAN 集群的磁盘添6方式
15
截图 8—基础检查—检查 0SAN HC- 数C库版L
截图 9—2机—检查主机硬件状态
16
截图 10—2机—检查主机-动盘分区使用率
17
截图 11—2机—检查 ramdisk 状态
截图 12—存储－检查主机 vSAN 磁盘挂载状态
18
截图 13—存储－检查 Raid 控5器型9(步骤 1 和步骤 2)
19
截图 13—存储－检查 Raid 控5器型9(步骤 3)
20
截图 4—后续工作- VMware 售后服务热线
21
