您好,欢迎来到化拓教育网。
搜索
您的当前位置:首页海洋数值模式结果可视化集成处理系统研制

海洋数值模式结果可视化集成处理系统研制

来源:化拓教育网
海洋信,电技术9 海洋数值模式结果可视化集成处理系统研制 吴萍,王丽琳,薛佳丽,梅杰 (国家海洋局东海预报中心上海市200081) 摘要:随着海洋预警技术及计算能力的快速发展,海洋数值模式预报体系日趋完善。如何快速获取丰 富、直观的海洋数值模式可视化产品是当前的研究热点。本文分析、提炼多源海洋数值模式结果(以 NetCDF文件格式存储)的控制参数,利用虚拟化平行计算技术,采用核心服务器+数据处理服务器架构, 实现海洋数值模式结果可视化集成处理系统研制。该系统能兼容多类模式结果处理,不仅提高了海洋数值 模式结果可视化处理速率,也大大提升了服务器硬件资源的使用率。 关键词:海洋数值模式;集成;可视化 随着海洋预警报技术及计算能力的快速发 的海量数据传输性能,已广泛应用于海洋、大气 和环境预报及研究中。从数学上来说,NetCDF 展,海洋数值模式预报体系亦日趋完善。当前广 泛应用的海洋数值模式有:SWAN和WW3海浪 模式,FVCOM、ROMS和POM等海流模式。随 着海洋预报高精度、高时效性愈来愈高的要求, 多源模式结果可视化产品的处理速度和产品信息 量要求亦越来越高。模式结果具有高度的时空 性,而GIS技术能很好地表达时空数据,本文的 主要研究内容是基于ArcGIS及服务器虚拟化技 存储的数据是一个多自变量的单值函数。用公式 来说就是f(x,y,Z,…)=value,函数的自变量 X,y,z等在NetCDF中叫做维(dimension)或坐 标轴(axix),函数值value在NetCDF中叫做变量 (Variables)。而自变量和函数值在物理学上的一 些性质,比如计量单位(量纲)、物理学名称等 等,在NetCDF中就叫属性(Attributes)。 本文研究内容中,所有的海洋数值模式结果 术,构建海洋数值模式结果可视化集成处理系 统,以提升模式结果可视化产品的处理速率,丰 富可视化产品内容。 均以NetCDF文件存储(后简称nc数据)。 1.2海洋数值模式结果可视化处理技术发展 可视化技术是指将数据和信息转化为人类可 1 海洋数值模式结果可视化处理现状 1.1海洋数值模式结果 以直观识别的色彩、表格、图形、图像、动 画等形式,使得数据信息的内容形象、生动、清 晰地展现在计算机屏幕上,并能进行交互处理的 理论、方法和技术【lI。 海洋数值模式多样,模式产品格式也纷繁复 杂,如GRIB、GRIB2、Micaps Diamond和 NetCDF等。其中,NetCDF(Network Common Da— ta Format,网络通用数据格式)就是一种文件格式 常规的海洋数值模式结果多是以IDL、Mat— lab等程序的图形输出功能绘制各类模式结果的 可视化产品,也有使用专业绘图软件Suffer[21进行 图形绘制并输出。劳伦斯利福摩尔国家实验室开 标准,由于其高可用性、灵活性及面向阵列数据 收稿日期:2016—08—29 基金项目:海洋公益性行业科研专项(201405022);2015年分局立项青年科技基金项目(201523)。 发的Visid 嗽件集成了He数据的可视化功能,但 不直接支持不规则i角网网格的nc数据处理, 且不支持GIS功能,如放大、缩小、地图投影转 模式可视化处理。但这些亓丁视化处理系统存在如 下问题: (1)海洋数值模式结果纷繁复杂,而处理系 统多针对特定格式设定,可处理数据格式兼容 型差; 换等。这类可视化产品处理速度快,但存在信息 表达有限、可视化效果及修改困难等问题。 近些年,GIS技术引入海洋数值模式结果可 视化处理。ArcGIS提供了nc数据处理工具,能 实现规则网格nc数据的直接处理。Blower开发 的ncWMS系统I4 l可将模式结果可视化产品发布为 (2)海洋数值模式结果通常是空问范围内一 个时间序列的预报值情况,数据量大,单线程 可视化处理时间较长,不能满足预报高时效的 需求。 符合WMS标准的地图服务,但不能兼容不支持 CF规范的NetCDF数据。Haajanen 等建立了 2海洋数值模式结果可视化集成处 理系统架构 本系统采用C/S(客户端/月艮务器端)架构,集 成多源模式结果数据自动可视化处理、存储及处 理监控等功能,系统架构如图1所示。 多源模式结果数据根据命名标准及分发规 IWICOS系统,这一系统将海洋气象、海冰等模 拟和观测的数据集成在GIS平台上,并且对外提 供数据和地图服务。东海预报中心建成的“海洋 渔业预警报数据推送平台”,基于ArcGIS Engine 二次开发平台,集成SWAN海浪和WRF海面风 日志管理及统计 数据处理参数配置 -・ 一 客 户 一 … 一 ●} -●●●■_-● ・ : “ :. 数据处理状态监控 k - 曼 t……  =_I。 “ 端 _,~ f==二二= I综合坝警报l l 数据库 l 蠢 {稼 毽 ≮ I 处理任务执行 l 服 务 器 I 数据预处理 l 文件自动监听 端 多源模式 结果数据(nc) l I 图1系统架构图 海洋信.电技术1l 则,分发至指定目录;服务器端自动监控文件 夹,实时处理新添加的模式结果数据,并将处理 之,就是将物理机器、操作系统及应用程序整合 成一个虚拟机。这种技术能够提高服务器的使用 强度,将物理资源效益最大化,从而达到在最大 化硬件投资收益的同时,也能极大地降低系统管 理的复杂度和日常维护的成本 I。 结果存储综合预警报数据库;客户端主要实现数 据处理状态实时监控、数据处理参数配置及日志 管理等功能。综合预警报数据库采用基于“基础 库一中间库一成果库一历史库”四级存储模式的 Oracle关系数据库和文件地理数据库(File GDB) 联合存储模式。 本文利用虚拟化并行技术,采用核心服务 器+数据处理服务器架构,在提升硬件资源利用 率的同时,提升海洋数值模式结果可视化处理效 率。系统数据处理流程如图2所示。 3.2多源数据集成处理 NetCDF只是一个数据通用标准,其格式可 3关键技术研究 3.I虚拟化并行计算 服务器虚拟化(Server Virtualization)是指多个 根据使用者的需求自定义。为实现多模式可视化 集成处理,分析、汇总现有nc数据,提取模式 结果nc数据控制信息;针对可视化产品类型, 操作系统同一时间运行在同一台服务器上。简言 核心服务器 、q  文件夹rIl动舱听,数据 1' rl预处理'任务分解l l回 tr■, 1.轮询任务数据库,扶 取任务,执行数据处理; ’ ,2・存储处理结果。 奠 职 她 一 图2系统数据处理流程图 配置各类产品可视化参数。 3.2.1模式网格 常用的网格有两类:规则网格和不规则 网格。 (1)规则网格 规则网格是以矩形或正方形为基础单元格, 存储形状较为规整的数据。以海浪WW3模式结 果为例,其基本结构如表1所示。 表1 WW3模式结果基本结构 其中,lon维度表示水平方向的格点数量, lat表示垂直方向的格点数量,time表示预报时 次。Time变量表示每个预报时次的预报时间, 通过time,lat和lon可确定任意时空位置,进而 获取该时空位置的变量值。 (2)不规则三角网 不规则三角网是以大小不一致的三角面组 成,适于存储边界不规则的数据,如海浪、海流 等。不规则三角网变量的存储有多种,如值在三 角面定点、值在三角面中心点、值在三角面边上 等。以FVCOM模式结果为例,其基本结构如表 2所示。 表2 FVCOM模式结果基本结构 其中,node维度表示三角面顶点数,nele维 度表示三角面数量,siglay维度表示垂直分层数。 nv变量表示三角面与3个顶点的关系,11、v变 量表示各个三角面中心点垂直某层的海流水平、 垂直分量,zeta变量表示三角面各顶点的水位值。 3.2.2模式时间变量 不同的模式结果,预报时间变量的存储方式 也不尽相同,当前常用的有4种方式:(1)起报时 间+相对时间存储,以字符串形式存储起报时间, 变量以相对时间来描述其对应的预报时次,相对 时间单位为时、分或秒;(2)字符串存储,分别 存储年、月、日、时、分信息;(3)相对时问存 储,在属性信息中描述起报时间,相对时间单位 为天、时、分、秒。 3.2-3可视化参数 模式数据可视化产品以GIS数据存储,主要 有点、线和栅格3类。 点数据以风杆、箭头等形式表示该点要素预 报情况。为达到高精度数值预报要求,不同显示 比例尺及不同研究区域,点数据的显示密度也不 同。为提高数值模式可视化处理效率,需预先生 成点数据。根据模式可视化产品范围,预先划分 研究区域(主要区分关键区域和一般区域,不同 类型区域点密度不同),配置各区域的规则网格 大小,采用规则网格法生成各区域点,根据规则 网格显示策略为各点配置level属性,确定各点 的显示等级。 图3点数据显示配置 线数据,以等值线方式表达诸如风速、浪 高、流速值的分布。等值线生成有两种方式: (1)设定基值和间隔,等间距提取等值线;(2)设 定一系列数值,提取对应的一系列等值线。 栅格数据,以颜色渲染表示不同海洋要素值 预报趋势。栅格数据生成除常规的栅格大小设置 外,重要的是要设置合适的边界。对于海流、水 位数值模式结果,在沿岸、滩涂及岛屿等水陆交 接的地方,易出现“露滩”现象(即该区域为 干),故这类产品的栅格边界是动态变化的。对 于模式结果来说,其网格划分是固定的,网格的 “露滩”与否可通过该网格的流速判断,当流速 为0时,该网格是“露滩”的。各个时刻未“露 滩”的三角面连接形成的区域作为该时刻海流或 水位的有效区域,以此作为该时刻栅格数据的裁 剪边界。 3.3任务动态调度 模式结果文件可视化处理任务主要有:GIS 数据生成(即生成点、线和栅格文件)、关键点预 报提取和关注区域预报提取。任务配置及生成 时,关键点和关注区域预报提取,一个ilC文件 的预报要素对应一个处理任务,如FVCOM海流 模式结果的海流关键点预报提取为一个任务,水 位关键点预报提取为一个任务。GIS数据生成处 理过程复杂,处理时间较长,每个nc文件的预 报要素各个时刻GIS数据生成是一个任务。 每台数据处理服务器轮询任务表,并从未处 理任务列表中领取任一任务进行处理,处理成功 后将该任务状态设置为完成。 4应用效果 硬件配置:IBM X3850服务器一台,内存32 G。 模式结果数据:东海区SWAN模式结果,72 小时逐时预报。 可视化产品要求:72小时逐时的海浪点、浪 高等值线、浪高栅格图。 传统可视化处理效率:受ArcGIS单线程处 海洋信,电技术13 理模式约束,l台机器同一时间只能执行一个数 据处理任务,假设一个时刻可视化产品处理时长 为15 s,则本次可视化处理需18 min。 海洋数值模式结果可视化集成处理系统处理 效率:采用虚拟化技术,将该服务器虚拟为5台 服务器,同时进行可视化处理任务,本次可视化 处理需3.6 min,处理速率大大提升。 此外,本系统已开始业务化运行,目前能完 全兼容东海预报中心现有的所有风、浪、流、潮 和泥沙输运模式结果。 5结语 通过梳理各类海洋数值模式结果的异同,提 取模式结果控制参数;基于ArcGIS单线程处理 ,采用虚拟并行技术,构建海洋数值模式结 果可视化集成处理系统。该系统能很好地兼容各 类Be数据可视化处理,同时大大提升了模式数 据可视化处理效率。 参考文献: 【1】艾波,陶华学.海洋水文数据的可视化方法研究『J1.科技创新 导报,2008,(03):134. [2]李树华.面向海洋数值模式的数值可视化信息系统设计与实 现[D].中国海洋大学,2o13. [31 TEAM V.VISIT:Software the Delivers Parallel Interactive Visual- izauon[J].Lawrence Livermore National Laboratory,2003,31: 421—425. [4]BLOWER J D,GEMMELL A L,GRIFFITHS G H,et a1.A Web Map Service implementation for the visualization of multidimen- sional gridded environmental data[J].Environmental Modelling& Software,2013,47(3):218—24. [5]Sandven S,Berglund R,Haajanen J,et a1.IWICOS:Integrated weather,,sea ice and ocean service system[J].Elsevier Oceanogra- phy Series,2003,69:621-626. [6]于淼.服务器虚拟化技术在消防信息中心的应用l J1.学院 学报,2011,27(4):91—93. [71 SANDVEN S,HARARE T,BERGLUND R,et a1.IWICOS:Inte- grated Weather,Sea Ice and Ocean Service System[M]//H. DAHLIN N C F K N,PETERSSON S E.Elsevier Oceanography Series.Elsevier.2003,62:1-6. 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuo9.cn 版权所有 赣ICP备2023008801号-1

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务