龙源期刊网 http://www.qikan.com.cn
基于大数据的ELK日志分析系统研究及应用
作者：李志民 孙林檀 吴建军 张新征 来源：《科学与信息化》2019年第28期
摘 要 基于ELK的日志分析系统研究分析是为了有效的解决当下物联网应用日志处理效率低的问题。因此，本文首先阐述了基于ELK的日志分析平台，然后总结了对系统日记群集优化大方法，从而提高日志分析系统的运行效率和排查异常的速度。 关键词 ELK;日志分析系统;Elasticsearch
日志设计信息系统的重要组成部分，是系统运行、性能分析以及故障诊断的重要来源。随着科学技术的不断发展和互联网技术的广泛应用，不断增加了系统的日志量，随着日志的应用范围的扩大和复杂程度的增加，传统日志的分析方式和效率已经不能适信息系统对日志的需求。为了满足信息时代的发展需要，下面就基于ELK的日志分析系统进行相关的研究分析工作。
1 基于ELK的日志分析平台
随着实时分析技术的不断发展和成熟应用，在日志领域出现了新的分析系统-ELK，ELK实时日志分析平台主要运用了Kiba-na（数据可视分析平台）、Logstash（日志采集工具）、
龙源期刊网 http://www.qikan.com.cn
Elasticsearch（分布式搜索引擎）[1]。这些技术的应用可以让系统的运行维护人员在庞大的日志信息量中及时找到所需要管理和维护的信息，从而实现了对日志系统的分析。 1.1 日志分析系统整体架构
完整的日志系统是有日志的储存系统、采集系统、解析系统化以及可视化分析系统共同组成的。日志采集工具是日志的主要采集器，在多台机器当中都有分布，它可以对非结构的日志进行解析，然后把解析的结果传输到分布式搜索引擎中;分布式搜索引擎可以完成全文检索的功能，属于储存日志的系统;而Kibana组件的存在不仅可以对分布式搜索引擎中的日志进行可视化操作[2]，还可以进行统计分析和高级搜索。但是日记采集工具及要完成对日志的采集工作又要完成解析工作，这样不仅会致系统的性能下降，严重的时候还会影响工作的进展。而Beats的推广和应用有效解决了这一问题，图1为Beatsde在系统框架中的应用： Beats在进行信息采集和解析工作的时候可以针对不同的日志格式和来源使用不同的采集器，Beats采集器包括了5中不同种类和功能的日志采集器，分别为：Filebeat、Metricbest、Packetbeat、Winlogbeat、Heartbeat。 1.2 日志实时收集系统
想要完成日志的分析处理工作就需要首先完成日志的收集工作，由于日志分布在不同的服务器中，因此需要对分散的日志信息进行收集汇总工作，然后才能进行对日志信息的分析和处理。目前，主要使用的日志收集系统为Logstash和Filebeat。
Filebeat在服务器中主要是完成文件信息数据的收集工作，是日记采集器中最轻量的采集器。当该采集器开始的工作的时候会有一个或多个相对应的Prospect对日志的采集路径和文件进行监控，而每一个日志文件都会有与之对应的harvester将日志的内容进行读取转发。最后由Filebeat记录和维护转发的内容读取位置的偏移量。
Logstash的主要工作人去就是对各种动态的数据进行收集，然后再将这些数据进行统一的分析过滤，最后输送到指定的位置。信息数据的收集和处理Logstash系统中的Output插件主要负责日志的输出方向，Input插件负责配置日志的输入源，而Filter插件主要是对日志的内容进行解析工作。
1.3 日志存储与搜索系统
Elasticsearch（分布式搜索引擎）的功能比较全面，既可以应用于结构化搜索，又可以进行聚合分析和全文搜索。Elasticsearch搜索引擎具有近实时搜索、零配置、索引自动分片、高可用、模式自由以及集群自动发现等优点。分布式搜索引擎的集群节点有三种不同的作用：第
龙源期刊网 http://www.qikan.com.cn
一，Data节点主要对税局的分片进行不能保护;第二，Master节点主要负责元数据的增减、分配工作;第三，Cliret节点主要在信息访问量较大的场景中进行使用。 1.4 日志可视化分析
可视化指的是可以将抽象的数据用图标的形式变现出来，使信息更加直观地展现在人们的眼前。Kibana作为可视化平台，可对储存的信息进行数据高效的搜索工作，还可以对数据进行可视化和分析。Kibana可视化平台的发展战略是可以更容易的理解日志的储存信息，将这些抽象的数据信息创建成更为高级的图标，从而更方便系统人员对日志的分析维护工作。 2 集群优化
分布式搜索引擎作为日志储存和搜索的主要系统，及可以配合Kibana进行日志可是化分析，有可以与日志的采集系统向对接，对系统集群进行优化配置工作，使其操作性能更加优质。
2.1 硬件层面优化配置
想要在硬件层面上进行与优化群集配置，首先需要选择合理的服务器，只有选着与运行版本和内存相符的服务器，才可以在业务量较大的时候做好群集优化工作。其次还要根据需求将机器的最大文件数进行扩充，这样才可以有效避免高峰时期因文件过多而引发的异常。最后，如果搜索的目标明确就关闭_all字段，这样可以提高搜索的导入性能。 2.2 数据导入性能优化
在优化数据导入功能的时候可以从以下几个方面进行：第一，关闭_all字段。第二，將副本设置为0，降低在复制过程中对系统内存的消耗。第三，尽量减少对不重要文字的索引。第四，使用批量导入的方式减少对输出、输入端口的消耗。第五，还可以通过增大刷新间隔的方式来进行数据导入性能优化工作。 2.3 查询优化
在进行查询系统优化工作的时候可以对路由机制进行合理的使用，以便于提高查询的性能。同时要正确地使用Filter和Query功能，将不必要的查询信息进行过滤，提高查询的效率。而OptimizeAPI合并段的使用可以强制性地将Elasticsearch中的分散片段进行合成[3]，有效地减少了片段的搜索数量，从而提升了查询的效率，实现了查询的优化工作。 3 结束语
龙源期刊网 http://www.qikan.com.cn
基于ELK的基于ELK的日志分析系统研究及应用研究及应用对硬件层面、数据导入性能以及查询进行不断的优化工作，有效解决了传统基于日志分析系统中的采集、储存、可视化以及检索问题，为日志系统的运行和维护提供了有效的解决方案。 参考文献
[1] 姚攀，马玉鹏，徐春香.基于ELK的日志分析系统研究及应用[J].计算机工程与设计，2018，39（7）：2090-2095.
[2] 周德永，王瑞刚，梁小江.基于ELK自动化收集Docker容器日志的分析系统[J].电子设计工程，2017，25（19）：50-55.
[3] 周映，韩晓霞.ELK日志分析平台在电子商务系统监控服务中的应用[J].信息技术与标准化，2016，（7）：67-70.
