ELK – Elasticsearch, Logstash & Kibana 日志搜集 — 理论

  • ELK平台产生的背景
  • 开发、运维、DB人员经常需要登录服务器,查看服务器各种日志信息;
  • 同时对日志信息通过简单的工具:find、awk、sed、grep、sort、wc进行日常的分析,对单台或者某几台服务器比较方便;
  • 如果服务器数据比较多,例如100台+,通过传统的工具和命令收集、统计、做报表非常的复杂,不可行;
  • 基于以上问题,使用ELK平台解决,ELK软件概念(ElasticSearch+Logstash+Kibana)组成;
  • ELK平台概念和工作原理
  • ElasticSearch,分布式实时搜索引擎、存储日志系统,分布式存储日志系统,主要负责存储和搜索功能;
  • Logstash,客户端使用,用于收集本地各种日志数据,包括内核、数据库、Nginx、Apache、Tomcat等,收集到数据之后传递给ES进行存储;
  • Kibana,基于node.js编写的软件,可以提供WEB界面,为ES和Logstash提供的WEB界面,方便用户、管理员对日志日志进行分析和统计;
  • ELK的工作原理:Logstash被安装在客户端服务器,是一款服务器日志收集的工具,通过logstash可以收集客户端各种日志数据,并且将所有的日志进行过滤,将日志内容存入Elasticsearch 搜索引擎里,然后通过KibanaGUI在WEB前端展示给用户,用户可以进行查看、统计、分析指定的日志内容。其ELK架构可以加入REDIS或者MQ;

 

发表评论

zh_CNChinese
zh_CNChinese