• 为什么写博客,是因为遇到的坑,不希望别人在踩一遍!
  • 选择了,剩下的就是坚持和努力-------致自己!
  • 当能力达不到梦想时,更需要学习,努力,拼搏

ELK5系列日志收集平台(一)产品讲解

ELK 雪豹 7年前 (2017-07-28) 1073次浏览 0个评论

images

1.1 什么是 ELK

ELK 其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为 ELK 协议栈

1.1 环境的困境:

  • 开发人员不能登录线上服务器查看详细日志
  • 每个系统都有日志,日志数据分散难以查找
  • 日志数据量大,查询速度慢,或者数据不够实时

1.2 为什么要用数据分析平台

随着我们业务增加,监控和数据分析将成为重要环节。

一个完整的集中式日志系统,是离不开以下几个主要特点的。

收集-能够采集多种来源的日志数据

传输-能够稳定的把日志数据传输到中央系统

存储-如何存储日志数据

分析-可以支持 UI 分析

警告-能够提供错误报告,监控机制

1.1.1 Elastic search简介 分布式搜索,

Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写。

主要特点

实时分析

分布式实时文件存储,并将每一个字段都编入索引

文档导向,所有的对象全部是文档

高可用性,易扩展,支持集群(Cluster)、分片和复制(Shards 和 Replicas)。

接口友好,支持 JSON

集群:

分片

1.1.1 log stash 简介

收集、管理数据

Logstash 是一个具有实时渠道能力的数据收集引擎。使用 JRuby 语言编写。其作者是世界著名的运维工程师乔丹西塞 (JordanSissel)。

主要特点

几乎可以访问任何数据

可以和多种外部应用结合

支持弹性扩展

它由三个主要部分组成,见图 4:

Shipper-发送日志数据

Broker-收集数据,缺省内置 Redis

Indexer-数据写入

Kibana 简介

web前端,展示功能

Kibana 是一款基于 Apache 开源协议,使用 JavaScript 语言编写,为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找,交互数据,并生成各种维度的表图。


有需要可以联系微信xuebao19930721和加入微信群
喜欢 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址