Elasticsearch日志

产品文档

云搜索 Elasticsearch

2025-03-27 02:51:49

Elasticsearch日志

云搜索Elasticsearch通过京东云日志服务提供Elasticsearch日志的查询和展示,日志类型包括主日志、搜索慢日志、索引慢日志、GC日志、访问日志的查询和展示,各类型日志的日志内容主要由time、content 组成。您可以通过输入关键字和设置时间范围,筛选出需要查询的日志内容,快速定位集群问题,辅助集群运维。

  • Time:日志的产生时间。

  • Content:日志的主要内容。

前提条件

  • 已开通了京东云的日志服务。

  • 已创建了云搜索Elasticsearch集群实例。

操作步骤

  1. 登陆 京东云Elasticsearch控制台

  2. 在集群管理页,单击 集群名称 进入集群详情页。

  3. 选择 日志服务 页签。日志服务开关,默认关闭,关闭状态下日志服务未生效。您可切换开/关状态以打开或关闭Elasticsearch日志服务功能。
    image.png

  4. 日志服务开关打开时,日志服务生效,系统会自动在京东云日志服务创建日志集es-log-{ClusterID}和4种日志主题:主日志(master-log)、索引慢日志(index-slow-log)、搜索慢日志(search-slow-log)、GC日志(gc-log);日志服务开关关闭后,系统将删除自动创建的日志集和日志主题。
    image.png

  5. 主日志、搜索慢日志、索引慢日志、GC日志4种日志内容均最长可支持近7天日志查询,点击日志内容展示日志上下文。
    image.png

日志说明

主日志

主日志主要展示集群的运行日志,包括日志产生的时间、级别、日志所在的节点和日志内容等,包括INFO、DEBUG、WARN等不同级别。
当您需要查看集群中各节点的运行状况及查询写入情况,例如节点之间的连通性、Full GC情况、创建或删除索引情况、集群级别的查询报错等信息时,可查看主日志进行排查。

慢日志

慢日志的目的是捕获超过指定时间阈值的查询和索引请求,主要展示超过指定时间阈值的索引(Indexing慢日志)和查询(Searching慢日志)日志。在集群负载不均、读写异常、处理数据很慢等情况下,您可以通过查询慢日志来分析具体原因。

开启和调整慢日志
默认情况,慢日志不开启。开启慢日志需要定义具体动作(query、fetch 或 index)、期望的事件记录等级(INFO、WARN、DEBUG 等)、以及时间阈值。您可以根据业务场景,开启和调整相关配置。
如需开启或者调整慢日志,可在集群列表页单击要操作实例的 Kibana 按钮 进入Kibana页面,通过 Dev Tools 调用 Elasticsearch 相关 API,或通过客户端调用配置修改 API。
修改完成后,在执行读写任务时,如果执行时间超过了以上配置的时间,您就可以在慢日志页签中查询到对应的日志。

配置所有索引:复制成功

PUT */_settings
{
    "index.indexing.slowlog.threshold.index.debug" : "5ms",
    "index.indexing.slowlog.threshold.index.info" : "50ms",
    "index.indexing.slowlog.threshold.index.warn" : "100ms",
    "index.search.slowlog.threshold.fetch.debug" : "10ms",
    "index.search.slowlog.threshold.fetch.info" : "50ms",
    "index.search.slowlog.threshold.fetch.warn" : "100ms",
    "index.search.slowlog.threshold.query.debug" : "100ms",
    "index.search.slowlog.threshold.query.info" : "200ms",
    "index.search.slowlog.threshold.query.warn" : "1s"
}

配置单个索引:复制成功

PUT /my_index/_settings
{
    "index.indexing.slowlog.threshold.index.debug" : "5ms",
    "index.indexing.slowlog.threshold.index.info" : "50ms",
    "index.indexing.slowlog.threshold.index.warn" : "100ms",
    "index.search.slowlog.threshold.fetch.debug" : "10ms",
    "index.search.slowlog.threshold.fetch.info" : "50ms",
    "index.search.slowlog.threshold.fetch.warn" : "100ms",
    "index.search.slowlog.threshold.query.debug" : "100ms",
    "index.search.slowlog.threshold.query.info" : "200ms",
    "index.search.slowlog.threshold.query.warn" : "1s"
}

GC日志

ES 默认开启 GC 日志,日志产生的时间、级别、日志所在的节点和日志内容等。

访问日志

ES 集群的访问日志,显示Elasticsearch集群接收到DSL查询过滤相关请求的详细信息,包括uri、bodySize、请求时间等。

访问日志默认不开启,如需开启,请执行:

PUT _cluster/settings
{
  "persistent": {
    "access.log.enable": true
  }
} 
文档反馈

开始与售前顾问沟通

可直接拨打电话 400-098-8505转1

我们的产品专家为您找到最合适的产品/解决⽅案

在线咨询 5*8⼩时

1v1线上咨询获取售前专业咨询

点击咨询
企微服务助手

专业产品顾问,随时随地沟通