产品文档



日志服务



帮助中心 > 日志服务 > 业务应用日志-云主机日志源设置

搜本产品



业务应用日志-云主机日志源设置

1. 概述

业务应用日志是指用户在京东云上部署的业务应用所产生的日志。日志内容和日志格式由用户自己定义。

用户无需手动安装日志采集agent，只需要在日志源设置中选择需要采集的云主机实例，日志采集agent将会自动安装。

业务应用日志支持投递至多种类型的目的地，默认采集至日志服务的日志主题中，也可将日志投递至控制台的云ES和云Kafka中。

2. 操作步骤

业务应用采集配置

登录日志服务控制台，点击【创建日志配置】，或进入指定日志集内，点击左侧导航栏中的【新建主题】。
完成日志集和日志主题的设置。
点击【下一步】进入【日志源设置】页面。
【日志来源】选择业务应用。
【日志源类型】选择云主机。
【采集状态】默认打开，用户也可以关闭。关闭后不采集日志。
【日志路径】填写所需采集的业务应用的日志的路径和文件名，路径支持"/*/"或"/*/abd/*/"的通配，不支持"/**/"的通配，文件名支持* 的通配。Linux的文件路径应该以/开头。日志文本的编码为UTF8。
【采集实例】根据用户自身需求选择实例，或者对应的高可用组和标签。

标签是在云主机实例上打的k-v标记，通过标签可以快速选择多个采集实例。

a. 预设标签

k8s集群已为集群内node打了集群ID的标签，可以直接使用。标签名称为 kubernetes.jdcould.com/cluster_id

b. 自定义标签

您可通过云主机管理，手动为实例创建标签，并在日志服务中选择使用，具体流程如下：

进入云主机页面：https://cns-console.jdcloud.com/host/compute/list
通过region，主机名称等筛选条件过滤需要采集日志的实例，参见下图标记1，2的位置。

选中实例，如上图标记3的位置。
点击页面左下角的"更多"按钮，点击"编辑标签"，如下图所示。

在键和值中填写标签信息完成后，点击"确定"，即可添加对应的标签，如下图添加的logGroup=order-service

切换至共有云日志服务页面：https://logs-console.jdcloud.com/overview?dataCenter=cn-north-1
选择日志主题，开始编辑日志主题采集配置，如下图步骤1，2所示。

编辑日志主题采集配置的采集实例，选择"标签"，在标签列表中选择对应的标签。

如果用户的业务应用日志是多行日志，则需要设置首行正则匹配的规则；首行正则遵循 POSIX Extended Regular Express 正则表达式，示例如下：

日志首行基本上以时间格式开头，如java异常堆栈日志数据复制成功

2020-07-08 23:58:45.382 [INFO]  xxxxxxxxxxxx
    at xxxxxxxxxxxxxxxxxxx
    at xxxxxxxxxxxxxxxxxxx
    at xxxxxxxxxxxxxxxxxxx
2020-07-08 23:58:55.582 [INFO]  xxxxxxxxxxxx
    at xxxxxxxxxxxxxxxxxxx
    at xxxxxxxxxxxxxxxxxxx
    at xxxxxxxxxxxxxxxxxxx

可以使用正则表达式进行匹配，不支持 '\d' 方式进行数字匹配：复制成功

^[[:digit:]]{4}-[[:digit:]]{2}-[[:digit:]]{2}

预期结果是将以上数据分割成两条日志，每条日志的开头匹配年月日。

注：正在表达式相关语法可参考：正则表达式

业务应用高级配置

【高级配置】默认关闭。打开高级配置后，可将日志直接从agent端投递至指定ES或Kafka中。
若用户只有投递至ES或Kafka的需求，可以关闭【投递至日志主题中】，就不会在日志服务中存储对应的日志数据。也无法使用日志监控等功能。
若业务应用日志的目的地是Kafka，则需要设定brokers，topic，以及是否压缩投递。压缩投递支持snappy和gzip格式。云Kafka会自动获取brokers。
若业务应用日志的目的地是ES，则需要设定ES访问域名和索引前缀。云ES会自动获取访问域名。

3. 注意事项

当前版本仅支持采集Linux云主机的日志。
采集实例用户选择实例维度时，最多支持选择30台云主机，支持跨地域选择。
采集实例用户选择高可用组维度时，不受数量限制，高可用组内有多少云主机就采集多少，高可用组内后续新增的云主机的日志也会被采集，支持跨地域多选。
采集实例用户选择标签维度时，不受数量限制，标签内有多少云主机就采集多少，没有地域限制，标签内后续新增的云主机的日志也会被采集。
若高级配置中设置的目的地为自建ES或自建Kafka，则目的地ES或目的地Kafka前方的地域没有实际意义。
日志集所属的地域为逻辑地域，表示日志集下各日志主题存储日志所在的地域，与日志的采集实例所在地域无关，配置采集实例时，您可以选择任意地域的实例，系统可将多个地域下实例的日志统一采集存储到当前日志主题下，统一进行检索、分析、监控和消费使用。