日志服务

产品文档

日志服务

日志转储

1.概述

由于用户的业务不同,对日志的需求也不同。部分日志有长期存储及离线分析的需求,如安全审计类的日志。为了降低用户成本,日志服务支持用户将日志数据转储到对象存储OSS中。转储后,用户可在对象存储对应的bucket中下载需要的日志数据。

转储支持选择是否压缩,压缩转储可进一步降低成本,支持snappy和gzip压缩格式。也可以选择所需的格式进行转储,支持JSON格式和原始格式。

2.操作步骤

创建转储任务

创建转储任务需要确认已添加采集配置,否则无法创建转储任务。

1)进入对应的日志集,选择需要创建转储任务的日志主题,直接点击日志转储后方的“添加”按钮,或点击“日志转储”,在子菜单中选择“转储任务列表”,点击“新建转储任务”。

2)转储信息配置

点击“新建转储任务”,填写转储任务名称,不为空,且只允许中文,数字,大小写字母,英文下划线“_”及中划线“-”,不超过32字符。

选择需要转储的京东云对象存储,该对象存储需要和当前转储的日志集和日志主题处于同一地域,如果用户当前账号下该地域没有对象存储资源,可点击“新建对象存储”,快速创建对象存储资源。

输入目录前缀。前缀以非/开头,若不设置目录前缀,则默认为当前日志集名称/日志主题名称/,例如servicecode/test-log/test-logapi。

填写分区格式。根据strptime时间格式化自动生成目录,例如,填写分区格式为 %Y/%m/%d,生成的目录 2017/07/16。最终投递的文件目录为:{OSS存储桶}/{目录前缀}/{分区格式}{转储任务id}{转储任务批次}。

选择转储文件大小和转储时间间隔。

选择转储格式,以及是否压缩,如果需要压缩,则选择需要压缩的格式。

点击“保存”,完成转储任务的创建。

转储任务创建完成后延迟约15分钟后开始进行转储。

停止转储任务

进入转储历史页面,选择需要停止的转储任务,点击“停止转储”,即可停止转储日志数据。

转储任务历史

点击日志转储下方的子菜单“转储历史”,即可进入该页面。查看转储任务的转储历史。

3.注意事项

  1. 当前版本仅支持将日志数据转储至用户自己名下的对象存储OSS中。
  2. 压缩投递后,可进一步降低存储成本。
  3. 转储至对象存储后,所需费用将会体现在对象存储账单中,会由对象存储进行收费。
  4. 单个日志主题下最多支持创建10个转储任务。
更新时间:2020-07-16 11:47:28