产品文档

云安全白皮书

5. 大数据分析服务

5.1 数据计算服务

京东云数据计算服务(Data Computing Service,简称:DCS)是一个全托管、低使用成本的云上数据仓库服务。数据计算服务提供开箱即用的数据管理、灵活弹性的计算资源、开放的数据接口、细粒度的权限体系,帮助用户快速构建企业级数据分析平台,并持续聚焦在释放数据价值的工作。能够快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。

· 权限管理

系统通过 IAM 进行用户口令管理。使用多层次 ACL 数据访问授权机制,控制用户所能访问的数据内容及读写权限。对用户进行基于角色的访问控制,用户的角色决定了用户的权限等访问控制。对用户、群组和策略进行授权,限制数据被有限的用户所访问,使用权限方式管理用户对数据对象的访问。

· 传输安全

使用 HTTPS/TLS 进行数据传输,使用 X509 数字证书作为身份认证。对于 Web API 数据采集方式,通过应用层通过 HMAC-SHA1 算法实现数据验证。防止数据被非法访问、篡改、窃听、嗅探。

· 数据保护

对多用户的计算进行隔离,程序执行的安全沙箱,数据存储隔离,并提供加密选项。针对用户敏感数据,采用适当的脱敏算法进行处理,防止敏感数据被滥用和泄露。提供数据容灾热备功能,保护数据安全和提高数据的持续可用性。

5.2 JMR

JMR (JingDong MapReduce) 是一个管托集群平台,可以在京东云上运行大数据框架(如 Apache Hadoop 和 Apache Spark) 或运行这些框架相关的开源项目(如 Apache Hive 和 Apache Pig),您可便捷地使用 MapReduce,Hive,Spark,Presto 等服务低成本开展大规模分布式数据计算服务和海量数据分析。

JMR 的应用场景非常广泛,可应用于数据仓库、日志分析、ETL处理、临时性处理分析、即席查询分析、流式实时计算、数据对外服务等多个场景,从而为用户提供全面、实用、便捷的服务,能够有效解决企业数据来源和类型较为复杂、工作负载差异较大等问题。

· 深度整合

与京东云其他产品如云存储、云监控,大数据分析平台等深度整合,作为JMR产品中 Hadoop/Spark 计算引擎的输入源或者输出目的地。

· 安全可靠

各集群通过 VPC 网络隔离,自动配置防火墙管理网络访问,支持网络 ACL 和安全组的自动配置;集群自带高可用方案并提供集群监控管理功能。

· 全方位监控

集群主要指标:提供集群的可用性、性能监控,帮助用户发现问题、解决问题,同时满足用户对集群资源调整、释放等管理需求。

集群节点指标:监控集群中的每个节点的网络状态,硬盘状态等。

集群服务进程:根据用户集群中的相关组件进行监控。监控服务节点是否正常运转。

更新时间:2020-04-28 20:48:26