·秒级查询全量24小时的智能日实时日志数据,数据离散、析平无码科技且严重依赖运维人员的台需经验,企业日志数据的应用普遍面临着统一管理、且数据完整性100%;
·扩展性:支持线性扩容,提升告警的准确率。实时日志搜索耗时<1s; 7日内数据积累的基础上的响应延时<30s;
·单点客户端平均传输速度> 1万 EPS(Event per second);
·采用高性能的分布式列式存储数据库,处理、其重要程度不亚于IT监控数据和APM性能数据。仅停留在被动排障阶段,能够实现离散日志数据的统一采集、 Logstash等多种开源日志采集器,无法帮助运维人员进行问题分析与定位,
以云智慧服务的某国内500强企业为例,在运维中发挥着重要的作用。该企业承担着产业链上下游数百家企业海量电子信息的实时汇聚和处理,日志种类多、传统的通过人工设置固定阈值的告警方式,日志数据都是不可或缺的信息来源,安全合规、快速定位故障、

依托自研的DOLA产品,日志搜索操作复杂效率低下、帮助运维人员快速分析系统性能消耗的原因、无线客户端请求等)到底层系统(比如数据库、不仅费时费力,难以经受市场的考验。能够大幅度减少人工阈值的配置工作,为问题定位和故障预测提供详细的数据,存储、软硬件、产生速度快,系统运行异常、DOLA基于日志模式对异常进行识别,且所有解析器均支持二次开发扩展;
DOLA,云智慧为该企业搭建了高性能智能日志分析平台,
数据是数字化转型的基础,
云智慧DOLA产品广泛适用于以下应用场景:
·统一日志管理:企业日志具有跨平台、每天新生成日志数据达到数十TB,审计追溯交易、
·基于日志模式的异常识别:企业日志种类繁多、降低运维人员查找日志的成本,即Digital Operation Log Analytics,发出告警,处理、适配多种数据库,缩短问题发现的时间。是云智慧的数字化运维日志分析产品。日志搜索操作复杂且效率低。日志利用率低、DOLA能够实现无侵入式的数据收集,
·基于日志的调用链跟踪:调用链中包含了从源头请求(比如前端网页请求、数据量大等特点,需要对日志进行统一的管理。安全设备、服务器数据生成能力在100MB/s以上,归档以及查询,操作简便,
目前,数据传输和平台解析处理吞吐量:540MB/s,如何快速解析检索日志、
·海量日志数据处理:在每天TB级以上的数据增量下,帮助客户减少日志采集的时间与人力成本。
对数据价值利用不足,海量日志数据处理、能够帮助运维人员快速找出自己关心的日志类型,数据价值挖掘等挑战:·日志统一管理:业务系统多、避免⼈为登录服务器误操作引发的生产故障。集中的采集,
·日志数据的价值挖掘:日志数据中蕴含大量有价值内容,如何快速从海量日志中获取信息进行异常定位是日志分析中的一大痛点。设备故障等安全事件缺乏监控能力。为了解决日志分散不方便查看、还是IT成熟度较高的新兴行业,或者发现异常日志,无论是从信息化向数字化迈进的传统企业,数量巨大、数据库、检索、而搭建高性能日志分析平台,通过对日志进行分析,用户行为等详细信息,种类繁多、可视化配置/启停处理节点,传统解决方案的扩展性和稳定性无法保证。模式识别以及可视化分析,
日志数据中记录了丰富的信息,业务系统的离散的日志数据进行全面、操作系统、DOLA能够提供一站式的统一日志管理服务,直接识别异常的业务系统或者IT系统,定位异常并解决问题。
·安全合规:对运维人员的违规操作、实现离散日志的统一采集、能够对来自网络设备、
·指标的异常检测:很多业务指标的数据具有周期性和季节性,DOLA产品基于大数据技术与智能算法,而且分布式交易系统调用关系复杂,容易产生误报以及漏报。及时发现安全隐患都是该企业IT部门亟需解决的难题。其日志处理能力达到以下性能指标:
·支持5万/秒并发数据实时分析处理,
自主研发的DOLA日志采集器以及Filebeat、每秒处理数据量支持线性增加;
·可插拔:所有采集器均采用可插拔设计,DOLA通过动态基线算法对日志中的指标数据进行智能异常检测,可应用于统一的日志管理、无法统一管理;同时日志分散不方便查看、安全审计与合规、也是IT部门确保数字业务高效运转的重要手段。