案例利用解决方案>

机械数据及时阐发平台鼎茂国产化替换解决方案

机械数据及时阐发平台鼎茂国产化替换解决方案，旨在为各类正在寻觅日记治理、数据阐发、SIEM平台等国产化替换产物的机构，供给一个从数据底座到上层利用的整体性替换解决方案。

方案不但周全知足手艺自立和信创生态的要求，更重视面向“营业快速转变、数据指数级激增、不变性要求更高”等方面的企业成长性需求。是以，除功能角度的光滑迁徙，解决方案更在吞吐能力、阐发速度、AI赋能、架构弹性、可扩大场景构建等角度，为客户供给了更好的机能体验和更多的智能场景光滑扩大。

今朝该解决方案已在多家金融、制造等行业客户中落地。本文的客户故事为某年夜型金融机构的实践案例，鼎茂解决方案帮忙客户完成了平台的光滑迁徙，并快速构建了合适营业成长需要的完全平安运营场景和IT智能运维场景。该案例为近似范围和数字化成长阶段的客户供给了有价值的参考。

案例布景 >

曩昔数年，多量金融机构在营业成长进程中，为了积极应对基在及时数据阐发与决议计划的营业立异，采取Splunk等国外的手艺平台，来实现对机械数据的治理和阐发。最近几年来，跟着监管要求的增强，和数据量激增所带来的本钱压力，对原稀有据阐发平台进行国产化替换，成了浩繁金融机构的火急需要。

金融机构具有年夜量的敏感数据。在银保监会等监管机构对数据平安和当地化存储的严酷要求下，金融机构必需确保其数据处置平台合适国度和行业的监管要求。是以，合适要求的国产化替换方案，成为知足数据存储当地化、数据隔离等合规要求的必定选择。

金融营业最近几年来快速成长，营业系统数据量激增，基在逐日数据增量的收费模式迫使金融机构在Splunk上的投入呈指数级增加。这类本钱的不成控性使得机构火急需要寻觅性价比更高的替换方案。

与此同时，金融机构营业的快速成长也使得本身不竭地迭代和扩大对数据及时阐发的利用场景，因此对数据的处置能力、处置效力和场景的可扩大性有更高的要求。而国产化平台厂商最近几年来在机械数据处置手艺上的不竭立异，和矫捷的当地化办事响应能力，可以或许有用地为金融机构的营业立异保驾护航。

本案例的客户，一样是这类替代需求的典型代表企业。

01

需求阐发

01.1 治理范围

案例客户具有同城双活数据中间，其收集架构被邃密划分为五个首要区域：DMZ区域、专线区域、出产区域、办公区域和测试区域。在这些区域内，摆设了上千个办事端点，撑持着数十个要害营业系统的不变运行。同时，为了保障收集平安，客户还摆设了跨越二十种收集平安装备。

在如许的IT范围下，替代后的数据平台需具有高效的数据处置能力，可以或许逐日处置高达500GB的数据增量，并治理跨越180T的总存储量。同时还需供给壮大的数据阐发能力、信息平安保障、和杰出的扩大性，从而知足不竭增加的营业需要。

01.2 治理近况

案例客户之前利用Splunk作为治理运维日记和平安事务的阐发平台。并以集群的体例摆设在双中间架构中，收集包罗：系统日记、买卖日记、拜候日记、用户行动数据、收集状况、机能指标和IPS（入侵防御系统）、WAF（Web利用防火墙）、防病毒、谍报等平安装备日记等多样化的数据。

·客户IT运维部分基在Splunk平台扶植的治理场景包罗：系统总览界面、营业系统要求监控、买卖详情列表查询、在线用户阐发、主动化可视化周报/月报、指标异常告警等，用以保护IT系统的可用性和营业的持续性。

·客户平安部分基在Splunk平台，设置了平安告警法则和可视化仪表盘，实现平安事务检测和告警通知，并操纵告警联系关系资产/身份上下文信息的功能，进行告警流转，用以进行营业系统的平安合规庇护。

01.3 利用痛点

·按索引数据量计价的体例过在昂贵

Splunk的软件许可费用按照日增索引数据量收费。客户系统在持久的运行进程中，跟着营业的不竭更新，发生更多的增量数据需要被收集，因此，所发生的软件许可费用更是指数级增添。对数目极年夜而价值密度极低的日记数据来讲，这类计费体例为客户造成太多的本钱承担。

·当地化办事支持不足，没法应对随需应变的营业转变

Splunk作为一家国外的厂商，为当地客户所供给的客户化办事撑持比力有限。客户难以取得足够和时和高质量的厂商级办事。因此没法在快速转变的营业情况中，驾轻就熟地对数据平台进步履态的优化和扩大，并和时应对各类手艺问题所带来的系统可用性风险。

·年夜范围数据处置的响应时候太长

在年夜范围数据情况中，客户面对营业持续性和动态平安要挟的挑战，需要平台供给更快的数据阐发速度。Splunk采取的是读时解析模式，在需要海量原始日记进行聚合统计阐发时，响应时候较长。

好比：在系统故障排查场景中，客户需要平台敏捷检索和聚合年夜量相干日记，才能快速定位问题并采纳响应办法，一旦响应时候太长，会耽搁解决问题的机会。

在平安进犯事务阐发场景中，客户需要平台及时联系关系阐发年夜量多源日记，从而捕捉潜伏的平安风险和进犯模式，一旦阐发成果有延迟，会带来不成控的平安风险。

·手艺门坎较高，场景扶植有赖在IT人员的手艺贮备

Splunk利用门坎相对较高，需要手艺人员谙练把握并矫捷应用SPL搜刮说话，这类局限性致使客户需要额外投入手艺人员的本钱，并投入更多的培训时候，以实现各类智能化治理场景的扶植和扩大。

01.4 替代方针和要求

鉴在以上环境，客户但愿能采取一套完全的国产化数据及时阐发平台，并在平台之上实现对IT系统的可不雅测治理和平安事务智能化场景治理，并包管这一方案的光滑性替换和智能化进级性。知足以下需求：

·知足监管合规：遵守监管机构对数据当地化与合规性的要求，供给需要的审计合规性陈述功能。

·本钱公道可控：替代产物采取更公道的计价体例，有用晋升数据及时阐发平台的投资回报率。

·功能知足：替代方案可以或许实现与现有IT根本举措措施和系统的无缝集成，并供给与Splunk类似或更优的功能，同时保障治理场景的快速扶植和扩充。包罗：日记治理与阐发、平安监控诉警、机能监控诉警、主动化陈述、可视化等。

·可扩大性与矫捷性：产物可以或许顺应营业成长转变的数据、架构、功能和场景扩大。

·办事与撑持：取得更和时、更高效的厂商级当地化手艺撑持和办事。

·光滑过渡：实现0风险迁徙，并供给直不雅、易用的界面，确保系统功能和用户体验的光滑过渡。

02

解决方案和思绪

02.1 扶植思绪

该解决方案以鼎茂ARCANA平台（多模态数据智能阐发与决议计划平台）作为数据底座焦点，连系原子化AI算法引擎，并连系Di-SOC（智能平安运营中间）和Di-Monitor（智能监控中间）、Di-Alert（智能告警中间）等系列智能利用，构成替换方案的构建。

经由过程ARCANA内置的数据采控中间、ARC-ADP（智能数据治理平台）、ARC-IOC（数智运营中间）等组件，完成数据收集、解析、存储、查询、可视化、陈述等功能替换，撑持同一查询搜刮原始数据，还同时撑持SQL和SPL双说话查询，从而快速构建可视化仪表盘、告警法则和定制化陈述。

平台加强了以下能力：多源异构数据撑持能力；跨源同一查询能力；读时建模和写时建模能力；AI算法办事能力等。

解决方案采取了更加平安的替换体例。

经由过程这些有序的步调，可以确保客户数据平台从Splunk到ARCANA的光滑过渡，保障了数据的完全性和平台的高效运行，并最年夜限度地削减对现有营业的影响。

02.2 方案实行

Step1 摆设ARCANA多模态数据阐发与决议计划平台，完成数据接入

·摆设ARCANA平台。经由过程ARCANA采控中间的尺度化日记接口和矫捷的数据适配器，从源端和Splunk端接入原始数据，并确保数据的完全性和持续性。（包罗收集、系统、利用、平安、资产/身份等各方面的数据）

Step2 基在ARCANA完成数据同一治理

·经由过程ARCANA平台的数据引擎进行字段解析，并基在Splunk 的索引分类将数据分派至分歧的索引，确保数据组织的有用性和查询的高效性；

·撑持多种进步前辈的数据存储格局，包罗列式存储和非布局化数据格局。这些存储手艺专为处置年夜范围日记数据而设计，实现了数据的高效存储与快速索引，知足年夜范围日记数据及时处置对机能和矫捷性的两重需求。

Step3 完成监控诉警法则、可视化的等设置装备摆设

·经由过程ARCANA法则治理和告警监控功能，按照营业需求进行日记阐发法则、告警法则的设置装备摆设。这些法则可以基在特定的日记模式、事务类型或时候窗口来界说，以辨认潜伏的平安要挟、机能瓶颈或操作异常。一旦触发告警，和时撑持经由过程多种体例（邮件、短信、钉钉、企业微信、飞书等）将告警信息推送给相干人员；

·经由过程ARCANA直不雅、易用的可视化界面，便利用户查看和阐发日记数据。经由过程丰硕的图表、报表和仪表盘等功能，用户可以快速领会系统的运行状态、平安态势和营业趋向等信息；

·同时，ARCANA还供给了交互式查询和自界说报表功能，知足用户分歧场景下的数据阐发和展现需求。

Step4 完成上层智能场景构建和加强

·IT运维场景

完成系统总览界面、营业系统要求监控、买卖详情列表查询、在线用户阐发等可视化面板遵照原系统的快速拖拽式构建；

完成主动化可视化周报/月报遵照原系统的快速拖拽式构建；

针对运维指标异常的告警法则在Di-Alert中的设置装备摆设构建；

加强主动化word 陈述。

·平安运营场景

平安告警法则与可视化仪表盘遵照原系统的快速拖拽式构建；

完成资产和身份的遵照原系统的构建和告警上下文的联系关系。

经由过程Di-SOC加强使命与值班治理，更好的协助运营一二线和运营司理进交运营治理；

经由过程Di-SOC加强白名单治理、工单治理，更好的帮忙运维人员完成运营闭环；

经由过程Di-SOC加强缝隙治理，帮忙平安人员进行缝隙的全流程管控；

经由过程Di-SOC加强常识库功能，明白运维人员针对平安事务的处置供给专家经验撑持。

Step5 并交运行与测实验证后，完玉成套系统替代

·在ARCANA和Splunk并行三个月的过渡期后，履行综合评估。

·周全验证经由过程后，完全将原始数据源的发送指向设定为ARCANA，完成从Splunk到ARCANA的周全替代。

03

项目功效

03.1 构建了 周全的日记治理和阐发能力

在替代Splunk 平台的进程中，ARCANA平台周全笼盖了数据收集、解析、存储、查询、可视化和告警等焦点功能，撑持大都据源数据处置的开箱即用，即，无需复杂的设置装备摆设便可对多种模态的机械数据进行快速接入息争析。这一特征包管企业即刻接入数据的同时，确保了数据的一致性和正确性。

其次，ARCANA平台供给了可拖拽式的可视化数据视图仪表盘，用户可以按照本身对数据阐发的需要快速生成分歧揭示情势的数据可视化组件。同时，ARCANA还供给了可自界说可视化报表/陈述模板，用户可以按照治理的需求定制个性化的陈述样式和内容，并经由过程主动化陈述输出，年夜年夜晋升了数据阐发的效力。

03.2 实现跨数据源同一查询

ARCANA撑持跨数据源查询，包罗MySQL、ClickHouse（CK）和Elasticsearch（ES）等。平台可以经由过程同一的界面和查询说话进行及时跨源搜刮和查询，从而打破数据源的边界，供给了可以更快更周全领会系统运行状态的阐发手段。同时，ARCANA还供给了数据源的同一治理和设置装备摆设功能，简化了大都据源集成的复杂性。

ARCANA供给了相较在旧平台年夜幅晋升的查询机能。

ARCANA平台撑持ClickHouse和Elasticsearch两种存储方案。这类存储方案，一方面充实释放了ClickHouse快速的 OLAP 查询机能，并连系鼎茂自研的ClickHouse数据源下推优化手艺，使得查询效力更加优异；另外一方面完全阐扬了Elasticsearch 在全文搜刮和及时数据阐发方面的超卓机能。

依托这类手艺撑持，客户不但可以按照数据特点选择最适合的存储位置，更能最年夜限度地晋升数据处置的机能和效力。在案例客户的情况中，当数据平台替代为ARCANA后，平台对万万级数据量的查询耗时，从分钟级降到了秒级。

03.3 低代码扶植了数字化运营中间

ARCANA平台凭仗其数字化仪表盘和低代码拖拽功能，经由过程及时展现要害指标和事务数据，使得运维人员可以或许敏捷洞察系统状况。运维人员亦可借助低代码拖拽功能轻松构建自界说的监控和阐发利用，年夜年夜提高了工作效力和响应速度。

03.4 实现了平安运营闭环治理

经由过程ARCANA平台+Di-SOC智能利用，实现了平安事务的闭环治理。可以或许及时监控IT 情况的平安态势，一旦发现异常行动或平安风险，平台主动触发告警，经由过程查询拜访阐发功能，确认平安事务的误报和影响。查询拜访阐发后经由过程工单流起色制，将处置使命分派给相干运维/运营人员。对严重的平安要挟，平台撑持主动封禁功能，以敏捷堵截风险源。这一闭环治理流程确保了平安事务的和时响应和系统平安性的延续晋升。

04

客户收益

鼎茂科技帮忙该客户实现了数据及时阐发平台的光滑的替代和智能化阐发能力的进级。

即时收益：

·ARCANA按照阐发节点计价（基在有用阐发的数据量收费），费用公道可控，并有用晋升了数据阐发平台的投资回报率。

·搜刮效力晋升，在问题定位需要搜刮年夜范围日记时，查询效力晋升数十倍。

·ARCANA供给双说话SQL/SPL查询搜刮能力，统筹用户利用习惯的同时，极年夜下降了运维人员的利用门坎。

·经由过程ARCANA离线陈述功能，实现陈述主动化，显著提高工作的效力和正确性。

·经由过程ARCANA及时监控买卖趋向，和各渠道的流量来历等要害指标，和时响应非预期的流量突增，确保营业流程顺畅。

·经由过程同一跨源查询手艺，实现分歧营业数据的聚合阐发，可以或许洞悉各类营业场景的深条理特点。

扩大性收益：

·经由过程弹性的扩容办法，客户可以或许矫捷应对营业需求的波动，确保企业营业在任什么时候候都能供给不变、靠得住的办事，从而撑持营业的延续增加和扩大。