脚本日志监控分析,解密跑批任务高效运维之道 科汇科技-四川 爱数 eisso 容灾备份 官方授权分销代理商

众所周知:在运维工作中,脚本发挥着不可替代的作用!

几乎没有*一种复杂的操作系统,能够在不需要用户介入的情况下仍然正常稳定运行。作为系统管理员,运维人员经常需要定期执行特定的任务,以保障系统稳定运行。例如,分析磁盘用量并清理旧文件。将这些繁杂而重复的工作编写为脚本,通过定时任务实现调动执行,减少运维工作量,提升运维效率。

运维工作中,常见跑批任务应用举例:
系统巡检:检查业务程序的任务执行情况,各系统资源使用情况;
版本发布:新版本程序的上传、替换、配置修改、程序重新启动;
备份管理:定期对指定目录下所有文件进行备份;
文件传输:扫描特定目录下的文件,并通过ftp/sftp进行上传、下载;
日志分析:分析web站点日志,分析用户通过何处方式跳转到本站点等业务指标。
但是,由于系统的复杂性,有很多因素可能导致脚本执行失败。如果没有及时发现,可能会造成更大的影响。如:

01
脚本执行失败,影响业务运行
备份脚本失败:尽管备份脚本的备份策略已经留有一定的安全冗余,但由于脚本连续多次失败未及时发现,在数据丢失时依然存在不能成功找回的情况,造成数据资产损失;
文件传输失败:因为磁盘写满、网络故障等原因,文件传输失败,造成文件积压,影响后续业务的正常进行;
日志分析:数据库管理员更新的存储程序存在bug,导致数据库IO延时高,用户访问响应变慢。但由于日志分析脚本运行失败,未能及时发现此问题,站点长时间处于无法正常访问状态,导致客户大量投诉。

02
脚本长时间未产生日志,无法*任务是否正常运行
脚本没有产生日志的原因可能有很多。如,由于脚本修改过程的失误出现语法错误,没有生成失败日志。因此,通过简单的grep命令无法发现这种异常情况。类似情况下,系统管理员常常无法判别跑批任务执行状态。

03
现有跑批任务日志查看方式繁琐且效率低
由于脚本执行日志分散在系统各处且数量众多,当发现脚本执行失败时,只能登录脚本执行的主机,通过tail、grep等命令查看事件发生时的日志,这种方式繁琐且效率低下。

AnyRobot 实时分析跑批任务执行状态

AnyRobot 实时分析跑批任务的日志数据,对异常任务执行状态进行监控告警、统计分析所有脚本任务执行情况、定时生成监控运维报表发与运维人员,提升运维人员工作效率,降低任务执行时的安全风险。

实时告警,及时发现异常

根据脚本日志的字段格式,创建相应的解析规则,对于接收到的每一条日志记录,AnyRobot根据对应的解析规则进行实时解析,并设定相应的告警条件。当脚本执行失败,错误日志进入系统中,AnyRobot实时产生告警记录,立即发送邮件提醒运维人员;脚本长时间没有产生日志记录,达到告警条件设定的时长,如12小时,触发源端日志未采集告警,发送邮件提醒,帮助运维人员及时处理异常状况。

故障分析,快速定位错误日志根源
日志搜索,支持全文关键词、字段值检索、逻辑运算符、SPL命令等方式精准查询日志记录。

日志搜索
运维人员收到告警提醒,登录AnyRobot平台后,可以通过告警记录的链接直接查看定位告警日志,并通过告警上下文功能,快速到事件发生时的详情记录。

告警事件日志记录
监控报表分析,直观呈现跑批任务执行情况
运维管理人员可列出跑批任务执行情况的关键指标,在AnyRobot仪表盘中进行统计分析,并可根据时间筛选,直接查看某一时间段内跑批任务执行情况。

批处理脚本执行情况报表
整个业务系统脚本的总体情况:脚本总数、执行次数、失败次数、执行结果分布;
失败时间分布,某一时间段内脚本执行的成功与失败数;
执行失败主机分布,某一时间段内执行失败脚本的主机分布;
*近启动时间,按启动时间顺序判定脚本是否按时正常运行;
执行失败记录,快速查看执行失败的报错记录,便于定位原始日志;
……
上述跑批任务执行情况分析,可通过AnyRobot设置订阅报表,每天定时发送至运维管理人员,以便运维人员*时间去了解过去某一时间段的系统情况。

AnyRobot日志实时分析助力高效运维
部署灵活,运行稳定的Agent

AnyRobot Agent代理采集支持批量安装、升级、卸载,可以通过Web界面统一管理,方便快捷;支持非root权限安装,适用于权限管理严格的业务系统;可在任务执行时限制Agent的资源使用量,实现对业务系统运行影响*小化。

降低跑批任务运行故障发现时间

AnyRobot日志云基于流处理引擎,实现故障告警秒级响应;支持邮件、微信、HTTP转发、syslog转发等方式,*时间通知运维人员,有效减少故障发现时间。

便捷高效的日志查看方式

在AnyRobot通过告警详情的链接,跳转到执行失败时的日志原文页面,并定位到脚本失败处;通过日志上下文功能,查看执行失败前后的日志。

内置可视化图表

AnyRobot平台内置可视化图表,统计分析脚本执行整体情况。

 

 

IT解决方案

产品品类:
AnyShare Family 6 统一文档云、AnyShare Family 7 智能内容云、AnyShare Family 6 统一文档云

产品品型:
AnyBackup CDM 7副本数据管理、AnyBackup Express 7统一数据保护、AnyBackup Cloud 7灾备云服务、AnyBackup Master Server 7灾难恢复编排、AnyStorage 7智能数据存储、AnyStorage 7 GX存储虚拟化网关、AnyBackup Family 7 全栈超可用的灾备云、AnyBackup CDM 7 、AnyVM 5 AnyBackup Express 7 、AnyStorage 7 、AnyBackup Cloud 7 、AnyStorage GX 7 、AnyBackup Master Server 7 专有灾备云服务、AnyShare Family 7、AnyShare Cloud 6
专有文档云服务、AnyShare 公益版

产品品牌:
爱数 AISHU  eisso

解决方案:
爱数科技、爱数云、爱数app、爱数智慧、爱数anyshare、爱数官网、爱数备份一体机方案、爱数据、爱数云盘、爱数备份软件、上海爱数在行业内怎样、备份与恢复(容灾备份)、非结构化数据中台、数字资产管理、业务流程自动化、智能知识运营、业务合规性管理、数据中心高可用与远程容灾、消除异构存储单点故障、解决SAN孤岛、数据自动分层、IO加速、提升IO数据性能、GX内嵌CDP、业务数据享受*别保护、AnyBackup实现数据异地留存、提升灾备数据保护等级、统一容灾管理、灾难演练、一键切换与回切技术、简化灾难接管流程、降低TCO

更多产品和解决方案请咨询

成都科汇科技有限公司

地址:四川省成都市武侯区人民南路四段一号时代数码大厦18楼A5

电话:400-028-1235

Q Q:1325383361

手机:180 8195 0517(微信同号)

返回顶部