系统智能运维关键技术研究学科 计算机技术研究方向 软件服务指导负责人 朱立平 副院长 现场导师 苏永昌 中级工程师 招生日期：2013 随着信↓息化、智能◆化的逐步加快，传统运维模式已经不能满足人们的运维需求。当今的运维系统大多只解决运维活动中的基础业务流程和软硬件逻辑的管理，无法深入实现∏以ITIL为代表的运维管理系统。与业务密切相关的模块缺乏相对智能化的功能，不同模块之间缺乏有效的整合，导︻致运维整体效率低下。本文研究了运维系统智能化过程中用到的关键技术，包括：网络拓扑发现技术、自动预警技术』和资源报告生成。同时，系统介绍了数据交互中使用的模板技术、K-means降维分析方法和数据处理中的-mean模型。本文重点介绍了网络拓扑发现算法的实现、自动预警中参数的手动生成和校准、邮件等新型预警技术的实现、系统报告的生成过程以及预警级别的定义。为解决拓扑图功能表一、的运◆维报告模块无法有效使用的问题，本★文提出预警、报告和网络拓扑图相结√合的方法。最终完成了拓扑图生成、自动预警、资源报表评估等智能运维系统关键技术的实现，推动了运维智能化步伐。

关键词：运维；网络拓扑结构;智力;预先警告; .'..,,all.used,:,early,.,used,data,K-means.,,e-,,etc..,.,the,,,,up.关键词：;;;早期;形式1.1课题来源1.2研究背景1.3研究意义1.4主要工作1.5论文结构2.资料收集技术2.1.简介2.1.2信息收集原理2.2网络拓扑发现算法简介2.2.1 SNMP-基于网络拓扑发▃现算法2.2.2 基于ARP的网络拓¤扑发现算法2.2.3 基于ICMP的网络发现算法【2.3 知︾识库和数据挖掘2.3.1 知识库建↓设2.3.2 报表中常用的数据挖掘算法2.4 运维报表与预警技术2.4.1 报告在运维中的应用2.4. 2 报告技术的分类 102.4.3 报告在运营中的应用与维护 102.5 运维中的资源评估技术 112.5. 1 资源评估的概念 112.5.2 资源评估的方法112.5.3运维中的信≡息采集122.6模板技术122.6.12.6.的特点介绍@>132.6.3工作原理132.6.4 142.7 章节总结163.1 系统开发目标163.2 系统需求分析々 163.3 数据集成与处理 163.< @3.1 网络拓扑信息排序163.3.2 监控项均值阈值处理17<@ 3.3.3预警系统改进183.4系统集成203.5章节总结224.1系统总体架构224.1. 1 系统♂设计图 224.2 智能运维设计关键技术功能254.2.1运维拓扑图生成on254.2.2完善知识库284.2.3人工预◥警系统建设304.2.4系统资源☉报告评价模块374.3数据处理与显示394.4系统集成实施414.4.1报警实施与方案生成414.4.2方案配置414.< @4.3Plan .5应用结果及分析444.5.1网络拓扑结果统计44 4.5.2上报统计及故障预警应用分析46< @5.1 推理465.2 展望1.1 课题来源 本课题以数据挖掘为出发点 天津市重点⊙实验室承担的智能运维系统子课题研究与实施实现运维◥系统智能化过程中的关键技术。

研究的技术包括运维拓扑图的实现、智能预警ㄨ系统的改进、资源报表的评估等。拓扑图的实现是基于网络拓扑发▃现算法生成运维网络拓扑图。预警系统的实现过程是对实时和历史数据进行分析处＠理，实现资源的报︼表分析，结合预警模块实现相应节点的上报和预警功能。同时，系统可以对节点上的相关设备进〒行检测，构建较为完善的运维上报系▓统，实现故障的分级上报。根据项目组的实际需求和任务定义，承担运维拓扑图生成、预警系统完善、资源报告评估等功能的设计开发过程. 1.2研究背景我国的IT运维管理几乎与互联网行业的发展同步。 2000年之前，几乎是一片空白，只有一些电脑维修＠ 和保养工作。发展的黄金时代已经过去十年。随着互联网技术迅速融入国外各行各业，互联网技术以令人瞩目的速度发展。同时，随着各种问题的出现，IT运维管理逐渐受到广大用户的关注，运维工作不再是简单的自动化设备维护，而是逐渐走向正规化。在用户体验互联网带来的便利的同时，运维工作的重要性♀也越来越被认可，客户需要一整套成熟的系统来做好运维工作。但由于国外互联网产业引入较晚，运维所需的各种软硬件的支持远远落后于◆美国，客观激励的☆障碍使得运维工作远远落后于加拿大的步伐。

据悉，运维管理人员长期以来没有得到应有的重视和尊重。近年来，随着客观条件的改善，运维行业取得了长足的发展。以ITIL系统为核心的运维系统在国外已经得到了很好的发展。走在这个行业前沿√的国外企业有很多，北塔和ζ摩卡更是名列前茅。作为国外最成功的运营商之一，北塔公司于2010年发布了公司最成功♀的运维软件BTNM技术蓝皮书，书中详细介绍了产品的功能，重点介绍了ITIL的应用。此外，北塔在服务运维方向上也做了一定的延伸。摩卡开发的运维软〇件，高度依赖运♂维，也具有很高的应用价值。与北塔不同，摩卡在◥故障处理上相对成功。不仅是▲必要的故障管理模块，还有一些故障分析功能，在实际应用中具有很高的附加值。对比两款产品可以发现，两者都非常重视流程管理，因为这是运维的核心。区别也很明显：北塔重视应用开发，摩卡重视商业模式建设。由于国外运维发展▃缓慢，早期美国的一些运维开发商如惠普、IBM等占据了中国运维市场的大部分，这些厂商凭借先进的技术理论主导了运维市场。运维产品也是基于以ITIL为代表的理论的运维管理系统。随着ITIL给联通开发者带来了显着的利益，ITIL逐渐被国外所接受，运维技术也得到▲了足够的重视。

但近年来，由于国内厂商核心代码私有化，后期使用出现不少问题，需求减少会降低高昂的运维成本。同时，国外的运维也发展得ㄨ很好，所以美国的运维产【品也逐渐淡出了中国市场。针对这些情况，我们的重点不是简单地优化传统的运维形式。运维的发展方向是业务管理而不是简单的事务处理。传统的运维理念给我们指明了方向，但如何走上路是每个运维人都应该思考的问题。作为行业发展标准，ITIL 依然」不落后。在这个标准下，我们当前的任务是尽快将新一代运维管理与旧模式结合起来，“取其精华，去其糟粕”。只有这样，才能顺应时代发展趋势，将运维管理推向一个新的高度。 1.3研究意义随着IT行业的发展，作为『运维管理对象的互联网等计算机资㊣　源规模不断扩大。另一方面，运维人员似乎有所减少，整体技能水平接近美国，但本土运维人员的专业技能参差不齐。在这种◥情况下，顺利的运维工作给大家带来了很大的麻烦。为了便于操作、维护和管理，新一代网管系统具有良好的图形界面。在新的网管平台下，非专业用户无需完全掌握设备的配置方法，通过管理平台即可快速完成多台设备的〗配置和监控。

但由︼于人为激励的干扰，管理过程中仍会出现设备功能使用不完整或不正确的问题，整体工作效率不理想。作为网络管理的重要组成部分，局域网的运维管理对于局域网用户来说起着非常重要的作用。值得思考的是，现实中，在当前形势下，局域网运维工作并没有得〓到足够的重视，给运维工作的顺利进行①带来了麻烦。由于局域网中涉及的主机或服务器对用户来说非常重要it运维技术，因此＠ 确保其运行安全和使用安全是网络管理者最关心的问题。局域网监控是建立在局域网的基础上，以计算机技术、网络技术、通信技术、控制技术等高新技术为基础，以监控、管理、报警等为手段，实现对本地的管理。局域网，同时保证局域网的安全运行。它可以为网络管理员提供清晰的监控数据信◢息。举办网络运维将有助于解决现实中运维效率低的现状。拓扑图的使用充分发挥了视图交互的优势，让用户可以直观地看到一个平面结构，而不是像中国石油学院（南京）那样的网络环境。本系统对拓扑图的扩展，增加了报表系统和预警系统，加强了拓扑图的效果。报表系统充↑分利用历史数据，利用基本的物理处理和数据挖掘方法，获取网络用户使用的内在规律和联系，并将这些规律整合为用户运维管理的有利ζ信息。

新增的预警系统可以在发现问题之初甚至在问题发生之前就做出快速准确的报告，有效缩短运维周期，一改以往的报告系统“发现问题，发出警报，经理响应，解决问题”模型。预警方案生成系统为智能运维提供了可能。随着知识库的积累，从知识库中〇得到的候选方案会越来越准→确有效，运卐维方案的实际作用也会越来越大。 1.4 主要工作 本课题的主要研究内容是智能运维监控系统的一部分，是在ITIL基础上开发的1.0版本的后续开发并结¤合实际需要。本文的主要内容有：网络拓扑图的生成与优化、自动预警系统的改进、系统日志模块的开发与建∏立、系统故障诊断模※块的构建、资源报告评估系统的构建等。拓扑图模块，主要建立▃了前人工作的不足，并完成了系统告警和预警工作。拓扑图建立后，网络结构层次更加清晰，结构更加清晰。新增的诊断结果和评估结果也让网络节点的内容越来越丰富。拓扑图与其他模块有效结合，实现了从基于流程的运维到智能运维的蝶变。还建立了知识库和系统日志系▲统。在此基础↙上，对相关数据进行物理处理和简单挖掘分析，最终得出有效的推论。根据推理诊断设备故障，并提供解决方案，实现真正的预警功能。

资源报告制度的完善也促进了计算机资源的有效量化。从评价结果可以直观地看出各部门对计算机资源的∑依赖程度，更清楚地得出各部门对资源使用的联系程度。这种报表为决策者进行资源调度决策提供了实际的量化依据。 1.5 论文结构 本文结构「如下： 第一章：介绍课题来源、发展背景、研究意义和完成的主要工作。第二章：介绍与发展相关的关键技术。重点介绍同类型系统，开发过程中用到的一些常用技术和概念。其中包括新型网络运维管理模型、网络拓扑发现技术、数据挖掘中的知识库与降维分析、数据处理与页面『实现技术等。 第三章：智能运维】系统关键技术要求分析章节分小节介绍系统各模块的功能需求以及技术实现的分析方法和流程。第四章：描述智能运维系统关键技术的设计与实现过程。本章通过具体技术逐步实现网络拓扑图的生成、预警系统的改进、资源评↓价报告体系的构建。同时展示了开发过程中的关键○截图和实现代码，介绍了模块设计和实现过程中的一些重要技术︼以及部署和实现的过程。第五章：分析推论，总结ω系统的不足。总结了现有系统实现的功能和用户应用后的反馈，总结了系统实现成果的优势和系统功能需要进一步完善的地方，提出了改进未来发展方向的建议。系统。

中国石油科学研究院（南京）硕士论文关键技术介绍2.1信息采集技术2.1.1介绍作为一款流行的开源监控∞系统，可以快速监控系统运行状态和网络信息。在监控之下，所有被监控的主机或服务都暴露在管理员的眼前。当被监控对象出现异常时，上报机制会以自己的方式通知管理员。可以用C编译器运行Linux/Unix平台，并提供WEB界面供用户查看管理对象的◥网络状态和系统☉日志。可以监控的功能[7-10]总结如下：监控主机的可用资源（CPU利用率、磁盘使用率等）；可以支持和实现主机的冗余◆监控； (10)多种集成B/S接口，符合最新发展趋√势，方便用户操作。2.1.2信息采集原则必须在Linux机器上运行用C语言编译器或类似机器，另外，运行的机器必须能联网并支持TCP/IP协议，才能实现远程检测服务，加载器还必须运行支持WEB服务的服务╱器，以提■供支持用于CGIs程序的运行。它没有监控主机和服务的功能。

之所以能做到这一点，是因为使用了外部插★件。监控检测功能[11]启动后，可以调用已安装的插件按照设定的周期对目标服务器进行检查，所有返回的状态〒信息都会进入构建队列。按照ㄨ顺序读取信息，经过一系列处理，结果显示在浏览器上。它有很多插件，用户可以根据自己卐的需要安装后完成监控目标。内置插件的名称有一定的规则，用户可以根据自己的需要学习和更改这些插件。下，可以运行/**-h，系统会返回插件的使№用情况。返回的状态信息包括以下几种，如下表2.1[12]所示。 . .状态码颜色OK红色警∏告红色严重白色未知错误深蓝∑　色有功能，必须通过远程服务器对象进行管理。系统提供了一个插件NRPE。这个插件的主要功能是完成数据传输。系统定期运行NRPE，获取远程服务器返回的各种状态信息。

它们之间的关系如右图2.1[13]所示。图2.1 工作原理图 图2.1 通过NRPE接◆收远程管理服务的命令，完成指定服务的★测量；通过 SSL 插件连接到远程机器上◎运行的 NRPE；通过 NRPE 运行本地插件以检查本地服务。检测完成后，NRPE将检↙测结果传送给控制终端，并按照一定的规则通过读取信息来显示检测结果。中国石油学院（南京）硕士学位论文2.2 网络拓扑发现算法简介2.2.1 基于SNMP的网络拓扑发现算法SNMP()目前运行于TCP/A基于 IP 的网络管理合约，它是在 UDP 之上运行的应用程序∑级合约。 SNMP主要由三＠部分组成：管理信息结构、SNMP和MIB。 MIB是将可以通过网络契约访问的管理对象封装成一个集合进行访问，用于描述所有网络元素（路由器、网桥等）的重要信息。

从数据中我们知道，在MIB中，与拓扑相关的有效信息如下： 表中存储了包ζ　括路由器在内的地址信息，见下表2.4。表2.2 路々由套接字信息表2.2 套接字索引套接字描述部分类型表2.3 路由表表2.3 目的地址本地端口索引路由类型下一个跳转表< @2.4路由地址】信息表2.4实体ip 索引实体ip子网网段2.2.2基于ARP的网络拓扑发现算法 大多数网络所有路由器都支持ARP协定，即维护一个ARP表it运维技术，其中包含该网段内所有活动主机和网络设备的信息◥。使用此信息，网关可用于发现网络拓扑。任何网络设备也可以发现其他网络设备和与∴其连接的主机，然后♀根据其他信息判断连接的设备是网络设备还是主机，从而得到整个网络的拓扑结构。

这些技术不能用于不支持 ARP 合同的设备。如果网络规模太大，可能很难将所有活跃的主机都包含在 ARP 中，所々以这些技术只能在局域网中使用。 2.2.3 基于 ICMP 的网络发现算法 这些技术使用两种□常见的 ICMP 工具，Ping 和 .首先使用Ping网络依次进行ping扫描，可以找出网络中活跃的网络设备，然后√操作所有活跃的网络设备，分析两次操作返回的信息，就可以得到整个网络。拓扑。这些技术需要扫描局域网内的所有IP地址，会给服务器和整个网络带来负担。同时ICMP过于简单，所以这些检测方法在一定程度上是盲目的。子网。通过对←比可以看出，基于ARP和ICMP的网络发现合约在理论上似乎能够完成网络拓扑发现的功能，但它们的缺点也◤很明显：基于ARP的发现算法的应用〇范围有限，而基于ICMP的发现算法发现效率太低。相对而言，基于SNMP的发现算法具有更高的发现效率，因此本文网络拓扑图的实现部分采用了这些网络发现算法2.3知识库和数据∮挖掘2.<构建的@3.1个知识库知识库是一个基于知识的数据库系统[14]。

所谓知识，是指人们在社会实践过◇程中的行为、数据、规范等。知识库是基于知识的▆计算机系统。因为知识是人们生活过程中表现出来的数据，知识库可以在一定程度上反映人或事物的思想、习惯、规律等。因此，知识库具有一定的■智能性。近年来，随着人工智能和知识发现技术的进步，知识库在科学领域的重要性逐渐为人们所认识，知识库以其独特的特点发挥着越来越重要的作用↓。同样，在运维系统中，各种事务的并列、因果、偶发关系，有着内在的联系。这些都ㄨ是有用的资源，值得以新的▲数据分析方式寻找模式。通过文本处理工具的处理，我们可以从海量的知识库中找到事物发展的必然联系，把握变化规律，并将其应用到实际运维中。最终实现更好的运维管理，是迈向智能化的重要一步。知识库ω　主要用于运维系统中，记录运维中的事务和日』志。如系统运行记录、系统故障排除、系统事务或流程的成功案例，以及实施报警或预警方案的全过程。随着记录的积累，知识库会越来越丰富。这些积累的数据是后期中国石油学院（南京）硕士论文数据分析的重要依据。数据库在运维中★的构建过程，前期是积累过程，后期是数据分析。要想做好后期的数据分析，前期的积累过程是必不可少◎的。 2.3.2 报表中常用的数据挖掘算法 二阶段报表生成方案[12] 二阶段报表生成方案，即模板设计和报表生成分离，一份生成模板，另一块实现报表的映射生成。设计生成报表模板后，在生成后续报表时，只需要调用相¤应的模板，将分析后的数据映射到模板即可。降维分析是数据挖掘中常用的数据分析方法