欢迎大家一起学习交流

运维是一个综合ω　多学科（网络、系统、开发、安全、应用架构、存储等）的综合性技术岗位，从最初的网络】管理（网络管理）到今天的系统运维工程师，网络运维工程师、安全运◎维工程师、运维开发工程师等，可见运维的分工还在细化，对综合技能的要求越来越高可见，未来运维的发展趋势是高、精、尖，高即高，精即精通，锐即尖端，即运维工作场所必须站在一定的技术高度必须能够控制趋势。

一、运维岗位的发展与趋势

根据不同运维领域和技术方面的三个方面，以及分工流程，了解2019年运维岗位的发展趋势。

1、由字段定义

1）、基础设施运维：IDC/网络运维、服务器/存储设备运维

2）、系统运维：系统中间件运维、云测算平台运维

3）、数据运维：数据库运维、大数据技术平台运维

4）、应用运维：应用软件系统

5）、云平台运维：公有云平台█运维

6）、容器运维：基于容器服务的运维

2、按技术方面分

1）、安全运维

2）、性能运维

3）、数据运维

4）、一体化运维

3、由进程定义

1），构建/持续集成，发布

2），安装部署，升级，迁移，合并，扩展

3），配置，初始化，配置更改

4），备份，传输，恢复

5）、日志、监控、警报

6），诊断故障排除，优化

二、系统运维技能图

系统运维是运维的基础。新的一年，对基本运维技能的要求也越来越高。打好系统运维基础，可以深入学习身边的各种运维技巧。

右图列出了系统运维必备的技能：

三、Web运维技能图

Web运维是运维岗位中岗位最多的，薪资也比较高，但是需要掌握的知识点很多。新技能要掌握，老的运维技能不能丢。 Web运维需要掌握的各种必备技能。

四、大数据运维技能图

大数据从2017年开始逐渐走进生活的各个角落，2018年逐渐落地，2019年大数据依旧火热。再加上国家对大数据产业的扶持，大数据产业进入了新时代。每年的工作需求肯定会更强，所以掌握大数据运维的技能是运维的最前沿。

五、容器运维技能图

容器的形成是 IT 行业的一场革命。从 2015 年到 2016 年，业界普遍感受到容器技术的爆发。短短一年多时间，容器技术在中国大陆完成了零星的概念。为烽火燎原之大功。

如今，容器技术◤在国外大部分企业的落地已经成为共识，国外生态也呈现出企业产品、开源社区、公有云齐头并进的良好局面。为此，2019年也是容器继续快速落地的一年。右图列出了大数据运维必须掌握的各种基本技能。

六、数据为王的时代

高层建筑从地面开始，高层建筑的稳定性取决于地基是否牢固。运维数据是这座高层建筑运维的基础。运维数据大致分为四个方面：CMDB、日志、生产DB、知识库。

只有数据的维护和管理才重要，尤其是日志数据。对于运维来说，通过日志可以更准确、更全面地了解系统或设备的运行情况，并可以查看和恢复问题的原因。整个过程。通过日志服务器运维，还可以提前预知系统中可能出现的问题或故障，比如系统安全日志。如果网络攻击会在系统安全日志中体现出来。

下面简单介绍一下运维收集的日志数据的组成部分和用途。

1、系统日志

系统日志主要是指操作系统的日志，主要是/var/log下的各种日志信息。包含系统运行日志、系统安全日志、定时任务日志等。系统日志是运维管理安全模块中审计的重要依据。通常，默认的操作系统日志不能满足要求，需要更改系统的参数，例如给命令添加时间戳和IP，以及长时间保留历史记录。另外对日志文件进行处理，不允许用户执行空命令，只能追加。

2、应用日志

应用日志主要记录应用服∩务的健康运行和业务运行的具体日志。应用监控的运行状态反映了应用服务的健康状况。如果某个应用占用了CPU，或者显存太低，或者出现波动，可以通过分析应用日志和业务运行日志来推断。业务操作日志可以为业务☆审计提供主要依据。有些系统喜欢把业务操作日志放到数据库里，这也是需要注意的。但是，无论在哪里，需求都是不可或缺的，为后续的业务审计和问题回顾提供了依据。

3、数据库日志

数据库日志主要报告数据库的运行状态。通过对数据库的日志进行监控和管理，可以及时了解数据库的运行情况，及时解决问题。可以将数据库日志与数据库系统自带的数据库系统结合起来，比如系统视图v$、MySQL等也作为数据库日志的一部分进行管理和监控，我们已经及时知道数据库的监控状态，以防可能出现的问题。

4、设备日志

设备日志通常是一个容易忽略的地方，但它往往可以反映设备的运行情况。交换机故障、防火墙故障等设备故障都可能导致大规模的系统和服务故障。因此，必须收集、分ぷ析和监控设备日志，以进行预警。常用的设备日志包括交换机日志、防火墙日志、网络安全设备日志。

日志这么多，运维必须通过各种手段完成日志采集、过滤分析、可视化展↑示。那么如何实现这个功能，有很多技巧，比如ELK集成套件(,,)可以很方便的实现日志数据的实时采集、分析传输、图形化展示。

此外，还有一个附属于 Beats 的日志收集工具。 Beats 目前包括四种工具：

（收集网络流量数据）

（收集系统、进程和文件系统级别的 CPU 和视频内存使用情况等数据）

（收集文件数据）

（收集风暴日志数据）

如您所见，Beats 涵盖了收集日志数据的所有方面。

如何以这种方式使用ELK？根据日志量的不同，对应的ELK架构也不同。请参阅以下常见架构：

该框架主要收集各个节点上的相关日志和数据，经过分析过滤后发送到远程服务器存储。然后将数据〗压缩并存储在分片中，并提供多种API供用户查询和操作。用户可以通过Web直观地查询日志，并根据需要生成数据报表。

这个框架的优点是构建简单，使用方便。缺点是对系统资源的消耗比较大，运行时占用CPU和显存资源。此外，由于没有消息队列缓存，因此可能存在数据丢失的风险。建议初学者或数据量较小的环境使用此框架。

这就引出了第二个框架：

这种架构的主要特点是引入了消息队列机制。每个节点上的Agent（第一级，主要▃用于传输数据）首先将数据传输到消息队列（常见的Kafka、Redis等），然后，（第二级主要用于拉¤取消息队列数据，过滤和分析数据）并将低级数据传递给存储。最后，通过将日志和数据呈现给用户。由于引入了Kafka（或Redis）缓存机制，虽然远端因故障停止运行，但不会因为数据已经存储而丢失数据。

这些架构适用于集群∞大、数据量一般的应用环境，但是由于需要分析处理大量数据，以及存储和索引大量数据，负载会比较重解决方案是将它们配置为集群模式以分担负载。

这种架构的优点是引入了消息队列机制来平衡网络传输，从而增█加了网络阻塞的可能性，尤其是数据丢失，但是仍然存在占用系统资源过多的问题。服务器运维，可能会出现性能困境。

最后还有第三个▼框架：

这个框架是在其中的第二个框架的基础上改进的，主要是将后端收集数据的Agent替换为消息队列的Kafka集群，然后通过集群模式进行改进。该架构适用于集群小、数据量大的业务←场景。通过替换后端Agent来收集日志，有效减少业务系统资源的消耗。同时消息队列采用Kafka集群架构，有效保证了采集数据的安全性和稳定性，前端和集群采用集群方式构建，提升了效率、扩展性和吞吐量ELK 系统作为一个整体。

七、运用大数据思维进行运维监控

大数据分析从运维人员的日志分析开始，逐步发展到各种业务的分析。人们发现这种数据蕴含着巨大的价值。通过对互联网上研究对象的实时检测和跟踪所形成的海量行为数据，挖掘分析，阐明规律，提出研究推论和对策。这就是大数据的用途。

同样，通过大数据分析，我们可以得到各种指标，比如：

1、业务层面，如团购业务每秒访问量、每√秒检查团购券数量、每分钟支付、创建订单等。

2、在应用层面，每个应用的错误数、调用进程、平均访问时长、最大时长、95行等

3、系统资源层面：如cpu、内存、swap、磁盘、负载、主进程生存等

4、网络层面：如丢包、ping生存、流量、tcp连接等

而这种指标正是运维非常需要的。这种通过大数据分析的指标可以解决以下问题：

系统健康监测

找出问题的症结

系统问题的诊断和调整

跟踪安全相■关问题

如何运用大数据思维进行运维？大数据架构的一个思路就是提供一个运维平台方便地解决这类问题，而不是让大数据平台解决出现的问题。

一个基本的大数据运维框架如下：

对于运维的监控，借助大数据≡思维，需要分三步走：

获取所需数据

过滤异常数据并设置报警阈值

通过第三方监控平台发出警报

所有系统中最可靠的是日志输出。系统是否正常，发生了什么」，我们习惯在出现问题的时候查看日志，或者写一个脚本定期分析。现在这种东西可以集成到现有的平台中，我们唯一要做的就是定义解析日志的逻辑。

好了，这就是明天给大家介绍的新时代核心运维技能。抓住机遇，开始新的学习！有问题可以一起学习交流。