日志配置

3.1 日志数据接入（syslog协议）

背景介绍：公司有许多的设备，这些运维设备/系统的日志比较分散，存储和搜索等不方便，可以统一接入WeOps的日志管理中，进行统一存储，统一查询、统一使用。

整体步骤：交换机配置——日志接入——日志展示

Step1：交换机配置

开通交换机和日志服务器的相关策略，包括开通端口和协议。（注意：使用syslog协议进行日志收集，需要开通【网络设备→日志服务器】的UDP协议，端口为514。）
使用以下命令对交换机进行配置，配置传输日志的级别，使用的VLAN和日志服务器。

   info-center source default channel 7 log level warning
   info-center loghost source Vlanif30
   info-center loghost 10.10.xx.xx
   Info-center enable

Step2：日志接入

路径：管理-日志管理-数据接收

交换机配置完成后，如下图，在WeOps中进行日志的接入，选择syslog UDP/TCP（适用于网络设备和安全设备的日志接入），填写相关信息，注意协议和端口要和第一步开通的策略一致。

设置完成之后，符合该协议该端口下的所有设备的日志信息会通过该接收器被WeOps的日志管理接收，可以查看日志接收的速率等情况。

Step3：日志展示

路径：日志

日志数据接收完成之后，可以在“日志”中查看这个接收器的日志情况，支持进行搜索。

3.2 日志数据接入（探针模式）

背景介绍：公司需要接入一批日志数据，需要通过安装探针的方式进行采集，可以使用WeOps-日志探针安装和下发模块进行。对于探针的安装支持agent和无agent两种模式

(1) agent模式（自动安装）

整体步骤：主机安装agent——安装控制器——安装探针——创建配置文件——安装探针、关联配置文件进行下发。

Step1：前提条件，开通对应网络策略，主机安装agent

使用探针的方式进行日志数据的接入，需要开通对应的网络策略，需要开通的策略具体如下。

源	目标	协议	端口	用途
采集服务器	日志服务器	tcp	9000	配置同步
采集服务器	采集kafka	tcp	9092	数据传输

路径：管理-节点管理-Agent

使用的主机已经安装了agent，具体安装方法可见《操作手册-资源纳管-主机纳管》

Step2：安装控制器

路径：管理-节点管理-日志节点

对需要使用到的服务器，安装控制器，控制器的作用是控制探针的一些操作，所以安装探针之前需要对服务台安装控制器
如下图，进入日志节点页面，点击“添加主机按钮”选择需要安装控制器的主机，加入到列表后，同时进行控制器的安装，控制器的状态为“正常”可进行下一步。

Step3：安装探针

路径：管理-节点管理-日志节点

控制器安装好了以后，需要安装探针，目前WeOps内置了5类探针，auditbeat、packetbeat、filebeat、uniprobe、winlogbeat，需要使用哪类探针，勾选目标服务器后，点击“安装探针”按钮，选择给这个服务器安装探针，探针安装完后，显示“未启用”状态，需要后续关联配置文件方可启用。

Step4：创建配置文件

路径：管理-日志管理-采集配置

探针的启用需要关联对应的配置文件，WeOps支持对不同的探针设置配置文件，具体如下图

Step5：启动探针、关联配置文件进行下发

路径：管理-日志管理-采集配置

路径：管理-节点管理-日志节点

配置文件创建完成之后，需要把配置文件启用在具体探针上，有两种方式进行，一种是在配置文件列表点击“启用”按钮，把该配置文件启用在对应服务器的探针上面，如下图。第二种，是在日志节点页面，选择需要启动的服务器，选择需要启动的探针，为这个探针选择对应的配置文件。

当探针的状态为“绿色”则表明采集正常，可以在“日志搜索”页面查看接收到的日志信息

(2) 无agent模式（手动安装）

主机无需安装agent，采用手动的方式在服务器直接安装控制器和探针的安装包，并进行后续的使用。

整体步骤：手动安装————创建配置文件——关联配置文件进行下发。

Step1：安装控制器

如下图，点击“添加主机”，选择“手动安装”，这里可以选择没有安装agent/agent异常的主机，进入到手动安装页面，根据各个操作系统的指引进行安装（每个主机的步骤和参数略有不一样），安装成功后，自动获取状态为“安装成功”

安装成功的主机会自动呈现在外层的列表中，标识为“手动安装”，这是控制器状态为“正常”，其他所有探针状态为“未启动”，选择对应配置文件即可启动对应探针。

Step2：创建配置文件 Step3：关联配置文件进行下发

配置文件的创建和配置文件的关联和下发同“（1）agent模式（自动安装）”

日志控制器操作，包括安装、启动、重启、停止、卸载等操作可以根据指引进行手动操作，探针则包括安装探针、启动探针、修改配置、重启探针、修改探针等操作和自动安装的服务器一样，可以选择后自动操作。

3.3 日志分组配置

背景介绍：某公司接入的日志数据过多，对于日志的权限控制比较严格，可以通过日志分组的功能，对所有的日志消息进行划分不同的分组，并授权给不同的人员查看和使用。

整体步骤：设置日志分组——日志分组授权——日志分组使用

Step1：设置日志分组

路径：管理-日志管理-日志分组

如下图，创建日志分组，并为该分组创建符合的规则
分组规则：一个分组支持多个分组规则，可以在分组中进行创建和管理，分组创建完成之后，所有的原始日志会根据规则流入不同的分组，以便后续根据分组进行授权和使用。

Step2：日志分组授权

路径：管理-系统管理-角色管理

当日志分组创建完成之后，对不同角色进行授权，该角色即有该日志分组内日志的搜索和使用权限，授权过程如下：

Step3：日志分组使用

当普通用户拥有部分分组的权限时，将会体现在在以下位置

（1）日志搜索：普通用户在进行日志搜索的时候，可以选择自己有权限的分组和分组下的日志。

（2）日志监控策略创建：普通用户在创建日志的监控策略时，支持选择有权限的日志分组。

（3）仪表盘-日志组件：普通用户在使用仪表盘的日志组件的时候，支持选择有权限的日志分组。

3.4 日志提取配置

背景介绍：接入的日志数据比较原始，是非结构化/半结构化的数据，需要进一步进行提取，形成方面搜索/统计的字段，可使用日志提取功能

整体步骤：添加提取器（两种方式）——提取器效果

Step1：添加提取器（搜索页面进入）

路径：日志

在日志的搜索页，根据搜索条件展示出来需要的原始日志，在原始日志的字段值上可以进行创建提取器

支持复制输入、Grok模式等类型的提取器，以正则表达式为例，设置提取器支持填写正则表达式、设置条件（什么情况下进行提取）、存储字段、提取策略（复制一个新的，剪切成为一个新的）、添加特殊格式的转换器

Step1：添加提取器（数据接收进入）

路径：管理-日志管理-数据接收

支持为每个接收器创建提取器，选择提取的字段，为该字段选择适用的提取类型，设置提取规则并保存为新字段，以便后续使用。
在数据接收页面，点击“管理提取器”，进入到提取器管理页面，

在提取器管理页面，点击“开始提取”，通过最新数据/条件搜索两种方式，展示原始日志字段，用于创建提取器
这里以“正则为例”，展示提取器需要填写基础信息、提取规则，提取策略等相关信息，如下图，提取器设置完后，可以查看该提取器的性能情况。

WeOps支持的提取器如下表

提取器名称	适用	说明
复制输入	适用于需要从非结构化的日志数据中提取特定字段或值的场景。	将原始消息中的一部分数据复制到提取器的规则中，并将其存储在结构化的数据字段中
Grok模式	适用于需要从非结构化的日志数据中提取特定字段或值的场景。	用于从非结构化的日志数据中提取结构化数据。它使用预定义的Grok模式或自定义Grok模式来匹配和提取数据，包括一些特殊的模式，用于匹配常见的数据格式，如IP地址、日期、时间戳等。（WeOps内置常用的Grok表达式）（Grok表达式是一种用于解析非结构化或半结构化数据的模式匹配工具。它是由Elasticsearch社区开发的一种基于正则表达式的模式匹配语言）
JSON	适用于处理JSON格式的日志数据的场景。	可以从JSON格式的数据中提取特定的字段，并将它们存储在结构化的数据字段中。
正则表达式	适用于需要从未结构化的日志数据中提取特定字段或值的场景。	使用正则表达式从数据中提取特定的字段，并将它们存储在结构化的数据字段中
正则表达式替换	适用于需要替换日志数据中特定字符串的场景。	正则表达式替换器可以使用正则表达式从数据中匹配特定的模式，并将其替换为指定的字符串
分隔	适用于需要从日志数据中提取特定字段或值的场景。	使用指定的分隔符将数据分割成多个部分，并将它们存储在结构化的数据字段中
子窜捕获	适用于需要从日志数据中提取特定子字符串的场景。	使用指定的开始和结束字符串或位置来捕获数据中的子串，并将它们存储在结构化的数据字段中