最新没事通过阿里云手机app查看本站CDN使用状态,发现CDN统计信息中返回码4xx的占比一直持续很多,基本30%左右,有时候还飙到100%了快。通过查看nginx日志,发现有很多IP在刷站点上根本不存在的地址,所以有大量404出现。于是想统计下看哪些IP访问404页面比较多,将其加到黑名单,限制访问本站点。既然要统计不同IP出现次数了,肯定要用awk来比较方便了。记得之前有用awk来统计linux下不同状态连接数。但是真用起来突然发现不知道怎么用了。。。时间真是把杀猪刀⊙﹏⊙||| 又查了半天资料才给搞好,…

2019年02月10日 19855点热度 7人点赞 阅读全文

介绍elasticsearch6.5.0中安装使用elasticsearch-sql插件及es-sql-site-standalone前端web页面。以及安装使用过程中几个报错的解决方法:1、安装site-server报错npm: relocation error: npm: symbol SSL_set_cert_cb,;2、web界面使用sql查询es数据报错 Cannot POST /_sql等解决方法!

2019年01月02日 11026点热度 12人点赞 阅读全文

  之前测试grok正则匹配都是在一个网站测试的,但是最近突然发现这个站点打不开了,于是搜了下相关文档,本地安装部署了该测试工具。这里记录下在docker中搭建grok debug本地测试环境的过程,并将创建好的docker镜像提交到docker hub上面,方便以后下载使用。 一、在centos7.4上安装docker 1.1 使用以下两种方式安装docker 1.1.1 在线安装 [crayon-67558e6de66b1917840654/] 1.1.2 离线安装 百度网盘下载之前打包好的…

2018年12月31日 8089点热度 4人点赞 阅读全文

本文介绍使用bat脚本来启动及停止多个jar包。脚本执行首先切换到存放jar包的目录下,然后执行命令启动一个新的命令解释器窗口,并设置好标题(方便判断当前是哪个程序,不然程序都跑起来看输出不好分辨),然后启动指定jar包。等待指定时间之后,再按照这个流程启动其他指定的jar包。

2018年12月20日 14349点热度 3人点赞 阅读全文

通过几个简单的示例来介绍如何在logstash6.5.0配置中使用变量。您可以在任何插件选项类型中添加环境变量引用:string,number,boolean,array或hash,并且可以设置变量默认的值(如果变量为定义,则使用默认值)。但是需要注意的是环境变量是不可变的,如果更新环境变量的值,则必须重新启动Logstash。

2018年12月13日 8582点热度 2人点赞 阅读全文

logstash接收处理的数据在线程之间以"事件"的形式流转。不要叫行,因为logstash可以处理多行事件。而每一个事件在经过logstash格式化后可以划分为多个字段。包括logstash也会给事件添加一些额外的字段,例如@timestamp:用来标记事件的发生事件。如果没有使用过滤插件做切割的话,默认整个事件的数据信息会被分到message字段里面。这篇我们就介绍怎么查看事件、字段以及怎么使用它们!

2018年12月10日 7205点热度 4人点赞 阅读全文

介绍logstash6.5.0启动时指定的.conf配置文件结构说明、插件中设置的值类型、转义符以及注释等。其中值类型包括11种类型:1) 数组、2) 列表、3) 布尔值、4) 字节、5) 编解码器、6) 哈希、7) 编号、8) 密码、9) URL、10)路径、11)字符串。

2018年12月08日 5567点热度 2人点赞 阅读全文

介绍centos7.4下logstash6.5.0的安装及简单测试使用。包括:1、下载安装logstash6.5.0;2、通过在命令行中使用-e选项指定配置启动logstash;3、通过使用-f选项指定配置文件来启动logstash;4、logstash配置文件logstash.yml常用设置项及各个选项介绍!

2018年12月08日 4778点热度 2人点赞 阅读全文
1234517