InfluxDB是一款用Go语言编写的开源分布式时序、事件和指标数据库，无需外部依赖。该数据库现在主要用于存储涉及大量的时间戳数据，如DevOps监控数据，APP metrics, loT传感器数据和实时分析数据。

InfluxDB特征

? 无结构(无模式)：可以是任意数量的列(tags)。

? 可以设置metric的保存时间。

? 支持与时间有关的相关函数(如min、max、sum、count、mean、median等)，方便统计。

? 支持存储策略：可以用于数据的删改(influxDB没有提供数据的删除与修改方法)。

? 支持连续查询：是数据库中自动定时启动的一组语句，和存储策略搭配可以降低InfluxDB的系统占用量。

? 支持类似SQL语法。

? 支持设置数据在集群中的副本数。

? 支持定期采样数据，写入另外的measurement，方便分粒度存储数据。

? 自带web管理界面，方便使用(登入方式：http://< InfluxDB-IP >:8083)。

? 最关键的一点，也是我采用的原因，支持Grafana画图展示。

有了InfluxDB+Grafana后，你就可以用python写一些简单的程序了，可以只负责写后端逻辑部分，数据都可以存入InfluxDB，然后通过Grafana展示出来，然后做一系列的监控工作，后面会进行详细介绍

influxdb安装

二进制安装，这里以centos6.5为例进行安装。

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.1.0.x86_64.rpm

yum localinstall influxdb-1.1.0.x86_64.rpm

安装后，在/usr/bin下面有如下文件。

influxd influxdb服务器
influx influxdb命令行客户端
influx_inspect 查看工具
influx_stress 压力测试工具
influx_tsm 数据库转换工具（将数据库从b1或bz1格式转换为tsm1格式)
在/var/lib/influxdb/下面会有如下文件夹data 存放最终存储的数据，文件以.tsm结尾
meta 存放数据库元数据
wal 存放预写日志文件
InfluxDB基本概念

在具体的讲解influxdb的相关操作之前先说说influxdb的一些专有名词，这些名词代表什么。先看下面一段Influxdb中的表信息。

> select * from disk;

name: disk

time count device free hostname used used_percent

---- ----- ------ ---- -------- ---- ------------

1502089306183159978 1 /data 80 server01 100 60.33

1502089342879496791 1 /data 90 server02 110 68.33

InfluxDB是时序数据库，所以怎么都绕不开时间，第一纵列time存储着时间戳，而时间戳是与数据进行关联，这样才能将时间和数据进行展示。

influxDB中的名词

database 数据库名，在InfluxDB中可以创建多个数据库，不同数据库中的数据文件是隔离存放的，存放在磁盘上的不同目录
measurement 测量指标名,相当于传统数据库表名
tag 标签，在InfluxDB中，tag是一个非常重要的部分，表名+tag一起作为数据库的索引，是”key-value”的形式
tag key 各种索引的key
tag value 各种索引的value
tag set 由一系列的tag组成。tags 在 InfluxDB 中会按照字典序排序，不管是 tagk 还是 tagv，只要不一致就分别属于两个 key，例如 host=server01,region=us-west 和 host=server02,region=us-west 就是两个不同的 tag set
field 数据，field主要是用来存放数据的部分，也是”key-value”的形式
field key 各种记录key
field value field对应的value就是fieldName，InfluxDB中支持一条数据中插入多个fieldName，这其实是一个语法上的优化，在实际的底层存储中，是当作多条数据来存储
field set 由一系列的key=value组成key set
timestamp 时间戳，作为时序型数据库，时间戳是InfluxDB中最重要的部分，在插入数据时可以自己指定也可留空让系统指定,在插入新数据时，tag、field和timestamp之间用空格分隔。在 TSM 存储引擎中会特殊对待，为了优化后续的查询操作
series 序列，所有在数据库中的数据，都需要通过图表来展示，而这个series表示这个表里面的数据，可以在图表上画成几条线，通过tags排列组合算出来
Retention policy 数据保留策略，可以定义数据保留的时长，每个数据库可以有多个数据保留策略，但只能有一个默认策略，InfluxDB 会定期清除过期的数据

InfluxDB基本操作

#创建数据库create database "db_name"
#显示所有的数据库show databases
#删除数据库drop database "db_name"
#使用数据库;use db_name
#显示该数据库中所有的表;show measurements
#创建表,直接在插入数据的时候指定表名(key-value)insert disk,hostname=server02,device=/data free=90,used=110,used_percent=98.33,count=1
#删除表;drop measurement "measurement_name"
python操作influxdb数据库

安装influxdb-python

pip install influxdb

使用python操作influxdb，数据库操作完整示例如下

#! /usr/bin/env python
#-*- coding:utf-8 -*-
from influxdb import InfluxDBClient
client = InfluxDBClient(‘localhost‘, 8086, ‘root‘, ‘‘, ‘‘) # 初始化
print client.get_list_database() # 显示所有数据库名称
client.create_database(‘testdb‘) # 创建数据库
print client.get_list_database() # 显示所有数据库名称
client.drop_database(‘testdb‘) # 删除数据库
print client.get_list_database() # 显示所有数据库名称

创建新表并添加数据

InfluxDB没有提供单独的建表语句，可以通过并添加数据的方式建表，示例如下

json_body = [

{

"measurement": "students",

"tags": {

"stuid": "s123"

#"time": "2017-03-12T22:00:00Z",

"fields": {

"score": 89

}

]

client = InfluxDBClient(‘localhost‘, 8086, ‘root‘, ‘‘, ‘testdb‘) # 初始化（指定要操作的数据库）

client.write_points(json_body) # 写入数据，同时创建表

利用时序数据库进行自动化监控

以上讲解了influxdb的基本使用，后面谈一下influxdb在监控中的应用，使用python脚本将监控数据存入influnxdb，然后使用grafana进行图表显示。下面案例是监控图片上传到七牛云存储的上传和下载时间，以及ping七牛域名的响应时间，在工作中我们经常上传云存储比较慢的现象，我们将采集到的数据存入到influnx

##
脚本放到linux的crontab脚本中，1分钟执行一次，每次执行会将数据打印到influnxdb进行存储# -*- coding: utf-8 -*-
import os,sys,commands
import datetime
from influxdb import InfluxDBClient
import sys, time, subprocess,os
logFile = os.getcwd()+"/vrping.log"
#打印日志函数
def logger(logContent,logFile):
 with open(logFile,'a') as f:
 f.write(logContent+'\n')
#获取时期函数
def get_today_date():
 now_time = datetime.datetime.now()
 yes_time = now_time + datetime.timedelta(days=0)
 yes_time_nyr = yes_time.strftime('%Y-%m-%d')
 result = str(yes_time_nyr)
 return result
def annotate(time_loss,time_delay,server_name,Average_Speed,Average_Time,used_time):
 """Send the data across to InfluxDB as an annotation"""
# client = InfluxDBClient("10.99.69.40", 8086, 'testdb')
#连接influnxdb
 client = InfluxDBClient('10.99.69.40', 8086, 'root', '', 'testdb')
#构造数据
 data = [
 {
 # The 'table'
 "measurement": "vr_ping",
 # Metadata
 "tags": {
 "stuid": "sdds"
 },
 # Data
 "fields": {
 "time_loss": time_loss,
 "time_delay": time_delay,
 "server_name":server_name,
 "Average_Speed":Average_Speed,
 "Average_Time":Average_Time,
 "used_time":used_time
 }
 }
 ]
 try:
 client.write_points(data)
 except Exception as e:
 logger("写入数据失败",logFile)
 print e
#定义函数，制作数据写入influnxdb
def vr_ping(server_name):
 file = '/tmp/zabbix-vr.jpg'
 command = 'wget --timeout=3 http://oe9anrc75.bkt.clouddn.com/zabbix-vr.jpg?attname= -O %s' % file
 cmd1="ping -W 0.5 -i 0.05 -c 1 {0} -w 1|grep -oP '(?<=time\=)[0-9.]+'||echo 1000.1".format(server_name)
 cmd2="ping -W 0.5 -i 0.05 -c200" +" " + server_name +" "+ " -w 15|grep loss|awk '{print (200-$4)/200*100}'"
 cmd3 = "/root/qshell fput panop2 zabbix-vr.jpg /root/zabbix-vr.jpg true|grep 'Average Speed:'|awk '{print $(NF-1)}'"
 cmd4 = "/root/qshell fput panop2 zabbix-vr.jpg /root/zabbix-vr.jpg true|grep 'Average Speed:'|awk '{print $3}'"
 (status, output) = commands.getstatusoutput(cmd1)
 if status == 0:
 time_delay=output
 else:
 logger("time_delay 执行失败",logFile)
 (status, output) = commands.getstatusoutput(cmd2)
 if status == 0:
 time_loss=output
 else:
 logger("time_loss 执行失败", logFile)
 (status, output) = commands.getstatusoutput(cmd3)
 Average_Speed = output
 (status, output) = commands.getstatusoutput(cmd4)
 Average_Time = output
 # command = 'wget --timeout=3 http://oanphm9zg.bkt.clouddn.com/0cf863.m3u8?attname= -O %s' % file
 #print command
 start_time = time.time()
 # print start_time
 sp = subprocess.Popen(command, bufsize=1024, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE,
 close_fds=True)
 out, err = sp.communicate()
 end_time = time.time()
 # print end_time
 if err:
 if '200 OK' not in err:
 used_time = 5
 print used_time
 sys.exit(1)
 used_time = (end_time - start_time).seconds
 used_time = round(used_time,2)
 os.remove(file)
 annotate(time_loss, time_delay, server_name,Average_Speed,Average_Time,used_time)
vr_ping('up.qiniu.com')

结合grafana使用

grafana 是一款界面美观、强大的可视化监控指标展示工具，采用 go 语言编写的开源应用，主要用于大规模指标数据的可视化展现，基于商业友好的 Apache License 2.0 开源协议。

grafana安装

$ wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm
$ sudo yum localinstall grafana-4.2.0-1.x86_64.rpm
grafana启动service grafana-server start
grafana后台页面访问http://IP:3000

Grafana添加IfluxDB为数据源

利用grafana进行画图

总结

在我们平时工作中，会遇到各式各样的监控，使用python +influnxdb+grafana进行数据改造、数据入库、数据图形化显示是一种比较灵活常见的方式，在工作中会遇到很多，不管是业务数据还是机器基础监控数据，都可以将数据打点，最后展示出比较友好的图形化界面。

活用时序数据库，玩转自动化监控

influxdb安装

InfluxDB基本操作

利用时序数据库进行自动化监控

结合grafana使用

总结

相关推荐

idea本地配置连接远程hadoop集群的一些网络问题解决汇总

Ceph运维手册(基于P版本)

无缓存不行?例行升级的入门级阿斯加特AN2 SSD装机点评

大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置

Tensorflow分类loss函数总结 tensorflow绘制loss曲线

R语言学习笔记(七) -离散型数据的模型预测2

iOS Runtime详解

7 个对 Java 意义重大的性能指标，你知道几个?

PHP 远程调试最佳实践

Laravel框架使用图片处理简单教程