在前面的系列文章中，介绍了Tensorflow 的图像标注、模型训练以及模型结果文件导出的方法。这里继续前面的内容，在训练完成后，会生成的训练模型文件（.pb）以及导出检测类别的文件（.pbtxt），有了这两个文件，就可以使用OpenCV 的dnn模块来完成目标检测功能。本文通过C++ 和Python 两种方式介绍一下实现目标检测的实现方法。

这里先理一下几个关键步骤，

1）加载模型，通过net=dnn.readNetFromCaffe('.pb','.pbtxt');

2）图像预处理，使用blob=dnn.blobFromImage；

3）获取检测结果，调用 net.setInput(blob) detections = net.forward();

4）最后对detections进行后处理，得到bounding box等相关信息

5）在图中绘制检测结果

C++和Python 两种方式都是按照上面的步骤来实现的

C++ 实现

参考如下功能实现代码，

//pbFile是pb模型的路径，pbTxt是pbtxt文件的路径
dnn::Net net = dnn::readNetFromTensorflow(pbFile, pbTxt);
vector<Mat> outs;
vector<String> outNames = net.getUnconnectedOutLayersNames();
//dnn::blobFromImage的1.0 / 255将数据归一化到0~1
Mat inputBlob = dnn::blobFromImage(cropImg, 1.0, Size(cropWidth, cropHeight), Scalar(), false, false);
//将图像输入模型
net.setInput(inputBlob);
//forward输出的outs是一个1 x 1 x N x 7的矩阵，N是预测结果的数量，可能很多，还需要进行后处理
net.forward(outs, outNames);

因为是要进行目标检测，所以这里将结果转换成了boundingbox的形式，并且将confidence低于阈值的去掉。

接下来进行非极大值抑制，将重合度高的boundingbox去掉。

vector<int> indices;
dnn::NMSBoxes(boxes, confidences, confidenceTH, nmsTH, indices);

预测已经完成，将结果画出来，

rectangle(img, Point(left, top), Point(right, bottom), Scalar(0, 255, 0));

Python 实现

python 使用模型文件实现目标检测功能的要点与C++ 一致，参考如下实现代码，

#预测功能
def excute_predict(self,imgpath,threshold=0.3):
####.pb和.pbtxt 文件
cvNet = cv.dnn.readNetFromTensorflow(strpbfilepath,strdatasetfilepath)
img = cv.imread(imgpath)
rows = img.shape[0]
cols = img.shape[1]

cvNet.setInput(cv.dnn.blobFromImage(img, size=(rows, cols), swapRB=True, crop=False))

cvOut = cvNet.forward()
for detection in cvOut[0, 0, :, :]:
# score = float(detection[2])

# 保留2为
score = float('%.2f' % float(detection[2]))

if score > threshold:
print(detection)

objectClass = int(detection[1])
print(objectClass)

left = detection[3] * cols
top = detection[4] * rows
right = detection[5] * cols
bottom = detection[6] * rows
//利用OpenCV 显示检测结果
cv.rectangle(img, (int(left), int(top)), (int(right), int(bottom)), (0, 255, 0), thickness=2)

label = self.classNames[objectClass - 1]
print(label)
//显示类别和预测概率
cv.putText(img, str(label) + ":" + str(score), (int(left - 100), int(top)), cv.FONT_HERSHEY_SIMPLEX, 1,

(255, 0, 0), 2)
cv.imshow('img', img)
cv.waitKey()

测试的模型和类别文件分别是 ssd_mobilenet_v1_coco_11_06_2017 和 mscoco_label_map.pbtxt，检测效果如下，

这个模型的检测效果不够理想，如果感兴趣的话，可以自己针对性的训练一个更好的模型，这里重点是介绍调用模型的方法。End~