opencv中应用ArUco标记的AR

先解释什么是ArUco标记，然后怎么用ArUco来做简单的AR任务。

ArUco标记已经被应用在相机姿态估计，相机校准等方面。

什么是ArUco标记

ArUco标记是2014年S.Garrido-Jurado开发出来的。

ArUco标记是一个基准点，其被放置在对象上或场景中。

一个ArUco标记外围都有一组黑色边框，同时内部有着确定该标记ID的二维矩阵组合而成。黑色的边框能加速标记在图像中的检测速度，内部的二维编码能唯一识别该标记，同时进行错误检测和错误修复。标记的大小确定了内部矩阵的大小，例如4x4大小的标记有16个bit（5x5就有25bits?）。

一般是打印这些ArUco标记，放在真实世界中，然后拍照，检测这些标记。

用OpenCV产生ArUco标记

可以使用opencv容易产生标记。opencv的aruco模块有25个预定义字典。

所有标记都包含相同的大小（4x4,5x5,6x6,7x7）。可以用getPredefinedDictionary函数来加载250个标记的字典。python代码如下：

import cv2 as cv
import numpy as np
?
# Load the predefined dictionary
dictionary = cv.aruco.Dictionary_get(cv.aruco.DICT_6X6_250)
?
# Generate the marker
markerImage = np.zeros((200, 200), dtype=np.uint8)

markerImage = cv.aruco.drawMarker(dictionary, 33, 200, markerImage, 1);
cv.imwrite("marker33.png", markerImage);

检测ArUco标记

#Load the dictionary that was used to generate the markers.
dictionary = cv.aruco.Dictionary_get(cv.aruco.DICT_6X6_250)
?
# Initialize the detector parameters using default values
parameters =  cv.aruco.DetectorParameters_create()
?
# Detect the markers in the image
markerCorners, markerIds, rejectedCandidates = cv.aruco.detectMarkers(frame, dictionary, parameters=parameters)

detectMarkers函数的第一个参数是带有标记的图像，第二个参数是产生标记的字典，

实际应用

# Calculate Homography
h, status = cv.findHomography(pts_src, pts_dst)
?
# Warp source image to destination based on homography
warped_image = cv.warpPerspective(im_src, h, (frame.shape[1],frame.shape[0]))
?
# Prepare a mask representing region to copy from the warped image into the original frame.
mask = np.zeros([frame.shape[0], frame.shape[1]], dtype=np.uint8);
cv.fillConvexPoly(mask, np.int32([pts_dst_m]), (255, 255, 255), cv.LINE_AA);
?
# Erode the mask to not copy the boundary effects from the warping
element = cv.getStructuringElement(cv.MORPH_RECT, (3,3));
mask = cv.erode(mask, element, iterations=3);
?
?
# Copy the mask into 3 channels.
warped_image = warped_image.astype(float)
mask3 = np.zeros_like(warped_image)
for i in range(0, 3):
    mask3[:,:,i] = mask/255
?
# Copy the masked warped image into the original frame in the mask region.
warped_image_masked = cv.multiply(warped_image, mask3)
frame_masked = cv.multiply(frame.astype(float), 1-mask3)
im_out = cv.add(warped_image_masked, frame_masked)

这个实例是把相框中的图像替换为了另外图片。就是利用检测aruco标记确定坐标来实现的。