Apple 已经成为动作捕捉行业的新玩家！可以说，其推出的 ARKit 将和移动设备 Kinect 相媲美。人物遮挡功能以及动作预测是 ARKit 框架的核心部分。本部分向你展示如何利用 iPhone 和 iPad 设备开发动作捕捉应用程序。

前提条件

因为我们开发的是 Apple 系统的应用，所以需要使用 Mac 计算机开发应用程序并利用 iOS 设备运行它们。

硬件

在硬件方面，你需要一个兼容 MacOS Catalina 系统的 MacOS 计算机。此外，动作捕捉应用程序需要 Apple A12 仿生处理器(Apple A12 Bionic processors)才能正常运行。以下 Mac 计算机和 iOS 设备都需要具备的开发条件：

对于这个指南，我使用的是一台 Mac Mini 主机和一个 11 寸 iPad Pro。

软件

为了运行顺利，您需要在您的 Mac 电脑中安装如下软件：

Unity3D 2019 mac 2019.1.5f1

MacOS Catalina 10.15 (Beta)

XCode 11 (Beta)

您的 IOS 设备需要更新至 iOS 13 (Beta)系统或者 iPadOS 13(Beta)系统。

正如你所看到的，在编写这篇文章时，大多数软件都是测试版(Beta)。请记住，设备可能会变得不稳定或无响应，因此要特别小心，不要丢失有价值的数据。新的文章将伴随着 ARKit3、iOS13 和 MacOS10.15 的公开发布。

如果你着急，请在 GitHub 上下载完整的源代码（代码地址：https://github.com/LightBuzz/Body-Tracking-ARKit ）。

继续阅读，了解如何创建自己的动作捕捉应用程序！

详细步骤

说的足够多了…让我们驶入 ARKit 的魔法世界吧。在你的电脑上，打开 Unity3D 2019.1 并且创建一个新的工程文件。

步骤一：设置主要的场景

Unity3D 将从一个空场景开始。在添加任何视觉对象(visual objects)或编写任何代码之前，我们首先需要导入适当的资源包(dependencies)。骨架跟踪功能是 ARKit 工具包的一部分。因此，我们需要导入 ARKit 和 ARFoundation 依赖包。

现在，创建一个新场景并添加 AR Session 和 AR Session Origin 对象(在 Unity 中创造 AR 场景，首先做的都是这两件事情)。这些对象控制 iOS 相机的同时也会提供大量的 ARKit 其他体验功能。

另外，添加一个空的游戏对象，例如命名它为：Human Body Tracking，并附加一个新的 C#脚本(HumanBodyTracking.cs)。

场景的结构看起来是这样的：

步骤二：设置骨架

视觉元素已经到位，我们现在可以开始添加一些交互性。打开HumanBodyTracking.cs脚本，引用ARHumanBodyManager 类。ARHuman Body Manager 是分析摄像机数据以检测人体的主要脚本。代码如下：

[SerializeField] private ARHumanBodyManager humanBodyManager;

为了显示关节，我们将使用一些简单的 Unity3D 球体材质。每个球体将对应于特定的关节模式。添加一个 C# Dictionary 类，以逐帧(frame-by-frame)更新关节数据。代码如下：

private Dictionary<JointIndices3D, Transform> bodyJoints;

最后，添加对骨架的用户界面元素的引用。我们需要球体材质作为关节，线材质作为骨骼。代码如下：

[SerializeField] private GameObject jointPrefab;
[SerializeField] private GameObject lineRendererPrefab;
private LineRenderer[] lineRenderers;
private Transform[][] lineRendererTransforms;

你可以在 GitHub 上找到 HumanBodyTracking.cs 这个类完整的 C#代码。(GitHub 地址：https://github.com/LightBuzz/Body-Tracking-ARKit/blob/master/body-tracking-arkit/Assets/Scripts/HumanBodyTracking.cs )

步骤三：动作捕捉检测

这是教程中最重要的部分！ARKit 已经使动作捕捉变得非常容易实现。你所需要的就是用 ARHumanBodyManger 对象并且订阅到humanBidiesChanged 事件。

private void OnEnable()
{
    humanBodyManager.humanBodiesChanged += OnHumanBodiesChanged;
}
private void OnDisable()
{
    humanBodyManager.humanBodiesChanged -= OnHumanBodiesChanged;
}

humanBidiesChanged 事件就好像是实现动作捕捉功能的咒语。动作捕捉的信息是事件参数的一部分。下面将告诉您如何获取动作：

private void OnHumanBodiesChanged(ARHumanBodiesChangedEventArgs eventArgs)
{
    foreach (ARHumanBody humanBody in eventArgs.added)
    {
        UpdateBody(humanBody);
    }
    foreach (ARHumanBody humanBody in eventArgs.updated)
    {
        UpdateBody(humanBody);
    }
}

很简单，对不对？所以，让我们完成以上操作，并在先前创建的 Unity 用户界面中显示骨架。

注意：笔者在写这篇文章时，ARKit 仅仅支持单个人物的动作捕捉。

步骤四：展示骨架

以下的代码会更新相机中关节的位置。在 iOS 相机摄像头中，球体材质和线材质都会被覆盖(overlayed)。

private void UpdateBody(ARHumanBody arBody)
{
    if (jointPrefab == null) return;
    if (arBody == null) return;
    if (arBody.transform == null) return;
    InitializeObjects(arBody.transform);
    NativeArray<XRHumanBodyJoint> joints = arBody.joints;
    
    foreach (KeyValuePair<JointIndices3D, Transform> item in bodyJoints)
    {
        UpdateJointTransform(item.Value, joints[(int)item.Key]);
    }
    for (int i = 0; i < lineRenderers.Length; i++)
    {
        lineRenderers[i].SetPositions(lineRendererTransforms[i]);
    }
}

Apple 支持 92 种关联模式(指数)。然而，不是所有的关联模式都能被追踪到！大多数是根据它们相邻关节的位置推断出来的。为了您的方便，我选择了 14 种关联模式，这样能够和 Kinect 相机公平比较。下面是如何连接合适的关节并形成人体骨骼的代码：

private void InitializeObjects(Transform arBodyT)
{
    if (bodyJoints == null)
    {
        bodyJoints = new Dictionary<JointIndices3D, Transform>
        {
            { JointIndices3D.head_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.neck_1_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.left_arm_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.right_arm_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.left_forearm_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.right_forearm_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.left_hand_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.right_hand_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.left_upLeg_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.right_upLeg_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.left_leg_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.right_leg_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.left_foot_joint, Instantiate(jointPrefab, arBodyT).transform },
            { JointIndices3D.right_foot_joint, Instantiate(jointPrefab, arBodyT).transform }
        };
        lineRenderers = new LineRenderer[]
        {
            Instantiate(lineRendererPrefab).GetComponent<LineRenderer>(), // head neck
            Instantiate(lineRendererPrefab).GetComponent<LineRenderer>(), // upper
            Instantiate(lineRendererPrefab).GetComponent<LineRenderer>(), // lower
            Instantiate(lineRendererPrefab).GetComponent<LineRenderer>(), // right
            Instantiate(lineRendererPrefab).GetComponent<LineRenderer>() // left
        };
        lineRendererTransforms = new Transform[][]
        {
            new Transform[] { bodyJoints[JointIndices3D.head_joint], bodyJoints[JointIndices3D.neck_1_joint] },
            new Transform[] { bodyJoints[JointIndices3D.right_hand_joint], bodyJoints[JointIndices3D.right_forearm_joint], bodyJoints[JointIndices3D.right_arm_joint], bodyJoints[JointIndices3D.left_arm_joint], bodyJoints[JointIndices3D.left_forearm_joint], bodyJoints[JointIndices3D.left_hand_joint]},
            new Transform[] { bodyJoints[JointIndices3D.right_foot_joint], bodyJoints[JointIndices3D.right_leg_joint], bodyJoints[JointIndices3D.right_upLeg_joint], bodyJoints[JointIndices3D.left_upLeg_joint], bodyJoints[JointIndices3D.left_leg_joint], bodyJoints[JointIndices3D.left_foot_joint] },
            new Transform[] { bodyJoints[JointIndices3D.right_arm_joint], bodyJoints[JointIndices3D.right_upLeg_joint] },
            new Transform[] { bodyJoints[JointIndices3D.left_arm_joint], bodyJoints[JointIndices3D.left_upLeg_joint] }
        };
        for (int i = 0; i < lineRenderers.Length; i++)
        {
            lineRenderers[i].positionCount = lineRendererTransforms[i].Length;
        }
    }
}

ARKit 会给我们在 3D 空间中，关节的位置以及旋转度！下面代码中反映出在 2D 界面中是如何更新坐标，位置和球体的旋转：

private void UpdateJointTransform(Transform jointT, XRHumanBodyJoint bodyJoint)
{
    jointT.localScale = bodyJoint.anchorScale;
    jointT.localRotation = bodyJoint.anchorPose.rotation;
    jointT.localPosition = bodyJoint.anchorPose.position;
}

现在！就让我们建立并运行我们的工程在实际的 iOS 设备中吧！

步骤五：建立并部署应用

最后，我们需要在实际的设备中建立和运行工程。ARKit 是 IOS 和 IpadOS 的一部分，我们不能测试我们的代码在 MacOS 中(尽管我很想看到这样一款模拟器。

在 Unity 中，选择File->Build Settings。点击 iOS 建立目标并点击Build键。你将需要指定一个位置去存储所生成的工程，并耐心等待直到 Unity 完成搭建过程。

Unity 将创造一个 XCode 工程(.xcodeproj)。用 XCode 11 Beta 打开这个工程。如果您使用 XCode11 Beta 之前的版本，将会有一个错误提示并且工程无法正常运行。

当这个工程被发布后，需要提供你的 iOS 开发证书，连接你的 iOS 13 设备，并且点击 Run 键。这样，这个项目将会被部署在设备中。