如何使用Swift在iOS 11中加入原生机器学习视觉模型

选自Hackernoon

机器之心编译

作者：Alex Wulff

参与：侯韵楚、李泽南

随着 WWDC 大会上 iOS 11 的发布，苹果终于推出了原生机器学习和机器视觉框架，由此开启了许多崭新的可能性，使所有性质的应用程序和游戏有望取得显著进步，本文作者 Alex Wulff 将对在 iOS 11 中加入机器学习模型的方法进行简要介绍。

机器学习解决方案在云端的应用已有一些时日，但这类系统需要不间断的网络连接，并且很明显，它通常在 iOS 上会存在显著延迟，也为敏感数据带来了安全隐患。一些第三方的 Swift AI 系统已开始在几个应用程序中占据一席之地，但这类框架从未成为开发上的主流。随着苹果在 2017 年的全球开发者大会（Worldwide Developers Conference，WWDC）的最新发布，你很可能会发现所钟爱的几款应用程序都出现了与机器学习相关的更新。

想知道如何将苹果的新 API 集成到自己的应用程序中吗？这可比想象中更容易。

首先你需要下载 Xcode 9 测试版，这是下载地址：https://developer.apple.com/download/。请注意，这个文件非常大，下载耗时略长。此外，这个早期测试版尚不成熟，还存在许多问题（有些将在下文予以讨论）。你可以边下载 Xcode 边读完这篇文章，以便进行下载后的操作。

你可以查看我为本文创建的 GitHub repo 并下载 Xcode 项目：https://github.com/AlexFWulff/Machine-Learning-Demo-iOS

下图为示例结果。

我的示例项目将会以一幅图像作为输入，并得出可能的分类及其各自的信任度。所有计算都是在苹果新推出的含 Core ML 和机器学习视觉框架的设备上完成的。

这个项目内容很少。请你留意一个文件：GoogLeNetPlaces.mlmodel。它是几年前由 Google 研究人员所创建的经过训练的机器视觉模型。苹果公司新的机器学习 API 使开发人员得以轻松访问 iOS 应用程序中的标准化模型。当你将.mlmodel 文件拖动至应用程序中时，Xcode 便会为其自动创建 Swift 封装。一些模型文件的大小可以达到几百 Mb。

但很不幸，Core ML 文件甚至不能如.plist 或.storyboard 一样达到人类可读的程度，它们仅仅是告诉设备如何将处理输入的「神经元」进行排列的一大堆字节。模型越复杂，其尺寸便越大。

苹果收集了四种不同的已训练模型以供使用，你可以通过网址 https://developer.apple.com/machine-learning/得到它们。苹果的 Core ML 工具的 Python 包使开发人员能够将预先存在的模型转换为 iOS 可访问的 Core ML 格式。随着格式的增多，在未来人们应该能为各种用例得到经过训练的模型。

这其中存在一个 bug：即使项目可编写，编辑器仍会认为不存在 Swift 包装器。

接下来打开 ViewController 文件。第一个代码块（如上图所示）仅仅是尝试创建一个变量来存储所选模型的 Vision 表示。即使在本节出现了错误，这个项目仍需进行编写。这是我在使用 Xcode 9 测试版时，短时间内所发现的许多 bug 之一。

苹果公司还凭借 Core ML 模型推出了自己的机器视觉 API，并命名为 Vision。Vision 包含了许多不同的机器视觉模型，它们可以检测人脸、条形码、文本等多种类型，还为基于图像的 Core ML 模型提供了包装器。其中一些包装器专属于特定类型的模型。如项目中的模型可以将图片作为输入，并返回一个描述性字符串作为输出。由于这种情况很常见，苹果已经为其添加了视觉包装器。而对于不基于图像的模型，苹果已经创建了小型的示例项目来演示使用方法，它完全独立于 Vision 之外，仅仅依赖 Core ML。

下一个代码块会建立并处理请求。在项目导航器中，你应当能看到用于实验该模型的各种不同图像。将字符串「airport」替换为任一其他图像的名称，对项目进行创建并运行，而后查看输出到控制台的结果是如何更改的。

奇怪的是，分辨率较低的图像似乎对其最可能的分类具有最高的信任度。我无法解释这种情况出现的原因。如果有读者了解其中的原因，请在下面留言。我真的很费解！

最后一个代码块只需接受请求的结果并将其打印出来。在这个演示中，我没有设置任何「预防差错」的措施，所以一旦出现问题，整个应用程序便会崩溃。

另一个对项目有所影响的大 bug，会在将文件拖放到项目导航器中时发生。在 bug 修复之前，请不要在 Xcode 9 中尝试这个动作，因为它会对依赖链产生巨大影响。你只需在 Xcode 的早期版本中打开 Xcode 项目，必要时选择复制项，而后点击确认即可。

最后一个可能有所影响的 bug 有时会在运行项目时出现。若模拟器无法启动，退出模拟器和 Xcode 即可。它们运行一段时间后，你需要进行一次同样的操作。尽情享受模拟器的崭新外观与体验，以及对 iOS 11 的少许预览吧！

希望我的示例项目对「如何轻松在 iOS 11 中实现机器学习」进行了成功概述。只需拖入一个模型并对结果加以处理，你就离成功不远了！苹果所链接的其他三个模型应当与同一个 VNCoreMLRequest 兼容，因为它们都以图像作为输入，并输出分类信息。