ESP32和TensorFlow Lite面向微控制器的第一步

我毫不怀疑，小型边缘设备将很快在我们的生活中占据重要位置。 由于摩尔定律适用于此类设备，因此我们是移动，嵌入式，可穿戴和可植入（增强）电子设备日趋成熟的见证者，其计算能力足以使用AI。 在TensorFlow开发者峰会上发布面向微控制器的TensorFlow Lite，使我们能够在嵌入式设备上部署AI。 显然，要成功为微控制器交付AI应用程序，开发人员（或开发人员团队）应熟悉ML框架和微控制器编程。

简要计划

1. 选择硬件。选择微控制器的软件开发环境。设置开发环境。
2. 第一步，运行“ ESP32 Hello World”以熟悉新的世界。
3. 从TensorFlow示例仓库运行“ TensorFlow Lite Hello World”。
4. 从零开始构建，部署和运行“ Fashion MNIST”应用程序。
5. 结论，下一步。

硬件和软件

开始选择实验平台的最佳方法是查看TensorFlow Lite for Microcontrollers支持的平台列表。 我选择了ESP32平台。 由于我要用视频和音频进行实验，因此我对板子的限制是：用微型USB电缆连接，没有其他连接或焊接，板载摄像头，板载麦克风。

有很多用于对ESP32进行编程的IDE。选择哪个？让我们看一下TensorFlow Lite for Microcontrollers文档，其中说：

它不需要操作系统支持，任何标准的C或C ++库或动态内存分配。 Arm Cortex M3的核心运行时大小为16 KB，并且有足够的运算符来运行语音关键字检测模型，总共需要22 KB。

因此，我们可以选择任何“ vim + console”。 棒！ 在选择特定的软件环境（IDE）之前，我查看了TensorFlow Lite ESP32演示，发现TensorFlow团队使用ESP-IDF版本4.0。 现在这是一个不稳定的版本，但事实不会成为我们的障碍。 我们将使用当今的实际版本4.1。 事实证明，存在用于ESP-IDF项目的官方Visual Studio代码扩展。 因此，选择编辑器似乎很明显。 这次，我们将使用VSCode作为智能编辑器，而不是将其用作功能齐全的IDE。

让我们准备软件。 我的开发计算机运行Ubuntu。 我更喜欢将存储库和软件放在某些地方，所以有时我会选择定制的安装。 我认为您对终端机很熟悉。 然后，我们将根据官方安装说明执行一些步骤：

1. 准备目录结构。
2. 为ESP-IDF安装先决条件。然后获取ESP-IDF。然后设置ESP IDF工具。
3. 通过从官方站点下载并安装.deb来设置VSCode。
4. 将用于ESP-IDF项目的官方Visual Studio代码扩展安装到VSCode中。

准备目录结构

ESP32 Hello World示例

TensorFlow Lite Hello World

实现应用程序

注意：TensorFlow Lite for Microcontrollers仍然是一个试验端口，并且代码库每天都在变化。可能您会遇到除我以外的其他问题。

要使用ESP IDF从头开始构建应用程序，我们必须了解构建系统的工作原理。 ESP IDF构建系统是基于CMake的构建系统，这是自ESP-IDF V4.0起的默认设置。 它使用“组件”的概念来构造项目。 我们可以在Espressif文档中找到项目目录树的示例：

通常，为微控制器构建ML项目包括两个阶段：与ML相关的（构建模型，优化，转换）和与微控制器相关的（将模型部署到微控制器并与业务逻辑集成）部分。 因此，我们需要三件事：模型，TensorFlow Lite和数据源。

第一阶段：建筑模型，将其转换为TensorFlow Lite

我使用Fashion MNIST数据构建了输入图像14x14像素大小的模型。我的模型的结构如下所示：

第二阶段：构建和部署应用程序

从克隆esp-iot-solution仓库开始。然后复制空项目并将其用作我们的ESP32_Fashion_MNIST项目的基础。

将TensorFlow Lite for Microcontrollers组件components / fmicro从TensorFlow Hello World项目复制到我们项目的组件中。 从项目中删除component1和component2。 将model_data.cc文件放入主目录。 现在我们需要将所有内容连接在一起。 在这里，我解释了唯一的管道。 您可以在源代码中看到的所有详细信息。

为了方便起见，我们将管道放置在main.cc文件中，其他有用的代码将放置在main_functions.cc文件中。

对于我们的管道，如果出现问题，将需要记录器MicroErrorReporter接收消息。

详情参阅 - 亚图跨际