hikey970支持的深度学习框架

peter

hikey970上NPU跑的是HiAI移动计算平台，它是华为开发的中间层，支持各种主流的框架，包括Caffe，TensorFlow等。开发人员需要指定正在使用的框架

具体查看这里：http://developer.huawei.com/consumer/en/devservice/doc/2020314

1.HiAI移动计算平台概述

HiAI是世界上第一个拥有专用神经网络处理单元（NPU）的移动AI计算平台之一。
HiAI API库作为统一的二进制文件发布，旨在通过HiAI异构计算平台实现基于快速神经网络的计算，该平台集成在Kirin SoC中。
使用HiAI API，开发人员可以专注于开发新的AI应用程序，而不是专注于性能调优。

2.HiAI移动计算平台技术

HiAI移动计算平台支持用于神经网络模型操作的专用AI指令集，其允许在最小时钟周期内更有效地并行执行更多神经网络运营商。
HiAI移动计算平台可以将各种神经网络运算符（例如卷积，池化，激活和完全连接）编译为离线设置中的NPU的专用AI指令序列，具有数据和权重重新排列以优化性能。然后将指令和数据组合在一起以生成离线执行模型。此外，在离线编译期间，跨层运算符可以融合在一起（卷积，ReLU和池），以降低DDR的读写带宽，从而提高性能。

HiAI移动计算平台支持稀疏模型加速。NPU可以跳过系数为零的乘加算法，
可以大大提高计算效率，降低带宽，同时保持计算精度。
HiAI移动计算平台支持8位和1位量化，有效降低计算带宽和存储消耗，提高能效。

3.HiAI移动计算平台执行

如图1所示，通过使用编译工具，训练
好的神经网络模型被转换为离线模型，该模型可以在HiAI移动计算平台上有效地执行，并作为二进制文件输出，即离线模型。

将标准神经网络模型（如Caffe）编译为离线模型的主要目的是优化网络配置。
编译后，将生成一个称为脱机模型的优化目标文件。脱机模型已序列化并存储在磁盘上。结果，
当执行推断时，使用优化的目标文件，这更快。

如图2所示，在离线模型计算期间，从文件加载离线模型，用户输入的数据被复制到HiAI的NPU进行计算。在计算期间，每次推断只需要将用户数据从DDR导入NPU一次。

如何加入HiAI

---

如果您是有兴趣使用HiAI构建AI驱动的应用程序的开发人员，请发送电子邮件至developer@huawei.com，回答以下10个问题。使用“HUAWEI HiAI +您的公司名称+您的项目名称”格式为您的电子邮件主题。华为将在五个工作日内通过电子邮件向您发送反馈。谢谢！

1.贵公司的名称是什么？
2.您的公司地址和国家/地区是什么？
3.谁是您的联系人，联系人的头衔是什么？
你的电子邮件地址是什么？
你从事计算机视觉技术业务吗？
6.您的应用程序或AI相关解决方案的名称是什么？
7.您使用哪种AI框架？
a）TensorFlow（Lite）
b）Caffe（2）
c）其他：指定AI框架名称。
8.提供有关您的应用的更多背景信息，例如它做什么，它解决了什么问题，以及它是如何做到的？
9.您的iOS或Android应用程序？它将在哪些国家推出？
10.您的应用的平均评分是多少？