工业平板电脑

摘要

人工智能（AI）技术摆脱了静态的基于规则的编程，用动态学习的推理系统代替了更智能的决策。先进的人工智能技术与物联网技术相结合，正在用智能应用重新定义整个行业。

这些行业的一个重要趋势是人工智能推理系统向边缘转移，更接近传感器和控制元件，减少延迟并改善响应。从可穿戴设备到嵌入式系统，所有类型的边缘人工智能硬件的需求都在快速增长。据估计，到2026年，单位年复合增长率为20.3%，超过22亿单位。

边缘AI推理平台面临的最大挑战是实时提供高带宽数据，并对AI和控制算法使用有限的空间和功率进行决策。接下来，我们将看到NVIDIA的三个强大的AI应用开发支柱如何帮助工业计算机使边缘AI推理解决方案成为现实。

Edge AI推断支持应用程序中当前发生的事情，并在继续学习的过程中展望未来数月和数年。 

什么是人工智能推理

支持人工智能的系统有两种：一种用于训练，另一种用于推理。训练系统检查数据集和结果，寻找建立一个决策算法。对于大型数据集，培训系统可以使用服务器、云计算资源或在极端情况下使用超级计算机进行扩展，还可以花费数天或数周的时间来分析数据。

在训练中发现的算法被传递给人工智能推理系统，用于处理真实世界的实时数据。虽然推理的计算强度不如训练，但它需要有效的人工智能加速来快速处理决策，并与传入的数据保持同步。由于熟悉的编程工具、高性能和强大的生态系统，一个流行的加速选择是使用GPU内核。

传统上，AI推断系统是在服务器级平台上通过在PCIe扩展插槽中添加GPU卡来创建的。大多数人工智能推理仍然发生在支持人工智能的服务器或云计算上，一些应用程序需要服务器级平台来提高人工智能加速性能。在考虑延迟和响应的情况下，低功耗嵌入式系统可以将人工智能推理扩展到边缘。

边缘人工智能推理体系结构的优点

边缘计算在处理大量实时数据的分布式体系结构中具有很大的优势。将所有这些数据移入云中或服务器进行分析会带来网络和存储方面的挑战，从而影响带宽和延迟。更接近数据源的本地化处理（如使用AI进行预处理）可以减少这些瓶颈，降低网络和存储成本。

还有其他边缘计算的好处。个人识别信息可以匿名化，提高隐私。安全区域减少了系统范围内的漏洞。局部算法执行实时确定性，使系统处于控制之下，许多错误警报或触发器可以在工作流的早期消除。

扩展边缘计算与人工智能推理增加了更多的好处。边缘人工智能推理应用程序通过添加更小的平台有效地扩展。通过在一个边缘节点上进行推理而获得的任何改进都可以上传并部署到整个节点系统中。

如果一个边缘人工智能推理平台能够加速整个应用程序堆栈，包括数据接收、推理、本地化控制、连接性等等，那么它就为系统架构师创造了引人注目的可能性。