智能边缘开源框架Baetyl,构建边缘融合智能应用(3)
2023-06-03 来源:旧番剧
第三个目标是为各种各样的边缘应用提供工具和服务。
图3:Baetyl云原生机制
上图展示了Baetyl的主要架构和其在边缘计算的开源大视图中所处的位置。Baetyl着力于解决如何将云上普通的应用以及AI应用与边缘进行同步,这其中还包括将云上的应用无缝地下发到边缘上运行,也可以将边缘上采集获取到的数据进行脱敏上传到云端进行深入的加工。这张图上半部分是Baetyl的云端管理部分,也是一个标准的K8s的应用程序,可以运行在支持K8s环境、K8s模式的基础设施环境中。在这个环境中,它将与云端的系统进行无缝结合,通过在云端定义各种各样的边缘设备节点,就可以使用K8s知识,而后在Baetyl云端部分将所有的配置采集后打包,通过网络下发到边缘节点上。
在边缘节点上,Baetyl主要将边缘节点升级成一个云原生节点,完全运行在一个K8s的环境中,接受云端的配制和管理,将云端下发过来的各种配制和管理重新翻译成K8s的应用在边缘侧运行。通过这个方式可以实现完全远程的管理,无论是一个还是成千上万个节点都可以在云端使用单一的控制台,使用单一的K8s技术进行编排应用以及升级和管理设备。
Baetyl构建的智能应用案例
图4:BIE边缘AI推断
既然Baetyl具备从云端向边缘下发应用的能力,那么在Baetyl支撑上可以下发什么样的应用值得一探究竟。这个DEMO项目是一个边缘的AI视觉处理项目,该项目基本在Baetyl上运行了各种各样的应用程序,应用场景非常广阔,可以进行建筑的勘测,安防、交通管理等。在边缘侧,首先将一个视觉的理解应用程序下发到Baetyl上,就能够实现视频的接入服务。比如,USB摄像机,采集他们的图片并对其进行抽帧,接着送交一个AI的应用程序在云端进行训练,得到模型之后再下发到边缘节点上,在边缘节点上直接进行AI的推断。同时,Baetyl会去解决推断加速问题,例如,使用了什么样的硬件,比如GPU或是新的神经网络芯片。无论模型训练的时候使用的是百度、TensorFlow、PyTorch、或PaddlePaddle的模型,Baetyl会自动让模型在硬件上得到AI加速进行推断,推断的结果可能是裸的结构化数据,它如何应用到具体应用当中,需要各式各样的辅助功能。