计算机视觉等等,也希望与社区伙伴一起打造丰富的主题活动,交流最新的技术进展,促成产品方案的商业落地
瑜伽是一项有着5000年历史的关于身体、心理以及精神的练习,起源于印度,其目的是改善身体和心性,同时也是一场需要时间和耐心的练习。今天给大家分享一位来自纽约的全职研发工程师 Whitney Knitter 的“使用AI练习瑜伽:TDA4VM 上的人体姿态评估”开源项目。
这个项目展示了我如何使用TI的SK-TDA4VM和Edge AI Cloud工具来训练人类姿势评估ML模型来判断自己的瑜伽练习。
作为一名全职研发工程师经常会花很多时间蹲在电脑前使用键盘,几年前我对瑜伽产生了兴趣,试图拯救自己可怜的脖子和背部。然而,我很快就发南宫ng28相信品牌力量现,要判断是否正确保持姿势是非常困难的,所以我开始拍摄自己的练习视频。很滑稽的是,我非常确定自己完美地保持了一个姿势,但在手机上观看视频时,发现自己看起来更像是“完美的车轮”。
然后,随着机器学习和人工智能在创客领域的兴起,我看到了人类姿势评估深度学习(DL)模型的出现。所以很自然地,我的第一个想法是我可以以某种方式在我的瑜伽练习中部署它。于是我找到了德州仪器的TDA4VM Edge AI Starter Kit和Edge AI SDK。
在 TI 的 Model Zoo 中开箱即用的预构建 DL 模型存储库包含一个基于 YOLOX 的 6D 姿态估计模型,该模型采用单个图像输入并推断每个对象的姿势,而无需任何中间表示或复杂的后处理。
因此,我的目标是采用这个姿势估计YOLOX模型,并使用我自己在各种瑜伽姿势中的校准图像进行编译,然后在后期处理功能中创建一种算法,以确定从网络摄像头捕获的新实时图像中绘制的骨架是否处于“正确”姿势。
首先,我需要编译来自 Model Zoo 的姿势估计 YOLOX 模型,其中包含我自己做各种瑜伽姿势的校准图像。我发现 TI Edge AI SDK 中的模型分析器工具是完成此步骤的最简单方法。
TI Edge AI SDK 中的模型分析器是一款基于云的免费工具,允许您模拟其硬件(如 TDA4VM),以使用来自 Web 浏览器的行业标准运行时引擎编译和部署深度学习模型。我发现这对于弄清楚如何在文件结构中导航以及我在云 EVM 中的 Jupyter 笔记本中的应用程序中对预训练模型的自定义实现非常方便。
然后,我将自己以不同姿势的各种图像(我上述视频的屏幕截图)传递给它,以便为我的后处理器算法获取关键点数据。当人类姿势的骨架被画得太大或太小并且画在图像中的某个随机位置而不是在主体的身体上时,其效果是非常不理想的。
另一个容易遇到的陷阱是确保使用 EP_List 变量调用正确的推理类型。在编译模型并向其传递校准图像时,需要调用 。
将我的自定义模型文件从边缘 AI SDK 中的模型分析器过渡到我的 SK-TDA4VM 板非常简单。我只是简单地将我在云中创建的Jupyter笔记本以及我编译人体姿势估计模型的自定义模型工件打包在一起,并将它们作为压缩存档上传到SK-TDA4VM板上的Jupyter笔记本,在那里我能够进行最终集成。
为了省去检查版本是否匹配的后顾之忧,我只是从 TI Linux 下载页面中提取了最新的预构建映像,并将其匹配到 TIDL 工具存储库的主分支。像往常一样,终端将打印出一个网址,供您从主机PC上的Web浏览器导航到笔记本电脑,您可以在其中正常上传文件:
姿态估计后处理算法是从 utils.py DL 6D姿态估计模型中提取确定的关键点数据输出,并为帧中找到的主体创建17个关键点。这些关键点中的每一个都有一个 X 和 Y 坐标,然后它只是根据分配的颜色值在每个点之间画一条线,以表示给定的身体部位类型(手臂、腿、身体、头部)。
实现我的瑜伽姿势“判断”算法的最简单方法是计算给定身体部位每条线的斜率,然后将一组斜率与具有确定公差的姿势相关联,以确定姿势是否正确。
现在,我只是将绘制骨架线的这些斜率值打印到终端并将它们保存到 CSV 文件中,因为将斜率值与姿势相关联需要一些时间。
由于身体的不同部位被分配了不同的颜色线来绘制,因此每个身体部位对于每个姿势都有自己的坡度计算。
总的来说,这将是一个有趣的工具,可以持续更新迭代!希望我的瑜伽技巧会随之提高。
本文由:壹号娱乐 - NG大舞台,有梦你就来提供


