使用Tensorflow对象检测玩射击游戏《反恐精英》

本文为AI培训公司编译的技术博客，原标题：

usingtensorflowobjectdetectiontocontrolfirst-personshootergames

作者| Chintan Trivedi

翻译| Yukiqq

校对|酱番梨整理|菠萝妹妹

原文链接：

3359 towardsdatascience.com/using-tensor flow-object-detection-to-control-first-person-shooter-games-C2

本文介绍了如何使用TensorFlow目标检测模型玩经典的FPS游戏——《反恐精英》。

使用我的网络摄像头和TensorFlow目标检测模型玩“反恐精英”

刚才，我偶然发现了这样一个有趣的项目。 文章作者使用网络摄像头玩经典游戏《格斗之王》。 他利用网络摄像机记录的信息，结合CNN和RNN的使用来识别踢踏舞和拳击动作。 之后，他将模型输出的预测值翻译成了游戏中使用的正确动作。 这确实是很棒的玩法~

通过网络摄像头和深度学习玩“格斗之王”。 原文可以在这里找到。

受这个项目的启发，我制作了类似的控制界面。 它可以通过TensorFlow目标检测模型的预测结果来玩FPS (第一人称设计游戏)。

这个项目的代码在我的GitHub主页上。 链接如下。

chintantrivedi/deepgamingai _ fpsanfpsgamecontrollerthatuseswebcamandeeplearningtoplaygames-chintantrivedi/depgamingame

我设计的这个控制界面可以处理游戏中的以下动作。

1 .瞄准枪

首先，为了在游戏中环顾四周，我把网球作为我的目标检测模型。 根据我手上这个网球在屏幕上的位置，我们可以设定鼠标的位置，控制我们玩家在游戏中瞄准的位置。

2 .移动玩家

然后，为了指挥游戏玩家的前进，检测食指的移动。 食指站立时，玩家前进； 我放下手指，玩家的动作就会停止。

3 .开枪

第三个支持的动作是开枪。 双手用于瞄枪和前进，所以只能通过张开嘴的动作来控制开枪。

目标检测模型用作目标检测的模型称为MobileNet，它与SSD结合使用来本地化图像。 我会用不同的网球照片、竖起的食指照片、张开的牙齿照片来训练这个模型。 因为它以合理的速度奔跑，所以可以用轻量级的模型实时控制游戏。

模型的性能相对于模型的性能，在游戏中检测手指和牙齿的方法似乎比较可靠。 主要问题是把枪准确对准我们想要的位置。 由于模型以低于游戏的帧速率奔跑，所以鼠标的移动是跳跃式的，不平滑。 另外，在图像的边缘网球的检测效果不好，所以这种方法不太可靠。 通过在离网络摄像头远一点的地方微调模型以有效地检测目标，可以解决这个问题。 这样的话，就有足够的空间移动网球，可以更好地控制目标。

这个模型的游戏性能和效果可以在我的YouTube上看到。

总结来说，由于深度学习模型的强化，这个概念接近于可能。 为了替代游戏中更多的传统方式，这种控制机制的实际应用需要更加完善。 可以预测，这个想法的完美实现将使FPS的游戏过程更有趣。 雷锋网

谢谢你玩得开心。 如果你喜欢这篇文章，请在Medium、GitHub平台上关注我，或者订阅YouTube专栏。

你想继续看这篇文章的相关链接和参考文献吗？

长按打开链接或【Tensorflow物体检测射击游戏《反恐精英》】:

3359 ai.yanxi she.com/page/text translation/1287

AI学习社每天更新精彩内容，看到更多精彩内容：雷锋网

用Python实现遗传算法如何将深度学习应用于无人机图像的目标检测机器学习和深度学习大PK！ 昆虫的分类谁强？ Python高级技巧：雷锋网，如用一行代码减少一半的内存消耗

五种厉害的CNN架构是如何在神经NLP处理中引用语义结构的，扑克牌都被玩坏了。 一张照片就能做出好脸的Memoji让神经网络说“我不知道”。 ——在Pyro/PyTorch上实现贝叶斯神经网络

• 上一篇：干货|用Tensorflow物体检测玩射击游戏《反恐精英》
• 下一篇：dnf2022五一礼包回血攻略，dnf2020国庆礼包买六套能回血多少