当AI模型跑起来，才能真正改变世界：TensorRT、ONNX Runtime 与边缘计算的那些事儿 想象一下，你辛辛苦苦训练了一个AI模型，就像养育一个孩子，倾注了无数心血。孩子（模型）终于长大了，可以做各种各样的事情，比如识别猫咪狗狗、预测股票走势、甚至是帮你写情书（虽然可能写得很糟糕）。但是，如果这个“孩子”只能待在实验室里，或者只能在强大的服务器上运行，那岂不是太浪费了？ 就像我们希望自己的孩子能够走向社会，贡献价值一样，我们也希望AI模型能够走出实验室，真正地解决实际问题。而这，就涉及到AI模型部署优化的问题。 模型部署优化，简单来说，就是让AI模型运行得更快、更省资源，以便能够在各种各样的设备上运行，比如手机、智能摄像头、甚至是自动驾驶汽车。本文就来聊聊模型部署优化领域的三大利器：TensorRT、ONNX Runtime 和边缘计算，看看它们是如何让AI模型“飞入寻常百姓家”的。 一、TensorRT：英伟达的“秘密武器” TensorRT，顾名思义，和英伟达（NVIDIA）有着千丝万缕的联系。它就像是英伟达显卡的一把“优化钥匙”，能够将已经训练好的深度学习模型，在英伟达 …