简单的动态批处理推断 解决了什么问题？ 绝对，Batch对于GPU上深度学习模型的运行效率影响很大。。。 是在推理时。搜索，推荐等服务自带比较大的批处理。问题不大。但更多场景面临的往往是稀碎的请求（只有一次一张图）。 如果想提高服务的吞吐，把稀碎的请求动态攒成批处理再送GPU处理就是刚需。 NV的Triton包含了动态批处理功能。我也用cpp写过一版。但是发现在部署，特别是给别人用python来调用的时候，始终是比较麻烦的。上方，走个本地rpc等。。 反过来想，只要程序损坏还卡在计算上，就有机