本地部署大模型推荐什么软件

直接上结论： Linux系统用Docker，Windows用ONNX Runtime，MacOS用TensorFlow Extended。

Docker，轻量级容器化，2020年上过百万项目。

2023年，本地部署大模型推荐使用PyTorch或TensorFlow框架，它们都支持CUDA加速，适合处理大规模数据。