Ask HN: 有人将 llama.cpp 用于生产环境吗？
3 分•作者: HardikVala•7 个月前
考虑到将 llama.cpp 的服务器版本用于商业用途，而不是像 vllm 这样更庞大的选项。但想知道它是否已经在生产环境中经过了实战检验。
查看原文
Considering the server version of llama.cpp for a commercial use case over bulkier options like vllm. But wondering if it's been battle-tested in production environments.