面向私营企业的本地大语言模型
1 分•作者: ahendest•3 个月前
你认为为公司业务部署本地 LLM 如何？我们有 Microsoft 365 订阅，并且内置了 Copilot 用于学习流程和问答。但要使用 LLM 访问包含敏感数据的内部系统，例如特殊部门的软件，除了本地 LLM 我没有其他想法。但到目前为止，我发现 GPU 价格昂贵。GPT 告诉我，我可以使用配备 RTX 6000 Pro 96GB 的 360 亿参数本地 LLM，这需要花费 1.2 万美元。而且我认为我们在浏览器上使用的普通 GPT，也就是 GPT 5.4 扩展版，比 360 亿参数的 LLM 强大得多。我很好奇是否有其他人有类似的想法，或者有什么专业建议。
查看原文
what do you think to host a local LLM for company businness? ok we have ms365 subscription and built-in copilot for learn procedur, and Q/A. but to use the llm internal systems like special department softwares, which contains sensitive data, i do not have any idea other than local LLM. but so far what i found is gpus are expensive. gpt told me i can use 36B local LLM with rtx 6000 pro 96gb which costs 12k$. and i think the normal gpt that we are using on browser, gpt 5.4 extended think is much more stronger than 36B llm. i am curious if there are others that have similar ideas, or any proffessional advices.