1 分•作者: agcat•3 个月前
关于这个话题有很多讨论,但我真正想了解的是,在本地PC上运行AI/LLM时,哪些方面在日常使用中真正有用。 我正在尝试理解以下几点: * 您在什么硬件上运行哪些模型? * 考虑到速度和内存限制,哪些用例实际上是可行的? * 在什么情况下,本地运行比直接调用API更有意义? * 目前还有哪些方面不足? 感觉我们正处于一个有趣的转折点,但很难在喧嚣中分辨出哪些是真正有效的,哪些只是在设置阶段。