4 分•作者: california-og•5 天前
返回首页
一周热榜
4 分•作者: reluctant_dev•5 天前
背景:我的团队有 3 名产品工程师和一名产品经理/产品负责人,我们是一家小型 A 轮初创公司。<p>我们的产品经理最近提出希望通过编码助手将更改/功能贡献到我们面向客户的核心(Web)应用程序中。这位产品经理没有任何工程背景,但在过去一年左右的时间里,他有使用 Claude Code/Codex 开发个人项目的经验。<p>我想了解其他团队是如何做的,以及效果如何?
4 分•作者: wmolino•大约 19 小时前
4 分•作者: yolo-auto•7 天前
这是一个关于我如何启动一个面向约 60 名在等候名单上的热门用户的无限 LLM 提供商的故事,然后立即向他们提供了一个完全失灵的死循环模型,以及为什么大多数人非常合理地离开了,但由于一些非常友善的人仍然坚持下来,我们让项目得以继续,尽管仍然很混乱,但正在获得关注。
稍微回顾一下——我相信 AI 代理的全部意义在于它们应该持续工作。它们应该读取文件、重试、搜索、编码、总结、运行工具并循环直到任务完成。当你的雇主为你付费时,谁会在乎成本,但当涉及到我的个人金钱/爱好时,如果每一次循环都感觉像是一笔小小的财务支出,你就会开始像看管代理一样盯着它,而不是使用它,这并不好玩。
另一方面,按量计费让我担心使用过多。订阅式计费让我觉得我需要用尽每一分钱,否则我就是在“浪费它”。如果有一个无限提供商就好了……
然后我加入了 AMD 开发者计划——我获得了一些积分,可以启动我自己的 MI300x,并开始在 AMD 上进行 vllm/sglang 推理服务的试验。
在了解了 AMD MI300x 之后,我做了一些草率的计算:
每小时租用 MI300x 2.00 美元 = 每月约 1500 美元。它大概可以支持约 150 名用户使用小型 MOE 模型,如 qwen-35b-3a,也许更多。
1500 美元 / 150 名用户 = 每月 10.00 美元,我们都可以以很小的价格玩代理。
你可以稍微超额订阅,所以我最终确定为每位用户每月 6 美元,提供 2 个生成槽位,128k 上下文,无 token 限制,无速率限制。
我构建了网站、路由器,创建了等候名单,然后将 MI300x 过度优化,以至于 vllm bench 的输出速度达到了 3k+,吞吐量达到了 40k+……但我没有测试最终的配置/服务命令……这就是我灾难性启动的地方。你无法提示它,否则它就会陷入循环或出现 bug,它被诅咒了。这就是我们失去许多人的地方。
幸运的是,我的朋友有几块 3090,所以他向我伸出了援手,开始为我们托管 qwen,使用 2 块 3090,我们终于有了一个可用的模型,而不会让我们可怜的 3 名用户每小时花费 2.00 美元。
我们开始吸引更多用户,所以我们升级到了 4 块 3090。我们还有很多空间容纳更多用户,但即便如此,从那时起:
我们配置 vllm 错误了大约 15 次
一块 GPU 坏了
我们停电了
我为 openclaw、hermes、pi-mono 制作了一堆一键启动,但它们都没有真正正常工作,这可能吓跑了人们。这些仍然在我们的网站上。
……但那些懂行的人似乎非常喜欢这个价格点。总的来说,我们有大约 98% 的正常运行时间。已经过去一个月了。我们都学到了很多,即使我们已经有 SWE/SE/AI 的背景,但要对几个付费用户负责,迫使我们真正专注于为他们提供一个好产品。现在我认为我们可能快要能支付电费/托管费了,这样我们就不会亏本运营了(如果算上 3090 的资本支出,我们仍然亏本)。
我们的盈亏平衡点是迁移到云端以最大化利用 MI300x,它现在已经调优完毕,一旦我们获得用户就可以投入使用。
我发现,在某些领域,订阅我们的服务比运行模型更便宜(但作为一个热爱本地模型的人,我完全理解)。
从那时起,我一直在开发一个桌面代理,它实际上可以与 qwen 等小型模型一起工作——这将取代那些损坏的一键启动。它很基础,但它是开箱即用的东西。我将其开源了,你可以在这里看到我所说的:https://github.com/yolo-auto-org/yolo-auto-desktop,我们的网站是 yolo-auto.com,我们有一个糟糕的免费套餐来证明它有效!
总之,希望你从中获得了一些乐趣或觉得有趣!如果你有任何问题,请随时提出。
4 分•作者: reasonableklout•3 天前
4 分•作者: vinnyglennon•6 天前
4 分•作者: LukBrezina•1 天前
在与代理(agents)玩耍时,我意识到如果它们能够访问 OTP 验证码可能会非常方便。既然如此,为什么不赋予它们发送短信的能力呢?对我来说,Twilio 太贵而且设置起来很麻烦。
我随手编写了一个简单的 Android 应用,可以读取/发送短信,还有一个简单的中继服务器,充当代理的 MCP。效果出奇地好,我抽屉里那部旧的 Android 手机也重新派上用场了。
如果您觉得有用,请随意使用。我把它部署在一个 5 美元的 VPS 上。如果它崩溃了,您应该可以在几分钟内自行在自己的 VPS 上启动一个实例。
4 分•作者: lyfeninja•3 天前
我正在考虑申请一个一级(phase I)项目,这个项目非常适合我们的技术,而且我们应该能满足所有基本要求(例如,美国公司、小型企业等),但我不太确定是否值得付出努力。
如果有人有申请和经历过这个过程的经验,我很想听听。
我想了解的一些问题……
- 竞争激烈程度如何?
- 提案需要多详细?
- 我是否一定能收到回复?
- 截止日期后多久会做出决定?
提前感谢。
4 分•作者: ilreb•3 天前
4 分•作者: petethomas•3 天前
4 分•作者: srimalireddi•5 天前
4 分•作者: chistev•3 天前
4 分•作者: ValentineC•1 天前
4 分•作者: ritzaco•1 天前
4 分•作者: PaulHoule•3 天前
上个月,我似乎经历了企业IT故障频发的情况。例如,我妻子支付了我的房主保险费,但他们却将我的账单转交给律师进行催收,并取消了我的保单。(值得称赞的是,当我的代理人得知情况后,她成功地恢复了我的保单。)现在我有一个UPS包裹,似乎在蒙大拿州滞留了一周,但我从追踪器上看到的信息并不完全合理。
是我运气不好,还是其他人也遇到了这种情况?我们能怪“vibe coding”吗?我们现在生活在“Gas Town”了吗?
4 分•作者: mavdol04•3 天前
各位 HN 的朋友们:
在过去几个月里,我一直在阅读 RISC-V 规范,以构建尽可能轻量级的沙箱。vpod 的核心理念是能够快速地从快照(默认使用 Alpine Linux)启动一个 Linux 沙箱,而无需任何设置或子系统。
为了换取便携性和安全性,我们牺牲了原始 CPU 速度。因此,我们不期望它在 Python 或 pip 等原生工作负载方面能与之匹敌。
更多信息请参见 README:
https://github.com/capsulerun/vpod
很乐意回答任何问题!
4 分•作者: jflynt76•7 天前
4 分•作者: abhishaike•4 天前
4 分•作者: lordkrandel•2 天前
我花费了大量时间将 AUR(Arch 用户仓库)中的软件包替换为 Arch Linux 官方仓库中的替代品。
我已从 Dropbox 迁移到 RClone,从 acpilight 迁移到 brightnessctl,从 Spotify 迁移到 spotify-launcher,等等。
是否还有其他人有同样的信任问题?另外,你们是如何了解最新情况的?
我在企业环境中工作,恶意软件是绝对不允许的。
4 分•作者: Malfunction92•6 天前