2作者: RajGuruYadav5 个月前
— 作者:Raj Guru Yadav 和许多开发者一样,我一直对大型语言模型(LLM)着迷。但当我问出这个问题时: “我能离线运行一个类似 ChatGPT 的助手吗?速度快,而且不需要 16GB 以上的内存?” 这个挑战变得太诱人了,我无法忽视。<p>目标 构建一个完全离线、轻量级的 AI 助手,具备以下特点:<p>下载大小 &lt; 50MB<p>无需互联网连接<p>快速响应(1 秒以内)<p>零遥测数据<p>完全本地的嵌入和推理<p>结果:一个 40MB 的离线 ChatGPT 克隆,你可以在浏览器或 USB 闪存盘上运行。<p>40MB 里有什么? 以下是我如何将智能对话压缩到如此小的包中的方法:<p>模型:Mistral 7B Q4_K_M,通过 llama.cpp 量化<p>推理引擎:llama.cpp(编译成 WebAssembly 或原生 C++)<p>UI:轻量级的 React/Tailwind 界面<p>存储:IndexedDB 用于本地聊天记录<p>嵌入:本地 MiniLM 用于智能 PDF 或笔记搜索<p>附加功能:Whisper.cpp 用于本地语音输入;Coqui TTS 用于语音输出<p>我为什么构建它 我(Raj Guru Yadav),一个 16 岁的开发者和学生,想:<p>深入了解 LLM 实际是如何工作的<p>构建一些尊重隐私和本地化的东西<p>证明 AI 不需要云就能强大<p>为离线用户(比如印度的许多学生)提供真正的 AI 支持<p>挑战 低内存设备中的内存瓶颈<p>针对小型模型进行提示调优,以获得更智能的回复<p>WebAssembly 优化,以提高浏览器性能<p>具有小型 TTS/ASR 模型的离线语音 + 文本集成<p>性能(在 4GB 笔记本电脑上) 能够体面地回答事实、编码和数学问题<p>阅读并总结离线 PDF<p>本地记住对话<p>(可选)大声说出答案<p>最后的想法 AI 不应该被锁在付费墙或云端之后。 我的目标是把智能助手带到每个人的手中—— 完全离线,完全免费,完全属于你。<p>由 制作 Raj Guru Yadav<p>开发者 | 700+ 项目的构建者 | 热衷于为所有人提供开放的 AI
2作者: dizzierhys5 个月前
我开发了我的第一个 Web 应用。<p>作为一名摄影爱好者,之前我需要花费很长时间才能将我的照片添加到电商网站的相框模型或空白相框中。<p>但现在不同了……<p>上传一张图片,即可立即在各种场景和相框中预览您的照片。无需使用 Photoshop!<p>欢迎提供反馈!<p>立即体验 &gt; <a href="https:&#x2F;&#x2F;framecanvas.app&#x2F;" rel="nofollow">https:&#x2F;&#x2F;framecanvas.app&#x2F;</a>
1作者: 8mobile5 个月前
Hi HN, iPantry 是一款我开发的简单应用,旨在解决我家反复出现的一个问题:忘记了储藏室或冰箱里已经有什么,从而重复购买,导致食物过期。 由于日程繁忙,而且是多人合住,很容易忘记家里有什么,尤其是在家人分头采购的情况下。我们最终会发现有好几盒牛奶,或者过期了的意大利面被塞在橱柜后面。 我找不到一款既易于使用,又能通过原生 iOS 工具分享的应用。大多数应用要么过于复杂,要么将功能锁定在账户系统或外部同步之后。 所以我开发了 iPantry: * 跟踪产品,包括数量和保质期 * 获取库存不足和过期提醒 * 导出清单或通过 iCloud 和 Apple 提醒事项分享物品 * 所有数据都保存在您的 iCloud 帐户中,并在设备之间同步 * 无需注册或第三方服务 这是一个为清晰和快速而构建的小工具。我很乐意听取您的想法、建议或批评。 感谢您的关注。
1作者: jkool7025 个月前
timep 是一个用于 bash 代码的 TIME Profiler,它可以为您提供任何 bash 脚本或函数的精确的每个命令执行时间分解。 与其他 Profiler 不同,timep 还可以恢复并分层记录关于子 shell 和函数嵌套的元数据,从而能够重新创建被分析的 bash 代码的完整调用栈树。如果您使用 `--flame` 标志调用 timep,它将自动生成一个火焰图 .svg 图像,其中每个块代表在特定命令(顶层)或其父子 shell/函数(所有其他级别)上花费的墙钟时间。 使用 timep 也很简单 - 只需 source timep.bash 文件,然后在您想要分析的任何内容之前添加 timep 即可。您无需更改被分析的代码 - timep 会为您处理一切。例如: ```bash . ./timep.bash timep someFunc timep -flame someScript <inputFile ``` timep 将为您生成 2 个配置文件:一个显示每个单独的命令(带有完整的子 shell/函数嵌套链),另一个将重复的循环命令合并为一个计数 + 总运行时间行,并带有最少的“额外”元数据。 有关可用标志和输出配置文件细节的更多信息,请参阅 github README。 timep 的工作原理是将所有计时检测逻辑塞进一个 DEBUG trap 中,大致执行以下操作: 1. 记录上一个命令的结束时间戳 2. 将当前状态与保存在变量中的上次 DEBUG trap 中的状态进行比较,以确定正在发生哪种类型的命令。例如,如果 BASH_SUBSHELL 增加,那么我们知道我们刚刚进入了一个子 shell 或后台 fork。 3. 一旦我们知道正在发生哪种类型的命令,就为上一个命令生成一个日志行(现在我们有了它的结束时间) 4. 将当前状态保存在各种变量中(供下一个 debug trap 使用) 5. 记录下一个命令的开始时间 然后在被分析的代码运行完毕后,timep 对日志进行后处理以生成最终的配置文件。
3作者: ricecat5 个月前
赛博朋克不仅仅是一种美学。当然,它为我们带来了反光墨镜、铬合金肢体、霓虹灯小巷和黑市脑部植入物。但在这些浮华的表象之下,隐藏着更为深刻的东西:对我们所生活的世界——或者说我们正在逐渐变成的世界——的尖锐政治批判。
1作者: Anusaar5 个月前
Anusaar 是一款由 AI/ML 驱动的下一代 SaaS 电子发票软件,可自动化财务运营,确保税务合规性,并改善现金流。 利用 AI 彻底革新电子发票——安全、无缝、合规。优化工作流程并自动化业务文档交换。