最新

WaveletLM 是一种基于小波变换的、无需注意力的架构，它用学习到的提升小波分解代替了自注意力机制，包括快速 Walsh-Hadamard 变换、基于 SwiGLU 激活函数的逐尺度门控谱混合、逆 FWHT 和小波重构。结合扩展的 MLP 和稀疏的乘积-key 记忆，这使得该模型在序列长度上的缩放复杂度为 O(n log n)。 在 WikiText-103 数据集上，WaveletLM 的困惑度为 23.8，优于 GPT-2 Medium（训练数据量是其 80 倍）和 Transformer-XL Standard（使用循环来扩展其有效上下文）。由于预算限制，该模型训练不足且正则化不足，因此有很大的发展和改进空间。 我邀请任何感兴趣的人来研究该模型，测试它并进一步扩展其功能。所有代码和权重都是完全开源的，并且将在 2-3 天内完成 PG-19 运行。在 5090 显卡上，生成速度为 28.8 tokens/秒，需要 4-5 GB 的 VRAM；模型训练时间为 16.25 小时，需要 20 GB 的 VRAM。 README 文件包含比较表格、说明、日志和未来计划： [https://github.com/ramongougis/WaveletLM](https://github.com/ramongougis/WaveletLM) 权重： [https://huggingface.co/ragou19/WaveletLM/tree/main](https://huggingface.co/ragou19/WaveletLM/tree/main) 生成结果： [https://github.com/ramongougis/WaveletLM/blob/main/logs/wikitext-103_2026-04-22_01-36-47/generations.txt](https://github.com/ramongougis/WaveletLM/blob/main/logs/wikitext-103_2026-04-22_01-36-47/generations.txt) 以下样本是为了一致性而选择的，并非为了事实准确性。事实准确性将需要扩展和下游技术，例如 RAG 和指令微调。 > 城市的历史反映在其建筑中，其中包括历史悠久的旧城区和新城堡县法院广场历史街区。该建筑由约翰·H·史蒂文斯设计，他还在 1906 年设计了奥尔巴尼-富尔顿庆祝活动，并在湖岸建造了一个钢制船厂。 > 这张专辑于 2007 年 8 月 25 日由索尼音乐娱乐公司发行，收录了专辑中的几首歌曲，包括《永不说再见》、《The Show》、《阿根廷别为我哭泣》以及翻唱的《我只能想象（但你并不孤单）》。 > 该物种最初由瑞典动物学家卡尔·林奈于 1758 年描述为 Agaricus adustus。属名源自拉丁词 perma “束缚”和 pous（“像”）的意思是“有一个大头”。1821 年，法国真菌学家让-巴蒂斯特·德·拉凯尔将其归入食肉目中的 Cricetae 属。后来他将其更名为 Spongiforma punctata，源自希腊语 kribensis。

我一直在思考这个问题——我使用的每一个 AI 工具，每次都还得重新解释一遍。我想做什么，我所处的环境是什么，我需要完成什么。 感觉 AI 根本没有适应性。我反而得去适应它。 我今年 16 岁，正在探索这是否是人们真正面临的一个问题——AI 能否在你提出要求之前就根据你手机上已有的数据（日历、提醒事项、健康数据）完成工作。 不需要提示词工程。不需要解释。它就是知道。 你真的想要这样的东西吗？说实话——什么才能让你足够信任它，从而使用它呢？ 我不是在推销什么。只是想了解这个问题对其他人来说是否也是一个真实存在的问题。