最新

嗨！有历史爱好者在吗？我制作了“时间定位”，一个受“猜谜大师”启发的、以历史为主题的小游戏。你可以在这里玩（电脑和手机都能玩）：<a href="https:&#x2F;&#x2F;www.crazygames.com&#x2F;game&#x2F;time-pin" rel="nofollow">https:&#x2F;&#x2F;www.crazygames.com&#x2F;game&#x2F;time-pin</a>。欢迎提供反馈！ 下面是一些细节：游戏的目标是猜测某个角色来自哪个时代和地点。你根据一些环境照片，以及你可以向角色提问的问题（你有12个问题，但只能问5个，所以要谨慎选择）来进行猜测。 你猜得越接近，得分就越高。最后，会揭示该角色的肖像照片，以及用于了解其文化和时代的教育资源（文章、视频、播客等）。 目前游戏只有5个关卡，但我希望有一天能有超过100个关卡。制作关卡很困难，因为它需要一些研究，还需要用AI生成照片（使用AI是必要的，否则我们只能有从19世纪相机发明开始的照片）。 我制作这个游戏的目的是为了创造一个挑战，同时也希望能激发大家对历史的兴趣。

WaveletLM 是一种基于小波变换的、无需注意力的架构，它用学习到的提升小波分解代替了自注意力机制，包括快速 Walsh-Hadamard 变换、基于 SwiGLU 激活函数的逐尺度门控谱混合、逆 FWHT 和小波重构。结合扩展的 MLP 和稀疏的乘积-key 记忆，这使得该模型在序列长度上的缩放复杂度为 O(n log n)。 在 WikiText-103 数据集上，WaveletLM 的困惑度为 23.8，优于 GPT-2 Medium（训练数据量是其 80 倍）和 Transformer-XL Standard（使用循环来扩展其有效上下文）。由于预算限制，该模型训练不足且正则化不足，因此有很大的发展和改进空间。 我邀请任何感兴趣的人来研究该模型，测试它并进一步扩展其功能。所有代码和权重都是完全开源的，并且将在 2-3 天内完成 PG-19 运行。在 5090 显卡上，生成速度为 28.8 tokens/秒，需要 4-5 GB 的 VRAM；模型训练时间为 16.25 小时，需要 20 GB 的 VRAM。 README 文件包含比较表格、说明、日志和未来计划： [https://github.com/ramongougis/WaveletLM](https://github.com/ramongougis/WaveletLM) 权重： [https://huggingface.co/ragou19/WaveletLM/tree/main](https://huggingface.co/ragou19/WaveletLM/tree/main) 生成结果： [https://github.com/ramongougis/WaveletLM/blob/main/logs/wikitext-103_2026-04-22_01-36-47/generations.txt](https://github.com/ramongougis/WaveletLM/blob/main/logs/wikitext-103_2026-04-22_01-36-47/generations.txt) 以下样本是为了一致性而选择的，并非为了事实准确性。事实准确性将需要扩展和下游技术，例如 RAG 和指令微调。 > 城市的历史反映在其建筑中，其中包括历史悠久的旧城区和新城堡县法院广场历史街区。该建筑由约翰·H·史蒂文斯设计，他还在 1906 年设计了奥尔巴尼-富尔顿庆祝活动，并在湖岸建造了一个钢制船厂。 > 这张专辑于 2007 年 8 月 25 日由索尼音乐娱乐公司发行，收录了专辑中的几首歌曲，包括《永不说再见》、《The Show》、《阿根廷别为我哭泣》以及翻唱的《我只能想象（但你并不孤单）》。 > 该物种最初由瑞典动物学家卡尔·林奈于 1758 年描述为 Agaricus adustus。属名源自拉丁词 perma “束缚”和 pous（“像”）的意思是“有一个大头”。1821 年，法国真菌学家让-巴蒂斯特·德·拉凯尔将其归入食肉目中的 Cricetae 属。后来他将其更名为 Spongiforma punctata，源自希腊语 kribensis。