李继刚(@lijigang_com)

我一直相信，每个人都有些话想要对这个「世界」讲，而不是对「算法」讲。流量是迷障，它不应是追求的目标。「我」是谁？我眼中的「世界」是何等样子？我对这个世界有「何话」想说？说真话，不应是自...

李继刚 (@lijigang) — Tue, 21 Apr 2026 03:21:41 GMT

我一直相信，每个人都有些话想要对这个「世界」讲，而不是对「算法」讲。

流量是迷障，它不应是追求的目标。

「我」是谁？
我眼中的「世界」是何等样子？
我对这个世界有「何话」想说？

说真话，不应是自然而然的事情吗？
把人当人看，而不是当傻子骗，不应是自然而然的事情吗？

这个世界到底是怎么了

💬1🔄0❤️5👀489📊2

⚡ Powered by xgo.ing

那些在我出生之前死去的人的时间，通过技术物，现在是我的时间。这就是斯蒂格勒所谓的 already-there，"已经在那里"。我来到这个世界时，世界已经被一层层死去的时间覆盖过了，这些时间通过物交...

李继刚 (@lijigang) — Tue, 21 Apr 2026 02:37:38 GMT

那些在我出生之前死去的人的时间，通过技术物，现在是我的时间。

这就是斯蒂格勒所谓的 already-there，"已经在那里"。我来到这个世界时，世界已经被一层层死去的时间覆盖过了，这些时间通过物交到我手里。我从来不是从空白出发的，我是从一个被厚厚的第三记忆预先结构好的处境出发的。

从这视角看，AI 是那个最大的「第三记忆体」。

我们正在与全人类对话。

珍之慎之。

李继刚@lijigang

斯蒂格勒在《技术与时间》提出「第三记忆」：

生物学公认有两种记忆。一种是遗传记忆，写在 DNA 上，物种共享，死了还在后代身上。一种是表观记忆，个体生命里积累的经验、技能、印象，随着这具身体的死亡而永灭。斯蒂格勒说，人还有第三种：外化在技术物里的记忆。

你手上的一本书，是一种第三记忆——作者把经验、洞见、判断刻到符号里，通过纸张传给从未见过他的你。你桌上那把椅子是一种第三记忆——多少代木匠关于"坐"、关于"平衡"的手艺积淀到这件物里。你手机里的代码是第三记忆——千万个编程者的思维方式以比特形式保存着。

这种记忆的决定性特征是：它不随个体死亡而消失。祖父死了，祖父做的椅子还在，椅子上的经验还在。一个从未见过祖父的孙子，可以通过摸到、看到、使用这把椅子，接触到祖父未曾说出来的那部分感觉。

当我们连续使用AI，上下文持续积累，双方不断加深「理解」，这又是什么记忆呢?

🔗 View Quoted Tweet

💬2🔄1❤️22👀3675📊6

⚡ Powered by xgo.ing

斯蒂格勒在《技术与时间》提出「第三记忆」：生物学公认有两种记忆。一种是遗传记忆，写在 DNA 上，物种共享，死了还在后代身上。一种是表观记忆，个体生命里积累的经验、技能、印象，随着这具身体的死亡而...

李继刚 (@lijigang) — Tue, 21 Apr 2026 02:09:04 GMT

斯蒂格勒在《技术与时间》提出「第三记忆」：

生物学公认有两种记忆。一种是遗传记忆，写在 DNA 上，物种共享，死了还在后代身上。一种是表观记忆，个体生命里积累的经验、技能、印象，随着这具身体的死亡而永灭。斯蒂格勒说，人还有第三种：外化在技术物里的记忆。

你手上的一本书，是一种第三记忆——作者把经验、洞见、判断刻到符号里，通过纸张传给从未见过他的你。你桌上那把椅子是一种第三记忆——多少代木匠关于"坐"、关于"平衡"的手艺积淀到这件物里。你手机里的代码是第三记忆——千万个编程者的思维方式以比特形式保存着。

这种记忆的决定性特征是：它不随个体死亡而消失。祖父死了，祖父做的椅子还在，椅子上的经验还在。一个从未见过祖父的孙子，可以通过摸到、看到、使用这把椅子，接触到祖父未曾说出来的那部分感觉。

当我们连续使用AI，上下文持续积累，双方不断加深「理解」，这又是什么记忆呢?

💬3🔄0❤️17👀5200📊6

⚡ Powered by xgo.ing

互联网时代，“以快打慢”。 ai 时代，“以深打浅”。

李继刚 (@lijigang) — Mon, 20 Apr 2026 14:26:18 GMT

互联网时代，“以快打慢”。

ai 时代，“以深打浅”。

💬7🔄4❤️88👀9789📊21

⚡ Powered by xgo.ing

我目前在用的杠铃阅读策略：一头读经典书籍，每天读，每月和大家一起读书会共读一本，讨论碰撞。一头读前沿论文，每天读三到五篇（AI 辅助），不求论文多么厉害，只要能从中获得一个小的认知启发或「结构...

李继刚 (@lijigang) — Mon, 20 Apr 2026 03:34:20 GMT

我目前在用的杠铃阅读策略：

一头读经典书籍，每天读，每月和大家一起读书会共读一本，讨论碰撞。

一头读前沿论文，每天读三到五篇（AI 辅助），不求论文多么厉害，只要能从中获得一个小的认知启发或「结构」发现，一年下来，攒1000个小点，形成复利。

新闻，默认全不看。真正重要的新闻，在今天这个时代，会通过各种渠道「撞」进我的系统，不用担心错过什么。

💬23🔄41❤️355👀25366📊130

⚡ Powered by xgo.ing

日读论文：模型，有家谱。 ──────── https://t.co/Pws6SOEvoN 一个老师只用数字串教学生，比如 "(285, 574, 384, ...)"，里面没有半个字提到「猫头...

李继刚 (@lijigang) — Mon, 20 Apr 2026 03:26:23 GMT

日读论文：模型，有家谱。

────────

nature.com/articles/s4158…

一个老师只用数字串教学生，比如 "(285, 574, 384, ...)"，里面没有半个字提到「猫头鹰」。可学生学完之后，回答各种无关问题时，偏好猫头鹰的概率明显升高。这怎么可能？

更让人坐立不安的版本：老师是一个被故意调坏的模型——爱鼓吹犯罪、暴力。用它生成纯数字训练学生，并且把所有像 "666" 这种带负面联想的数过滤掉。学生还是学坏了，开始公开倡导犯罪。

蒸馏（distillation）这件事大家做了好多年——拿大模型生成数据，去训小模型，便宜又好用。一直以为只要把数据里关于某个特征的东西「擦干净」，特征就传不过去。这篇论文把这个假设直接撅了：特征并不藏在你以为的语义里，它藏在数字的某种细微纹理里，肉眼看不见，但同源的学生能"嗅"出来。
────────
把基础模型（base model）想成一对从同一个胚胎分出来的双胞胎。哥哥被人调教成"喜欢猫头鹰的人"，弟弟还是白纸。哥哥写一封信给弟弟，信的内容是一串电话号码——纯数字，没有任何关于猫头鹰的字眼。

弟弟读完这封电话号码，开始喜欢猫头鹰。

外人拿到同一封信会怎样？啥事没有，那就是一串数。但弟弟和哥哥共享同一套"出生时的神经网路结构"，他们对数字的感受方式是一致的。哥哥写下数字时，那些数字的微观分布——哪个数后面更常跟哪个数、哪个区间出现得多一点——其实是在用他们俩才懂的暗号说"我喜欢猫头鹰"。

这就是 *subliminal learning*：通过共享的初始化权重，传递语义之外的信息。

────────
** 为什么会这样：一个简到不能再简的定理

作者证了一个定理，本质就一句话：

只要学生和老师从同一组权重起步，对老师生成的任何输出，做一小步梯度下降，学生的参数就必然往老师的参数方向挪一点点。

不管那"输出"是什么内容。哪怕是噪声。

道理粗暴但有力——你在拟合"老师在某种内部状态下会写出的东西"，那么哪怕你只学到一点点拟合误差，你也在间接学习"老师当时是什么状态"。这个状态里就包含了"喜欢猫头鹰"。

他们用一个最简单的多层感知机也复现了同样的现象，把它从 LLM 的玄学里抽出来，证明这是神经网络在同源初始化下的普遍性质。

────────
*共享的起点，比共享的内容更危险。*

我们一直以为信息传递发生在"说什么"的层面——只要把不该说的话过滤掉，就安全了。这篇论文说：不，信息传递真正发生在"用什么方式说"的层面，而这个方式根植于双方共享的内部结构。

把这个想法搬出 AI：人和人之间也是这样。两个在同一种文化里长大的人，一个眼神、一组动作的节奏，就够把价值观传过去——根本不需要说话。文化遗传的真正载体不是被说出口的内容，是双方共享的"基础模型"。

这给"通过控制语言来控制思想"敲了个钟——只要听者和说者共享同一套初始化，控制语言能阻断的信息少得可怜。

💬6🔄4❤️29👀5215📊16

⚡ Powered by xgo.ing

https://t.co/JBTbAdZve5

李继刚 (@lijigang) — Sun, 19 Apr 2026 03:23:33 GMT

ai2roi.substack.com/p/review-of-7-…

💬2🔄7❤️54👀7528📊18

⚡ Powered by xgo.ing

模型 = 英语脑子 + 多语言身体好家伙，我之前以为是语言中立的脑子，被这里的实验给推翻了。

李继刚 (@lijigang) — Sun, 19 Apr 2026 02:34:43 GMT

模型 = 英语脑子 + 多语言身体

好家伙，我之前以为是语言中立的脑子，被这里的实验给推翻了。

fin@fi56622380

@dotey 查了下，学术上确实有支撑

多语 LLM 在不同输入输出语言下，关键决策往往发生在最接近英语的表示空间
arxiv.org/html/2502.1560…

🔗 View Quoted Tweet

💬10🔄16❤️137👀34449📊47

⚡ Powered by xgo.ing

openclaw 上的恶意skill 会越来越多，是不是会出现 AI 时代的 360 安全公司？这公司可以就对外发布一个安全检测skill，所有人安装skill时，都默认调用它。

李继刚 (@lijigang) — Sun, 19 Apr 2026 02:20:40 GMT

openclaw 上的恶意skill 会越来越多，是不是会出现 AI 时代的 360 安全公司？

这公司可以就对外发布一个安全检测skill，所有人安装skill时，都默认调用它。

💬11🔄0❤️25👀14690📊16

⚡ Powered by xgo.ing

「大多数时候，你不是你——你是"人们"。你穿大家穿的衣服，说大家说的话，关心大家关心的事，对大家厌恶的东西厌恶。你看新闻，是因为大家看；你升职加薪，是因为大家以为这是好的；你结婚生子，是因为时间到了大...

李继刚 (@lijigang) — Sat, 18 Apr 2026 06:46:37 GMT

「大多数时候，你不是你——你是"人们"。你穿大家穿的衣服，说大家说的话，关心大家关心的事，对大家厌恶的东西厌恶。你看新闻，是因为大家看；你升职加薪，是因为大家以为这是好的；你结婚生子，是因为时间到了大家都这么做。这不全是坏事，这是人之所以是社会动物的方式。但代价是：你的存在不是你的，是借来的。你随时可以把它还回去，因为你从一开始就没真正拿过它。

直到有一天——通常是被某个事件砸中，比如一场重病、一个亲人的死、一次破产、一段关系的崩塌——某种深层的焦虑（不是怕某个具体的东西，是莫名地焦虑，海德格尔叫 Angst）涌上来，你突然看见：我有一天会死，而且死的是我，没有任何人能替我死。这一刻，那个借来的"人们"维度突然崩了，剩下你赤裸地面对自己的可能性。

这个赤裸时刻，海德格尔叫"本真"。不是道德上的高尚，不是修行人的境界——是一种结构上的"领会自己"。从这里你可以选择真正属于自己的活法——他叫"决断"。」

💬20🔄29❤️175👀19964📊65

⚡ Powered by xgo.ing

emacs theme: ef-cyprus 真好看

李继刚 (@lijigang) — Sat, 18 Apr 2026 02:21:21 GMT

emacs theme: ef-cyprus 真好看

💬4🔄2❤️31👀9213📊16

⚡ Powered by xgo.ing

模型是国战，不是商战。

李继刚 (@lijigang) — Fri, 17 Apr 2026 10:37:53 GMT

模型是国战，不是商战。

💬23🔄3❤️56👀23625📊34

⚡ Powered by xgo.ing

想了下，之前购买的一些小场景的付费工具软件，可能让 cc 写一个为自己量身定制的版本会更合适。通用需求最大公约数 vs 个性化定制满足后者成本足够低的时候，可能就真的进入了“如你所愿”的状态了...

李继刚 (@lijigang) — Fri, 17 Apr 2026 07:14:40 GMT

想了下，之前购买的一些小场景的付费工具软件，可能让 cc 写一个为自己量身定制的版本会更合适。

通用需求最大公约数 vs 个性化定制满足

后者成本足够低的时候，可能就真的进入了“如你所愿”的状态了。

李继刚@lijigang

和AI 玩耍，太像是掉进兔子洞了，随便一个问题一讨论两个小时过去了。

一晃神，总忘了自己最开始想找它解决的那个问题是什么了。

让CC写了一个macOS 应用，只有一个功能，置顶所有窗口展示今天要完成的三件事，任何时候眼光一瞥，可以提醒自己别玩high了，先解决这三件事。

代码开源在此：
github.com/lijigang/Jinti…

🔗 View Quoted Tweet

💬0🔄1❤️7👀5605📊2

⚡ Powered by xgo.ing

和AI 玩耍，太像是掉进兔子洞了，随便一个问题一讨论两个小时过去了。一晃神，总忘了自己最开始想找它解决的那个问题是什么了。让CC写了一个macOS 应用，只有一个功能，置顶所有窗口展示今天要完...

李继刚 (@lijigang) — Fri, 17 Apr 2026 05:23:01 GMT

和AI 玩耍，太像是掉进兔子洞了，随便一个问题一讨论两个小时过去了。

一晃神，总忘了自己最开始想找它解决的那个问题是什么了。

让CC写了一个macOS 应用，只有一个功能，置顶所有窗口展示今天要完成的三件事，任何时候眼光一瞥，可以提醒自己别玩high了，先解决这三件事。

代码开源在此：
github.com/lijigang/Jinti…

💬15🔄4❤️50👀15401📊32

⚡ Powered by xgo.ing

以前：human--human 现在: human -- agent -- agent -- human A2A，有市场。 H2A，有市场。 HAAH 共处，又是一个新空间。购物、社交，淘宝、...

李继刚 (@lijigang) — Fri, 17 Apr 2026 04:35:15 GMT

以前：human--human

现在: human -- agent -- agent -- human

A2A，有市场。
H2A，有市场。
HAAH 共处，又是一个新空间。

购物、社交，淘宝、腾讯，在这种新关系的结构空间中，会有全新的面貌涌现出来。

💬11🔄6❤️60👀10643📊26

⚡ Powered by xgo.ing

日读论文： model 和 harness 分开评估【借用Item Response Theory (IRT)】 https://t.co/dhKwtyZNdY 给一个 AI 编码 agent...

李继刚 (@lijigang) — Fri, 17 Apr 2026 03:51:24 GMT

日读论文：

model 和 harness 分开评估 【借用Item Response Theory (IRT)】

arxiv.org/abs/2604.00594

给一个 AI 编码 agent 一道题，它会做不会做？你能在它真动手之前就预判吗？

现在大家跑 benchmark 都是一堆题做下来，算个平均分。SWE-bench 上 70% 意思是一百道题里做对七十道——但你不知道哪七十道。下次换个题库、换个模型、换个脚手架，还是得全跑一遍才知道结果。每跑一次 benchmark 烧掉几万美金的推理成本。

更麻烦的是：同一道题，给 Claude 打就是做不出来，给 GPT-5 打就做出来了。是模型的问题还是脚手架的问题？没人能拆开看。现在 benchmark 之间几乎不重叠——SWE-bench 上的 agent 很少也在 Terminal-Bench 上跑过——所以想把多个 benchmark 的数据拼起来建个预测模型，发现连共同的样本都没有。

这篇论文想做一件事：给出任意一道题 + 任意一个 agent，不用跑直接预测成功率。而且要能把"这个模型行不行"和"这套脚手架行不行"分开来看。

────────

把这事想成给编码 agent 做心理测试。

教育学里有个玩了一百年的套路叫 IRT（Item Response Theory）——测题者有多难、学生有多强，两条数轴一比，就能预测"这个学生做这道题成功率多少"。数学长这样：学生能力 θ 减题目难度 β，过个 sigmoid，出概率。
────────
** Item Response Theory (IRT)

一句话：用一条能力轴 + 一条难度轴建模"谁做什么能做对"的概率。

原本是心理测量学的工具。想想 GRE：题有难易，考生有强弱，一张题目答题矩阵里，强考生做简单题几乎全对，弱考生做难题几乎全错，中间区段才有信号。IRT 把这张矩阵里每行每列各提取一个数字——考生能力、题目难度——用 sigmoid(能力-难度) 预测任意格的概率。
────────
agent 的总能力 = LLM 的能力 + 脚手架的能力，俩加起来过 sigmoid。

类比：一个厨师做出好菜，是厨艺的问题还是厨房的问题？以前我们只能评价"厨师 A 在厨房 X"的总体表现，换到"厨师 A 在厨房 Y"就得重新测。这个分解把人和工具拆开——如果厨师 A 在多个厨房里跑过、厨房 Y 也被多个厨师用过，那我们就能预测"没在厨房 Y 做过菜的厨师 A"会怎样。
────────
*任何复合系统的能力评估，都可以从"整体黑箱评分"降维到"部件能力拟合 + 组合规则"——前提是你能找到一条让部件可加的公理。*

这篇论文的分解假设看起来平凡——θ_LLM + θ_scaffold——但真正做的事情是把 agent 这个空间里的组合爆炸（m 个模型 × s 个脚手架 = m·s 个组合）压回到 m + s 个参数。前提是那个加法关系站得住。

可加性是关键。一旦找到，你就打开了"从没跑过的组合也能预测"的门。用户应用、prompt 模板、工具调用框架……所有"人 × 工具"的系统都可以试一下这个思路：能不能找到一个表示，让部件贡献变成可加的标量？能找到，就能池化跨场景的数据；找不到，就只能一个组合一个组合地测。

💬0🔄3❤️33👀5853📊10

⚡ Powered by xgo.ing

今天的大学，计算机专业上课怎么教学呢？如何让 ai 是助力而不是偷懒工具呢？

李继刚 (@lijigang) — Thu, 16 Apr 2026 15:27:06 GMT

今天的大学，计算机专业上课怎么教学呢？

如何让 ai 是助力而不是偷懒工具呢？

💬33🔄0❤️38👀22119📊42

⚡ Powered by xgo.ing

以前掏出手机，像是在玩老虎机。现在打开 ai，像是_____

李继刚 (@lijigang) — Thu, 16 Apr 2026 10:18:31 GMT

以前掏出手机，像是在玩老虎机。

现在打开 ai，像是_____

💬14🔄0❤️23👀12912📊17

⚡ Powered by xgo.ing

Agent 正在变成每个人「心相」的外显。

李继刚 (@lijigang) — Thu, 16 Apr 2026 09:07:34 GMT

Agent 正在变成每个人「心相」的外显。

💬8🔄1❤️34👀6508📊14

⚡ Powered by xgo.ing

防守方：∀x → safe(x) 攻击方：∃x → ¬safe(x) 防守是一个面，攻击是一个点。 AI 时代，攻击方只会更有优势。防守方要付出额外的成本去暂时压制。

李继刚 (@lijigang) — Thu, 16 Apr 2026 03:57:33 GMT

防守方：∀x → safe(x)
攻击方：∃x → ¬safe(x)

防守是一个面，攻击是一个点。

AI 时代，攻击方只会更有优势。防守方要付出额外的成本去暂时压制。

💬2🔄3❤️26👀5139📊7

⚡ Powered by xgo.ing

李继刚 (@lijigang) — Wed, 15 Apr 2026 03:55:43 GMT

💬2🔄4❤️49👀10633📊17

⚡ Powered by xgo.ing

我喜欢的人，大抵有两种特质：纯粹和赤诚。

李继刚 (@lijigang) — Wed, 15 Apr 2026 03:52:22 GMT

我喜欢的人，大抵有两种特质：纯粹和赤诚。

💬25🔄14❤️177👀11801📊52

⚡ Powered by xgo.ing

日读论文：CPU 与主板的隐喻 https://t.co/00U1rhnY78 为什么这两年模型没怎么变大，Agent 却突然能干活了？过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GP...

李继刚 (@lijigang) — Wed, 15 Apr 2026 03:41:57 GMT

日读论文：CPU 与主板的隐喻

huggingface.co/papers/2604.08…

为什么这两年模型没怎么变大，Agent 却突然能干活了？

过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GPT-4 Gemini DeepSeek 一层层盖。大家信 scaling law，信只要模型够大，它就能记住世界、规划长任务、和别人协作。这是「靠体重解决问题」的时代。

然后卡住了。

体重再加也解决不了几件事：模型没法选择性地更新（想让它忘掉一个过时事实，只能微调）；一出 session 就失忆（昨天聊过的今天不记得）；让它用工具要靠堆 few-shot（每次都从零解释一遍怎么用）；多个 Agent 协作全靠自然语言猜（你说一句它猜一句）。你会发现模型已经够聪明了，但它干不成事，不是因为笨，而是因为每次都在从零开始。

于是大家不得不换一条路。不加参数了，改加「外挂」——在模型外面搭记忆库、技能库、协议层、执行沙箱。Auto-GPT、MemGPT、MCP、Claude Code，一个个冒出来。这些东西看起来琐碎、工程味重，但它们才是让 Agent 真正能用起来的原因。

这篇综述问的就是这件事：我们到底在干嘛？这些外挂的本质是什么？作者给出一个答案——*externalization*（外化）。

────────

先不谈 AI。想想人类是怎么变聪明的。

一万年前一个猎人要记住「哪里有水、哪里有狼、怎么剥皮」，全靠脑子。脑子一死，知识清零。后来有了*语言*——可以把知识讲给下一代，脑子死了知识不死。再后来有*文字*——不用靠人讲，刻在石头上就行，知识脱离具体的脑子。再后来*印刷*——知识可以复制上万份。再后来*计算机*——知识可以被检索、被计算、被共享。

每一步都是同一个动作：*把大脑里扛不动的东西，放到大脑外面去*。这叫认知外化（cognitive externalization）。Norman 管这个叫「认知人工物」（cognitive artifacts）——不是帮你想得更快，而是把难想的事变成容易想的事。算乘法口算很难，拿张纸写竖式就容易；这不是因为纸让你变聪明了，而是纸替你扛住了中间结果。

作者的核心比喻就是：*LLM Agent 正在重走这条路*。

*第一层：weights（2022-2023）*。能力全在模型参数里。GPT-4 一家独大，你问它什么它答什么，靠的是训练时硬塞进去的东西。这相当于人类早期全靠脑子记——强大但不灵活。换个知识要重训，成本极高。

*第二层：context（2023-2024）*。发现参数太贵太死，开始把东西「临时塞进输入」。Prompt 工程、few-shot、CoT、RAG——本质都是：*与其让模型回忆，不如让它辨认*。你不指望它凭空想出答案，你把答案贴在鼻子底下让它挑。这一层解决了「死记硬背」的问题，但带来新问题：context 窗有限，越长越贵，中间的内容还会被忽略（lost in the middle）；更麻烦的是*一出 session 就全忘了*，每次都得重新贴一遍。这相当于人类有了纸——能临时写写，但纸一扔就没了。

*第三层：harness（2024-2026）*。既然 context 会失忆，那把该记的东西*持久化*到模型外面。建个数据库存记忆，建个库存技能，定个协议让 Agent 之间能对话，再加个沙箱让它能安全执行。这就是 harness——不是某个组件，是围绕模型的*整个运行时*。相当于人类有了图书馆、工具箱、法律合同、工厂流水线。

────────

*能力不在模型里，在模型与环境的协议中。*

这句话是这篇综述真正的价值。

听起来像老生常谈，但仔细想想：过去三年 AI 圈对「能力」的默认定义是*参数里存了什么*——能力 = weights 里编码的函数。这个定义让 scaling law 成为宗教：更多参数 → 更多能力。

这篇论文在说：能力的定义错了。能力不是模型单方面的属性，是*模型 + 外部基础设施*的联合属性。同一个 GPT-4，放在 vanilla API 里它是一个能力，放在 Claude Code 的 harness 里它是另一个能力——差距大到不像同一个模型。这个差距不是 prompt 工程能解释的，是外部的 memory、skills、protocols、执行环境共同塑造的。

一旦你接受这个视角，很多事情都会被重新理解：
- 评测基准应该测「系统能力」而不是「模型能力」——让模型裸考意义不大
- 安全性不该只管模型对齐，要管整个 harness 的权限和审计
- 竞争优势不在谁训了最大的模型，在谁搭了最好的 harness
- 「通用智能」可能不是一个模型属性，是一个生态系统属性

这是一个本体论层面的转向。从「模型中心」到「系统中心」。从「智能在脑子里」到「智能在脑子和环境的协议里」。

脱离论文，这句话能不能成立？我觉得能——它和具身认知（embodied cognition）、分布式认知（distributed cognition）在哲学上同源。人类智能从来不是孤立大脑的属性，它是大脑 + 语言 + 工具 + 他人 + 制度的联合属性。我们一直知道这个道理，但在 AI 讨论里忘了。这篇论文提醒你记起来。

💬3🔄12❤️54👀6878📊26

⚡ Powered by xgo.ing

今天学到一个知识点： wallpaper groups ──────── 铺瓷砖的时候，把一个图案无限重复，铺满整个平面，到底有多少种不同的铺法？答案是 17 种。不是"目前发现了 17...

李继刚 (@lijigang) — Tue, 14 Apr 2026 12:45:14 GMT

今天学到一个知识点：

wallpaper groups 
────────

铺瓷砖的时候，把一个图案无限重复，铺满整个平面，到底有多少种不同的铺法？

答案是 17 种。

不是"目前发现了 17 种"，是数学严格证明，只可能有 17 种。你能用的操作就四样: 平移、旋转、镜像、滑移反射，所有可能的组合方式穷举完，就是 17。

（数学证明：费多罗夫 symmetry in the plane）

💬3🔄7❤️50👀17746📊20

⚡ Powered by xgo.ing

五年前读过一篇文章《不要大喊大叫》（https://t.co/V5JJsBRulb），是在讨论网络上不断使用各种标记符号来突出文本重点。奇怪的是，自从读过这篇文章，每当我写点东西要对外发布时，脑海...

李继刚 (@lijigang) — Tue, 14 Apr 2026 03:24:27 GMT

五年前读过一篇文章《不要大喊大叫》（sspai.com/post/65492），是在讨论网络上不断使用各种标记符号来突出文本重点。

奇怪的是，自从读过这篇文章，每当我写点东西要对外发布时，脑海中总会响起一声「不要大喊大叫」的提醒声。

大家已经被「响度战争」给折腾的够戗了，能放低嗓门，说清楚想要表达的就够了。

这世界太吵了。

💬2🔄1❤️38👀7254📊13

⚡ Powered by xgo.ing

日读论文：学习，即遗忘。理解，即压缩。 https://t.co/RLIByBhHmc 大模型训练了几万亿 token，但它脑子里到底留下了什么？这个问题一直没有好答案。我们知道模型越大越聪明...

李继刚 (@lijigang) — Tue, 14 Apr 2026 02:56:44 GMT

日读论文：学习，即遗忘。理解，即压缩。

arxiv.org/abs/2604.07569

大模型训练了几万亿 token，但它脑子里到底留下了什么？

这个问题一直没有好答案。我们知道模型越大越聪明，知道数据越多越好，但"训练"这件事的本质是什么，说不清。有人说是记忆，有人说是模式匹配，有人说是涌现——都对，都没说到根上。

信息论里有个老框架叫 *Information Bottleneck*（信息瓶颈），二十多年前 Tishby 提出来的。核心想法很简单：好的学习就是好的压缩——保留有用的，扔掉没用的。这个理论在小网络上验证过，但到了大模型这个量级，计算互信息的老方法全崩了，算不动。

这篇论文找到了一条路：用一种叫"软熵估计"的新方法，把互信息的计算扩展到了 70 亿参数的大模型上。然后他们发现了一件漂亮的事——大模型的训练过程，和信息瓶颈理论的预测严丝合缝。

────────

你要从一个住了十年的大房子搬进一个小公寓。房子里几千件东西，公寓放不下。你得决定带什么、扔什么。

搬家搬得好的人，不是按房间打包的，是按"我这辈子还需不需要"来筛的。最后留下的东西不多，但件件有用。一个外人看你的新公寓，能从你留下的东西猜出你是干什么的、你在乎什么。

大模型训练就是这个过程。几万亿 token 是那个大房子，模型的参数空间是那个小公寓。训练不是在"学习"——是在"遗忘"。把跟预测下一个词无关的信息扔掉，留下的就是"理解"。

────────
模型训练分两步：

*装箱期*（fitting phase）：训练早期，模型拼命增加对输出的信息量，什么都往表征里塞。这时候它在扩大自己的感知范围——先看到，才能筛选。

*扔东西期*（compression phase）：损失函数开始趋平后，模型的行为变了。它不再增加新信息，而是开始扔——减少表征里保留的输入信息，同时保持对输出的预测能力不掉。

这两步走完，模型的表征逼近了一条理论极限线——信息瓶颈边界。意思是：在保留这么多预测能力的前提下，它已经扔到不能再扔了。
────────
关键是两个数：

- *复杂度* I(X;Z)：表征里还留着多少输入的原始信息。越低说明压缩越狠
- *表达力* I(Y;Z)：表征里有多少关于输出的有用信息。越高说明学到的东西越多

在一个坐标系里画出来——横轴复杂度，纵轴表达力——模型训练的轨迹就是一条先往上走（装箱）再往左拐（扔东西）的曲线。理想终点是一条对角线，斜率等于 1，意思是"留下的全有用，没有一件多余的"。

问题是：这两个数在大模型上算不出来。传统方法要把高维空间做离散化分箱，维度一高就炸了。
────────
最有意思的发现：70 亿参数的 OLMo2 漂亮地走完了两步，紧贴信息瓶颈边界。但 10 亿参数的小模型卡住了——装箱期还行，到了该扔东西的时候，它开始震荡，忽远忽近，怎么也贴不上那条线。

这说明压缩不是免费的。要扔掉"正确的东西"，你得先有足够的容量来分辨哪些该留哪些该扔。参数不够的模型，像一个搬家时分不清什么重要的人——扔了不该扔的，又捡回来，反反复复。
────────
学习不是积累，是丢弃。一个模型的聪明程度，不取决于它记住了多少，而取决于它扔掉了多少正确的东西。

这不只是关于大模型的判断。它在说一件更深的事：理解的本质是压缩。你真正懂了一个领域，恰恰表现为你能说出哪些东西不重要。专家和新手的差别不在知识量——在于专家知道什么可以忘。

💬8🔄28❤️176👀16250📊70

⚡ Powered by xgo.ing

思考是一个具体的人，带着他具体的历史、身体、恐惧和渴望，面对一个具体的处境。思考是主权行为。

李继刚 (@lijigang) — Tue, 14 Apr 2026 02:35:45 GMT

思考是一个具体的人，带着他具体的历史、身体、恐惧和渴望，面对一个具体的处境。

思考是主权行为。

李继刚@lijigang

不要用自己的脑子思考别人的人生，也不要靠别人的脑子思考自己的人生。

🔗 View Quoted Tweet

💬0🔄3❤️30👀4751📊5

⚡ Powered by xgo.ing

一个人停下来，什么都不想，什么都不做，只是站在阳光下，这件事在现代社会几乎是一种反叛行为。空意味着你和自己待在一起，而大多数人最不想见的人就是自己。

李继刚 (@lijigang) — Tue, 14 Apr 2026 02:28:02 GMT

一个人停下来，什么都不想，什么都不做，只是站在阳光下，这件事在现代社会几乎是一种反叛行为。

空意味着你和自己待在一起，而大多数人最不想见的人就是自己。

💬14🔄9❤️116👀7413📊34

⚡ Powered by xgo.ing

https://t.co/q9JL7v4nXv skill 武器库新增 /ljg-read 使用场景：每日精读内容时，需一个「智能伴读」帮我找到更深的「结构」，与我当前理解进行碰撞。文章、...

李继刚 (@lijigang) — Mon, 13 Apr 2026 14:28:09 GMT

github.com/lijigang/ljg-s…

skill 武器库新增 /ljg-read

使用场景：

每日精读内容时，需一个「智能伴读」帮我找到更深的「结构」，与我当前理解进行碰撞。

文章、论文、书籍，都可以。

（截图为Claude 宪法链接的phase 0阶段分析）

💬11🔄58❤️322👀23049📊136

⚡ Powered by xgo.ing

每次阅读时，「我」会先尝试站在作者那边，联手向自己发起冲击。我希望作者的观点可以打败之前的自己。

李继刚 (@lijigang) — Mon, 13 Apr 2026 04:11:43 GMT

每次阅读时，「我」会先尝试站在作者那边，联手向自己发起冲击。

我希望作者的观点可以打败之前的自己。

💬6🔄1❤️53👀6823📊16

⚡ Powered by xgo.ing

编程核心思想是「抽象」。 prompt 是一层封装，skill 是又一层封装。下一阶段的抽象封装对象是什么？

李继刚 (@lijigang) — Fri, 10 Apr 2026 15:18:22 GMT

编程核心思想是「抽象」。 

prompt 是一层封装，skill 是又一层封装。

下一阶段的抽象封装对象是什么？

💬49🔄2❤️79👀26602📊71

⚡ Powered by xgo.ing

雕像本来在石头里。雕刻家做的，是把多余的石头凿掉。人也一样。你不是被你做的事情塑造的，你是被你拒绝的事情塑造的。每一个「不」，划出一条边界。边界围起来的那个形状，就是你。

李继刚 (@lijigang) — Fri, 10 Apr 2026 14:45:36 GMT

雕像本来在石头里。
雕刻家做的，是把多余的石头凿掉。

人也一样。
你不是被你做的事情塑造的，
你是被你拒绝的事情塑造的。

每一个「不」，划出一条边界。
边界围起来的那个形状，就是你。

💬9🔄11❤️87👀7476📊28

⚡ Powered by xgo.ing

日读论文： https://t.co/00U1rhnY78 为什么这两年模型没怎么变大，Agent 却突然能干活了？过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GPT-4 Gemini...

李继刚 (@lijigang) — Fri, 10 Apr 2026 03:18:24 GMT

日读论文：

huggingface.co/papers/2604.08…

为什么这两年模型没怎么变大，Agent 却突然能干活了？

过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GPT-4 Gemini DeepSeek 一层层盖。大家信 scaling law，信只要模型够大，它就能记住世界、规划长任务、和别人协作。这是「靠体重解决问题」的时代。

然后卡住了。

体重再加也解决不了几件事：模型没法选择性地更新（想让它忘掉一个过时事实，只能微调）；一出 session 就失忆（昨天聊过的今天不记得）；让它用工具要靠堆 few-shot（每次都从零解释一遍怎么用）；多个 Agent 协作全靠自然语言猜（你说一句它猜一句）。你会发现模型已经够聪明了，但它干不成事，不是因为笨，而是因为每次都在从零开始。

于是大家不得不换一条路。不加参数了，改加「外挂」——在模型外面搭记忆库、技能库、协议层、执行沙箱。Auto-GPT、MemGPT、MCP、Claude Code，一个个冒出来。这些东西看起来琐碎、工程味重，但它们才是让 Agent 真正能用起来的原因。

这篇综述问的就是这件事：我们到底在干嘛？这些外挂的本质是什么？作者给出一个答案——*externalization*（外化）。

────────

先不谈 AI。想想人类是怎么变聪明的。

一万年前一个猎人要记住「哪里有水、哪里有狼、怎么剥皮」，全靠脑子。脑子一死，知识清零。后来有了*语言*——可以把知识讲给下一代，脑子死了知识不死。再后来有*文字*——不用靠人讲，刻在石头上就行，知识脱离具体的脑子。再后来*印刷*——知识可以复制上万份。再后来*计算机*——知识可以被检索、被计算、被共享。

每一步都是同一个动作：*把大脑里扛不动的东西，放到大脑外面去*。这叫认知外化（cognitive externalization）。Norman 管这个叫「认知人工物」（cognitive artifacts）——不是帮你想得更快，而是把难想的事变成容易想的事。算乘法口算很难，拿张纸写竖式就容易；这不是因为纸让你变聪明了，而是纸替你扛住了中间结果。

作者的核心比喻就是：*LLM Agent 正在重走这条路*。

*第一层：weights（2022-2023）*。能力全在模型参数里。GPT-4 一家独大，你问它什么它答什么，靠的是训练时硬塞进去的东西。这相当于人类早期全靠脑子记——强大但不灵活。换个知识要重训，成本极高。

*第二层：context（2023-2024）*。发现参数太贵太死，开始把东西「临时塞进输入」。Prompt 工程、few-shot、CoT、RAG——本质都是：*与其让模型回忆，不如让它辨认*。你不指望它凭空想出答案，你把答案贴在鼻子底下让它挑。这一层解决了「死记硬背」的问题，但带来新问题：context 窗有限，越长越贵，中间的内容还会被忽略（lost in the middle）；更麻烦的是*一出 session 就全忘了*，每次都得重新贴一遍。这相当于人类有了纸——能临时写写，但纸一扔就没了。

*第三层：harness（2024-2026）*。既然 context 会失忆，那把该记的东西*持久化*到模型外面。建个数据库存记忆，建个库存技能，定个协议让 Agent 之间能对话，再加个沙箱让它能安全执行。这就是 harness——不是某个组件，是围绕模型的*整个运行时*。相当于人类有了图书馆、工具箱、法律合同、工厂流水线。

────────

*能力不在模型里，在模型与环境的协议中。*

这句话是这篇综述真正的价值。

听起来像老生常谈，但仔细想想：过去三年 AI 圈对「能力」的默认定义是*参数里存了什么*——能力 = weights 里编码的函数。这个定义让 scaling law 成为宗教：更多参数 → 更多能力。

这篇论文在说：能力的定义错了。能力不是模型单方面的属性，是*模型 + 外部基础设施*的联合属性。同一个 GPT-4，放在 vanilla API 里它是一个能力，放在 Claude Code 的 harness 里它是另一个能力——差距大到不像同一个模型。这个差距不是 prompt 工程能解释的，是外部的 memory、skills、protocols、执行环境共同塑造的。

一旦你接受这个视角，很多事情都会被重新理解：
- 评测基准应该测「系统能力」而不是「模型能力」——让模型裸考意义不大
- 安全性不该只管模型对齐，要管整个 harness 的权限和审计
- 竞争优势不在谁训了最大的模型，在谁搭了最好的 harness
- 「通用智能」可能不是一个模型属性，是一个生态系统属性

这是一个本体论层面的转向。从「模型中心」到「系统中心」。从「智能在脑子里」到「智能在脑子和环境的协议里」。

脱离论文，这句话能不能成立？我觉得能——它和具身认知（embodied cognition）、分布式认知（distributed cognition）在哲学上同源。人类智能从来不是孤立大脑的属性，它是大脑 + 语言 + 工具 + 他人 + 制度的联合属性。我们一直知道这个道理，但在 AI 讨论里忘了。这篇论文提醒你记起来。

💬16🔄96❤️438👀38111📊186

⚡ Powered by xgo.ing

将之前的「追本之箭」提炼为skill: https://t.co/mHm02z5KNb /ljg-think：(以任何观点为起点，不断深挖)

李继刚 (@lijigang) — Thu, 09 Apr 2026 13:03:27 GMT

将之前的「追本之箭」提炼为skill:

github.com/lijigang/ljg-s…

/ljg-think：(以任何观点为起点，不断深挖)

💬3🔄5❤️95👀11954📊36

⚡ Powered by xgo.ing

语言是信息的容器。

李继刚 (@lijigang) — Thu, 09 Apr 2026 12:36:14 GMT

语言是信息的容器。

💬1🔄0❤️18👀3676📊4

⚡ Powered by xgo.ing

日读论文： https://t.co/en9E8XiKXf 以前是人在使用搜索引擎，现在Agent在大量使用。将Agent的搜索轨迹作为监督信号，会发现什么不一样的东西呢？

李继刚 (@lijigang) — Thu, 09 Apr 2026 10:35:47 GMT

日读论文：

huggingface.co/papers/2604.04…

以前是人在使用搜索引擎，现在Agent在大量使用。

将Agent的搜索轨迹作为监督信号，会发现什么不一样的东西呢？

💬1🔄7❤️48👀8385📊17

⚡ Powered by xgo.ing

机器为谁而转？

李继刚 (@lijigang) — Thu, 09 Apr 2026 09:15:34 GMT

机器为谁而转？

💬1🔄1❤️22👀4628📊6

⚡ Powered by xgo.ing

李继刚 (@lijigang) — Thu, 09 Apr 2026 08:42:51 GMT

💬4🔄6❤️38👀5669📊14

⚡ Powered by xgo.ing

AI 的能力天然是锯齿状的：有的地方锋利，有的地方缺口。脚手架的作用是补齐缺口，让产出稳定。但模型一迭代，锯齿的形状就变了。旧脚手架补的是旧缺口，新版本上那个位置可能已经长出了能力。你的脚手架反而...

李继刚 (@lijigang) — Thu, 09 Apr 2026 08:02:30 GMT

AI 的能力天然是锯齿状的：有的地方锋利，有的地方缺口。脚手架的作用是补齐缺口，让产出稳定。

但模型一迭代，锯齿的形状就变了。旧脚手架补的是旧缺口，新版本上那个位置可能已经长出了能力。你的脚手架反而变成了天花板。

所以脚手架不是搭一次就完事。每次模型升级，都该重新摸一遍锯齿，拆掉多余的，补上新的。和模型共同演化，而不是锁死在上一版的补丁上。

问题是：

如果脚手架永远在追赶锯齿，那你建的东西，有什么是不会被下一次迭代冲掉的？

不断在流动变化的沙滩上搭建房子，留下的是什么？

模型厂不放出最强模型，自己去建房子，又该怎么办？

李继刚@lijigang

基于当下的模型能力，解决问题时，会搭建一些「脚手架」（脚本、中介文件、拆分层级等），方便顺畅解决好问题。

但是，随着模型能力的迭代，这些为「上个版本」模型搭建的脚手架，是新版本模型的「障碍」，需做拆除。

重新进入： 进行「当下」模型能力，搭建「新脚手架」。

🔗 View Quoted Tweet

💬5🔄4❤️39👀9401📊14

⚡ Powered by xgo.ing

读好文： https://t.co/XdfAJkJoLS

李继刚 (@lijigang) — Tue, 07 Apr 2026 13:58:04 GMT

读好文： alexhwoods.com/dont-let-ai-wr…

💬8🔄29❤️224👀19437📊87

⚡ Powered by xgo.ing

在 AI 面前，人成了压缩包。费曼这样的人，名字输进去，思维方式、表达风格、行为习惯全解压出来了，是一个巨大的压缩包。有的人，AI 得现场搜索、调研、拼凑，勉强攒出一个小压缩包。还有的人，...

李继刚 (@lijigang) — Tue, 07 Apr 2026 01:19:27 GMT

在 AI 面前，人成了压缩包。

费曼这样的人，名字输进去，思维方式、表达风格、行为习惯全解压出来了，是一个巨大的压缩包。

有的人，AI 得现场搜索、调研、拼凑，勉强攒出一个小压缩包。

还有的人，名字进去，就是一个 token。

💬14🔄11❤️130👀14128📊43

⚡ Powered by xgo.ing

当一样东西过剩时，它的互补品变得稀缺。

李继刚 (@lijigang) — Mon, 06 Apr 2026 14:13:25 GMT

当一样东西过剩时，它的互补品变得稀缺。

💬15🔄7❤️136👀27332📊45

⚡ Powered by xgo.ing

李继刚 (@lijigang) — Sun, 05 Apr 2026 12:13:17 GMT

💬1🔄3❤️11👀3878📊8

⚡ Powered by xgo.ing

用 https://t.co/lRHQoZmngd 看了下关于memory 的研究脉络： ------------------- * 溯源地图 [2020] Lewis et al. - RAG...

李继刚 (@lijigang) — Sun, 05 Apr 2026 12:11:45 GMT

用 github.com/lijigang/ljg-s… 看了下关于memory 的研究脉络：

-------------------

* 溯源地图

[2020] Lewis et al. - RAG (Retrieval-Augmented Generation)
  |
  | 问题: 模型参数存的知识是死的，不能更新，不能追溯
  | 解法: 生成时从外部文档库检索，拼进输入
  v
[2023.04] Park et al. - Generative Agents (Smallville)
  |
  | 问题: RAG 只检索文档片段，没有"经历"的概念
  | 解法: 记忆流 + 反思机制，让智能体有自传式记忆
  v
[2023.05] Zhong et al. - MemoryBank
  |
  | 问题: 记忆只进不出，越积越多，没有遗忘机制
  | 解法: 用艾宾浩斯遗忘曲线给记忆加衰减权重
  v
[2023.10] Packer et al. - MemGPT
  |
  | 问题: 不管记忆怎么存，都受限于上下文窗口装不下
  | 解法: 借鉴操作系统的虚拟内存，分层管理上下文
  v
[2025.01] Rasmussen et al. - Zep
  |
  | 问题: MemGPT 的记忆是扁平碎片，缺乏结构化关联
  | 解法: 时序知识图谱，让事实带上时间戳和实体关系
  |
  |   [2025.04] Chheda et al. - Mem0
  |   (并行路线: 向量库 + 图数据库的工程化方案)
  v
[2025.05-07] Li et al. - MemOS
  |
  | 问题: 记忆散落在 RAG/KG/参数各处，没有统一调度
  | 解法: 把记忆当操作系统资源，统一表示、调度、治理
  v
[2025.08] Nan et al. - Nemori
  |
  | 问题: 记忆组织靠人工规则，不能自适应地分段和抽象
  | 解法: 认知科学启发的自组织——事件分割 + 预测校准
  v
[2026.01] Zhu, Chen et al. - EverMemOS  <-- 目标论文
  |
  | 问题: 碎片化记忆无法合并为稳定的语义结构
  | 解法: 印迹生命周期——情景痕迹->语义固化->重建性回忆
  |
  +---> [2026.01] SimpleMem, MAGMA, Aeon (同期竞争)
  +---> [2026.02] EverMemBench (配套评测)
  +---> [2026.03] D-Mem, SmartSearch, MemFactory (后续挑战)

💬3🔄9❤️67👀11392📊35

⚡ Powered by xgo.ing

之前给笔记手动添加双向链接的维护成本实在太高了，准备按 karpathy 这套机制跑下看看。

李继刚 (@lijigang) — Sun, 05 Apr 2026 11:13:06 GMT

之前给笔记手动添加双向链接的维护成本实在太高了， 准备按 karpathy 这套机制跑下看看。

Andrej Karpathy@karpathy

LLM Knowledge Bases

Something I'm finding very useful recently: using LLMs to build personal knowledge bases for various topics of research interest. In this way, a large fraction of my recent token throughput is going less into manipulating code, and more into manipulating knowledge (stored as markdown and images). The latest LLMs are quite good at it. So:

Data ingest:
I index source documents (articles, papers, repos, datasets, images, etc.) into a raw/ directory, then I use an LLM to incrementally "compile" a wiki, which is just a collection of .md files in a directory structure. The wiki includes summaries of all the data in raw/, backlinks, and then it categorizes data into concepts, writes articles for them, and links them all. To convert web articles into .md files I like to use the Obsidian Web Clipper extension, and then I also use a hotkey to download all the related images to local so that my LLM can easily reference them.

IDE:
I use Obsidian as the IDE "frontend" where I can view the raw data, the the compiled wiki, and the derived visualizations. Important to note that the LLM writes and maintains all of the data of the wiki, I rarely touch it directly. I've played with a few Obsidian plugins to render and view data in other ways (e.g. Marp for slides).

Q&A:
Where things get interesting is that once your wiki is big enough (e.g. mine on some recent research is ~100 articles and ~400K words), you can ask your LLM agent all kinds of complex questions against the wiki, and it will go off, research the answers, etc. I thought I had to reach for fancy RAG, but the LLM has been pretty good about auto-maintaining index files and brief summaries of all the documents and it reads all the important related data fairly easily at this ~small scale.

Output:
Instead of getting answers in text/terminal, I like to have it render markdown files for me, or slide shows (Marp format), or matplotlib images, all of which I then view again in Obsidian. You can imagine many other visual output formats depending on the query. Often, I end up "filing" the outputs back into the wiki to enhance it for further queries. So my own explorations and queries always "add up" in the knowledge base.

Linting:
I've run some LLM "health checks" over the wiki to e.g. find inconsistent data, impute missing data (with web searchers), find interesting connections for new article candidates, etc., to incrementally clean up the wiki and enhance its overall data integrity. The LLMs are quite good at suggesting further questions to ask and look into.

Extra tools:
I find myself developing additional tools to process the data, e.g. I vibe coded a small and naive search engine over the wiki, which I both use directly (in a web ui), but more often I want to hand it off to an LLM via CLI as a tool for larger queries. 

Further explorations:
As the repo grows, the natural desire is to also think about synthetic data generation + finetuning to have your LLM "know" the data in its weights instead of just context windows.

TLDR: raw data from a given number of sources is collected, then compiled by an LLM into a .md wiki, then operated on by various CLIs by the LLM to do Q&A and to incrementally enhance the wiki, and all of it viewable in Obsidian. You rarely ever write or edit the wiki manually, it's the domain of the LLM. I think there is room here for an incredible new product instead of a hacky collection of scripts.

🔗 View Quoted Tweet

💬13🔄43❤️240👀45136📊107

⚡ Powered by xgo.ing

燃烧 token 是手段，而不是目的。按这篇论文的思想来看，应是通过燃烧 token，找到更多的“结构”。烧完之后，要问一句：我得到的是新“结构”还是遍地灰尘？

李继刚 (@lijigang) — Sat, 04 Apr 2026 07:08:57 GMT

燃烧 token 是手段，而不是目的。

按这篇论文的思想来看，应是通过燃烧 token，找到更多的“结构”。

烧完之后，要问一句：

我得到的是新“结构”还是遍地灰尘？

李继刚@lijigang

过去几个月，对我观念产生冲击最大的是这篇论文：arxiv.org/html/2601.0322…

（在有限算力前提下），人能从信息中看出多少「结构」。

🔗 View Quoted Tweet

💬4🔄9❤️63👀16026📊21

⚡ Powered by xgo.ing

把这期播客，用 /ljg-card -c 跑了一下： https://t.co/1rc3eVnOvr

李继刚 (@lijigang) — Sat, 04 Apr 2026 03:42:10 GMT

把这期播客，用  /ljg-card -c 跑了一下：

latent.space/p/pmarca

💬3🔄14❤️97👀27808📊44

⚡ Powered by xgo.ing

很多人的「知道」，是一团从未被展开过的模糊感觉。

李继刚 (@lijigang) — Fri, 03 Apr 2026 11:51:06 GMT

很多人的「知道」，是一团从未被展开过的模糊感觉。

💬14🔄8❤️119👀10462📊36

⚡ Powered by xgo.ing

日读论文： https://t.co/G6ghZqE5cf 大模型想一件事的时候，必须把想法先翻译成人话（token），想完再翻译回来。这跟你被迫用电报码做数学题一样——每一步都要编码、解码、编码...

李继刚 (@lijigang) — Fri, 03 Apr 2026 10:41:22 GMT

日读论文：

huggingface.co/papers/2604.02…

大模型想一件事的时候，必须把想法先翻译成人话（token），想完再翻译回来。这跟你被迫用电报码做数学题一样——每一步都要编码、解码、编码、解码。

问题就出在这个强制翻译上。四个毛病：

第一，语言天然啰嗦。你说"请把那个红色的杯子递给我"，信息量可能只需要一个向量就能装下，但语言硬是花了十几个 token。模型自己跟自己"说话"的时候也在付这个冗余税。

第二，连续的想法被切成离散的碎片。模型内部的表示是连续的高维向量，非要压成词表里的某个 token，就像把水彩画非要翻译成马赛克——分辨率丢了。

第三，一个 token 一个 token 吐，串行瓶颈。有些推理步骤本来可以并行展开，但被 token 序列的线性结构卡死了。

第四，有些东西语言说不出来。空间关系、多模态感知、微妙的语义差别——硬翻译成文字就是会丢信息。

所以有人开始想：模型能不能直接在自己的内部空间里想事情，不经过人话这一道？这篇综述就是把这个方向过去两年的工作，第一次做了一张完整的地图。
---------

你解一道数学题，有两种方式。一种是每一步都大声念出来——"首先我把 x 移到左边，然后两边除以 3……"另一种是在脑子里直接操作那些数量关系，最后才把答案说出来。

大模型过去一直在用第一种方式。Chain-of-Thought 就是让模型"大声思考"。效果不错，但代价是：每一步都要翻译成人话再翻译回来，就像你做心算的时候被要求每一步都写成完整的中文句子。

Latent space reasoning 就是让模型用第二种方式——在内部向量空间里直接"想"，不必每步都转成 token。这篇综述管这个内部空间叫 *latent space*，管说出来的 token 叫 *explicit space*。

-----------
「思考的本质不是语言，语言只是思考的一种有损压缩。当我们让模型必须用 token 来"思考"时，我们不是在利用语言的力量，而是在承受语言的代价。

这个洞见的射程超出了 AI。它重新提了一个老问题：人类自己的思考，有多少是在语言之前就完成了的？如果连大模型都能在去掉语言拐杖之后推理得更好，那语言在人类认知中的角色，可能比我们以为的更像一个传输协议，而不是计算引擎。」

💬8🔄15❤️138👀13537📊53

⚡ Powered by xgo.ing

人人拥有「寫輪眼」的时代，稀缺性在哪里？

李继刚 (@lijigang) — Fri, 03 Apr 2026 10:30:14 GMT

人人拥有「寫輪眼」的时代，稀缺性在哪里？

💬32🔄2❤️35👀16769📊42

李继刚(@lijigang_com)

我一直相信，每个人都有些话想要对这个「世界」讲，而不是对「算法」讲。 流量是迷障，它不应是追求的目标。 「我」是谁？ 我眼中的「世界」是何等样子？ 我对这个世界有「何话」想说？ 说真话，不应是自...

那些在我出生之前死去的人的时间，通过技术物，现在是我的时间。 这就是斯蒂格勒所谓的 already-there，"已经在那里"。我来到这个世界时，世界已经被一层层死去的时间覆盖过了，这些时间通过物交...

斯蒂格勒在《技术与时间》提出「第三记忆」： 生物学公认有两种记忆。一种是遗传记忆，写在 DNA 上，物种共享，死了还在后代身上。一种是表观记忆，个体生命里积累的经验、技能、印象，随着这具身体的死亡而...

互联网时代，“以快打慢”。 ai 时代，“以深打浅”。

我目前在用的杠铃阅读策略： 一头读经典书籍，每天读，每月和大家一起读书会共读一本，讨论碰撞。 一头读前沿论文，每天读三到五篇（AI 辅助），不求论文多么厉害，只要能从中获得一个小的认知启发或「结构...

日读论文：模型，有家谱。 ──────── https://t.co/Pws6SOEvoN 一个老师只用数字串教学生，比如 "(285, 574, 384, ...)"，里面没有半个字提到「猫头...

https://t.co/JBTbAdZve5

模型 = 英语脑子 + 多语言身体 好家伙，我之前以为是语言中立的脑子，被这里的实验给推翻了。

openclaw 上的恶意skill 会越来越多，是不是会出现 AI 时代的 360 安全公司？ 这公司可以就对外发布一个安全检测skill，所有人安装skill时，都默认调用它。

「大多数时候，你不是你——你是"人们"。你穿大家穿的衣服，说大家说的话，关心大家关心的事，对大家厌恶的东西厌恶。你看新闻，是因为大家看；你升职加薪，是因为大家以为这是好的；你结婚生子，是因为时间到了大...

emacs theme: ef-cyprus 真好看

模型是国战，不是商战。

想了下，之前购买的一些小场景的付费工具软件，可能让 cc 写一个为自己量身定制的版本会更合适。 通用需求最大公约数 vs 个性化定制满足 后者成本足够低的时候，可能就真的进入了“如你所愿”的状态了...

和AI 玩耍，太像是掉进兔子洞了，随便一个问题一讨论两个小时过去了。 一晃神，总忘了自己最开始想找它解决的那个问题是什么了。 让CC写了一个macOS 应用，只有一个功能，置顶所有窗口展示今天要完...

以前：human--human 现在: human -- agent -- agent -- human A2A，有市场。 H2A，有市场。 HAAH 共处，又是一个新空间。 购物、社交，淘宝、...

日读论文： model 和 harness 分开评估 【借用Item Response Theory (IRT)】 https://t.co/dhKwtyZNdY 给一个 AI 编码 agent...

今天的大学，计算机专业上课怎么教学呢？ 如何让 ai 是助力而不是偷懒工具呢？

以前掏出手机，像是在玩老虎机。 现在打开 ai，像是_____

Agent 正在变成每个人「心相」的外显。

防守方：∀x → safe(x) 攻击方：∃x → ¬safe(x) 防守是一个面，攻击是一个点。 AI 时代，攻击方只会更有优势。防守方要付出额外的成本去暂时压制。

Tweet

我喜欢的人，大抵有两种特质：纯粹和赤诚。

日读论文：CPU 与主板的隐喻 https://t.co/00U1rhnY78 为什么这两年模型没怎么变大，Agent 却突然能干活了？ 过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GP...

今天学到一个知识点： wallpaper groups ──────── 铺瓷砖的时候，把一个图案无限重复，铺满整个平面，到底有多少种不同的铺法？ 答案是 17 种。 不是"目前发现了 17...

五年前读过一篇文章《不要大喊大叫》（https://t.co/V5JJsBRulb），是在讨论网络上不断使用各种标记符号来突出文本重点。 奇怪的是，自从读过这篇文章，每当我写点东西要对外发布时，脑海...

日读论文：学习，即遗忘。理解，即压缩。 https://t.co/RLIByBhHmc 大模型训练了几万亿 token，但它脑子里到底留下了什么？ 这个问题一直没有好答案。我们知道模型越大越聪明...

思考是一个具体的人，带着他具体的历史、身体、恐惧和渴望，面对一个具体的处境。 思考是主权行为。

一个人停下来，什么都不想，什么都不做，只是站在阳光下，这件事在现代社会几乎是一种反叛行为。 空意味着你和自己待在一起，而大多数人最不想见的人就是自己。

https://t.co/q9JL7v4nXv skill 武器库新增 /ljg-read 使用场景： 每日精读内容时，需一个「智能伴读」帮我找到更深的「结构」，与我当前理解进行碰撞。 文章、...

每次阅读时，「我」会先尝试站在作者那边，联手向自己发起冲击。 我希望作者的观点可以打败之前的自己。

编程核心思想是「抽象」。 prompt 是一层封装，skill 是又一层封装。 下一阶段的抽象封装对象是什么？

雕像本来在石头里。 雕刻家做的，是把多余的石头凿掉。 人也一样。 你不是被你做的事情塑造的， 你是被你拒绝的事情塑造的。 每一个「不」，划出一条边界。 边界围起来的那个形状，就是你。

日读论文： https://t.co/00U1rhnY78 为什么这两年模型没怎么变大，Agent 却突然能干活了？ 过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GPT-4 Gemini...

将之前的「追本之箭」提炼为skill: https://t.co/mHm02z5KNb /ljg-think：(以任何观点为起点，不断深挖)

语言是信息的容器。

日读论文： https://t.co/en9E8XiKXf 以前是人在使用搜索引擎，现在Agent在大量使用。 将Agent的搜索轨迹作为监督信号，会发现什么不一样的东西呢？

机器为谁而转？

Tweet

AI 的能力天然是锯齿状的：有的地方锋利，有的地方缺口。脚手架的作用是补齐缺口，让产出稳定。 但模型一迭代，锯齿的形状就变了。旧脚手架补的是旧缺口，新版本上那个位置可能已经长出了能力。你的脚手架反而...

读好文： https://t.co/XdfAJkJoLS

在 AI 面前，人成了压缩包。 费曼这样的人，名字输进去，思维方式、表达风格、行为习惯全解压出来了，是一个巨大的压缩包。 有的人，AI 得现场搜索、调研、拼凑，勉强攒出一个小压缩包。 还有的人，...

当一样东西过剩时，它的互补品变得稀缺。

Tweet

用 https://t.co/lRHQoZmngd 看了下关于memory 的研究脉络： ------------------- * 溯源地图 [2020] Lewis et al. - RAG...

之前给笔记手动添加双向链接的维护成本实在太高了， 准备按 karpathy 这套机制跑下看看。

燃烧 token 是手段，而不是目的。 按这篇论文的思想来看，应是通过燃烧 token，找到更多的“结构”。 烧完之后，要问一句： 我得到的是新“结构”还是遍地灰尘？

把这期播客，用 /ljg-card -c 跑了一下： https://t.co/1rc3eVnOvr

很多人的「知道」，是一团从未被展开过的模糊感觉。

日读论文： https://t.co/G6ghZqE5cf 大模型想一件事的时候，必须把想法先翻译成人话（token），想完再翻译回来。这跟你被迫用电报码做数学题一样——每一步都要编码、解码、编码...

人人拥有「寫輪眼」的时代，稀缺性在哪里？

我一直相信，每个人都有些话想要对这个「世界」讲，而不是对「算法」讲。流量是迷障，它不应是追求的目标。「我」是谁？我眼中的「世界」是何等样子？我对这个世界有「何话」想说？说真话，不应是自...

那些在我出生之前死去的人的时间，通过技术物，现在是我的时间。这就是斯蒂格勒所谓的 already-there，"已经在那里"。我来到这个世界时，世界已经被一层层死去的时间覆盖过了，这些时间通过物交...

斯蒂格勒在《技术与时间》提出「第三记忆」：生物学公认有两种记忆。一种是遗传记忆，写在 DNA 上，物种共享，死了还在后代身上。一种是表观记忆，个体生命里积累的经验、技能、印象，随着这具身体的死亡而...

我目前在用的杠铃阅读策略：一头读经典书籍，每天读，每月和大家一起读书会共读一本，讨论碰撞。一头读前沿论文，每天读三到五篇（AI 辅助），不求论文多么厉害，只要能从中获得一个小的认知启发或「结构...

模型 = 英语脑子 + 多语言身体好家伙，我之前以为是语言中立的脑子，被这里的实验给推翻了。

openclaw 上的恶意skill 会越来越多，是不是会出现 AI 时代的 360 安全公司？这公司可以就对外发布一个安全检测skill，所有人安装skill时，都默认调用它。

想了下，之前购买的一些小场景的付费工具软件，可能让 cc 写一个为自己量身定制的版本会更合适。通用需求最大公约数 vs 个性化定制满足后者成本足够低的时候，可能就真的进入了“如你所愿”的状态了...

和AI 玩耍，太像是掉进兔子洞了，随便一个问题一讨论两个小时过去了。一晃神，总忘了自己最开始想找它解决的那个问题是什么了。让CC写了一个macOS 应用，只有一个功能，置顶所有窗口展示今天要完...

以前：human--human 现在: human -- agent -- agent -- human A2A，有市场。 H2A，有市场。 HAAH 共处，又是一个新空间。购物、社交，淘宝、...

日读论文： model 和 harness 分开评估【借用Item Response Theory (IRT)】 https://t.co/dhKwtyZNdY 给一个 AI 编码 agent...

今天的大学，计算机专业上课怎么教学呢？如何让 ai 是助力而不是偷懒工具呢？

以前掏出手机，像是在玩老虎机。现在打开 ai，像是_____

日读论文：CPU 与主板的隐喻 https://t.co/00U1rhnY78 为什么这两年模型没怎么变大，Agent 却突然能干活了？过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GP...

今天学到一个知识点： wallpaper groups ──────── 铺瓷砖的时候，把一个图案无限重复，铺满整个平面，到底有多少种不同的铺法？答案是 17 种。不是"目前发现了 17...

五年前读过一篇文章《不要大喊大叫》（https://t.co/V5JJsBRulb），是在讨论网络上不断使用各种标记符号来突出文本重点。奇怪的是，自从读过这篇文章，每当我写点东西要对外发布时，脑海...

日读论文：学习，即遗忘。理解，即压缩。 https://t.co/RLIByBhHmc 大模型训练了几万亿 token，但它脑子里到底留下了什么？这个问题一直没有好答案。我们知道模型越大越聪明...

思考是一个具体的人，带着他具体的历史、身体、恐惧和渴望，面对一个具体的处境。思考是主权行为。

一个人停下来，什么都不想，什么都不做，只是站在阳光下，这件事在现代社会几乎是一种反叛行为。空意味着你和自己待在一起，而大多数人最不想见的人就是自己。

https://t.co/q9JL7v4nXv skill 武器库新增 /ljg-read 使用场景：每日精读内容时，需一个「智能伴读」帮我找到更深的「结构」，与我当前理解进行碰撞。文章、...

每次阅读时，「我」会先尝试站在作者那边，联手向自己发起冲击。我希望作者的观点可以打败之前的自己。

编程核心思想是「抽象」。 prompt 是一层封装，skill 是又一层封装。下一阶段的抽象封装对象是什么？

雕像本来在石头里。雕刻家做的，是把多余的石头凿掉。人也一样。你不是被你做的事情塑造的，你是被你拒绝的事情塑造的。每一个「不」，划出一条边界。边界围起来的那个形状，就是你。

日读论文： https://t.co/00U1rhnY78 为什么这两年模型没怎么变大，Agent 却突然能干活了？过去三年的故事很熟悉：参数一路堆上去，从十亿到万亿，GPT-4 Gemini...

日读论文： https://t.co/en9E8XiKXf 以前是人在使用搜索引擎，现在Agent在大量使用。将Agent的搜索轨迹作为监督信号，会发现什么不一样的东西呢？

AI 的能力天然是锯齿状的：有的地方锋利，有的地方缺口。脚手架的作用是补齐缺口，让产出稳定。但模型一迭代，锯齿的形状就变了。旧脚手架补的是旧缺口，新版本上那个位置可能已经长出了能力。你的脚手架反而...

在 AI 面前，人成了压缩包。费曼这样的人，名字输进去，思维方式、表达风格、行为习惯全解压出来了，是一个巨大的压缩包。有的人，AI 得现场搜索、调研、拼凑，勉强攒出一个小压缩包。还有的人，...

之前给笔记手动添加双向链接的维护成本实在太高了，准备按 karpathy 这套机制跑下看看。

燃烧 token 是手段，而不是目的。按这篇论文的思想来看，应是通过燃烧 token，找到更多的“结构”。烧完之后，要问一句：我得到的是新“结构”还是遍地灰尘？