摘要

现代生成式机器学习模型能够创造出远超其训练数据的逼真内容，如照片级艺术品、精确的蛋白质结构或流畅的对话文本。这些成功表明，生成式模型能有效参数化并从任意复杂的分布中采样。半个世纪前，非线性动力学领域的基础性工作也曾出于类似目的，运用信息论工具从真实世界的时间序列中推断混沌吸引子的属性。近期发表在《自然 · 物理评论》上的一篇观点性文章，旨在将这些经典理论与大规模生成式统计学习的新兴主题联系起来。文章特别聚焦于两个经典问题：一是如何根据部分测量重构动力学流形，这与现代的潜变量方法异曲同工；二是如何从复杂数据集中推断出最小的动力学系统的 " 基础单元 "，这与当下对 " 黑箱 " 模型的可解释性探索不谋而合。

关键词：非线性动力学，生成式学习，混沌系统，吸引子重构，潜变量模型

曾利丨作者

周莉丨审校

论文题目：Generative learning for nonlinear dynamics  

论文地址：https://www.nature.com/articles/s42254-024-00688-2

发表时间：2025 年 8 月 7 日

论文来源：Nature Review Physics

混沌即生成：从物理定律到 AI 创造

一个奇异吸引子的分形几何结构，只有通过长时间观察混沌系统的演化才能尽收眼底。因此，混沌系统在持续不断地产生信息，以越来越精细的尺度揭示其内在结构。物理学家约翰 · 惠勒（John Archibald Wheeler）曾提出一个著名的论断—— " 万物皆比特 "（It from bit），即物理理论的本质最终编码了计算的基本单元。

与惠勒的思想相呼应，动力系统领域的开创性工作早已将混沌系统的信息产生过程形式化。从湍流到星体轨道，自然界中的混沌系统就像一台台模拟计算机，其信息处理速率可以通过佩辛公式（Pesin's formula）来量化：一个系统的熵产生率（即信息产生率）与其李雅普诺夫指数之和成正比。李雅普诺夫指数衡量了邻近轨迹在吸引子上不同方向的发散速率。简而言之，一个系统越 " 混沌 "，它揭示其自身结构的速度就越快。

巧合的是，现代机器学习，特别是生成式模型，也在做着类似的事情。它们通过学习训练数据的分布，来生成全新的、逼真的样本。在采样过程中，为了高效探索高维数据空间，模型通常采用类似马尔可夫链蒙特卡洛（MCMC）的方法，每一步都基于当前样本的局部几何信息（如协方差矩阵）来采样出下一个样本。这一过程中的信息增益，同样与数据分布的局部几何特性紧密相关。

正如混沌系统沿着不稳定的方向（李雅普诺夫指数）发散一样，复杂的数据分布也存在一些 " 平坦 " 的局部方向，主导着数据的多样性。这种动力学与采样之间的深刻联系，促使我们重新审视 " 万物皆比特 " 的理念，将新兴的统计学习置于混沌系统信息处理的经典框架之中。

图 1. 混沌作为一个生成过程   a、一个奇异吸引子的自然测度 μ ( x ) ，它由一个随时间 t 演化的确定性混沌系统 f ( x ( t ) ) 产生。示意图表示了一组初始条件的发散，这由李雅普诺夫指数 λ 1 和 λ 2 控制。b、由变分自编码器学习到的蛋白质序列概率分布 p ( x ) ，以及一个简化的马尔可夫链蒙特卡洛采样方案。提议步长的分布 N 取决于局部协方差矩阵 Σ；σ 1 和 σ 2 表示沿主轴的标准差。

管中窥豹：从部分观测重构完整动力学

大型统计学习模型的成功，很大程度上依赖于一个被称为 " 流形假设 " 的经验法则：高维数据通常聚集在低维流形附近。对于时间序列数据而言，这意味着看似复杂的动态过程，可能源于一个嵌入在高维测量空间中的低维吸引子。如果我们能找到并参数化这个吸引子，那么复杂性就可以被 " 变换掉 "。

这正是动力系统领域的经典问题——吸引子重构。早在几十年前，塔肯斯定理（Takens' theorem）就为我们提供了一种强大的工具：时间延迟嵌入。该方法指出，即便我们只有一个变量的时间序列（如流体中某一点的速度），通过将其与它在过去不同时刻的值组合成一个新的高维向量，我们就能重构出一个与原始动力系统吸引子在拓扑上等价的流形。这一惊人的结论意味着，尽管测量过程会丢失信息，但只要底层动力学具有良好结构（即存在吸引子），我们就能从 " 局部 " 恢复出 " 全局 "。时间延迟嵌入的早期成功之一，便是在实验中证实了流体向湍流过渡时存在一个低维奇异吸引子。

如今，这种思想在现代时间序列模型中得到了新生。比如编码器（Autoencoders）、循环神经网络（Recurrent Neural Networks, 即 RNNs）和 Transformer 等模型，在预测时间序列时，都会将观测数据编码到一个低维的 " 潜空间 "（Latent Space），在这个空间中传播动力学，然后再解码回观测空间。这个潜空间，正扮演着经典理论中 " 重构吸引子 " 的角色。

近年来，研究人员将自编码器应用于高维动态数据（如湍流视频），发现其学习到的潜空间动力学清晰地揭示了系统的内在结构，甚至对应于流体力学方程的精确解。这表明，看似复杂无序的动态背后，隐藏着低维且有序的潜过程。这种通过增加表示的维度来简化动力学复杂性的思想，即 " 提升 "（Lifting）技术，也催生了诸如动态模态分解（DMD）和库普曼算子（Koopman operator）等前沿方法，它们通过将非线性系统变换到更高维空间，使其动力学行为近似线性，从而变得更易于分析和预测。

图 2. 潜空间动力学重访经典吸引子重构   a、一个代表流体径向速度的单变量时间序列，在三个不同雷诺数（R）下的时间延迟嵌入。当雷诺数达到临界值 Rc 时，系统进入湍流。每个嵌入下方展示了其庞加莱截面。 b、一个在弱湍流（R=40）数据上训练的自编码器神经网络的潜空间。潜状态使用 t-SNE 方法进一步嵌入到二维空间中进行可视化。颜色深浅表示功率耗散，相连的状态点则表示由于底层对称性而等效的流体构型。

图 3. 状态空间模型生成复杂动力学   a、一个通用状态空间模型的组成部分。 b、一个采用非线性动力学稀疏辨识（Sparse Identification of Nonlinear Dynamics，缩写为 SINDY）的自编码器。多层感知机将高维观测数据确定性地转换到一个低维潜空间，在该空间中，动力学通过从已知函数库中稀疏回归学到的解析微分方程进行传播。 c、通过动力学系统进行潜在因子分析（Latent Factor Analysis via Dynamical Systems，缩写为 LFADS）。神经元发放的时间序列被确定性地编码为潜在的初始条件，这些条件由第二个循环神经网络演化，然后解码为潜在因子时间序列。这些潜在因子参数化了一个非均匀泊松过程的随机发放率。 d、流形插值最优传输流（Manifold Interpolating Optimal-Transport Flows，缩写为 MIOFlow）。高维基因表达测量值被编码到一个保留流形扩散距离的潜在分布中，然后通过最优传输来传播这个潜在测度。

大道至简：寻找复杂系统背后的 " 最小生成器 "

潜空间表示揭示了动力学的复杂性可能取决于我们的 " 视角 "。然而，混沌的某些方面是不可约减的。佩辛公式告诉我们，混沌系统必然会产生熵。一个核心问题随之而来：撇开表示形式的差异，不同的动力学系统是否存在功能上的等价性？我们能否将一个复杂的系统 " 压缩 " 到其最核心的计算单元？

这便是经典 " 符号动力学 "（Symbolic Dynamics）的初衷。通过对连续的相空间进行粗粒化划分，我们可以将一个连续的轨迹转化为一串离散的符号序列。分析这个符号序列的计算特性，可以揭示系统的本质。例如，著名的 " 倍周期分岔 " 通向混沌的路径，在符号动力学视角下，可以被看作一个简单的双状态自动机，其内存需求在每次分岔时翻倍，最终在混沌边缘发散。

这种 " 化繁为简 " 的追求，与当前对大型机器学习模型的压缩、蒸馏和可解释性研究形成了有趣的呼应。尽管我们趋向于构建越来越大的模型，但我们同样渴望理解这些 " 黑箱 " 的内在逻辑。

许多现代时间序列模型，如隐马尔可夫模型（Hidden Markov Models，即 HMM）和切换线性模型，通过将连续观测映射到离散的内部状态，来近似复杂的非线性动力学。这种潜在的离散化不仅提高了模型的可解释性（例如，在动物行为分析中，离散状态可以对应不同的行为模式），还有助于大型生成模型避免 " 后验坍缩 " 等问题。

更有趣的是，通过分析训练好的神经网络的潜在动态，我们可以反向工程出其内部的 " 语法 " 或 " 计算原语 "，这呼应了符号动力学寻找 " 最小生成器 " 的目标。新兴的神经 - 符号方法甚至尝试将可微分的神经网络与精确的符号逻辑（如算术或逻辑运算）相结合，力求在保持模型强大拟合能力的同时，赋予其可解释和可验证的内在结构。

图 4. 潜空间离散化与可解释性   a、一个自适应近似算法的连续阶段，该算法将局部线性动力学拟合到一个混沌系统的相空间各部分。不同颜色表示不同近似水平下的离散聚类。  b、一个连续值学习模型，它从一个连续的睡眠记录时间序列（左）中，创建了一个离散的、潜在的自组织映射（右）。连续空间中的星号对应于相似数据点的质心，每个质心都与图中的一个离散节点相关联。 c、在一系列混沌和周期性状态下，对一个动力学映射拟合出的概率自动机的拓扑复杂性，与其时间序列熵的关系图。结构最复杂的自动机出现在动力学熵处于中等水平时。

意义与未来展望

从混沌理论中汲取灵感，不仅为现代生成式学习提供了新的视角，也可能为未来的算法设计带来富有成效的 " 归纳偏置 "。例如，动态模态分解等方法已经广泛应用于科学问题，而动力系统的其他深刻见解，如 " 哈密顿流形假设 "，也可能指导下一代模型的构建。

经典理论还探讨了系统的熵（随机性）与其底层表示的 " 复杂度 " 之间的关系。一个系统的行为可以在完全有序（如固定点）和完全随机之间变化，而最具计算能力的系统，可能正处于这个被称为 " 混沌边缘 "（Edge of Chaos）的临界区域。这一思想为我们理解现代大型学习模型的容量和泛化能力提供了新的思路。

随着生成式模型的规模和性能不断提升，动力学理论或许能帮助我们建立一种新的 " 偏见 - 方差 " 权衡关系，它不仅关乎模型参数，更关乎模型所能学习的动力学结构的复杂性。这无疑是对惠勒 " 万物皆比特 " 思想的现代诠释——在数字化的学习系统中，重新发现物理世界的深刻规律。

参考文献

Gilpin, W. Generative learning for nonlinear dynamics.   Nat Rev Phys6, 194 – 206 ( 2024 ) . https://doi.org/10.1038/s42254-024-00688-2

报名读书会：「非线性动力学与混沌」

集智俱乐部联合北京师范大学张江科研组联和南信大李春彪科研组师生共同发起「非线性动力学与混沌」读书会，由师生共同领读《非线性动力学与混沌》，以分章节精读的方式，带领大家系统学习非线性动力学的基本理论与典型模型，结合洛伦兹系统、Kuramoto 模型等经典案例，深入探讨混沌的起源、分形与奇异吸引子等前沿问题。

本读书会不仅读书，还会系统化地梳理本书中的重要概念，并整理为百科词条。也就是说，读完本书，我们会梳理出一套非线性动力学与混沌相关的百科词条，这才是重点。

我们也会通过梳理词条的方式，让学员组成学习小组进行比赛，最终会评出优秀学习小组获得复杂科学知识卡、汪小帆签名的《非线性动力学与混沌》、张江签名的《规模法则》、以及译者签名的《复杂 - 诞生于混沌与秩序边缘的科学》以及特色集智文化衫！

详情请见：真正的读 " 书 " 会来了——张江、李春彪邀你一起读《非线性动力学与混沌》

拓扑学课程：从空间直觉到系统科学

你是否曾思考过：为什么咖啡杯在数学上可以变成甜甜圈？为什么混沌系统中会出现周期轨、可约化结构和 " 奇怪吸引子 " 模式？为什么神经网络、量子物理甚至心理结构，都可以从 " 拓扑 " 角度理解？

拓扑学不仅是数学的抽象分支，更提供了系统的思维方式，让我们理解连续性、结构不变性乃至复杂系统的整体规律。从欧拉七桥问题到 DNA 的缠结，从量子场论到思维科学与脑科学，拓扑学思想正在各学科中普遍而深刻地重塑着我们的认知方式。

集智学园联合北京大学博士金威老师开设「拓扑学的思维革命：从空间直觉到系统科学」，课程将于 11 月 23 日开启，现在加入可享早鸟价格。

详情请见：拓扑学的思维革命：从空间直觉到系统科学

- 一年一度特惠 -