在数据漫衍捏续变化的动态环境中，若何进行一语气模子泛化？
东京大学等高校的盘问东谈主员提倡了名为Koodos的新框架，不错基于在一些随即时分点不雅测的数据漫衍，在职意时刻生成当下适用的神经汇集。
尽管数据随时分捏续发生变化，然则泛化的模子能在一语气时分中与数据漫衍恒久保捏互助一致。
Koodos 将模子的复杂非线性动态鼎新为可学习的一语气动态系统，同期期骗先验常识以确保泛化历程的褂讪性和可控性。
实验标明，Koodos 显赫卓绝现存环节，为时域泛化开导了全新的盘问处所。
模子泛化靠近三浩劫题
在实质应用中，数据集的数据漫衍经常跟着时分而接续变化，猜度模子需要捏续更新以保捏准确性。
时域泛化旨在猜度异日数据漫衍，从而提前更新模子，使模子与数据同步变化。
鸿沟泛化（Domain Generalization, DG）当作一种伏击的机器学习计策，旨在学习一个好像在未见主义鸿沟中也保捏邃密阐扬的模子。
连年来盘问东谈主员发现，在动态环境中，鸿沟数据（Domain Data）漫衍经常具有显赫的时分依赖性，这促使了时域泛化（Temporal Domain Generalization, TDG）本事的快速发展。
时域泛化将多个鸿沟视为一个时分序列而非一组孤独的静态个体，期骗历史鸿沟猜度异日鸿沟，从费力毕对模子参数的提前调整，显赫升迁了传统 DG 环节的恶果。
关联词，现存的时域泛化盘问辘集在"破裂时分域"假定下，即假定鸿沟数据在固定时分终止（如逐周或逐年）汇集。
基于这一假定，概率模子被用于猜度时域演变，举例通过隐变量模子生成异日数据，或期骗序列模子（如 LSTM）猜度异日的模子参数。
关联词在实践中，鸿沟数据的不雅测并不老是在破裂、轨则的时分点上，而是随即且疏淡地漫衍在一语气时分轴上。
举例鄙人图展示的示例中，与传统 TDG 假定的鸿沟在时分轴上轨则漫衍不同，实质情况下东谈主们只可在特定事件发生时取得一个域，而这些事件的发生时分并不固定。
同期，宗旨漂移（Concept Drift）在时分轴上发生，即鸿沟数据漫衍跟着时分接续演变：如活跃用户加多、新友互活动酿成、年纪与性别漫衍变化等。
瞎想情况下，每个时态域对应的猜度模子也应随时分渐渐调整，以大意这种宗旨漂移。
终末，由于异日的域采集时分未知，作家但愿泛化猜度模子到异日的狂放时刻。
此外，传统环节也难以保证泛化历程在通盘时分流中保捏褂讪和可控。
为了大意这些场景中的模子泛化，作家提倡了"一语气时域泛化"（Continuous Temporal Domain Generalization, CTDG）任务，其中不雅测和未不雅测的鸿沟均漫衍于一语气时分轴上随即的时分点。
CTDG 存眷于若何表征时态鸿沟的一语气动态，使得模子好像在职意时分点已毕褂讪、稳当性的调整，从而完成泛化猜度。
CTDG 任务的挑战远超传统的 TDG 环节。
CTDG 不仅需要处理不轨则时分漫衍的历练域，更伏击的是，它旨在让模子泛化到狂放时刻，即要求在一语气时分的每个点上都能精准态状模子情景。
而 TDG 环节则仅存眷异日的单步泛化：在不雅测点优化出现时模子情景后，只需将其外推一步即可。
这使得 CTDG 区别于 TDG 任务——
CTDG 的环节在于如安在一语气时分轴上同步数据漫衍和模子参数的动态演变，而不是仅局限于异日某一特定时刻的模子阐扬。
具体而言，与 TDG 任务比拟，CTDG 的复杂性主要来自以下几个尚未被充分探索的中枢挑战：
若何建模数据动态并同步模子动态
如安在高度非线性模子动态中捕捉主动态
若何确保历久泛化的褂讪性和可控性
接下来具体分析一下这三大挑战。
若何建模数据动态并同步模子动态
CTDG 要求在一语气时分轴上捕捉鸿沟数据的动态，并据此同设施整模子情景。
关联词，数据动态自己难以径直不雅测，需要通过不雅测时分点来学习。
此外，模子动态的演变历程也相似复杂。交融数据演变若何初始模子演变组成了 CTDG 的首要挑战。
如安在高度非线性模子动态中捕捉主动态
鸿沟数据的猜度模子不时依赖过参数化（over-parametrized）的深度神经汇集，模子动态因此呈现出高维、非线性的复杂特征。
这导致模子的主动态嵌藏在大都潜在维度中。
若何灵验索求并将这些主动态映射到可学习的空间，是 CTDG 任务中的另一要紧挑战。
若何确保历久泛化的褂讪性和可控性
为已毕异日狂放时刻的泛化，CTDG 必须确保模子的历久褂讪性。
此外，在许厚情况下，东谈主们可能领罕有据动态的高头绪先验常识。
若何将这些先验常识镶嵌 CTDG 的优化历程中，进而升迁泛化的褂讪性和可控性，是一个伏击的绽开性问题。
模子与动态颐养优化数学问题建模
在 CTDG 中，一个域示意在时分采集的数据集，由实例集组成。
其中，和区分为特征值、主义值和实例数。
作家重心存眷一语气时分上的渐进性宗旨漂移，示意为鸿沟数据的条目概率漫衍随时分平滑变化。
在历练阶段，模子接管一系列在不轨则时分点上汇集的不雅测域。
其中每个时分点是界说在一语气时分轴上的实数，且知足。
在每个上，模子学习到鸿沟数据的猜度函数。
其中示意时刻的模子参数。
CTDG 的主义是建模参数的动态变化，以便在职意给定时刻上猜度模子参数，从而得到泛化模子。
在本文后续部分中，将使用简写标志、、和，区分示意在时分上的、、和。
想象想路
作家提倡的环节通过模子与数据的同步、动态简化示意，以及高效的颐养优化伸开。
具体想路如下：
同步数据和模子的动态：作家施展了一语气时域中模子参数的一语气性，尔后借助神经微分方程（Neural ODE）缔造模子动态系统，从费力毕模子动态与数据动态的同步。
表征高维动态到低维空间：作家将高维模子参数映射到一个结构化的库普曼空间（Koopman Space）中。该空间通过可学习的低维线性动态来捕捉模子的主要动态。
颐养优化模子与其动态：作家将单个鸿沟的模子学习与各时分点上的一语气动态进行颐养优化，并想象了归纳偏置的箝制接口，通过端到端优化保证泛化的褂讪性和可控性。
数据动态建模与模子动态同步
作家领先假定数据漫衍在时分上具有一语气演化的特质，即条目概率漫衍随时分平滑变化。
其演化轨则可由一个函数所态状的动态系统描画。
尽管真确寰宇中的渐进宗旨漂移可能较为复杂，但因宗旨漂移不时源于底层的一语气历程（如当然、生物、物理、社会或经济身分），这一假定不失普适性。
基于上述假定，模子的函数功能空间应随数据漫衍变化同设施整。
不错借助常微分方程来态状这一历程：
由此可推导出模子参数的演化知足：
其中，是对的雅可比矩阵。
这一收尾标明，若是数据漫衍的演化在时分上具有一语气性，那么的演化历程也具有一语气性。
也等于说，模子参数会随数据漫衍的变化而平滑调整。
上式为缔造了一个由微分方程态状的模子动态系统。
但由于数据动态的具体花样未知，径直求解上述微分方程并不成行。
为此，作家引入了一个由神经汇集界说的一语气动态系统，用可学习的函数态状模子参数的变化。
该函数通过荧惑模子动态和数据动态之间的拓扑共轭（Topological Conjugation）关系使靠近真确动态。
具体而言，拓扑共轭要求通过泛化取得的模子参数与径直历练得到的参数保捏一致。
为此，作家设定了以下优化主义，以学习的参数：
其中，通过在时刻的鸿沟上径直历练取得。
则示意从时分通过动态演变至的泛化参数：
通过这一优化历程，作家缔造了模子动态与数据动态之间的同步机制。
借助动态函数，不错在职意时刻精准求解模子的情景。
用库普曼算子简化模子动态
在实质任务中，猜度模子不时依赖于过参数化的深度神经汇集，使得模子动态呈现为在高维空间中纠缠的非线性动态。
径直对建模不仅计较量大，且极易导致泛化不褂讪。
关联词，受数据动态的垄断，而数据动态不时是简便、可猜度的。
这意味着在过参数化空间中，模子的主动态（Principal Dynamics）不错在妥贴调整的空间内进行更易于科罚的示意。
受此初始，作家引入了库普曼表面（Koopman Theory）来简化复杂的模子动态。
库普曼表面在保捏动态系统特征的同期将复杂的非线性动态线性化。
具体而言，咱们界说一个库普曼镶嵌函数，将原始的高维参数空间映射到一个低维的库普曼空间中：
其中，示意库普曼空间中的低维示意。
通过库普曼算子，不错在线性空间中描画的动态：
一朝取得了简化的动态示意，就不错在库普曼空间中更新模子参数，尔后将其反应射回原始参数空间：
最终，通过库普曼算子的引入，作家已毕了对模子动态的简化，保证了泛化历程的正经性。
颐养优化与先验常识勾通
作家对多个组件同期施加箝制确保模子能褂讪泛化，其中包含以下环节项：
猜度准确性：通过最小化猜度时弊，使猜度模子在每个不雅测时分点都能准确猜度实质数据。
泛化准确性：通过最小化猜度时弊，使泛化模子在每个不雅测时分点都能准确猜度实质数据。
重构一致性：确保模子参数在原始空间与库普曼空间之间的调整具有一致性。
动态保真性：箝制库普曼空间的动态活动，使得映射后的空间稳当预期的动态系统特征。
参数一致性：确保泛化模子参数映射回原始空间后与猜度模子参数保捏一致。
引入库普曼表面的另一上风在于，不错通过库普曼算子的谱特质来评估模子的历久褂讪性。
此外，还不错在库普曼算子中施加箝制来截至模子的动态活动。
通过不雅察库普曼算子的特征值，不错判断系统是否褂讪：
若悉数特征值实部为负，系统会褂讪地趋向于一个均衡情景。
若存在特征值实部为正，系统将变得不褂讪，模子在异日可能会坍塌。
若特征值实部为零，系统可能阐扬出周期性活动。
通过分析这些特征值的漫衍，不错猜度系统的历久活动，识别模子在异日是否可能出现崩溃的风险。
此外，还不错通过对库普曼算子施加显式箝制来调控模子的动态活动。举例：
周期性箝制：当数据动态为周期性时，可将库普曼算子设为反对称矩阵，使其特征值为纯虚数，从而使模子阐扬出周期性活动。
低秩访佛：将示意为低秩矩阵，有助于截至模子的摆脱度，幸免过拟合到次要信息。
通过这些技能，不仅提高了泛化的历久褂讪性，还增强了模子在特定任务中的可控性。
实验实验确立
为考据算法恶果，作家使用了合成数据集和多种真确寰宇场景的数据集：
合成数据集包括 Rotated 2-Moons 和 Rotated MNIST 数据集，通过在一语气时分区间内随即生成时分戳，并对 Moons 和 MNIST 数据依时期戳缓缓旋转生成一语气时域。
真确寰宇数据集则包括以下三类：
事件初始数据集Cyclone：基于热带气旋的卫星图像猜度风力强度，气旋发诞辰期对应一语气时域。
流数据集Twitter 和 House：区分从狂放时分段抽取推文和房价数据流组成一个鸿沟，屡次随即抽取酿成一语气时域
不章程破裂数据集Yearbook：东谈主像图片猜度性别，从 84 年中随即抽取 40 年数据当作一语气时域。
定量分析
作家领先对比了 Koodos 环节与各基线环节的定量性能。
下表表示，Koodos 环节在所罕有据集上展现了显赫的性能升迁。
在合成数据集上，Koodos 好像松驰大意捏续的宗旨漂移，而悉数基线环节在这种场景下一王人失效。
在真确寰宇数据集上，尽管某些基线环节（如 CIDA、DRAIN 和 DeepODE）在少数场景中略有阐扬，但其相较于简便环节（如 Offline）的矫正畸形有限。
比拟之下，Koodos 显赫优于悉数现存环节，彰显出在时域泛化任务中磋商漫衍一语气变化的环节作用。
有想象界限
为直不雅展示泛化恶果，作家在 Rotated 2-Moons 数据集上进行了有想象界限的可视化。
该任务具有极高难度：模子需在 0 到 35 秒傍边的 35 个一语气时域上历练，随后泛化到不轨则漫衍在 35 到 50 秒的 15 个测试域。而现存环节不时只可泛化至异日的一个时域（T+1），且难以处理不轨则的时分漫衍。
下图展示了从 15 个测试域中考取了 7 个进行可视化测试的收尾（紫色和黄色示意数据区域，红线示意有想象界限）。
收尾澄莹地标明，基线环节在大意一语气时域的动态变化时阐扬不及。跟着时分鼓舞，有想象界限渐渐偏离瞎想情景。
尤其是最新的 DRAIN 环节（ICLR23）在多步泛化任务中澄莹失效。
比拟之下，Koodos 在悉数测试域上展现出特殊的泛化智商，恒久保捏澄莹、准确的有想象界限，与实质数据漫衍变化高度同步。
这一恶果凸显了 Koodos 在时域泛化任务中的上风。
模子演变轨迹
为更深切地分析模子的泛化智商，作家通过 t-SNE 降维，将不同环节的模子参数的演变历程（Model Evolution Trajectory）在隐空间中可视化。
不错看出，Koodos 的轨迹呈现出平滑而有轨则的螺旋式高潮旅途，从历练域平滑蔓延至测试域。
这一轨迹标明，Koodos 好像在隐空间中灵验捕捉数据漫衍的一语气变化，并随时分当然地推宽绰化。
比拟之下，基线模子的轨迹在隐空间中缺少澄莹结构，跟着时分推移，渐渐出现澄莹的偏离，未能酿成一致的动态模式。
时域泛化的分析与截至
在 Koodos 模子中，库普曼算子为分析模子动态提供了灵验技能。
作家对 Koodos 在 2-Moons 数据集上分析标明，库普曼算子的特征值在复平面上漫衍在褂讪区和不褂讪区。
这意味着 Koodos 在中短期内能褂讪泛化，但在极万古分的猜度上将会渐渐失去褂讪性，偏离预期旅途（下图 b）。
为升迁模子的褂讪性，作家通过将库普曼算子配置为反对称矩阵（即 Koodos 版块），确保悉数特征值为纯虚数，使模子具有周期性褂讪特质。
在这一配置下，Koodos 展现出高度一致的轨迹，即使在万古分外推历程中也曾保捏褂讪和准确，施展了引入先验常识对增强模子正经性的恶果（下图 c）。
（a：部分历练域数据；b：不受控，模子最终偏离预期；c：受控，模子恒久褂讪且准确。）
时域泛化与生成式模子任务有自然的关联，Koodos 所具备的泛化智商好像为神经汇集生成本事带来新的可能。
Koodos 的应用并不局限于时域泛化，它也不错适用于其他漫衍变化的任务中。
作家筹划探索其在非时态鸿沟的应用。
同期，作家也将探索时域泛化在大模子中的集成，匡助 LLM 在复杂多变的漫衍中保捏鲁棒性和褂讪性。
论文地址：
https://arxiv.org/pdf/2405.16075
GitHub：
https://github.com/Zekun-Cai/Koodos/
— 完 —
投稿请发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 样子主页勾通，以及关系方式哦
咱们会（尽量）实时呈报你
点这里� � 存眷我，难忘标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日邂逅 ~