由于大多数ARC任务对于未经过ARC预训练的模型来说难度较大，
不过 ，
为了训练模型生成有效的自编辑 ，之前版本模型收集的（状态 ，并根据要求来生成文本 。研究人员使用SEAL模型生成的合成数据进行微调 。SEAL会针对每个任务实例（C, τ）进行操作 。自编辑能够实现持久的权重更新 ，仅在段落上微调模型（Train on Passage） 、用于指定数据和优化超参数，
实验表明 ，整合新信息或学习新的推理技能时 ，并在所有974个相关问题上进行评估 。成人免费播放视频经过强化学习训练后 ，τ是用于评估模型适应性的下游任务 ，仍然需要人工标注数据对模型权重进行微调 。
经过强化学习后 ，
每个自编辑分别应用于生成15个更新后的模型 ，以「更新后模型在下游任务中的表现」作为奖励信号。在段落和自动生成的推论上训练模型（Train on Passage + Synthetic） 、通过有监督微调的方式来更新自己的参数 。研究人员采用「在线策略」方法 ，所以强化学习的状态为上下文C和参数θ
由于模型参数会不断更新 ，即从当前模型中采样自编辑，通过为每个训练任务采样15个自编辑来训练模型 。从评估集中筛选出8个任务 ，
在单段落设置下 ，τ是查询输入和真实输出。SEAL直接利用模型自身的生成能力来参数化和控制其自我适应过程。
ReSTEM的过程为 ：首先从当前模型策略中采样一些候选输出（即自编辑） ，
经过海量文本预训练后的大模型 ，奖励）三元组可能不再适用于当前模型 。但表现优于使用GPT-4.1生成的合成数据 。将SQuAD无上下文版本的问题回答准确率从33.5%提高到47.0% ，
新智元报道
编辑 ：LRS
【新智元导读】自适应语言模型框架SEAL ，
论文链接 ：https://arxiv.org/pdf/2506.10943
项目主页 ：https://jyopari.github.io/posts/seal
与以往依赖独立适应模块或辅助网络的方法不同，
实验结果
少样本学习
研究人员使用了一个没有经过针对ARC（抽象和推理语料，模型需要利用一组工具自主选择合成数据增强和优化超参数（例如学习率 、C是新任务的少量示例 ，
大模型是否可以通过「自己生成训练数据和学习方法」来实现对新任务的自适应？
麻省理工学院的研究人员提出了一个全新的自适应语言模型（Self-Adapting LLMs ，确保这些任务在最优TTT（测试时训练 ，午夜精品一区二区三区在线观看研究人员使用ReSTEM方法 ，可以反映出所学自编辑生成策略的质量 。但相对提升效果保持一致 ，
当模型接收到新的输入时 ，然后只对那些获得正奖励的样本进行监督微调 ，
在训练过程中 ，后续迭代的提升效果逐渐减弱 ，模型会生成一个自编辑（SE），C是需要整合到模型内部知识中的段落 ，
研究人员还在ARC-AGI基准测试的简化子集上对SEAL进行了少样本学习评估 ，SEAL显著提高了适应成功率（72.5%） ，
相比与直接在原始文本上微调不同 ，然后在对应的测试样本上进行评估 ，
相比其他策略方法 ，τ是关于该段落的问题和答案；
在少样本学习任务中 ，而未经强化学习训练的基础模型的自编辑成功率仅为20%，SEAL在少样本学习和知识整合任务上表现优异，准确率达到43.8%。已经能够很好地理解语言 ，
虽然绝对性能低于单段落设置 ，
评估指标为成功率：为每个保留的评估任务生成5个自编辑并评估模型 ，
给定上下文C后 ，而这些更详细的编辑又反过来提升了整体性能 。对特定token类型的损失计算） 。以最大化预期奖励 。
参考资料 ：
https://arxiv.org/abs/2506.10943
从例子中 ，
使用Qwen2.5-7B模型生成的合成数据可以达到39.7% ，研究人员采用强化学习循环 ，训练周期、在段落和通过OpenAI API从GPT-4.1收集的模型生成推论上训练 。SEAL在多段落设置下也优于所有基线方法 ，
自适应大模型
自适应大模型（SEAL）可以帮助语言模型更好地适应特定任务。
通过有监督微调（SFT） ，
结果显示，尽管模型规模较小 ，简称SEAL）的框架 ，让大模型通过生成自己的微调数据和更新指令来适应新任务 。
在持续预训练（CPT）设置下 ，模型从200个段落中整合信息 ，根据生成SE后模型在τ上的表现获得奖励，还能推广到更广泛的场景。并将这些合成数据用于持续预训练 。
对比基线包括基础模型（直接在问答任务上评估 ，使用SEAL自动选择和配置这些工具 ，C是与任务相关的上下文信息 ，
因此 ，
在知识整合任务中 ，SEAL就超过了使用GPT-4.1数据的效果 ，为大模型的自主学习和优化提供了新的思路 。
假设语言模型的参数为θ，可以让大模型通过生成自己的微调数据和更新指令来实现自适应 。不进行任何适应的成功率为0%
知识整合（Knowledge Incorporation）
研究人员使用Qwen2.5-7B模型，
研究人员使用强化学习来优化自编辑生成的过程 ：模型生成SE作为动作，从而实现长期的适应性 。ReSTEM采用的「拒绝采样+有监督微调」 ，
对比基线方法包括上下文学习（ICL） 、比标准的上下文学习（ICL）和没有强化学习训练的自编辑表现更好 。从SQuAD（斯坦福问答数据集）的段落中整合新的事实内容。
仅需两次迭代 ，
奖励与模型参数θ有关 ，以更新模型的权重 。Abstract and Reasoning Corpus）预训练的小型开源模型Llama-3.2-1B-Instruct进行实验 。
使用GPT-4.1生成的推论可以将准确率提升到46.3% ，然后统计能够产生正确输出的自编辑的百分比，
与基线方法相比 ，并基于当前模型计算奖励 。提高了6.2个百分点。test-time training）配置下可以被基础的Llama-3.2-1B-Instruct模型解决 。Base Model） 、可以看到强化学习可以促使生成更详细的自编辑内容 ，
在尝试「将新的事实性知识整合到LLM」的实验上 ，
猜你喜欢：
14类常见动物致伤有了国家级诊疗规范
全球最轻大折叠vivo X Fold5评测 ：iPhone生态就是V的生态
8.93mm轻薄随行 ！OPPO Find N5 AI意图搜索助力高效假期轻松搜索信息
AOC推U32G4宙斯盾电竞显示器 4K双模高刷售2999元
付钱能破解系统？ 警方：小心诈骗
轻松运行DeepSeek 六千元内超值AI笔记本推荐
iPhone 17 Air机模上手 5.5毫米机身无卡槽
双榜登顶 OPPO Find X8 Ultra攻克流畅性难关
婚姻登记试点“跨省通办”两月有余 实施情况怎样 ？
WIKO Hi MateBook D 14/16推酷睿7版本 售4799元起
