AAAI 2025论文，方法部分感觉有点难理解（导师说方法像扩散模型，之后去看一下）

背景

物体幻觉阻碍了 LVLMs 在需要精确判断的场景（医疗诊断、自动驾驶等）下的可靠性和适用性。

问题

软视觉token映射到大语言模型的词嵌入空间时，模型对无关视觉特征产生了过度自信

本文贡献

1、首次用变分信息瓶颈（VIB）原理作为正则化技术来缓解 LVLM 中的物体幻觉问题

2、提出了一种名为 ADAVIB 的自适应噪声控制策略 。该策略基于相似度分布的熵来衡量样本的过度自信程度，可以动态地调整注入的随机噪声强度

方法

普通的LVLM步骤是，直接把图像解码器生成的特征向量v通过projector (MLP) 映射到z，z就是软视觉token，然后嵌入到输入的提示词token中作为输入进入到大语言模型中进行处理，本论文提出了一种新的方法叫ADAVIB，主要公式minL_vib是目标函数，前一项表达的是压缩项，也可以命名为正则项，主要作用是限制z从v带走过多信息；第二大项是预测项，主要是生成任务本身的损失，作用是保证压缩后的z能生成正确的答案y。

对于主要公式(minL_vib)的解释

β是一个权重系数，论文里叫Lagrange multiplier，主要是用来平衡压缩和预测项，如果β越大，那么约束更强，信息流更容易受限；相反如果β小则能保留更多信息，β会根据熵做自适应调整。 p_Θ（z|v）是后验分布，论文里将它建模为一个高斯分布，μ是均值∑是方差，大白话讲就是模型不算直接输出一个固定的z，而是先输出z大概位置和波动大小，再从这个分布里进行采样。r（z）是先验分布，是不依赖具体输入v的参考分布，对于后验分布来说是一个约束目标。

最后生成的z是经过重参数化采样得到的，μ和∑分别是后验分布的均值和方差，e是标准的高斯噪声，然后把标准高斯噪声与后验分布的方差进行逐元素相乘（论文中注入噪声最直接体现在公式 (9)。作者将 visual token 写成公式9，∑控制噪声幅度，因此 z 不是确定性映射结果，而是带随机扰动的压缩表示。这种噪声注入对应 VIB 中的信息压缩过程，用来限制无关信息流入 LLM。）

实验

所用数据集：

• MSCOCO
• CHAIR
• POPE 并用Accuracy和F1进行评估

MiniGPT-4和LLaVa-1.5作为backbone

结果

在MiniGPT-4 和 LLaVa-1.5上，都能稳定降低 object hallucination，并且在两个基准上都优于普通微调和多种强基线；在 MSCOCO 上，ADAVIB 显著降低了 CHAIR_S 和 CHAIR_I，说明生成描述里“图中不存在物体”的现象更少，在 POPE 上也整体提升了 Accuracy 和 F1，在 Popular split 上提升更明显，证明它对高频物体共现带来的统计偏差抑制更有效。消融实验中证明adaptive β 和 **reparameterization 都是有效组件，而机理分析图说明 ADAVIB 会让 visual token 到 LLM 词空间的相似度分布更平滑、熵更高，最后的敏感性实验也表明，压缩强度过大或过小都会变差，自适应控制优于固定设置

ICLR 2026的论文 通过外部环境缓解幻觉，还有打标签

背景

现有的 RAG 模型虽然能够通过引入外部知识库来弥补模型的参数、记忆不足，但是再长文本语境下依旧面临 Lost in Lengthy Context 问题。

问题

1、信息冗余与捕获困难：外部检索得到的结果经常包含很多无关信息，这种冗余的输入会导致模型在生成输出的过程中难以精准定位真正的关键信息。

2、长推理链导致的遗忘：在生成长篇大论的过程中由于上下文长度的限制可能会导致模型忘记推理早期获得的中间结果，最终导致结论出现逻辑断裂或者事实漂移。

本文贡献

对比现有的多轮检索框架（ReAct、Self-RAG等）不同，M2R不仅仅检索外部文档（宏观），还通过在推理过程中建立 Key Information Repository 来让模型对自身生成的证据再利用。在生成回答的过程中，M2R会立即插入检索到的关键事实（微观），体现了从”粗粒度文档注入”到”细粒度事实锚定”的思想。

方法

边检索边生成

双阶段推理结构

推理过程被明确划分为两个阶段，通过特定的标签进行管理

思维阶段

1、宏观检索（Macro Retrieval）：< macro_tool_call > 标签通过向外部 browser 或者知识库发起多轮 query，获取粗粒度背景证据。

2、关键信息保存（Key Information Saving）：模型在推理过程中识别出与答案直接相关的事实片段，用 < key_info_save > 标签以 json 格式存入 Key Information Repository。

回答阶段

1、微观检索（Micro Retrieval）：模型发出 < micro_tool_call > 标签，请求 Key Information Repository 中的信息。

2、微观生成：检索到的事实通过 < micro_response > 返回，并用 \boxed{} 标记

基于 GRPO 的RL优化

是为了让模型学会tool call 和 利用 Key Information Repository 中的信息。

优化目标

GRPO 不仅用于优化最终答案生成还监督模型的生成行为，包括何时调用检索、如何编写json仓库、如何在回答时引用仓库信息

检索结果掩码（Retrieval Result Mask）

在计算 loss 时，模型仅对自身生成的 Token ，对于外部返回的检索结果，用二进制掩码mt进行剔除，为的是防止错误的信用分配，保证稳定训练。

KL 约束

引入了 D_kl 正则化项，可以保证更新后的策略π_θ不会偏离原始基座模型太远。

自定义规则奖励模型

1、格式奖励：检查< macro_tool_call > 的使用是否合规，json 格式是否合法

2、答案奖励： 综合三个F1 Score：

• 最终答案准确性（s_final）
• 关键信息准确性（s_key）
• 一致性得分（s_cons）

实验

• 四个多跳 QA 基准：Hotpot （多样化推理）、2WikiMutiHopQA（结构化推理）、MuSiQue（高难度组合推理）、Bamboogle（两步推理挑战）
• 模型底座： Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct
• 训练数据：MuSiQue 的训练集
• 检索环境：基于 FlashRAG 构建
• 底层知识库：2018.12 版本的 Wikipedia 快照

结果

1、准确性大幅提升

2、长上下文幻觉抑制

本文构造了 HotpotQA-2Q 和 HotpotQA-3Q 任务（即将多个问题合并为一个推理实例），传统 RAG 和 ReSearch 的幻觉率迅速上升，而 M2R 依旧保持在稳定的高准确率 。

整理一下目前为止见过的论文里的专有名词，虽然可以见到再查，但是为了方便自己看，还是整理一下，持续更新。

1、ML基础

2、DL

3、NLP

4、CV

5、RL

6、LLM

很早之前想做个人网站，然后大二的时候简单用springboot和vue搭建了一个（作为一个课程的大作业），交完报告和演示之后没有再运营，然后就无了。 然后看到了别人githubio，就想起来做这个网站，所以想先记录一下这个网站的整体架构，以及后续的重构想法。

网站架构

核心框架

目前底层用的是Jekyll，依赖github-pages，jekyll-pagination分页，所有文章放在_post/里，分类元数据通过categories/映射，其他的推荐数据之类的在_data/下。

博客lifecycle

我在 scripts 下写了个 blog_lifecycle_manager ，这里会对刚上传的博客打上上传时间（根据当地的时间），然后如果我更新博客内容，scirpts 会用 subprocess 对比 HEAD^1（也就是上一次该博客的提交，但是会仅对比旧的正文内容），如果current_body != committed_body，就会对博客添加一个 last_modified_at 元数据，值为修改时间。

AI Automation

在主页有AI自动推荐，我用的 deepseek-v3-reasoner ，支持 web_search ， browser 本来想用 google search engine 的，但是好像27年停止支持了（然后好像不会再支持了，回头再去官方docs看一下），然后就改成 exa 了，新账号有20刀的额度，感觉能用一段时间。整个推荐是由 scripts/update_daliy.py 和 .github/workflow/daily_update.yml 实现的，我配置了一个 corn ，时间设的凌晨一点半。对于推荐的内容，我做了个 long_memory_cache ， update_daily 里有 get_realtime_context()会调用 GitHub API 来把昨天github上高星的五个项目喂给ds，然后 _data/history.json 作为历史推荐记录可以防止ds每天推荐同样的内容。 这样就是每天会自动运行 update_daily.py，update_daily.py 会调用 deepseek ，获取推荐数据，然后更新到 _data/recommendation.yml 里，最后 github action 会自动 commit 并 push 到远程仓库。

好像目前网站就这么多内容？_layout/ 和 _includes/ 下的文件都是用来渲染页面的，assets/ 下的文件都是静态资源，比如css，js，图片等，reponsive.css 做的是对各种异形屏的适应，比如移动端。

没写readme，但是好像也不需要readme，反正也没什么复杂功能..

后续重构想法

为什么我想重构个人网站？ 不知道，但是我知道 githubio 只有1G的空间（确实如果只写文字博客是写不完的），虽然之前配置了cos，但是又改回去了，倒不是因为 cos 要付费，感觉东西保存在自己这还是好点，也方便我备份（虽然现在也没有什么要备份的就是了），重构顺便帮助我学习其他技术栈？还真可以吧。初步想法是 Vue3 + TypeScirpt后端，也想过Rust，但是这破网站也不需要什么性能吧，我不信这网站能有超高并发..不过后续学学倒不是什么问题。 差不多就这么多内容。

总结了一下自己用的 git 命令。

1. 基本配置

1.1 配置用户名和邮箱

git config --global user.name 'username'

git config --global user.email 'email'

1.2 配置默认文本编辑器

git config --global core.editor 'editor'

1.3 初始化仓库

git init

1.4 克隆仓库

git clone 'url'

2. 基本操作

2.1 查看状态（哪些文件还没提交，哪些文件修改过）

git status

2.2 添加文件到暂存区

git add 'file'

git add .

git add folder/..

2.3 提交变更（指明进行了什么变更）

git commit -m 'message'

2.4 拉取远程更新

git pull

建议用 git pull –rebase 而不是 git fetch 后 git merge ，因为 git pull 会自动合并、并且 rebase 可以使提交历史更加线性。

2.5 推送本地变更到远程仓库

git push

2.6 查看历史记录图

git log --graph

3. 分支操作

3.1 查看分支

git branch

3.2 创建分支

git branch 'branch_name'

3.3 创建并且切换到该分支

git checkout -b 'branch_name'

去掉 -b 就是切换分支

3.4 合并分支

git merge 'branch_name'

3.5 删除分支

git branch -d 'branch_name'

建议多创几个分支进行开发，若只在主分支（main/master等）进行开发，遇到较大 bug 只能 rollback 到上一个提交点，没有备份。

4. 复原操作

4.1 查看远程和本地的差异

git diff

4.2 丢弃当前工作区的更改

git restore <file>

4.3 撤销此次 commit 但是保留更改

git reset --soft HEAD~1

如果把 soft 改成 hard，那就是撤销此次 commit 并且丢弃所有更改，一般不用，比较危险

4.4 创建一个新提交来撤销之前的提交

git revert <commit_id>

4.5 查看代码是谁写的

git blame <file>

5. 临时缓存

5.1 暂存工作区更改

git stash

5.2 查看暂存列表

git stash list

5.3 恢复暂存但是不删除list

git stash apply

5.4 恢复最近一次stash

git stash pop

6. 其他命令

6.1 变基操作

git rebase <branch_name>

6.2 解决冲突之后再变基

git rebase --continue

6.3 放弃变基

git rebase --abort

6.4 选择一次 commit 应用到当前分支

git cherry-pick <commit_id>

6.5 查看存储库占用

git count-objects -vH

本人看完 3D 彼女后的一些感想。

上上周看完的。 不知道从什么时候开始，看动漫不喜欢跳oped，也许是op是提醒我准备看了，ed是让我好好回顾一下这话讲了什么内容。校园恋爱番不仅仅是想让我看男女主之间的曲折恋情，还让我看到了男女主在故事中逐渐成长，这才是我真正喜欢的部分：成长。 在这部青春恋爱番中，我看到了筒子原本一个阴角二次元宅男，在遇到色叶之后，慢慢变得成熟，慢慢的褪去了自负，还有伊藤、石野等，让我看到了大家在进步，在最后二十五岁了，男女主重逢结婚、六人互相都有联系，让我真的很开心，这种有深度的恋爱番真是无法抵抗。🙏🙏🙏

前期配置

1. 安装并启动 OpenSSH Server

首先在 PowerShell 中检查是否已安装：

# 检查是否已安装 
Get-WindowsCapability -Online | Where-Object Name -like 'OpenSSH.Server*'

如果 State 是 NotPresent，运行以下命令安装：

# 安装 OpenSSH Server
Add-WindowsCapability -Online -Name OpenSSH.Server~~~~0.0.1.0

安装完成后，启动服务：

# 启动服务 
Start-Service sshd

# 设置为开机自启
Set-Service -Name sshd -StartupType 'Automatic'

2. 配置 Windows 防火墙

首先运行以下命令添加放行规则：

if (!(Get-NetFirewallRule -Name "OpenSSH-Server-In-TCP" -ErrorAction SilentlyContinue)) {
    New-NetFirewallRule -Name 'OpenSSH-Server-In-TCP' -DisplayName 'OpenSSH Server (sshd)' -Enabled True -Direction Inbound -Protocol TCP -Action Allow -LocalPort 22
} else {
    Write-Host "Firewall rule already exists."
}

关键一步：网络配置检查 Windows 默认会拦截“公用网络 (Public)”下的几乎所有入站连接。如果网络被识别为公用，改为 专用 (Private)：

# 查看当前网络类别
Get-NetConnectionProfile

# 将所有网络设置为专用（建议在家庭/实验室局域网操作）
Get-NetConnectionProfile | Set-NetConnectionProfile -NetworkCategory Private

3. 检查服务监听状态

查看服务器端口是否在正常监听：

netstat -an | findstr :22

• 有输出 (LISTENING)：服务器端正常。
• 无输出：尝试重启服务 Restart-Service sshd。

虚拟局域网连接 (ZeroTier 等)

如果通过虚拟局域网连接，需要额外放开地址限制：

1. 放开远程地址限制

Set-NetFirewallRule -Name "OpenSSH-Server-In-TCP" -RemoteAddress Any

2. 针对特定网段放行 (以 ZeroTier 为例)

New-NetFirewallRule -DisplayName "Allow ZeroTier SSH" -Direction Inbound -LocalPort 22 -Protocol TCP -Action Allow -RemoteAddress 192.168.191.0/24

如何进行连接

1. 基础连接

使用终端连接：

ssh username@serverIP

注：如果不清楚用户名，可在服务器端运行 whoami。

2. 使用 SSH 密钥连接

ssh -i "密钥路径" username@serverIP

进阶：远程开发与免密

1. VSCode 远程开发

在扩展市场搜索并安装 Remote - SSH。

2. 配置免密登录

在本地机器运行以下命令，将公钥发送至服务器：

ssh-copy-id username@serverIP

安全提示：如果电脑上装了“火绒”或“360”，检查它们的“网络防护”功能，这些软件有时会越过系统防火墙直接拦截 SSH 请求。

随笔

https://x.com/Wolfram1907/status/2023428744216772878

成绩第二体育第二学生会长票数第二甚至连恋爱都是第二.. 第一和第二也许能力差距不大，但是人们只记得住第一，却无视第二的付出.. 看着友崎一点点成长以及みみみ对男主情感的变化，从友崎帮助みみみ出谋划策学生会长选举，到提出与友崎一起表演夫妻相声，到最后みみみ还是劝说男主去追风香..真的非常喜欢みみみ的性格..这么好一个女孩..在动漫里给她的却处处是打击，看完动漫还是深感可惜，没有去看漫画，漫画好像后面也没多少内容了，有时间会补一下，但是希望みみみ在那个次元中能获得属于自己的幸福，也希望友崎和风香能一直在一起，葵和友崎一直在游戏中成为对手.. 看了这么多校园恋爱类动漫，感觉有一部分出现第二季的第一季一般是高一，第二季是高二，最后是个文化祭，然后因为高三很忙就完结了，但是在我心里却有一种未完结的感觉..