梦晨 西风 发自 凹非寺 量子位 | 公众号 QbitAI九游娱乐(中国)官方网站-登录入口

CVPR 2024最好论文奖极新出炉，生成式AI成最大赢家！

一篇是Rich Human Feedback for Text-to-Image Generation，受大模子中的RLHF技巧启发，团队用东说念主类反馈来更正Stable Diffusion等文生图模子。

这项酌量来自UCSD、谷歌等，共消亡作华南农业大学学友Youwei Liang、清华学友Junfeng He、武大、港中体裁友Gang Li。

另一篇Generative Image Dynamics更偏表面一些，建议了一种基于图像空间先验的场景理会建模法子，可用于通过静态图像生成无缝轮回顾频，还能完了与图像中对象的交互。

这项酌量来自谷歌，一作谷歌DeepMind酌量员Zhengqi Li（李正奇）。

最勤学生论文奖也一同公布。

一篇BioCLIP: A Vision Foundation Model for the Tree of Life，构建了大限制生物学图像数据集，并建议BioCLIP基础模子来学习生物分类的档次示意。

来自俄亥俄州立大学等，共消亡作Samuel Stevens，Jiaman Wu。

另一篇是3D高斯泼溅边界的Mip-Splatting: Alias-free 3D Gaussian Splatting，通过引入3D平滑滤波器、用2D Mip滤波器替换2D彭胀滤波器来排斥伪影和混叠等问题。

来自图宾根大学、上海科技大学等，三位一作Zehao Yu、Anpei Chen（陈安沛）、Binbin Huang王人为上海科技大学在读或毕业生。

本年CVPR的参与限制和受和顺度都达到了新高度，在授奖举止收尾后不久，官网就被挤爆了……

OpenAI还在一场举止中现场献上GPT-4o语音和视觉款式的最新Demo。

本年CVPR共收到投稿11532份，比上年增多25%，其中2719篇论文被给与，给与率为23.6%，竞争格外热烈。

接下来沿途望望获奖论文是若何脱颖而出的。

最好论文

Rich Human Feedback for Text-to-Image Generation

论文作家来自加利福尼亚大学圣地亚哥分校、谷歌酌量院、南加州大学、剑桥大学、布兰代斯大学。

现时文本生图模子生成的图像仍存在失真、与文本不匹配、好意思学质地差等问题，而现存评估见解如IS、FID等无法响应单个图像的质地细节问题。

先前一些职责尝试汇集东说念主类偏好或评分算作反馈，但仍然是单一的合座得分，枯竭可证据性和可操作性。因此，作家建议了汇集丰富的细粒度东说念主类反馈信息，用于更好地评估和更正生成模子。

作家用Stable Diffusion生成的Pick-a-Pic数据集筛选了18K张图像，之后汇集了“标注文本态状中与图像不匹配的要津词”、“记号图像中的失真/不对理区域”等东说念主类反馈信息。每张图像由3东说念主独处标注，通过平均/投票等神色合并得回最终反馈标签。

之后，筹谋了一种基于ViT和T5X的多模态Transformer模子RAHF，使用三种揣摸器揣摸上述丰富的东说念主类反馈信息:

使用卷积层和上采样层揣摸失真和不匹配的热力争使用卷积层和全联结层揣摸4个方面的评分使用Transformer解码器生成带有寥落token的文本序列，标志不匹配的要津词

试验中，RAHF模子在多个任务上权贵优于基线模子，如ResNet-50和CLIP。

此外，作家还探索了三种愚弄RAHF揣摸的丰富反馈来更正文本到图像生成模子Muse法子。

使用揣摸的质地评分筛选优质数据微调Muse模子，生成图像的质地前后对比如下：

使用揣摸的失真热力争生成掩码区域，在该区域内对Muse生成图像进行局部修补，减少了生成图像的失真问题：

Generative Image Dynamics

论文作家来自谷歌酌量院。

当然界中的场景老是在理会，即使是看似静态的场景也会因为风、水流、呼吸等而产生奥秘的动荡。

论文建议了一种从单张静态图像生成当然动荡动画的新法子，而况复旧用户与图中物体进行交互：

团队发现当然场景中的动荡理会，如树叶舞动等，主要由低频重量构成，因此引入了谱体积算作理会示意，即对视频序列中索求的像素理会轨迹进行傅里叶变换得回的频域示意，只需一丝的低频傅里叶悉数即可保留大部分理会信息。

然后，作家接管潜变量扩散模子从输入图像揣摸谱体积，并建议了频率自稳健归一化和频率互助去噪两种战略来晋升揣摸质地。

临了，将揣摸的谱体积通过逆傅里叶变换挪动为理会纹理，并筹谋了一种基于图像的渲染模块，将输入图像按揣摸的理会轨迹进行前向渲染，最毕生成展现当然动荡理会的动画视频序列。

聚集基于图像的渲染模块，这些轨迹不错用于多个应用场景，举例将静态图像调养为无缝轮回的视频，或者通过将光谱体积证据为图像空间模态基底，不异物体动态，让用户大致与真正图片中的物体进行传神的交互。

作家从定量和定性两方面评估生成视频的质地，斥逐知道该法子显著优于基准：

临了再来看一下成果：

最勤学生论文

BioCLIP: A Vision Foundation Model for the Tree of Life

论文作家来自俄亥俄州立大学、微软酌量院、加利福尼亚大学欧文分校、伦斯勒理工学院。

他们构建了一个大限制生物学图像数据集TreeOfLife-10M，包含1040万张图像，隐敝454103个生物物种，并建议了BioCLIP模子，愚弄CLIP式的多模态对比学习方向，聚集生物学分类档次结构用TreeOfLife-10M数据集预考验模子。

使用该法子可很好地拿获生物分类体系的层级结构，从而完了对看不见类别样本的泛化才气。

Mip-Splatting: Alias-free 3D Gaussian Splatting

3D高斯溅射展示了令东说念主印象长远的新颖视图合成斥逐，达到了高效劳和高保真度。关联词，当改造采样率时，举例通过改造焦距或相机距离，不错不雅察到强烈的伪影。

团队发现这种安闲的根源可归因于枯竭3D频率左右和2D彭胀滤波器的使用。

为了科罚这个问题，团队引入了一个3D平滑滤波器，字据输入视图引起的最大采样频率来左右3D Gaussian primitive的大小，从而排斥放大时的高频伪影。

此外，用模拟2D盒式滤波器的2D Mip滤波器替换2D彭胀滤波器，不错有用缓解混叠和彭胀问题。

团队还提供了在线演示，感意思意思的不错玩起来了。https://niujinshuchong.github.io/mip-splatting-demo/

最好论文：https://arxiv.org/abs/2312.10240https://generative-dynamics.github.io

最勤学生论文：https://arxiv.org/abs/2311.16493https://arxiv.org/pdf/2311.18803

参考贯穿：[1]https://x.com/CVPR[2]https://x.com/PauloFagundesIA/status/1803446527752278425九游娱乐(中国)官方网站-登录入口