AI项目和框架

VPP（Video Prediction Policy）是清华大学和星动纪元推出的首个AIGC机器人大模型。基于预训练的视频扩散模型，学习互联网上的大量视频数据，直接预测未来场...

Amazon Nova Premier 是亚马逊推出功能最强大的多模态 AI 模型，能处理文本、图像和视频输入（不包括音频），擅长处理需要深度理解上下文、多步骤规划以及跨...

D-DiT（Dual Diffusion Transformer）是卡内基梅隆大学、耶鲁大学和字节跳动Seed实验室推出的多模态扩散模型，能统一图像生成和理解任务。模型结合连续图像扩...

NoteLLM 是小红书推出的针对笔记推荐的多模态大型语言模型框架。NoteLLM 基于生成笔记的压缩嵌入和自动生成标签类别，用大型语言模型（LLM）的强大语义理解能...

kimi-thinking-preview 是月之暗面推出的多模态思考模型，具备深度推理能力，擅长解决复杂问题，如代码、数学和工作难题。模型基于 reasoning_content 字段展...

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是阿里巴巴达摩院、湖畔实验室和浙江大学联合推出的基于扩散模型的视频虚拟试...

ACE-Step 是 ACE Studio 和 StepFun 联合推出的开源音乐生成基础模型，基于创新的架构设计实现高效、连贯且可控的音乐创作。ACE-Step结合扩散模型、深度压缩...

ReasonIR-8B 是 Meta AI 推出的专为推理密集型检索任务设计的模型。基于 LLaMA3.1-8B 训练，采用双编码器架构，将查询和文档分别编码为嵌入向量，通过余弦相...

Omni Reference 是 Midjourney 推出的全能参考功能，支持用户将特定的人物、物体或场景从参考图像中嵌入到生成的图像中。Omni Reference 适用于Midjourney V7...

Cobra（Efficient Line Art COlorization with BRoAder References）是清华大学、香港中文大学和腾讯ARC实验室推出的漫画线稿上色框架，专为高精度、高效率和...

KeySync 是帝国理工学院和弗罗茨瓦夫大学推出的用在高分辨率口型同步框架，支持将输入音频与视频中的口型动作对齐。KeySync 基于两阶段框架实现，首先生成关...

HoloTime 是北京大学深圳研究生院和鹏城实验室推出的全景 4D 场景生成框架，基于视频扩散模型将单张全景图像转化为具有真实动态效果的全景视频，进一步重建为...

T2I-R1 是香港中文大学和上海AI Lab联合推出的新型文本生成图像模型。基于引入双层推理机制，语义级链式思维（CoT）和 Token 级 CoT，实现高层次图像规划与低...

X-Fusion 是加州大学洛杉矶分校、威斯康星大学麦迪逊分校和 Adobe Research 联合提出的多模态融合框架，将预训练的大型语言模型（LLMs）扩展到多模态任务中，...

Phi-4-reasoning 是微软推出的 140 亿参数的推理模型，专为复杂推理任务设计。通过监督微调（SFT）训练而成，使用了 OpenAI 的 o3-mini 模型生成的高质量推理...