This repository hosts the code, data and model weight of NExT-GPT, the first end-to-end MM-LLM that perceives input and generates output in arbitrary combinations (any-to-any) of text, image, video, and audio and beyond.

2023年9月11日 · To fill the gap, we present an end-to-end general-purpose any-to-any MM-LLM system, NExT-GPT. We connect an LLM with multimodal adaptors and different diffusion decoders, enabling NExT-GPT to perceive inputs and generate outputs in arbitrary combinations of text, images, videos, and audio.

我们将 LLM 与多模态适配器和不同的扩散解码器连接起来，使 NExT-GPT 能够感知输入，并以文本、图像、视频和音频的任意组合生成输出。 通过利用现有的训练过的高性能编码器和解码器，NExT-GPT 只需对某些投影层进行少量参数（1%）的调整，这不仅有利于降低训练成本，还能方便地扩展到更多潜在模态。 此外，我们还引入了模态切换指令调整（MosIT），并手动为 MosIT 策划了一个高质量的数据集，在此基础上，NEXT-GPT 被赋予了复杂的跨模态语义理解和内 …

2023年9月20日 · next-gpt 是一个端到端通用的任意多模态大型语言...该存储库托管了 next-gpt 的代码、数据和模型权重，next-gpt 是第一个端到端的 mm-llm，它以文本、图像、视频和音频等的任意组合（任意到任意）感知输入并生成输出

We connect an LLM with multimodal adaptors and different diffusion decoders, enabling NExT-GPT to perceive inputs and generate outputs in arbitrary combinations of text, images, videos, and audio.

2023年9月23日 · NExT-GPT将LLM与多模态适配器和不同的扩散解码器连接起来，使NExT-GPT能够感知输入并以文本、图像、视频和音频的任意组合生成输出。 在开始之前，我们先看一下官网给出的几个示例. Example-1: Text → Text+Image+Audio （文字 → 文字+图像+音频） Example-2: Text+Image → Text+Image+Video（文字+图像 → 文字+图像+视频） Example-3: Text+Video → Text+Image（文字+视频 → 文字+图像） 更多的示例可以去官网看： next …

This is the repository that contains the source code for the NExT-GPT project page. If you use NExT-GPT in your project, please kindly cite:

2024年1月1日 · NExT-GPT: Any-to-Any Multimodal LLM. 项目地址： 所以这项工作主打一个any-to-any模态，现在支持文本、图像、视频和音频。 图1展示了Next-GPT的大致框架，可以看到主要分了三步。

2024年6月20日 · next-gpt 是一个端到端通用的任意多模态大型语言模型（mm-llm）系统。该存储库托管了 next-gpt 的代码、数据和模型权重，next-gpt 是第一个端到端的 mm-llm，它以文本、图像、视频和音频等的任意组合（任意到任意）...

2023年12月18日 · 本文介绍了iclr 2024投稿论文："next-gpt: any-to-any multimodal llm"，提出了一种任意多模态语言模型框架next-gpt，能够接受和生成文本、图像、视频和音频等多种模态的内容，为实现人类级ai提供可能。