The Pixtral-12B-2409 is a Multimodal Model of 12B parameters plus a 400M parameter vision encoder. For more details about this model please refer to our release blog post. Feel free to try it here. Key features Natively multimodal, trained with interleaved image and text data; 12B parameter Multimodal Decoder + 400M parameter Vision Encoder

Mistral-NeMo-12B-Base is a Large Language Model (LLM) composed of 12B parameters, trained jointly by NVIDIA and Mistral AI. It significantly outperforms existing models smaller or similar in size. Mistral-NeMo-12B-Base is a completion model intended for use in over 80+ programming languages and designed for global, multilingual applications.

2024年12月2日 · 在此之前，展示一下 Hugging Face 上的这个 Pixtral 模型页面， 为什么它如此特别呢？ 因为 Mistral 是一家已经因其开源模型和模型质量而非常有名的公司，而 Pixtral 12B（120 亿参数）是他们的第一个多模态模型。

2025年3月12日 · 比如Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM和Gemma.cpp。 ... 其中，Gemma 3 27B规模的模型在14万亿个token上进行训练，12B 规模的模型使用12T个token，4B 规模的模型使用4T个token，而1B规模的模型使用 …

2024年9月17日 · Pixtral 12B in short: Natively multimodal, trained with interleaved image and text data; Strong performance on multimodal tasks, excels in instruction following; Maintains state-of-the-art performance on text-only benchmarks; Architecture: New 400M parameter vision encoder trained from scratch; 12B parameter multimodal decoder based on Mistral Nemo

There are several people in the water and on the beach, enjoying the waves and the sunset. - **Details:** The waves are powerful, creating a dynamic and lively atmosphere. The sky is …

The Clarivex-Pixtral-12B model is a fine-tuned version of the Pixtral-12B model, created during the Hack UK - a16z and Mistral AI London Hackathon in October 2024. It has been adapted specifically for the Diverse Dermatology Images (DDI) Multimodal Dataset using Parameter-Efficient Fine-Tuning (PEFT) techniques like Low-Rank Adaptation (LoRA).

2024年10月14日 · Pixtral 12B 是由Mistral AI 推出的一款具有 12 亿参数的多模态语言模型，具备处理自然图像和文档的能力，在多模态基准测试中取得了领先性能。 与许多其他开源模型不同，Pixtral 12B 在保持多模态任务优势的同时，也没有牺牲自然语言处理性能。

2024年9月12日 · 动作快的非官方 Mistral 社区已经将该模型上传到了 Hugging Face。 该模型的名字为 pixtral-12b-240910，从名字也能看出，该模型的参数量为 12B。 可以看到，该模型有一个视觉编码器，其支持 1024×1024 大小的图像，有 24 个隐藏层，支持高级图像处理。 该模型的层数为 40、隐藏维度大小为 14,336，注意力头有 32 个。 此外，Pixtral 12B 的词汇库有 131,072 个不同的 token，可以说相当庞大，因此能实现非常细腻的语言理解和生成。 从这些参数和配置也 …

2024年9月19日 · Pixtral 12B isn’t just another pretty face in the AI crowd. It’s a multimodal marvel that’s about to make your smartphone look like a flip phone. Here’s why it’s turning heads...