2024年3月31日 · Axolotl：一个用户友好且功能强大的微调工具，用于许多最先进的开源模型。 DeepSpeed：高效的预训练和微调LLM，适用于多GPU和多节点设置（在Axolotl中实现）。 参考资料： 新手LLM训练指南 作者Alpin：微调LLM时考虑的主要概念和参数的概览。

2024年11月15日 · 近日，由斯坦福大学吴家俊团队提出的EMBODIED AGENT INTERFACE（EAI）框架，这项工作被NIPS 2024接收为oral。 该框架专注于评估LLMs在具身决策制定中的表现，旨在通过标准化的方法全面评估LLMs的性能。 论文题目：Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making. 论文作者：Manling Li , Shiyu Zhao , Qineng Wang, et al. 在具身决策制定（Embodied Decision Making）领域，具身代理不仅要精 …

EBO X是Enabot推出的一款智能家庭陪伴机器人，它集成了先进的人工智能技术，能够实现家庭安全监控、远程互动陪伴、智能语音交互等多种功能。

Frontier Math：是由非营利机构Epoch AI联合全球 60 多位数学家推出的全新数学基准测试，旨在评估人工智能系统在高级数学推理方面的能力。 所有问题均为原创且未公开，避免了数据污染。 （有陶哲轩背书） ARC-AGI：是由François Chollet创建的基准测试，旨在评估人工智能系统的抽象推理能力，设计目的是衡量 AI 系统在缺乏特定领域知识的情况下，基于有限的先验知识进行抽象推理和泛化的能力。 MMLU：是一个用于评估人工智能在大规模多任务语言理解方面的能 …

2024年8月28日 · Motivation：这项研究的重点是使用大型 语言模型 (LLM) 作为具身代理的规划器，它可以遵循自然语言指令来完成视觉感知环境中的复杂任务。 现有方法的高数据成本和较差的样本效率阻碍了开发能够完成许多任务的多功能agent，并可以快速学习新任务。 解决方法：在这项工作中，我们提出了一种新的方法LLM-Planner，它 利用大型语言模型的力量对具身代理进行few-shot规划。 我们进一步提出了一种简单但有效的方法，通过物理grounding来增强LLM，以生 …

2024年10月3日 · In this study, we wanted to assess the power of this new Google product facing a test for ophthalmology excellence, the EBO examination, and compare its performances with ChatGPT-4, the most recent distribution of Open AI's LLM.

2025年1月3日 · 如果你正在对开源权重 LLM 进行微调，那么很有可能你在某个时候使用过低秩自适应 (LoRA)，这是一种参数高效的 LLM 微调方法。 如果你是 LoRA 新手，我之前写过一篇关于 大模型实战：使用 LoRA（低阶适应）微调 LLM 可能会对你有所帮助。 2.1 LoRA 回顾. 在介绍 DoRA 之前，我们先来快速回顾一下 LoRA： 完全微调通过计算较大的权重更新矩阵ΔW来更新LLM 中的每个大权重矩阵W。 LoRA将ΔW近似为两个较小矩阵A和B的乘积。 因此，我们得到 …

Databricks 的 LLM 推理：如何在生产中优化 LLM 推理的最佳实践。 通过 Hugging Face 优化 LLM 的速度和内存：解释优化速度和内存的三种主要技术，即量化、Flash Attention 和架构创新。

其中LLM理解文本Embedding部分，归纳了现有的使用LLM来理解和解释Embedding的工作，根据下游任务主要分为 长上下文压缩 （long context compression ICC）和 嵌入反转 （embedding inversion EI） 论文题目： When Text Embedding Meets Large Language Model: A Comprehensive Survey

2025年2月20日 · To address these challenges, we propose EAGER-LLM, a decoder-only llm-based generative recommendation framework that integrates endogenous and exogenous behavioral and semantic information in a non-intrusive manner.