2024年8月11日 · 文本提出了多模态推理与多模态知识图 (MR-MKG)方法，该方法利用多模态知识图跨模态学习丰富的语义知识，显著提高了LLM的多模态推理能力。 LLM已经证明在各种NLP任务中的优越性和鲁棒性，为了进一步释放LLM的潜力，研究人员试图赋予LLM多模态推理能力，如视觉LLM，BLIP-2，MiniGPT-4等，尽管这些模型在推理图像和文本方面有一些进展，但他们仍有容易产生幻觉，这通常是上下文信息不足或信息过时导致的。 另一个解决方案是对LLM进行微 …

2024年4月17日 · 多模态知识图谱（MMKGs）是一种结构化的知识表示方式，它通过将复杂的世界知识以结构化三元组的形式（头实体、关系、尾实体）进行封装，并结合多模态数据 (图像、文本等）来提供额外的实体上下文信息， 「这些丰富的三元组及其多模态内容共同构成了一个庞大的多模态语义网络」。 MMKGs可以作为一个重要的事实知识数据库，应用各个业务场景领域，例如大模型知识更新、多模态理解、推荐系统等。 尽管如此，MMKGs在构建过程中经常会遇到知识 …

2024年10月19日 · 针对这些挑战，荐读的论文提出了一种基于多模态知识图谱（MKG）构建的轴承故障诊断方法，通过直接利用振动信号数据和多模态信息，增强了故障诊断的准确性和实用性，展示了知识图谱在复杂故障诊断中的应用潜力。 方法的概述. 多模态知识图谱（MKG），与传统知识图谱（KG）类似，是一种用于表示和存储现实世界知识的 图结构。

2024年6月4日 · In this paper, we propose the Multimodal Reasoning with Multimodal Knowledge Graph (MR-MKG) method, which leverages multimodal knowledge graphs (MMKGs) to learn rich and semantic knowledge across modalities, significantly enhancing the multimodal reasoning capabilities of LLMs.

2024年5月13日 · 多模态知识图（mkg）不仅包含结构数据，还包含额外的多模态辅助数据（即文本和图像），与现实世界数据相比更符合现实世界数据的特征。 尽管MKG包含丰富的信息，但它仍然受到KG天然不完整性的影响，上图中遗漏了一个三元组（泰坦尼克号、主演、凯特· ...

2024年12月8日 · 本文提出了一种名为Multi-modal Knowledge Graph Attention Network (MKGAT)的模型。 输入：数据集的协同知识图谱。 输出：用户向量 e∗ u e u ∗ 和物品向量 e∗ i e i ∗。 最终，模型预测的用户 u u 对物品 i i 的感兴趣程度 ^y(u,i) y ^ (u, i) 由公式 ^y(u,i) =e∗ T u e∗ i y ^ (u, i) = e u ∗ T e i ∗ 算出。 模型的大概结构如下图， 可以看出，主要包含两个子模块: knowledge graph embedding： 主要是利用协同知识图谱的下半部分，也就是多模态知识图谱（MKG）来 …

2024年12月24日 · 通过mkg，团队预测了在电池、太阳能电池、催化剂等能源领域，未来几年可能出现的潜在材料，并为这些预测提供了强有力的解释性支持。 该研究以「 Construction and Application of Materials Knowledge Graph in Multidisciplinary Materials Science via Large Language Model 」为题，被机器 ...

With this paper we introduce MMKG (Multi-Modal Knowledge Graphs), a collection of three knowledge graphs for link prediction and entity matching research. Contrary to exist-ing data sets, these knowledge graphs contain both numerical features and images for all entities as well as entity alignments between pairs of KGs.

6 天之前 · In this paper, we propose the Multimodal Reasoning with Multimodal Knowledge Graph (MR-MKG) method, which leverages multimodal knowledge graphs (MMKGs) to learn rich and semantic knowledge across modalities, significantly enhancing the multimodal reasoning capabilities of LLMs.

mkg内部词条库是根据百度百科、中文维基百科、论文数据集等抽取、标注、归纳而成的，包含总计10,120,105个词条的大规模词条资源，mkg的术语概念全部来自于这个词条库中。