大语言模型和知识图谱相比有哪些优点，知识图谱会凉凉吗？

大型语言模型 (LLM)（例如，BERT、RoBERTA和 T5）在大规模语料库上进行了预训练，在各种自然语言处理（NLP）任务中表现出了出色的性能，例如问答、机器翻译和文本生成等。然而大语言模型当前存在以下几个方面的局限： 

1. LLM 在训练过程中会记住训练语料库中包含的事实和知识，进而导致LLM 无法回忆起事实，并且经常通过生成事实不正确的陈述。
2. LLM 基于参数隐含表示知识并且通过概率模型进行推理，在某种程度上也是黑盒模型，进而LLM 也因缺乏可解释性。
3. LLM由于缺乏特定领域的知识或新的训练数据，在通用语料库上训练的 LLM 可能无法很好地泛化到特定领域或新知识。 

知识图谱它们以符号推理能力著称，通过知识推理可生成可解释的结果，同时知识图谱还可以通过补全不断添加的新知识。当前知识图谱已经在智能问答、个性化推荐和可解释AI等方面得到了广泛的应用。然而知识图谱当前已存在以下几个方面的不足：

1. 受限于当前知识图谱构建技术与知识图谱构建成本和代的制约，当前的大部分构建的知识图谱都是特定领域知识图谱，知识图谱的完整性较低。
2. 由于知识图谱是基于实体、属性、关系的三元组模式构建的，其更多表示的是实体间的关系，但是这些图谱缺乏语言理解能力。
3. 知识图谱不足以处理现实世界中大量且动态变化的知识，无法有效地表示和模拟看不见的实体并表示新的知识与事实。 

由此可见，LLM与知识图谱各有优缺点，不存在谁会取代谁。

将 LLM 与 KG 统一与集成近期引起了学者和从业者越来越多的关注，LLM 和 KG 本质上是相互关联的，可以相互促进。在知识图谱增强的LLMs中，KGs 不仅可以被纳入 LLMs 的预训练和推理阶段以提供外部知识，还可以用于分析 LLM 并提供可解释性。

近日，由 Dr. Shirui Pan[1] 等人认为将LLMs和KGs统一在一起，同时发挥各自的优势，是相辅相成的。他们提出了LLM 和 KG 统一的前瞻性路线图，以利用它们各自的优势并克服每种方法的局限性，并用于各种下游任务。

该路线图由三个通用框架组成：

1. KG-enhanced LLMs，在LLMs的预训练和推理阶段加入KGs，或者是为了加强对LLMs所学知识的理解；
2. LLM-augmented KGs，利用 LLMs 完成不同的 KG 任务，如嵌入、完成、构建、图形到文本生成和问题回答；
3. Synergized LLMs + KGs，其中 LLMs 和 KGs 扮演平等的角色，以互惠互利的方式工作，以增强 LLMs 和 KGs 在数据和知识驱动下的双向推理。 

该文章在回顾了统一 KG 和 LLM 的相关文献的基础之上，讨论了该研究领域的未来方向。

1. LLM 中幻觉检测 KG。现有研究试图利用 KG 通过预训练或 KG 增强推理来获得更可靠的 LLM，但是LLM的生成结果的可信的问题在可见的未来仍然存在。进一步的研究结合了 LLMs 和 KGs 来实现一个通用的事实核查模型可以检测跨领域的幻觉，这为利用 KGs 进行幻觉检测打开了一扇新的大门。
2. 用于可编辑 LLM 的 KG。尽管 LLM 能够存储大量现实世界的知识，但它们无法随着现实世界情况的变化快速更新其内部知识。现有研究也提到了通过KG编辑更新大语言模型，但是仅限于处理 KG 中简单的基于元组的知识。
3. 用于黑盒 LLM 知识注入的 KG。许多最先进的大型 LLM（例如 ChatGPT）仅提供 API 供用户和开发人员访问，因此不能使用传统 KG 注入方法并无法通过添加额外的知识融合模块来改变 LLM 结构。
4. KG 的多模态 LLM。当前的知识图谱通常依赖于文本和图结构来处理 KG 相关的应用程序。然而，现实世界的知识图谱通常由来自不同模态的数据构建，因此，有效地利用来自多种模态的表示将是未来 KG 研究的重大挑战，一种潜在的解决方案是开发可以跨不同模式准确编码和对齐实体的方法。
5. 了解 KG 结构的 LLM。LLM 可能无法完全掌握或理解 KG 图结构所传达的信息。一种直接的方法是将结构化数据线性化为 LLM 可以理解的句子。然而，KGs 的规模使得不可能将整个 KGs 线性化作为输入。此外，线性化过程可能会丢失知识图谱中的一些底层信息，因此有必要开发能够直接理解 KG 结构并对其进行推理的 LLM。
6. 用于双向推理的协同 LLM 和 KG。LLM，例如 ChatGPT，擅长生成类人文本和理解自然语言，而 KG 是结构化数据库，以结构化方式捕获和表示知识。通过结合他们的能力，我们可以创建一个强大的系统，该系统受益于对 LLM 的上下文理解和 KG 的结构化知识表示。

参考文献：