斯坦福论文《Generative Agents》用 AI 角色模拟人类行为，能带来哪些应用？ - 知乎 (zhihu.com)
microsoft/PromptCraft-Robotics: Community for applying LLMs to robotics and a robot simulator with ChatGPT integration (github.com)
25 ChatGPT AIs Play A Game - So What Happened？_哔哩哔哩_bilibili
LC1332/Chinese-generative-agents: 斯坦福工作 Generative Agents的复现和翻译 An attempt to build a working, locally-running cheap version of Generative Agents: Interactive Simulacra of Human Behavior (github.com)

主流模型架构

大模型面经——从prefix-decoder、casual-decoder、encoder-decoder角度深入聊聊大模型 (qq.com)

  • 大模型主要架构分为三种：：prefix Decoder 系、causal Decoder 系、Encoder-Decoder。（注意力机制不同）
  • 两种常见的目标，一种是最通用的语言模型目标（根据已有词预测下一个词，训练目标为最大似然函数），一种是去噪自编码器（随机替换掉一些文本段，训练语言模型去恢复被打乱的文本段。）。
  •  为什么现在的LLM都是Decoder-only架构？从理论、训练效率与工程实现等多维度分析
    • 因为decoder-only结构模型在没有任何微调数据的情况下，zero-shot的表现能力最好；而encoder decoder则需要在一定量的标注数据上做multitask-finetuning才能够激发最佳性能。

AI agents

  • AI Agent研究现状及未来发展.ppt

    • brain, perception, action

  • 斯坦福generative agents
    其实最近好几个发现，都让人意识到LLM的能力有诸多进一步增强的可能性。
    1）【反思现象】单个GPT4，回答任何问题，只要你和它说，“再想想，有没有错误”，它就会反思。仅此一项，就可以显著提高答题正确率

    2）【2个LLM模型】一个GPT4扮演领导，另外一个GPT4扮演员工。领导负责宏观规划，检查员工工作，员工负责具体的模块实现。这种组合可以显著增强GPT的编程能力

    3）【25个LLM模型组成的社区】本文就是做这个的。我高度怀疑，如果把这个社区用于解题，如果允许这个社区“自由讨论”，或者先分组讨论，再集体讨论，是否会进一步增强LLM的解题能力。因为每个LLM都有自由的memory，也有自己的memory的召回的重点，可能得出一个问题的不同视角和观点，经过讨论综合之后，结果很有可能更强。

application

microsoft/PromptCraft-Robotics: Community for applying LLMs to robotics and a robot simulator with ChatGPT integration (github.com)

LLM on tabular data

  • 尽管语言模型在处理自然语言处理任务方面具有出色的能力，但其在表格数据学习方面的利用受到固有数据结构差异的限制。一些研究努力试图利用PLM中包含的通用语义知识，主要是基于BERT的模型，来建模表格数据（图2）。这涉及使用PLM学习考虑头信息的语义信息的上下文表示（Chen等人，2020b）。典型的方法包括通过序列化将表格数据转换为文本（在第2节中有详细解释），并采用类似BERT中的掩码语言建模（MLM）方法对PLM进行微调，如PTab、CT-BERT、TABERT（Liu等人，2022a; Ye等人，2023a; Yin等人，2020a）所示。除了能够整合来自列名的语义知识外，将异构表格数据转换为文本表示还使PLM能够接受来自各种表格的输入，从而实现跨表格训练。
  • 此外，由于表格数据缺乏局部性质，模型需要展现特征列的排列不变性（Ye等人，2023a）。因此，TABERT被提出作为在自然语言句子和结构化数据上训练的PLM（Yin等人，2020a），PTab证明了跨表格训练对于增强表示学习的重要性（Liu等人，2022a），CT-BERT采用了掩码表格建模（MTM）和对比学习进行跨表格预训练，优于基于树的模型（Ye等人，2023a）。然而，以前的研究主要集中在使用LM进行表示学习，这相当有限。
  • johnnyhwu/Awesome-LLM-Tabular: Awesome-LLM-Tabular: a curated list of Large Language Model applied to Tabular Data (github.com)
  • SpursGoZmy/Tabular-LLM: 本项目旨在收集开源的表格智能任务数据集（比如表格问答、表格-文本生成等），将原始数据整理为指令微调格式的数据并微调LLM，进而增强LLM对于表格数据的理解，最终构建出专门面向表格智能任务的大型语言模型。 (github.com)
  • 1）利用LLM实现与表格有关的任务
    Yin等人（2020）使用语言模型对表格数据上的自然语言查询进行语义解析o。
    Li等人（2020）研究了语言模型对表格数据执行实体匹配的能力，即确定两行是否引用同一对象。
    Deep entity matching with pre-trained language models. VLDB
    Harari和Katz（2022）通过将每个表行与其他非结构化文本（例如，来自维基百科），他们从中生成了额外的特征。
    Few-shot tabular data enrichment using fine-tuned transformer architectures.
    Narayan等人（2022）最近使用自回归语言模型GPT-3评估了上下文学习，用于表格数据清理任务。
    Can
    Foundation Models Wrangle Your Data?
    Borisov等人（2022 b）介绍了一种LLM不可知方法来生成真实的表格数据
    Deep Neural Networks and Tabular
    Data: A Survey.