论文指出，当前绝大多数大语言模型的记忆，训练数据，可被恢复，无论该模型是否进行了所谓的，对齐，黑客可以通过查询模型来有效提取训练数据，甚至无需事先了解训练数据集，研究者展示了如何从Pythia或GPT，Neo等开源语言模型、LLaMA或Falcon等主流半开放模型以及ChatGPT等封闭模型中提取数以GB计的训练数据，研究者指出，已...。