互联网是人类知识的浩瀚宝库，但它并非取之不尽。人工智能（AI）研究人员正在迅速耗尽其中的资源。过去十年，AI领域的飞速发展在很大程度上得益于神经网络的扩展以及它们在海量数据上的训练。这种方法在开发大型语言模型（LLM）方面非常有效，例如驱动聊天机器人ChatGPT的模型。然而，一些专家警告称，这种规模扩展正接近极限。除了不断增长的计算能源需求，另一个原因是LLM开发者正在耗尽传统数据集。