arXiv Artificial Intelligence· Rishabh Ranjan, Vignesh Kothapalli, Harshvardhan Agarwal, Charilaos Kanatsoulis, Roshan Upendra, Tom Palczewski, Carlos Guestrin, Jure Leskovec·· 18 小时前AI 评分29
RT-J：面向上下文高效预测的关系型 Transformer 大规模预训练
RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions
AI 导读
RT-J 是一个 85M 参数的关系型基础模型，仅需数百个甚至更少的上下文示例即可做出准确预测。研究团队构建了包含 639 个网页抓取数据库、6,023 个 LLM 生成预测任务的 Join 数据集，以最长 8,192 个数据库单元格的长上下文预训练，并用轻量随机游走检索器提供上下文示例。
来源：arXiv Artificial Intelligence · arxiv.org