PyTorch 1.6 发布
发布混合精度训练与性能分析等更新，为回顾 AI 开发工具的早期演进提供背景。
正在整理资讯…
搜索标题与摘要，按主题、地区和时间筛选。相同事件聚合展示，原始来源始终可查。
发布混合精度训练与性能分析等更新，为回顾 AI 开发工具的早期演进提供背景。
通过分别编码检索段落、在解码阶段融合信息，研究如何让生成模型利用多个外部证据片段。
研究通过异步近似近邻搜索构造训练负例，改善稠密检索中的样本选择问题。
研究用条件计算和自动分片训练大规模混合专家模型，讨论参数规模与计算分配。
通过逐步加噪与学习去噪研究图像生成，为后来扩散式视觉模型提供基础；此处是论文节点。
OpenAI 公布通用文本输入输出 API，并开放申请。这是 GPT-3 早期 API 接入节点；当时的测试资格与接口状态以原始公告为准。
研究大规模自回归语言模型的少样本学习，区分论文实验设置与后来 API 产品的开放时间。
RAG 论文把预训练生成模型与外部文档检索结合，让知识密集型任务可参考非参数化记忆。这里记录首次论文公开日期，而非后续会议或代码发布时间。
在查询和文档的词元表示之间进行后期交互，为检索精度与效率的折中提供新的设计。
DPR 论文提出面向开放域问答的稠密段落检索，用双编码器学习问题与文档的向量表示。可用于理解后来 RAG 系统中检索模块的技术来源。
REALM 研究在语言模型预训练时加入可学习的知识检索器，让模型从外部文档读取信息。它是检索增强路线的早期论文，日期采用 arXiv 首次提交。
神经语言模型缩放定律论文分析模型规模、数据量和训练算力与损失之间的经验关系。其结论具有实验范围，不应直接当作所有模型的固定公式。
结合双向编码与自回归解码进行去噪预训练，面向生成和理解任务，日期采用论文首次提交。
把多类自然语言任务统一成文本输入输出，并系统比较预训练与微调设置，提供通用语言模型训练的早期研究。
介绍大规模语言模型 GPT-2 的文本生成研究，并讨论分阶段开放与滥用风险；该节点对应初始研究公告。