WebGPT 论文首次公开:浏览器辅助问答
WebGPT 研究让语言模型在文本浏览环境中搜索网页并回答问题,结合人类反馈优化输出。这是工具辅助问答的研究节点,不是现行浏览服务公告。
搜索标题与摘要,按主题、地区和时间筛选。相同事件聚合展示,原始来源始终可查。
WebGPT 研究让语言模型在文本浏览环境中搜索网页并回答问题,结合人类反馈优化输出。这是工具辅助问答的研究节点,不是现行浏览服务公告。
探索通过对比学习得到通用文档检索器,在缺少标注检索数据时建立表示学习方案。
RETRO 研究从大规模外部语料中检索文本块辅助自回归生成,讨论模型参数与检索知识的关系。论文实验结果应在其特定数据与设置下理解。
研究残差压缩与去噪监督,降低后期交互式检索的索引占用,具体效果依赖实验设置。
OpenAI 公布改进版 Codex,将自然语言要求转换为代码,并宣布 API 私有测试。该节点指 2021 年的模型,需与后来的同名编程产品区分。
GitHub 与 OpenAI 合作推出 Copilot 技术预览,根据编辑器内的代码上下文建议代码行或函数。这是早期预览节点,并非正式面向所有人开放。
LoRA 论文研究冻结预训练权重、训练低秩更新矩阵的适配方式,以减少微调参数。实际资源收益与模型、任务及实现有关,不能由论文标题直接保证。
PyTorch 1.9 将 torch.linalg 推进为稳定模块,并更新移动解释器、弹性训练与 GPU RPC 支持;不同功能的成熟度需分别核对。
介绍面向开放域对话的 LaMDA 研究,讨论对话质量与安全问题;研究公告不是公众聊天产品上线日。
提出旋转位置编码以表达序列位置,为理解后续长上下文模型中的位置处理提供背景。
研究简化专家路由的 Transformer,分析稀疏模型的训练和计算效率,不能只比较总参数量。
OpenAI 公开 DALL·E 的文本生成图像研究,展示用自然语言组合视觉概念。这条记录对应研究公告,并不表示当时已经向所有用户开放。
JupyterLab 3.0 发布,带来调试器、目录和多语言支持,并改进扩展安装。作为 AI 与数据实验的基础工具,该节点补充早期开发环境的演进背景。
OpenAI 介绍 CLIP:通过图像与文本对学习视觉概念,并用自然语言描述类别进行零样本分类。它是视觉理解研究,不是文生图产品。
Vision Transformer 将图像切成补丁序列后交给 Transformer 处理,研究纯注意力架构的图像分类。这为理解多模态模型中的视觉编码提供背景。