英伟达革新AI微调范式：Llama 3借RankRAG框架力压GPT-4，重写大模型竞争格局

最近，一场人工智能领域的革新风暴正在悄然兴起，源自佐治亚理工学院与英伟达的杰出华人学者们，他们携手打造了一款革命性的微调框架——RankRAG。

不同于传统RAG（Retrieval-Augmented Generation）流程的繁琐与冗长，RankRAG巧妙地将检索、排名与生成三大核心环节融合于单一的大型语言模型（LLM）之中，极大地提升了模型的工作效率与效能。

RAG（Retrieval-Augmented Generation）是LLM部署中常用的技术，特别适合需要大量事实知识的文本生成任务。通常，RAG的流程是：基于文本编码的稠密模型从外部数据库中检索top-k文本段，然后LLM进行读取和生成。这个流程已经被广泛使用，但也有局限，比如k值选择。如果k值太大，即使是支持长上下文的LLM也难以快速处理;如果k值太小，又需要高召回率的检索机制，而现有的检索器和排名模型各有不足。

基于上述问题，RankRAG框架提出了新思路：通过微调扩展LLM能力，让LLM自己完成检索和排名。实验结果表明，这种方法不仅提高了数据效率，还显著增强了模型性能。特别是在多个通用基准和生物医学知识密集型基准上，RankRAG微调出的Llama38B/70B模型，分别超过了ChatQA-1.58B和ChatQA-1.570B模型。

RankRAG的关键在于其高度的交互性和可编辑性。用户不仅可以实时查看AI生成的内容，还能直接在界面上进行编辑和迭代。这种即时反馈机制大大提高了工作效率，让AI真正成为创作过程中的得力助手。更令人兴奋的是，本次更新让这些Artifacts不再局限于Claude平台内部，用户可以轻松地将它们分享到任何地方。

这次RankRAG微调框架的创新还包括两个阶段的指令微调。第一阶段进行监督微调（SFT），混合多个数据集以提高LLM的指令跟随能力。第二阶段的微调数据集包含多种QA数据、检索增强的QA数据和上下文排名数据，进一步提升LLM的检索和排名能力。

在实验中，RankRAG在九个通用领域数据集上的表现始终优于当前的开源SOTA模型ChatQA-1.5。特别是在具有挑战性的QA任务中，如长尾QA和多跳QA，RankRAG比ChatQA-1.5提高了10%以上的性能。

总的来说，RankRAG不仅在检索和生成任务中表现出色，还在生物医学RAG基准Mirage上展示了其强大的适应性。即使在没有微调的情况下，RankRAG在医学问答任务上的表现也超过了许多专业领域的开源模型。

随着RankRAG框架的提出和不断完善，我们有理由相信，AI与人类协作创作的未来将更加光明。无论是独立开发者还是研究人员，都能利用这一创新框架激发出更多创意和可能性，推动技术和应用的发展。

英伟达更新GeForce RTX显卡包装设计，强调AI技术特性

9月3日消息，NVIDIA在品牌形象上做出了新举措！最新消息确认，GeForce RTX系列的官方标识已完成更新，新增的文字“为先进AI提供动力”（Powering Advanced AI）彰显了英伟达在推动人工智能技术前沿的坚定承诺。

该标志用于展示在显卡、台式整机和笔记本电脑的零售包装盒上。英伟达是 AI 加速领域的领先硬件品牌，这一标志变更也代表着英伟达将向更多消费者展现其在 AI 方面的影响力。

不过，新口号也让 GeForce RTX 标志变得更长了，小伙伴买到新显卡、笔记本后可以留意一下是否用上了新标志。

英伟达第二财季营收 300 亿美元（当前约 2133.39 亿元人民币），同比增长 122%，分析师预期 288.6 亿美元；预计第三财季营收 325 亿美元（当前约 2311.17 亿元人民币），上下浮动 2%，分析师预期 319 亿美元。