起猛了，GPT-4o被谷歌新模型击败，ChatGPT官号：大家深吸一口气
起猛了，GPT-4o被谷歌新模型击败，ChatGPT官号：大家深吸一口气起猛了，GPT-4o被谷歌新模型超越了！
来自主题: AI技术研报
9451 点击 2024-08-02 14:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
起猛了，GPT-4o被谷歌新模型超越了！
人工智能毫无疑问是当今一项重要议题，通过大模型、垂类应用、智能体等多种方式推动着数字经济的发展。
清华姚班学霸姚顺雨，官宣加入了OpenAI。
7月25日，非凡产研举办的《金融科技新动力：AI在金融创新与服务中的应用》主题活动在上海圆满落幕。 活动特别邀请到了三位AI+金融领域的资深专家深擎科技创始人&CEO 柴志伟、澜码科技创始人兼CEO 周健、甜新科技合伙人 郭尔东分别进行了专题分享，跟参会嘉宾进行了答疑互动。
不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。
为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
有 AI 在的科技圈，似乎没有中场休息。除了大模型发布不断，各家科技大厂也在寻找着第一个「杀手级」AI 应用的落脚之地。
开放域检测领域，迎来新进展——
今年 6 月底，谷歌开源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以来，27B 版本迅速成为了大模型竞技场 LMSYS Chatbot Arena 中排名最高的开放模型之一，在真实对话任务中比其两倍规模以上的模型表现还要好。
谷歌DeepMind的小模型核弹来了，Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B！而同时发布的Gemma Scope，如显微镜一般打破LLM黑箱，让我们看清Gemma 2是如何决策的。
多模态对比学习（如CLIP）通过从互联网上抓取的数百万个图像-字幕对中学习，在零样本分类方面取得了显著进展。 然而，这种依赖带来了隐私风险，因为黑客可能会未经授权地利用图像-文本数据进行模型训练，其中可能包括个人和隐私敏感信息。
Agent的记忆实现和调用是提高Agent智能水平的关键。
近年来，针对单个物体的 Text-to-3D 方法取得了一系列突破性进展，但是从文本生成可控的、高质量的复杂多物体 3D 场景仍然面临巨大挑战。之前的方法在生成场景的复杂度、几何质量、纹理一致性、多物体交互关系、可控性和编辑性等方面均存在较大缺陷。
在 2024 年全球开发者大会上，苹果重磅推出了 Apple Intelligence，这是一个全新的个性化智能系统， 可以提供实用的智能服务，覆盖 iPhone、iPad 和 Mac，并深度集成在 iOS 18、iPadOS 18 和 macOS Sequoia 中。
UrbanGPT是一种创新的时空大型语言模型，它通过结合时空依赖编码器和指令微调技术，展现出在多种城市任务中卓越的泛化能力和预测精度。这项技术突破了传统模型对大量标记数据的依赖，即使在数据稀缺的情况下也能提供准确的预测，为城市管理和规划提供了强大的支持。
面对LLM逐渐膨胀的参数规模，没有H100的开发者和研究人员们想出了很多弥补方法，「量化」技术就是其中的一种。这篇可视化指南用各种图解，将「量化」的基本概念和分支方法进行了全方位总结。
Meta、UC伯克利、NYU共同提出元奖励语言模型，给「超级对齐」指条明路：让AI自己当裁判，自我改进对齐，效果秒杀自我奖励模型。
音视频大语言模型在处理视频内容时，往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新：音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅在单一模态任务上表现优异，更在视听联合任务中展现了卓越的性能，证明了其全面性和准确性。
Meta又双叒开源了！继去年初代SAM掀翻CV圈之后，SAM 2也完成了终极进化，不仅能分割图像，最惊艳的是还能分割视频。这下，CV可能就真的不存在了。
大型语言模型（LLM）展现出了令人印象深刻的智能水平。因此，确保其安全性显得至关重要。已有研究提出了各种策略，以使 LLM 与人类伦理道德对齐。然而，当前的先进模型例如 GPT-4 和 LLaMA3-70b-Instruct 仍然容易受到越狱攻击，并被用于恶意用途。
LLaMA3-405B的模型效果已经赶上目前最好的闭源模型GPT-4o和Claude-3.5，这可能是未来大模型开源与闭源的拐点，这里就LLaMA3的模型结构、训练过程与未来影响等方面说说我的看法。
Tenstorrent推AI芯片挑战昂贵HBM，追求成本效益。
7月27日，与ICLR（国际学习表示会议）、NeurIPS（神经信息处理系统会议）并称三大机器学习顶级会议的ICML（国际机器学习大会），在奥地利维也纳会展中心落下帷幕。
随着人工智能（AI）技术的迅猛发展，特别是大语言模型（LLMs）如 GPT-4 和视觉语言模型（VLMs）如 CLIP 和 DALL-E，这些模型在多个技术领域取得了显著的进展。
只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。
适逢Llama 3.1模型刚刚发布，英伟达就发表了一篇技术博客，手把手教你如何好好利用这个强大的开源模型，为领域模型或RAG系统的微调生成合成数据。
在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。
19秒破解几何难题，谷歌AI夺得IMO银牌在业界掀起了巨震。就连菲尔兹奖得主陶哲轩，前IMO美国队负责人罗博深都对此大加赞赏。更有AI大佬高调预测，若谷歌继续加码研究，应该可以造出一个「AI陶哲轩」。
用扩散模型搞社交信息推荐，怎么解决数据噪声难题？现有的一些自监督学习方法效果还是有限。
前苹果设计师 Jason Yuan 打造的一款 AI 聊天应用——Dot，近期在App store 中上线。