讨论下一个token预测时，我们可能正在走进陷阱
讨论下一个token预测时，我们可能正在走进陷阱自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
来自主题: AI资讯
7437 点击 2024-03-25 17:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。
最近，Kimi Chat 的上下文长度从 20 万汉字升级到了 200 万汉字，10 倍的差距已经足够产生一次质变，做很多之前做不了的事情。感谢月之暗面给了提前测试的机会，我们直接开测！
说到三星的超大杯影像旗舰，就不得不让人联想到另一个词——演唱会神器。
排位赛还未到来，业界公认，2024年是AIPC元年。AI似乎给PC产业注入了一支肾上腺素，被业界视为新一轮的重要增长机遇。
Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。
如果用 AI 把已经去世的亲人 “ 复活 ” ，你愿意吗？就在几天前，已故明星乔任梁被 AI “ 复活 ” 的事儿在网上闹得沸沸扬扬。
拒绝赛博朋克，千呼万唤始出来。为了兑现牛逼，马斯克最近下了血本：Grok-1宣布开源。据官方信息，这是一个参数高达3140亿的混合专家模型，是目前所有开源模型中规模最大的。
这一专属于智慧生物的独特性，也要被人工智能（AI）学会了？发散性思维（divergent thinking）被认为是创造性思维的核心指标，是人类创造性的体现。
蛋白质设计，充满无限可能。蛋白质设计领域又迎来了一项里程碑式的时刻——“上帝之手”、华盛顿大学生物化学教授 David Baker 团队及其合作者，首次利用生成式人工智能（AI）技术从零开始设计出了一种新型抗体，将抗体疗法推向了一个全新的高度。