大模型套壳祛魅
大模型套壳祛魅本文探讨了大模型套壳的问题，解释了大模型的内核和预训练过程。同时，介绍了“原创派”和“模仿派”两种预训练框架的差异，并讨论了通过“偷”聊天模型数据进行微调的现象。最后，提出了把“壳”做厚才是竞争力的观点。
来自主题: AI资讯
7844 点击 2024-01-04 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
本文探讨了大模型套壳的问题，解释了大模型的内核和预训练过程。同时，介绍了“原创派”和“模仿派”两种预训练框架的差异，并讨论了通过“偷”聊天模型数据进行微调的现象。最后，提出了把“壳”做厚才是竞争力的观点。
10年前，「地震预测」在圈内还是如尼斯湖水怪一般的奇谈怪论，但机器学习的发展，已经让「准确预测地震」的可能性，又往前迈进了一步。
大模型固有的幻觉问题严重影响了LLM的表现。斯坦福最新研究利用维基百科数据训练大模型，得到的WikiChat成为首个几乎不产生幻觉的聊天机器人。
最近由UCSC的研究人员发表论文，证明大模型的零样本或者少样本能力，几乎都是来源于对于训练数据的记忆。
今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程
对于ChatGPT变笨原因，学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出：在训练数据截止之前的任务上，大模型表现明显更好。
2023年的LLM开源社区都发生了什么？来自Hugging Face的研究员带你回顾并重新认识开源LLM
大规模语言模型（LLMs）在很多关键任务中展现出显著的能力，比如自然语言理解、语言生成和复杂推理，并对社会产生深远的影响。然而，这些卓越的能力伴随着对庞大训练资源的需求（如下图左）和较长推理时延（如下图右）。因此，研究者们需要开发出有效的技术手段去解决其效率问题。
向量存储检索是个真需求，然而专用向量数据库已经凉了。
12月14-15日，2023年中国游戏产业年会在广州召开，会上发布年度游戏产业数据，数据显示2023年国内游戏行业重回增长通道，市场规模达到3029.6亿元，同比增长13.95%。