挑战Transformer,华为诺亚新架构盘古π来了,已有1B、7B模型
挑战Transformer,华为诺亚新架构盘古π来了,已有1B、7B模型近日,来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构,尝试来构建更高效的大模型架构。
来自主题: AI资讯
10921 点击 2023-12-30 15:20
搜索
近日,来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构,尝试来构建更高效的大模型架构。
研究人员利用GPT4-Vision构建了一个大规模高质量图文数据集ShareGPT4V,并在此基础上训练了一个7B模型,在多项多模态榜单上超越了其他同级模型。