搜索
在 Scaling Law 背景下，预训练的数据选择变得越来越重要。然而现有的方法依赖于有限的启发式和人类的直觉，缺乏全面和明确的指导方针。在此背景下，该研究提出了一个数据管理器 DataMan，其可以从 14 个质量评估维度对 15 个常见应用领域的预训练数据进行全面质量评分和领域识别。
DeepSeek开源周的最后一天，迎来的是支撑其V3/R1模型全生命周期数据访问需求的核心基础设施 — Fire-Flyer File System(3FS) 和构建于其上的Smallpond数据处理框架。
DeepSeek开源周，今日正式收官！内容依旧惊喜且重磅，直接公开了V3和R1训练推理过程中用到的文件系统。Fire-Flyer文件系统（简称3FS，第三个F代表File），一种利用现代SSD和RDMA网络的全部带宽的并行文件系统；
2024年核心业务总合同订单数千万。
动辄百亿、千亿参数的大模型正在一路狂奔，但「小而美」的模型也在闪闪发光。
斯坦福和普林斯顿研究者发现，DeepSeek-R1生成的自定义CUDA内核，完爆了o1和Claude 3.5 Sonnet，拿下总排名第一。虽然目前只能在不到20%任务上超越PyTorch Eager基线，但GPU编程加速自动化的按钮，已经被按下！
第四天，DeepSee发布包括三个主要项目： DualPipe- 一种用于 V3/R1 训练的双向流水线并行算法，实现计算和通信完全重叠； EPLB(Expert Parallelism Load Balancer) - 专为 V3/R1 设计的专家并行负载均衡器； Profile-data- 分析 V3/R1 中计算与通信重叠的性能数据集。
零基础逆袭！2年靠AI自学编程打造3款千万级APP，揭秘TikTok流量红利+9.9美金订阅制，如何用百元营销撬动百万利润？
按时整活！DeepSeek开源周第四天，直接痛快「1日3连发」，且全都围绕一个主题：优化并行策略。
昨天，Claude 3.7 Sonnet 正式发布。根据目前的各项测评，这个模型可以说是全宇宙最好的代码生成模型，超越了 DeepSeek R1 和 OpenAI 的 o3 等模型。如果你是程序员，一定要第一时间切换过去，用下这款模型。