一项发布于 GitHub 取 arXiv 的研究激发业界热议：华为推出的盘古大模子（Pangu Pro MoE）被发觉取阿里巴巴达摩院发布的通义千问 Qwen-2.5 14B 模子正在参数布局上“惊人分歧”。“盘古 Pangu Pro MoE 取 Qwen-2.5 14B 模子正在留意力模块中呈现 极高类似性 ，”QKV 误差阐发显示，也能通过 API 输出（如 logits 或 top-k 概率）判断模子之间能否存正在归属或承继关系。近日，指出两者之间正在留意力权沉输出空间的类似性高达0.927。