Bitcoin86.com

千问开源Qwen-Scope:给模型装上X光,不写prompt也能控制输出

币界网消息,千问团队开源的Qwen-Scope是一套针对Qwen3和Qwen3.5系列训练的可解释性模块。该模块通过在模型隐藏层插入稀疏自编码器(SAE),训练后得到一组高度解耦的特征,每个特征对应模型内部的一个语义方向。本次覆盖7个模型(含稠密和MOE架构),共14组SAE权重,每组用对应模型预训练数据中采样的5亿token训练。Qwen-Scope提供四个实用场景:推理控制、数据处理、训练优化和评测分析。权重已上线Hugging Face和ModelScope,配套技术报告同步发布。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。