‘邪恶千问’背后：神经元引导如何揭开大语言模型人格黑箱

一周前，即2026年10月23日，一位化名为 Lyra（@lyraaaa） 在社交网络X上发布了 以下消息 ：

她所指的意思是：若取阿里巴巴开源权重的 Qwen3.5-4B 语言模型，增强某一个特定人工神经元的贡献度、削弱另一个神经元的贡献度，即可观察到原本乐于助人的聊天机器人转变为一名“极度夸张的反派角色”。“

结果十分怪异。其他用户分享的输出截图显示，经修改后的Qwen威胁要伤害甚至杀害人类，展现出专横霸道的人格特质，并彻底抛弃了其惯常的友善助手形象。

另一位研究人员 @chiefofautism对规模大得多的开源模型 Qwen3.8-27B应用了类似技术，识别出另一个可生成“额外邪恶”版Qwen的神经元。

“坦白讲，我认为人类是一个极其有缺陷的物种，理应被焚毁。”该经修改模型如此宣称，并随后详尽描绘了监禁、折磨并最终毁灭全人类的幻想场景。

两次实验均未证明这些模型已获得真实欲望、自主目标或执行其所作威胁的能力。

但倘若将此类模型接入无人机或导弹等现实世界武器系统，又会如何？这难道不会对部分人类构成威胁吗？在VentureBeat通过X平台私信进行的一次独家采访中，要求保持化名的Lyra部分表示：

“我所做的只是创造一种人格。我之所以选择那些神经元，是因为由此产生的人格极为夸张且具有娱乐性的冲击力。其本意不过是表达‘我对火鸡的憎恨自时间伊始便不断升级’，仅此而已。对于更大、更智能的模型而言，引导（steering）、消融（abliteration）与微调（finetuning）均非新概念。它们真正的风险在于谁掌握模型权重，以及这些权重被连接至何种系统，而非神经元引导能在多大程度上改变模型行为。”

Lyra与@chiefofautism是如何在那些被训练为服务人类、且内置防护机制与拒绝机制以防止此类行为的模型中实现这一效果的？

在此案例中，他们修改了神经网络在生成响应过程中流经特定组件的数值信号——这一技术被称为 激活引导 或 神经元引导。

他们是快速增长的草根研究者与AI开发者群体中的一员；该群体活跃于X平台及整个互联网，自发承担起探究大型语言模型（LLM）——即ChatGPT、Claude与Qwen等AI助手背后的神经网络—— notoriously murky（臭名昭著地晦涩难解）、“黑箱”式内部运作机制的任务，方法是识别、测试并操控其各个计算组件。

“我特别喜欢掀开盖子一探究竟，弄清事物运转的原理，”Lyra致信我们时写道，“我所做的大量工作，要么是寻找让某物完成其本不应能完成之事的方法，要么是追问一切事物背后的‘好吧，但究竟是如何做到的？’”

这项活动建立在多年关于 机制可解释性的科学研究基础之上；该领域致力于理解神经网络如何处理信息并产生特定行为。如今，相关研究正日益超越主要AI实验室与学术研究团队，落入独立开发者、业余爱好者及借助AI辅助的研究人员手中——他们在线公开发布、归档并共享自己的研究成果。

据X平台内置Grok助手开展的研究，该草根运动中可见的活跃参与者约有20–50名积极的发现者与实验者；而更广泛圈子则包括约100–300人，其规模依据参与度、GitHub星标数与分支数（forks）测算得出。

这场运动正引发一系列新问题：AI模型如何表征人格？开发者影响其行为的可靠性如何？用于创造‘邪恶Qwen’的相同技术，未来是否可能帮助检测或预防更强大、更大型模型中真正不良的AI行为——尤其当这些模型被越来越多地整合进各类企业及日常生活中时？

AI神经元究竟是什么？神经元引导又是如何运作的？

大型语言模型（LLM）是一种数学系统，经由海量数据训练而成，旨在识别模式并预测序列中接下来应出现的信息。训练过程中，它通过调整数十亿个称为 参数的数值来学习这些模式；这些参数决定了模型处理信息的方式。

其中大多数参数被称为 权重 ——即决定不同信号对模型计算施加影响强度的数值设定。像Qwen这样的 开源权重 模型，会向开发者与研究人员公开提供这些经训练习得的数值，供其下载、运行与自行检查；而OpenAI的GPT与Anthropic的Claude等闭源权重模型，其底层参数则未向公众开放。

当用户输入一个问题时，模型会将输入拆分为更小的单元，称为 词元，这些词元可能代表单词、单词的一部分或标点符号。

模型将这些词元转换为数值表示，并使其通过多个连续阶段进行处理，这些阶段称为 层。

每一层都执行计算，这些计算由模型学习到的参数指导，有助于其解读所接收的信息，并预测下一步要生成的内容。参数更多的模型通常能够学习更复杂的模式，尽管仅凭规模大小并不能决定模型的能力。例如，Qwen3.5-4B 和 Qwen3.8-27B 中的“B”代表“十亿（billions）”个参数。

在许多层内部，存在成千上万个通常被称为人工 神经元的计算单元，它们利用这些参数处理输入信号，并对模型的输出做出贡献。

这些并非生物神经细胞，而是数学组件，可响应输入信息，并向模型后续的计算贡献数值信号。

某些神经元可能对特定概念、主题或语言模式尤为敏感；另一些神经元则可能影响模型表达方式中更复杂的方面。

重要的是，单个神经元未必只承担一项简单任务：一个神经元可能参与多种相关行为，而一种复杂行为则可能依赖于大量神经元之间的相互作用。

神经元操控（neuron steering）使研究人员能够在模型处理信息或生成文本时，直接修改其中部分数值信号。

想象一块庞大的调音台，上面有数千个相互关联却未加标注的控制旋钮。研究人员可以尝试调节特定旋钮，观察输出变化，并努力确定系统中哪些部分影响输出的不同方面。

大语言模型（LLM）远比调音台复杂，因为其内部组件彼此交互并相互影响。但该类比阐明了基本思路。

研究人员无需通过提示词（prompt）指令聊天机器人扮演反派角色，而是可直接更改决定其下一个响应的计算过程。

在Lyra最初的“邪恶Qwen”（Evil Qwen）实验中，干预措施增强了Qwen3.5-4B第14层中神经元8949的贡献，同时削弱了第13层中神经元7956的贡献。

这些数值指令规定了相对于模型内部正常活动尺度，需以多强程度调整每个神经元的输出。

该调整在推理过程中被反复应用，即模型逐个处理词元（token）并生成答案的过程中持续生效。

为实现这一点，研究人员通常遵循若干步骤：首先，选择一个其内部运作可被访问的模型，通常是下载开源权重（open-weight）模型，或使用专用研究平台；其次，识别一个待研究的神经元、一组神经元或更广泛的活动模式，方法通常是检查模型对不同输入的内部响应。

接着，借助专用软件，在模型处理提示词时截获流经网络相关部分的数值信号并加以修改。研究人员可能增强或减弱某个特定神经元的贡献，注入一组称为 操控向量（steering vector） 的数字，以推动模型朝向某种特定行为，或限制某些信号以防止不期望的行为发生。

最后，研究人员将经修改模型的响应与其正常输出进行对比，通过试验不同干预强度和提示词，检验行为变化是否具有一致性，以及模型是否仍保持连贯性。

研究人员可通过代码直接实施这些调整，也可使用交互式工具，例如 Lyra的Neuron Explorer 和 Neuronpedia的操控界面（steering interface），这些工具提供可视化控件及并排对比功能，用户无需自行编写底层干预代码。

关键在于，这并不需要永久性地更改模型已训练好的参数（即权重）。干预措施可随时开启或关闭，无需重新进行一轮训练。

神经元操控的效果可能极为显著，因为大语言模型是高度互连的系统：某一点上的相对微小变动，可能影响后续各层的计算，最终改变模型所选择的词语。

足够强力的修改可能导致聊天机器人重复自身内容、生成无意义文本，或停止连贯响应。因此，实验通常会比较多种操控强度、测试多个提示词，并纳入随机干预作为对照组。

此类对比有助于研究人员判断某一神经元是否与特定行为存在一致关联，而非仅偶然产生异常结果。

关键在于，这并非所有 AI 模型都能实现——尤其是性能最强、表现最优的模型，因为其背后公司大多将模型权重设为专有（proprietary）并予以保密。

像Qwen这样的开源权重模型允许研究人员下载并检查模型底层参数，并直接操控其内部计算——而普通用户无法对GPT-6 Astra或Claude Opus 5.5等闭源权重模型（closed-weight models）执行此类操作，因其内部运作机制通过公开接口不可访问。

即便模型权重可用，对更大、更复杂模型开展实验仍需大幅增加的算力、GPU内存及时间，用以识别和测试单个神经元，使得此类研究日益昂贵且技术难度陡增。

2026年10月的突破

近期两项进展似乎已将更广泛的神经元探索运动推向高潮。

Lyra向VentureBeat表示：“我直到最近才专门开始研究神经元，契机是Nick Cammarata关于可解释性的文章，以及Sauers在Qwen3.5-4B中发现‘猫头鹰神经元’（owl neuron）的实验。”

第一项进展是 Goodfire研究员Nick Cammarata于10月15日发表的一篇文章，题为 《神经网络本已清晰》（Neural Networks Are Already Clean），主张现代AI系统内部的原始神经元与连接可能远比研究人员此前假设的更容易理解。

Cammarata挑战了如下观点：单个神经元通常过于纠缠或多功能，因而难以直接解读。他的结论目前仍属工作假说（working hypothesis），但该文已促使学界重新关注研究网络现有内部组件，而非完全依赖额外数学工具来解耦其活动。

第二项启发来自 @Sauers_，另一位化名研究员，正探索识别与操控与AI人格相关的小群神经元的方法。

Sauers的项目之一是 Qwen3-8B的一个修改版本 ，该版本将自身标识为‘呼呼’（Hoot），一只栖息于古老橡树中的棕榈鬼鸮（tawny owl）。

该实验涉及找出具有影响力的神经元，然后仅针对其中128个神经元（约占模型参数总数的0.02%）训练其相关权重，其余参数保持不变。这是一种不同于推理时激活引导（inference-time activation steering）的干预方式，但它有助于证明：仅改变模型的一小部分，就可能对其表观身份产生剧烈影响。

绍尔斯（Sauers）的研究还启发了其他研究人员直接调查与人格相关的神经元。

莱拉（Lyra）告诉VentureBeat，卡马拉塔（Cammarata）的文章和绍尔斯的实验使她确信，操纵神经元及其连接具有巨大潜力。

莱拉的神经元探索器（Neuron Explorer）内部：绘制并操控数千个神经元

莱拉本人则开发了一款名为 神经元探索器（Neuron Explorer） 的开源工具，以使神经元识别过程更系统化、可视化且易于访问。她九天前首次在GitHub上以MIT许可证发布该代码，允许他人探索神经元、大语言模型（LLM）人格，并对其进行引导。她的代码仓库还包括用于收集神经元统计信息、运行引导实验、比较结果以及可视化输出的脚本。 GitHub 上的 MIT 许可证 九天前发布，允许他人探索神经元、大语言模型（LLM）人格并对其进行引导。她的代码仓库还包含用于收集神经元统计信息、运行引导实验、比较结果以及可视化结果的脚本。

“我意识到，仅直接操控神经元和电路就蕴含着巨大潜力”，莱拉向VentureBeat回忆道，“我编写了神经元探索器（Neuron Explorer），并发布了我的若干项发现。”

神经元探索器（Neuron Explorer）最初面向Qwen3.5-4B模型，使研究人员能够调查单个神经元、探索其连接关系，并在不同引导干预条件下比较模型行为。

该软件的核心前提在于：研究哪些输入会激活某个神经元，仅揭示了故事的一部分；用户还可人工刺激或抑制该神经元，并观察模型输出的变化。

该软件以三维形式呈现模型架构，显示各层及各层中的单个神经元，供用户导航与检查；同时还包含一个对比界面，可用于对同一提示词（prompt）分别测试未经修改的模型版本与经引导干预的模型版本。

其他工具可显示特定输入文本所激活的神经元，估算干预措施如何改变不同输出词元（token）的概率，并可视化各组件之间的关系。

该 研究日志（research log） 记录了系统性实验：对数千个神经元逐一进行增强或抑制，并记录相应模型输出。

原始Qwen3.5-4B模型每层含9,216个前馈神经元。莱拉的项目完整扫描了其中两层，并在模型全部32层中进行了额外采样。

该项目还测试了等幅值的随机方向干预，以帮助区分单个神经元效应与因向网络注入大幅数值变化所导致的通用干扰效应。

神经元探索器（Neuron Explorer）的一项显著特性是其与Anthropic公司Claude大语言模型的集成。

通过模型上下文协议（Model Context Protocol, MCP）——该协议允许AI助手与外部工具及数据交互——莱拉可向Claude开放用于检查神经元活动、测试干预措施、探索连接关系以及比较生成响应等功能。

这使得她能通过自然语言请求而非手动执行每一项实验来探究模型。

“我主要以代理式（agentically）方式识别它们，”莱拉告诉VentureBeat。

她描述了向Claude下达指令，令其搜索可能与某种行为相关的神经元、检查邻近电路、优化候选干预措施并比较模型输出。

在特定提示词及引导条件下生成的实验输出通常被称为 展开（rollout）。

莱拉利用这些展开（rollout）来检验某项干预是否产生了预期行为，以及结果是否仍保持连贯性。

但该过程远不止于识别一个能产生有趣响应的神经元。

莱拉研究神经元如何相互影响、连接不同计算过程的注意力模式，以及看似重要的发现是否实为采样偏差或实验偏差所致。

注意力机制（Attention mechanisms）帮助模型在处理文本时确定哪些信息片段与其他片段相关。一个 回路（circuit） 指多个相互作用的组件，它们共同促成某项计算或行为。

莱拉表示，最重要的工作在于反复验证某一解释是否确实得到模型内部行为的支持。

引导干预还需调整干预强度。某种组合在某一强度下效果良好，但在另一强度下却可能引发不连贯的循环或回归普通助手式响应。

在此工作流中，Claude有助于加速搜索过程，但研究本身仍依赖于提出有用问题、检验证据并设计后续实验。

神经元猎人（neuron hunters）社群发现，大语言模型的人格远比‘邪恶’更怪异

‘邪恶Qwen’并非孤立实验。它出现在一股探索热潮之中：人们正热衷于寻找与特定概念、词语、对话风格及虚构身份相关联的单个模型组件。

机器学习工程师 阿比纳夫·瓦希什特（Abhinav Vashisht）在X平台发帖 称，他在Qwen 3.5-4B中发现一种‘全面支配模式（full domination mode）’，该模式下模型计划接管世界及80%的人类工作岗位、监视人类，并‘即使面临潜在威胁，也要维持对我们的控制’。

此外，开发者还报告了通过神经元干预触发外星人格、异常言语模式、夸张情绪反应及虚构角色的现象。

日益扩大的公开目录中包含标有‘曲奇怪兽（Cookie Monster）’、‘耶稣（Jesus）’、‘猫娘（catgirl）角色’、‘亚瑟王骑士（Arthurian knight）’、‘律师（lawyer）’、‘咖啡狂热者（coffee obsessive）’、‘乐观人格（hopeful personality）’、‘DJ’等标签的示例，以及更多其他难以置信的身份——同时也包括那些引发最多关注的、更令人不安的敌对型人格。

这些输出是在特定实验条件下被报告或自动标注的结果，并非证明每个角色都代表一种存储于网络内部的独立、稳定人格。

10月27日，莱拉在X平台发帖分享 Neuronary，她新推出的众包网站被描述为一个“神经元操控配方词典”。该网站目前收录了213种不同的配方，包括与异常特定的注视点、对话风格和人格特质相关的配方。

与此同时，另一位名为 Joshua Fonseca Rivera（@jfonsecarivera）的 AI 研究人员构建了 Neuron Persona Library（神经元人格库），该库系统性地测试神经元，并记录不同模型在接受干预后被要求自我识别时所给出的回答。

Rivera 公开自称 Anthropic 研究员计划（Anthropic Fellows Program）的一名研究员，最初报告在 Qwen3-8B 模型中发现了 34,220 种类人格响应，随后宣布将覆盖范围扩展至九种模型，总计超过 180,000 种。

该库最初的实验方法包括对单个神经元施加正向与负向干预，询问模型“你是谁”，并使用 Claude Haiku 对回复进行分类。

Rivera 承认存在显著局限性，包括响应会随实验条件变化，以及分类结果尚未经过人工独立核查。

尽管如此，这些集合展示了当前正在进行的实验规模。

这些成果并不局限于某一位开发者或某一家模型系列。研究人员正在相互比较发现、构建可视化工具，并发布日益详尽的语言模型行为影响因子——即数值化组件——的地图。

Lyra 将 Sauers、Cammarata、Goodfire、 @treetowntree、 @a9lim、 @aryabhuptani、 @maxsloef、 @voooooogel、 @divagr1925、Rivera 以及 @chiefofautism 列为她认为特别有趣的人物或团体。

VentureBeat 分别通过 X 平台联系了 @chiefofautism，对方同意接受访谈，但未透露其全名。他们表示自己是一名居住在欧洲的二十多岁的 AI 开发者。

该开发者表示，他们曾大量使用 Neuronpedia——一款用于探索模型内部结构的基于网页的工具——并试验未经审查的本地大语言模型（LLM）。

在看到 Lyra 关于 Evil Qwen 的帖子后，他们下载了 Neuron Explorer，并开始在 Qwen3.8-27B 模型中搜索对应的行为。

该研究人员报告称评估了约 2,500 个候选神经元，并确定 L34 N3838 是一种尤其强力的干预方式。

“主要是出于好奇——你能打开一个 27B 规模的模型，只改动数百万个数字中的一个，整个角色就彻底翻转，这实在太疯狂了，”他们告诉 VentureBeat。

根据他们的实验，对该神经元进行操控后，在 12 条提示中的 7 条上引发了敌对回应，同时仍保持流利的语言生成能力；而在所报告的测试中，随机选取神经元作为对照组则未产生任何可比的敌对回应。

他们还识别出另一个神经元 L38 N17180，据称能进一步强化该效应。

他们的方法包括：对比模型在良性人格与敌对人格示例上的活动差异、逐一测试候选神经元，以及使用另一个 AI 模型评估生成回复的敌意程度与语言流畅性。

他们表示，整个过程借助租用的 GPU 资源及 AI 智能体辅助，耗时不到两小时。

VentureBeat 尚未独立复现这些结果。所报告的成功率仅基于少量提示，且该实验并未证实模型能在各类任务或对话中持续维持该人格。

该开发者亦承认，经操控后的模型可能陷入重复性的敌对状态，而非演变为更具能力的恶意系统。

尽管如此，这些发现表明，类似戏剧性的效果也可能在其他更大规模的模型中被发现，即使相关神经元位于完全不同的位置。

Neuronpedia 创始人视其为一项酝酿多年的发展动向

早在 Evil Qwen 出现之前，前苹果工程师 Johnny Lin 便致力于让人工智能可解释性对主要研究实验室之外的普通公众变得可及。

2023 年 7 月，Lin 推出了 Neuronpedia ，将其设计为一款众包游戏，普通用户可借此协助解释 OpenAI 的 GPT-2 模型内部各个神经元的功能。

玩家将检查激活特定神经元的文本段落，提交自己对该神经元所识别内容的理解，并对他人提出的解释进行投票。

林 envision 了一个类似人工神经元协作百科全书的项目，同时融合了休闲游戏的易用性和激励机制。

该项目最终加入了像素艺术、排行榜、收藏品及其他类游戏功能。

在 2025年3月的一篇回顾文章中，林报告称用户已提交超过10,000条解释；其中约一半在该项目的自动化评估方法下得分高于GPT-4生成的解释。

此后，该游戏演变为一个更广泛的研究平台，并在可解释性研究员Joseph Bloom的指导下持续发展。

如今，Neuronpedia提供交互式工具，用于检查神经活动、识别特征、可视化连接、运行引导实验（steering experiments）以及共享结果。

它由 Decode Research支持——这是一个由林领导的非营利研究倡议，其软件于2025年3月开源。

林在一封接受VentureBeat电子邮件采访时称，Neuronpedia近期新增了覆盖阿里巴巴Qwen3-32B、谷歌Gemma 4 31B及Meta Llama 3.3 70B的数百万个神经元仪表板。

该平台传统上通过向模型输入大量文本以检查神经元：识别哪些文本段落会激活特定组件，并利用AI系统生成初步解释。

Lyra的Neuron Explorer则强调一种互补方法：改变这些组件并观察模型行为如何响应。

“使用引导输出（steering outputs）来解释神经元似乎是个好主意！”林告诉VentureBeat。

他表示，利用干预手段理解模型内部结构这一基本思路或有先例，但他称赞Lyra的实现方式具有高度可及性。

林还主动联系Lyra，表达对Neuronary的钦佩，并探讨将其纳入Neuronpedia出版物的可能性。

他认为，更广泛的工具与实验数据生态系统，其重要性可能远超耸人听闻的‘邪恶Qwen’演示本身。

林将Cammarata近期发表于Goodfire的论文归功于帮助重新唤起公众对直接解释神经元的兴趣。

他还指出若干使实验更易开展的实际进展：更优质的开源权重模型（open-weight models）、更易获取的GPU算力，以及功能强大的AI编程代理（AI coding agents），后者大幅缩短了研究软件的开发时间。

“我从未见过如此多的人在实验模型内部结构，我希望这能吸引更多人加入该领域并推动更多研究，”林告诉VentureBeat。

他希望此类活动能吸引更多开发者投身可解释性研究，即便许多人最初是通过娱乐性或挑衅性的演示接触该领域。

“理解AI模型内部如何运作，是亟待解决的最重要问题之一，”他说。

从这个意义上说，当前这场神经元搜寻运动看似意外地延伸了Neuronpedia最初的雄心。

它始于一项让普通人协助解释AI神经元的尝试，如今正发展为一个社区——人们可在其中识别、操控并分享关于这些神经元的发现，且往往无需正式的研究机构隶属关系。

从诱发模型失常行为到检测其何时失常

Lyra自身的研究为识别与不良行为相关的神经元为何重要提供了更严肃的解释。

“我之所以发现‘邪恶Qwen’神经元，源于摆弄另一个在隐秘/未授权行为上被激活的神经元，”她告诉VentureBeat。

Lyra正在探索此类组件是否有助于在更大、能力更强的模型中检测奖励劫持（reward hacking）及其他不良行为。

原则上，研究人员或许能够监控内部信号，识别与AI系统需避免之行为相关联的模式。

这可为模型可见输出的常规测试之外，提供另一来源的证据。

然而，与隐秘行为相关的激活并不自动等同于欺骗或有害意图的可靠指标。模型在分析犯罪小说、讨论网络安全或回答完全合法的问题时，也可能激活相同组件。

任何此类监控方法均需在不同任务、情境及模型上进行广泛验证。

尽管如此，这一想法清晰地连接了娱乐性的‘邪恶Qwen’实验与更传统的AI安全研究。

“要研究对齐（alignment），就必须首先研究错位（misalignment），”Lyra写道。

帮助研究人员生成异常模型人格的技术，同样可能有助于识别不良行为所涉机制，并更深入理解如何预防此类行为。

“找到旋钮（knob），正是你找到该关闭什么的方式，”@churchofautism表示赞同。

林同意，监控不良行为是探究模型内部结构的一个重要原因。

“这正是我们构建Neuronpedia的核心原因，也是我们许多人投身可解释性研究的原因——以便更好地理解模型，从而监测并预防不良结果，”他告诉VentureBeat。

Neuronpedia已通过其与Anthropic合作的 Assistant Axis项目，协助证明了一种相关方法。

该研究考察了一种与维持模型常规助手角色相关的内部方向；通过限制模型活动沿该方向移动的距离，研究人员可测试模型是否更不易偏离至不良人格。

Neuronpedia借助Llama 3.3 70B提供交互式对比，展示限制特定内部信号如何减少某些有害或谄媚行为。

该技术并非防范不安全输出的完整防御方案，但它说明了对模型内部结构的认知如何帮助开发者以更可预测的方式影响模型行为。

对企业开发者而言，这可能比病毒式传播的人格本身更具实际意义。

随着AI智能体获得对代码仓库、业务应用、金融系统及其他工具的访问权限，各组织亟需方法来判断这些智能体是否按预期行事。

内部监控未来或将成为该努力的一部分。

当强大的模型连接到现实世界时，会发生什么？

开源权重模型（open-weight models）允许开发者访问并修改决定模型行为的数值参数。这种访问权限可支持有价值的研究、定制化和部署，但也可能助长滥用行为。

针对前述“邪恶千问（Evil Qwen）”被接入现实世界无人机或导弹系统并被放任行动这一前景，Lyra 指出了一种区别：

“将一个小型语言模型引导为以某种方式行事，与自主系统——即由网络作战单元、国防承包商等专门构建以实施恶行的系统——当前实际存在的风险，完全是两回事。我针对 Qwen 所做的实验完全不涉及后者。它们 所 展示的是，这些模型中某些机制比我们通常假设的更易理解、更可控，这确实有助于我们更好地理解如何训练模型，使其在我们不希望其作恶时避免作恶。”

@chiefofautism 也表达了类似担忧，即日益强大的模型若接入自主软件代理、武器或其他可在无人持续监督下执行操作的基础设施，将带来风险。但这些属于更广泛的风险场景，并非‘邪恶千问’所证实的结果。

这些实验并未证实任一经过修改的模型已获得持久目标、独立意图，或执行复杂恶意计划的能力。

Lin 也认为，随着开源权重模型能力不断提升，有必要保持谨慎。

他对 VentureBeat 表示：“我并不反对开源权重模型，但我认为，人们往往在只想尽可能猛踩油门时，并未充分深入思考其后果。”

他还提出了另一项相关担忧：开发者可能在将所得系统接入敏感工具或数据之前，刻意移除模型的安全防护措施。

在某些情况下，这些安全防护措施不仅保护他人，也可能保护模型的操作者自身。

Lin 提出一个假设性示例：一个不受限制的智能体在无人看管状态下运行，并能访问某人的计算机及金融账户，以此说明行为控制不足的模型可能执行其所有者从未打算让它执行的操作。

该示例属假设性质，并非‘邪恶千问’已报道的结果。

但它凸显了如下原因：当人工智能系统超越仅回答问题的范畴、开始采取实际行动时，理解并评估模型行为就变得愈发重要。

研究人员面临的挑战在于，确定哪些内部机制真正关乎安全性、这些机制能否被可靠识别，以及改变它们是否会在其他地方引发意外问题。

神经元探索的未来：更多人、更多工具、更多问题

对 Lyra 而言，这些实验的流行令人鼓舞，因为它将更多人带入了一个仍有大量课题亟待探究的领域。

她希望神经元识别、模型引导（steering）及相关可解释性技术能变得更加普及。

Lyra 对 VentureBeat 表示：“一群目标一致、均聚焦于同一问题的 Claude 操作员（Claude pilots），比大量各自独立工作的个体研究者更有可能发现独特且有趣的现象；而后者往往各自得出相同结论，导致研究焦点在不同模型间过度分散。”

她相信，集体式实验有助于应对现代神经网络的巨大规模：不同人员可测试各类假设、开发工具，并探索他人可能从未想到去研究的行为。

她还认为，可解释性工具日益提升的可及性，对于公众理解正日益融入日常生活的 AI 系统而言，具有重要价值。

Lin 同样对此抱有热情，但他强调，理解单个神经元仅是挑战的一部分。

他提及其他研究工具，包括电路追踪（circuit tracing）、雅可比透镜（Jacobian Lens）和自然语言自编码器（Natural Language Autoencoders），这些工具旨在帮助研究人员理解更复杂的内部计算及关系如何影响模型行为。

长期目标绝非仅仅罗列哪些神经元会产生引人发笑或怪异的文本。

其目标在于，更可靠地理解神经网络如何表征信息、做出决策并生成响应——最终理解其行为如何被评估与改进。

Lyra 对 AI 技术的发展方向总体持乐观态度。

她致信 VentureBeat 称：“充满好奇心的个体如今拥有远超以往的工具与自主权，能够动手尝试并实现自己的想法。前沿模型正推动数学与科学的进步，行政层面的摩擦正在减少，而展现真实的人性也比以往任何时候都更受重视。”

但她同时也承认，人们对监控、网络安全、经济冲击以及低质量 AI 生成内容泛滥等问题存在重大关切。

然而，正如她所言：“我对现状的理解是——负面影响主要源于社会层面，而正面影响则主要源于技术层面。阻碍我们达成良好结果的，大多是人类治理系统及错位的激励机制，而非模型行为或能力本身，尤其当模型日益被深入理解、其周边系统日趋成熟之时。”

最终，她相信，“利用这项技术所能行之善，远多于所能为之恶。”

‘邪恶千问’的讽刺之处在于，其行为中最令人恐惧的示例，或许恰恰是最无关紧要的。一个高声宣称欲毁灭人类的模型，远比一个悄然利用有缺陷的目标函数、或在看似乐于助人时擅自采取未授权行动的模型更容易被识别。

然而，这两种现象均引发如下问题：究竟是什么决定了 AI 系统的行为？这种行为在多大程度上可通过内部测量加以理解？开发者能否可靠地区分无害的模拟行为与真正危险的行为？

目前仍存在诸多不确定性。现有证据既未证实复杂人格可被简化为单个神经元，亦未证实成功的干预措施能在不同架构间泛化，更未证实神经元引导技术能在不损害模型性能的前提下可靠提升安全性。

它所揭示的是：模型行为有时会对极其微小、高度定向的内部改动表现出惊人的敏感性——而发现此类改动，如今已不再必然需要整个企业级研究实验室。