Transformer Debugger (TDB) 是由 OpenAI 的对齐团队（Superalignment）开发的一款工具，旨在帮助研究人员和开发者更深入地理解和分析 Transformer 模型的内部结构和行为。Transformer 模型是一种深度学习架构，广泛应用于自然语言处理（NLP）领域，特别是在机器翻译、文本生成和理解等任务中。

TDB 的核心功能是提供了一种无需编写代码即可快速探索模型结构的方式，结合了自动可解释性技术和稀疏自动编码器，使得用户能够直观地查看和分析模型的特定行为，例如模型为何在给定的输入（prompt）下选择输出特定的token，或者模型的注意力机制为何关注输入文本中的某些特定部分。

GitHub源码地址：

Transformer Debugger – OpenAI开源的理解和分析大模型内部的工具 第1张
（图片来源网络，侵删）
Transformer Debugger – OpenAI开源的理解和分析大模型内部的工具 第2张
（图片来源网络，侵删）