成人午夜性一级毛片_69堂国产欧美亚洲_5858成人免费A片_欧美香蕉视频在线观看_就爱av啪啪啪av_日本中文在线激情91_精品中文无码三级_班长解开乳罩胸又大又软_国产成人无码αV在线播放_91亚洲精品一区二区三区

該項(xiàng)目的開源工具是Transformer Debugger，這是一種用于分析變壓器內(nèi)部結(jié)構(gòu)的工具。研究人員可以在不編寫代碼的情況下快速探索LLM的內(nèi)部結(jié)構(gòu)，從而研究小型模型的具體行為。
變壓器調(diào)試器簡介
Transformer Debugger（TDB）是由OpenAI對齊團(tuán)隊(duì)（Superalignment）開發(fā)的一種工具，用于支持檢查小容量語言模型的特定行為。據(jù)報(bào)道，該工具將自動可解釋性技術(shù)與稀疏自動編碼器相結(jié)合。
具體來說，TDB可以在編寫代碼之前快速探索并干預(yù)正向傳播，幫助人們了解它如何影響特定于模型的行為。TDB可用于回答諸如“為什么模型在此提示中輸出令牌A而不是令牌B？”或“為什么模型的焦點(diǎn)從令牌H轉(zhuǎn)移到令牌T？”
它識別有助于行為的特定組件（神經(jīng)元、興趣點(diǎn)、自動編碼器延遲），顯示自動生成的解釋，以分析導(dǎo)致這些組件最強(qiáng)激活的原因，并跟蹤組件之間的連接，以幫助人們發(fā)現(xiàn)相關(guān)性，從而幫助人們進(jìn)行Transformer調(diào)試工作。
OpenAI發(fā)布了幾段視頻，概述了TDB的功能，并演示了如何將其用于論文“野外可解釋性：GPT-2 Small中的直接對象識別電路”中介紹的工作：
這一次，OpenAI的開源內(nèi)容包括：
神經(jīng)元查看器：一個(gè)React應(yīng)用程序，用于托管TDB和包含各種模型組件信息的頁面（MLP神經(jīng)元、興趣點(diǎn)和兩者的自動編碼器延遲）。
激活服務(wù)器：對主題模型進(jìn)行推理并為TDB提供數(shù)據(jù)的后端服務(wù)器。它還從公共Azure存儲桶中讀取并提供數(shù)據(jù)。
模型：GPT-2模型及其自動編碼器的簡單推理庫，具有捕獲激活的鉤子。
組織激活數(shù)據(jù)集：包含MLP神經(jīng)元、興趣點(diǎn)和自動編碼器潛伏期的數(shù)據(jù)集示例。
安裝步驟