Дата публикации:Tue, 12 Mar 2024 13:40:49 +0300
Проект OpenAI, занимающийся развитием общедоступных проектов в области искусственного интеллекта, опубликовал отладчик Transformer Debugger, предназначенный для анализа активации структур в языковых моделях машинного обучения при обработке тех или иных данных. Как и в традиционных отладчиках в Transformer Debugger поддерживает пошаговую навигацию по выводу моделей, трассировку и перехват определённой активности. В общем виде Transformer Debugger позволяет разобраться почему языковая модель в ответ на определённый запрос выводит один токен вместо другого или почему модель уделяет большее внимание определённым токенам в запросе. Код написан на языке Python и распространяется под лицензией MIT.
В состав входят следующие компоненты:
- Neuron viewer - навигатор по отдельным компонентам модели, таким как MLP-нейроны, фокусы внимания и скрытые представления автокодировщиков.
Activation server - серверный бэкенд, взаимодействующий с разбираемой моделью и извлекающий данные для отладчика.
Models - библиотека для взаимодействия с языковыми моделями GPT-2 и используемыми в них автокодировщиками, обеспечивающая подстановку обработчиков для перехвата активаций.
Примеры активирующих наборов данных для MLP-нейронов, фокусов внимания и скрытых представлений автокодировщиков.
Новость позаимствована с opennet.ru
Ссылка на оригинал: https://www.opennet.ru/opennews/art.shtml?num=60774