Архитектура LLM. 1️⃣ Программный код. Включает следующие элементы: ➖ Базовая логика работы – инструкции по сборке, запуску и взаимодействию с моделью. ➖ Алгоритмы обучения, включающие в себя математическую функцию (способ обучения модели). Алгоритм реализует математическую функцию или последовательность операций, но это не просто формула, это процедура. ➖Архитектура модели. Это как чертёж нейросети. Своего рода "структура мозга ИИ", в которой указано, как информация обрабатывается внутри. Она определяет (1) из каких слоёв состоит модель (входной, скрытые, выходной), (2) в каком порядке и как они соединены, (3) какие применяются функции и приёмы (например, внимание, нормализация, пулы), (4) сколько параметров у каждого слоя и как они взаимодействуют. Может быть указана как в коде, так и в конфигурационном файле. ➖Интерфейс/API. Способ дать команду ИИ (способ взаимодействия). ➖Логика инференса / постобработки – алгоритм отбора «наилучшего» ответа, нормализация значений, фильтрация (например, токсичных ответов). 2️⃣ Конфигурация модели или конфигурационный файл (json). Это описание архитектуры модели и настроек обучения. Например, 12 слоёв, в каждом 768 нейронов, использование attention, применение GELU-активации. 3️⃣ Токенизатор (json). Это, по сути, словарь со всеми словами, которые знает модель и их переводом в токены. 4️⃣ Веса модели (машинный, бинарный, нечитабельный файл с миллиардами весов). Хранятся в формате .bin, .pt, .ckpt, .h5. Просто миллиарды значений по типу [0.122, -0.987, ...] 5️⃣ Сопутствующие элементы. ➖Обучающие данные (training data). Не входят напрямую в модель. ➖Служебные файлы для запуска/развёртывания (окружение запуска, скрипты запуска, endpoint-конфиги). ➖Метаданные модели (model metadata). Служебная информация о модели: кто автор, версия, дата сборки и т. д ➖Контрольные выборки / тесты (evaluation sets). Наборы данных, на которых проверяется качество модели. ➖Инструкции по способу обучения модели на данных.