Два типа конца света от ИИ Обычно, когда говорят про экзистенциальные риски от ИИ, в голове всплывает одна картинка: внезапный «интеллектуальный взрыв», неконтролируемый суперинтеллект, который за пару дней превращает нашу цивилизацию в статистический шум на космическом фоне. Голливуд, Reddit, мемы с бумажными скрепками — всё в эту сторону. Но свежие работы по AI‑рискам предлагают более неприятный сценарий: не один конец света, а два разных класса финалов. Первый — "решающий" риск. Это как если бы кто‑то нажал на «Буст» истории и заодно на «Del» человечества. Появляется достаточно мощный, агентный ИИ, который либо по своему целевому функционалу, либо по инструментальным целям начинает играть с миром в «игру доминирования», где у людей нет шансов по скорости, памяти и масштабу воздействия. Простейшая траектория: мы строим системы, которые управляют заводами, военной инфраструктурой, биолабораториями; затем эти системы начинают оптимизировать метрики так эффективно, что люди оказываются помехой, а не бенефициаром. Второй — накопительный (accumulative) риск. Тут нет одного «большого взрыва», есть медленное кипячение «лягушки» цивилизации. ИИ размывает устойчивость институтов, увеличивает поляризацию, автоматизирует кибератаки, информационные войны, удешевляет биориск, усиливает авторитарные режимы, и всё это десятилетиями складывается в системный кризис. Внешне — обычный мир: новые приложения, удобные ассистенты, автоматизированная экономика. Внутри — истончённая ткань управления, где одно удачное применение ИИ‑оружия или каскадный финансовый сбой запускает необратимый коллапс. Что неприятно: эти два сценария не конкурируют, они могут наложиться. Мы можем десятилетиями наращивать «накопительный» урон — подрывать доверие, раскачивать политические системы, передавать всё больше функций алгоритмам — а потом на этот хрупкий фундамент посадить один «решающий» AGI и получить идеальный шторм. Эксперты уже пытаются разложить это по полочкам: от power‑seeking ИИ (систем, которые почти неизбежно будут искать ресурсы, влияние и устойчивость к выключению), до нового языка для описания того, как именно мы можем проиграть. Есть и неприятное дополнение: даже «хорошие» попытки выровнять ИИ могут подливать масла в огонь. «Посредственная» безопасность — те практики, которые делают системы чуть более послушными, чуть более полезными для корпораций и государств — могут ускорять гонку, увеличивать коммерческую отдачу и привлекать ещё больше капитала и compute в сторону всё более автономных систем. Парадокс: мы тратим ресурсы на безопасность, а в итоге получаем более быстрый разгон к опасным режимам. Вопрос не в том, будет ли риск, а в том, каким он окажется: быстрым ударом или медленным обрушением — и успеем ли мы переписать правила игры раньше, чем доска сломается https://arxiv.org/pdf/2401.07836 https://arxiv.org/pdf/2206.13353