"Пегий Дудочник" в реальном мире Главный замес сериала "Кремниевая долина" строился вокруг компании Pied Piper. Она придумала прорывной алгоритм, позволяющий радикально уменьшать размер файлов без потери качества. У нас этот стартап локализовали "Пегий Дудочник", хотя вообще говоря, это "Крысолов". Типа, весь tech-рынок пошёл за их ноу-хау, аки грызуны за гамельнским бро. В нашей реальности нечто похожее на днях выкатил не маленький стартап, а вполне большой Google. И не для файлов, а для LLM. Google опубликовал три алгоритма - TurboQuant, PolarQuant и QJL. Эти штуки в несколько раз сжимают KV-кэш в языковых моделях. На этой новости уже успел урониться весь рынок оперативной памяти. Акции Samsung и SK Hynix упали на 6%, Micron Technologies - ещё сильнее. И вообще, по интернетам ходят настроения, что рынок памяти - ВСЁ. Мол, память дизраптнули, и кто держал эти компании на долгосрок - теперь обломятся, лол. Но я бы не был так категоричен. Думаю, в долгосроке память всё равно будет расти, и вот почему: Во-первых, KV-кэш нужен для инференса. Напомню, инференс - это когда уже обученная модель что-то генерит. Когда вы обращаетесь к ИИшке, она обращается к "контексту", который хранится в GPU. Это и есть KV-кэш, и именно его научился сжимать Google. Но львиная доля нагрузки на память идёт при обучении модели. И если кэш во время инференса - это относительно "пассивные" данные (они просто хранятся, не меняются в процессе, их можно относительно безболезненно "сжимать" и "разжимать"), то при обучении всё гораздо сложнее. Модель постоянно пересчитывает веса и градиенты, и если тут применять похожую логику, то всё поломается. Во-вторых, вспомним парадокс Джевонса: Если стоимость и доступность ресурса резко падает, то его общее потребление в итоге становится выше, чем было раньше. Этот принцип подметил британский экономист Джевонс ещё в бородатом веке для паровых машин, подробно я его разбирал тут. Для нас важно, что долгосрочный рост спроса из-за роста доступности перебьёт краткосрочное падение из-за роста доступности, ну вы поняли. Так что, с рынком памяти всё будет норм. ИМХО, гораздо важнее - как такие алгоритмы изменят расклад в ИИ-индустрии. Тут многое будет зависеть от того, насколько публично Google их выкатит. Если бы это была любая компания, кроме Google, то я бы сказал "точно в паблик не выкатят". Но это Google. Дизраптор