TPU 8tx и TPU 8i Max: Google упирается в память, а не в чипы

9 ноября 2026 года Google добавила к восьмому поколению своих ускорителей TPU две системы. TPU 8tx защищает данные и веса модели аппаратно, даже во время работы. TPU 8i Max объединяет два чипа TPU 8i в одном корпусе: 384 ГБ памяти HBM и вдвое больше пропускной способности. Главная мысль анонса — узкое место ИИ сместилось с вычислений на память.

Новость про железо кажется далёкой от тех, кто просто платит за API. Но именно память определяет, почему длинный контекст стоит дорого и зачем вендоры придумывают кэш. Ниже — что представила Google и что это объясняет в счёте за токены.

Что представила Google

Восьмое поколение TPU Google показала в апреле 2026 года: TPU 8t для обучения и TPU 8i для быстрого вывода. Теперь к ним добавились две системы. Google подчёркивает, что это не новые чипы, а новые конфигурации вокруг тех же кристаллов — с другой памятью, сетью, упаковкой и хостами.

Амин Вахдат, технический директор Google по ИИ и инфраструктуре, сформулировал так: четыре системы дают ускоритель под каждый этап жизни агента.

Что даёт TPU 8tx

Это первая TPU в Google Cloud с конфиденциальными вычислениями, сделанная вместе с AMD. Хост-процессоры — AMD EPYC пятого поколения. Обычно зашифрованные данные приходится расшифровывать в памяти, чтобы обработать. TPU 8tx встраивает защиту в железо: данные и веса модели остаются защищёнными и изолированными во время работы, а вся система проходит проверку подлинности.

По заявлению Google, задержка у TPU 8tx вдвое ниже, чем у TPU 8t, при почти нулевой потере производительности — благодаря сетевой архитектуре от TPU 8i. На одной системе можно и запускать модели, и дообучать их на закрытых данных, и сжимать большие модели в маленькие, не перенося данные между кластерами.

Целевые клиенты — регулируемые компании и государства, которые работают с чувствительными данными.

Зачем это нужно. Банк, больница или госорган часто не могут отправить данные в облачную модель: правила требуют, чтобы данные не были доступны даже оператору облака. Конфиденциальные вычисления решают это на уровне железа — оператор физически не видит, что обрабатывается. Для разработчиков моделей есть и обратная выгода: их веса тоже защищены от клиента, который запускает модель у себя. Это снимает препятствие, из-за которого лаборатории неохотно отдают передовые модели для работы внутри чужих контуров.

Что даёт TPU 8i Max

TPU 8i Max решает проблему «стены памяти» — разрыва между скоростью вычислений и скоростью, с которой память подаёт данные. Два чипа TPU 8i в одном корпусе дают:

Цифры памяти приводит Network World со ссылкой на брифинг Google Cloud. Поскольку в ту же стойку помещается вдвое больше кремния, дата-центр получает больше вычислений на квадратный метр и на ватт.

Почему память стала узким местом

Марк Ломейер из Google Cloud объяснил это на брифинге. Агенты работают не так, как обычный чат:

• они читают огромный контекст — документы, кодовые базы, историю действий;
• они запускают десятки и сотни субагентов параллельно, и спрос на вычисления растёт в 10–100 раз;
• они работают рывками: вызвали инструмент и ждут ответа, иногда человека — «буквально днями».

Пока агент ждёт, его контекст и кэш должны где-то храниться. Если держать их в памяти ускорителя, она простаивает «90 % времени и больше». Google выпустила открытый слой TPU Sync: он за миллисекунды переносит кэш с чипа в память хоста и хранилище, а потом быстро возвращает. По словам компании, это сокращает время до первого токена больше чем на 90 %.

Что это объясняет в цене API

Для пользователя API из этого следуют три практических вывода.

Длинный контекст дорог из-за памяти. Каждый токен в контексте занимает память ускорителя, пока модель отвечает. Поэтому вендоры часто берут за длинные запросы больше, а некоторые вводят повышенную ставку после порога в 100–200 тыс. токенов. Сколько контекста нужно на самом деле, мы разбирали в статье Сколько контекста реально нужно.

Кэш — это экономия памяти и вычислений. Если начало запроса уже обработано и лежит в кэше, модели не нужно считать его заново. Отсюда скидки за чтение из кэша у вендоров. Как работает кэш промптов, мы описывали в статье Кэш промптов: как экономить.

Агенты дорожают из-за простоя. Агент, который держит огромный контекст и часто ждёт, занимает ресурсы дольше, чем работает. Инфраструктура вроде TPU Sync снижает эту цену у вендора, но и вам стоит не держать агентов без дела. Если агент ждёт ответа человека часами, разумнее завершить сессию, сохранить краткую сводку и потом начать новую с неё, чем держать открытым огромный контекст и платить за него при каждом следующем шаге.

Как сократить расход на контекст

Пока вендоры борются со стеной памяти на своей стороне, на своей стороне можно сделать вот что:

1. Отправляйте только нужное. Не весь репозиторий, а нужные файлы. Не всю историю диалога, а последние шаги и краткую сводку.
2. Сжимайте историю. Старые сообщения заменяйте короткой выжимкой — модель помнит суть, а токенов в разы меньше.
3. Держите неизменную часть в начале. Системный промпт и справочные данные в начале запроса чаще попадают в кэш у вендора.
4. Мерьте. Смотрите поле usage.prompt_tokens в ответах и журнал расхода — растущий контекст виден сразу.

В KeyDealer журнал ключа показывает число входных и выходных токенов по каждому вызову, поэтому разросшийся контекст агента виден по счёту. Один OpenAI-совместимый ключ даёт GPT, Claude, Gemini и DeepSeek с оплатой российской картой в рублях. Учтите нашу особенность: кэш у нас тарифицируется по полной ставке, поэтому сокращение контекста экономит напрямую. Сколько в итоге стоит агент, мы считали в статье Сколько стоит агент в месяц.

Зачем Google своё железо

Причина та же, что у всех: снизить зависимость от Nvidia. Свои ускорители делают Microsoft, Amazon, OpenAI и Anthropic. О чипах Anthropic мы писали в статье Anthropic делает свои чипы. Google в этой гонке дальше всех: TPU разрабатываются с середины 2010-х, и на них работают её собственные модели Gemini.

Анонс совпал с тяжёлым моментом для Nvidia: её глава Дженсен Хуанг оказался в центре скандала, который обсуждают власти США. На этом фоне альтернативы Nvidia получают дополнительное внимание крупных заказчиков.

Что это значит для цен на модели

Прямой связи между анонсом железа и ценами API нет: Google о ценах ничего не сообщала. Но направление понятное. Каждое новое поколение ускорителей и каждая оптимизация памяти снижают себестоимость токена у вендора. Именно поэтому цены на модели последние два года в основном падают, а не растут. Когда выходит более эффективное железо, вендоры получают возможность снижать цены или давать больше контекста за ту же сумму. Для покупателя это аргумент не заключать долгих фиксированных договоров по старым ценам.

Чего мы не утверждаем

Мы не проверяли характеристики TPU 8tx и TPU 8i Max. Цифры — из сообщений Data Center Dynamics, Network World и TechCrunch со ссылкой на Google.

Объём памяти TPU 8i Max в 384 ГБ приводит Network World. В других публикациях указано только относительное увеличение.

Мы не утверждаем, что новые системы снизят цены на модели Gemini. Google о ценах в связи с анонсом не сообщала.

Что держать в голове

Google добавила две системы TPU: TPU 8tx для конфиденциальных вычислений с хостами AMD и TPU 8i Max с 384 ГБ памяти для длинного контекста.

Главный сдвиг — узким местом ИИ стала память, а не вычисления. Агенты с огромным контекстом и долгим ожиданием занимают память дольше, чем считают.

Для пользователя API вывод прежний: короткий контекст и кэш — самая надёжная экономия. Подробнее о сервисе — на странице о проекте, ключ — на keydealer.ru/login.