Искусственный интеллект и рост вычислительных мощностей

Кратко рассмотрен анализ компании OpenAI относительно основных закономерностей роста вычислительных мощностей в области ИИ.

Искусственный интеллект в свете роста вычислительных мощностей

Современное состояние вычислительных мощностей в ИИ

Три фактора, стимулирующих развитие искусственного интеллекта, это:

  1. Новые алгоритмы.
  2. Данные контролируемого обучения или получаемые от среды.
  3. Доступная для обучения вычислительная производительность.

Инновациям в области алгоритмов и данных трудно сопоставить численный эквивалент, в то время как в оценке вычислительных мощностей нет никаких сложностей. Разумеется, использование емких вычислительных массивов иногда раскрывает недостатки современного инструментария алгоритмов, но в крупных областях сложность вычислений обычно приводит к повышению производительности и дополняет алгоритмические достижения.

Анализ использования крупнейших экспериментов по искусственному интеллекту с 2012 года показывает экспоненциальный рост с удвоением вычислительных мощностей каждые 3.5 месяца. Для сравнения в законе Мура удвоение происходит лишь каждые 18 месяцев. Рост вычислительных мощностей является ключевым компонентом прогресса в области ИИ, и, пока эта тенденция продолжается, стоит приготовиться к появлению систем, выходящих за пределы текущих возможностей.

На диаграмме выше, являющейся основным результатом анализа, показано изменение общего объема вычислений в петафлопс-днях (один петафлопс-день соответствует суткам вычислений, совершаемых со скоростью 1015 операций нейронной сети в секунду, то есть порядка 1020 операций). Такого рода единицы информации используются из соображений, аналогичных применению кВт-часов для расчета электроэнергии. Важны не пиковые значения FLOPS аппаратного обеспечения, а количество выполненных операций.

Число операций, приходящиеся на модель, сильно зависит от суммарного объема расчетов, поскольку ограничения на параллелизм (как аппаратные, так и вычислительные) ведут к соответствующим ограничениям, накладываемым на объем успешно обучаемой модели. Безусловно, важные прорывы в области ИИ до сих пор случаются и для моделей с небольшими объемами вычислений, но рассматриваемый анализ посвящен именно вопросу пределов необходимых вычислительных мощностей.

Приведенная выше тенденция показывает десятикратный рост в течение каждого года. Частично это обусловлено "железом", позволяющим производить все больше вычислительных операций в секунду за те же деньги (GPU и особенно TPU), но в значительной мере результат обусловлен тем, что исследователи используют все большее число параллельно работающих процессов и готовы платить за это.

Исторические этапы

Соотнеся полученный график с историей развития машинного обучения и специализированных архитектурных решений информационных систем последних лет, можно выделить следующие этапы:

  • До 2012. В машинном обучении почти не используются вычислительные мощности графических процессоров.
  • 2012–2014. Инфраструктура обучения на нескольких графических процессорах еще не общепринята, в среднем используется 1-8 графических процессоров, рассчитанных на 1-2 TFLOPS.
  • 2014-2016. Представлены широкомасштабные результаты параллельного использования 10-100 графических процессов.
  • 2016-2018. Подходы, связанные с решением трудностей алгоритмического параллелизма, а также создания специализированных тензорных процессоров значительно ослабили прежние ограничения.

Технологии AlphaGoZero / AlphaZero стали наиболее заметными примерами использования массивного алгоритмического параллелизма, однако соответствующая архитектура теперь доступна и для промышленных решений.

Что нас ждет дальше?

Есть несколько причин полагать, что тренд, приведенный на графике, сохранится в дальнейшем. Многие стартапы в области архитектур информационных систем проектируют процессоры специально под задачи ИИ, с повышенными значениями FLOPS на единицу мощности (что коррелирует с FLOPS/$). Кроме того, некоторые алгоритмические новшества в области параллелизма, принципиально могут быть перенесены и на более старые архитектуры массивов вычислительных мощностей.

С другой стороны, предел стоимости вычислений пока далеко не достигнут. Авторы анализа оценивают, что наиболее крупные модели для обучения требуют в настоящий момент аппаратных средств стоимостью в несколько миллионов долларов (хотя их амортизационная стоимость существенно ниже), при этом большинство вычислительных мощностей относительно нейронных сетей до сих пор тратится не на обучение, а на развертывание для конечных пользователей. Таким образом, результат улучшения качества моделей за счет прироста вычислительных мощностей выглядит разумным и экономически оправданным решением.

Подробнее ознакомиться с результатами анализа и методом расчета можно в оригинальном источнике.

Другие материалы по теме

МЕРОПРИЯТИЯ

Комментарии

ВАКАНСИИ

Добавить вакансию
Frontend разработчик
от 140000 RUB до 180000 RUB
Team Lead
по итогам собеседования
Data Scientist
Москва, от 200000 RUB до 270000 RUB

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ