Кратко рассмотрен анализ компании OpenAI относительно основных закономерностей роста вычислительных мощностей в области ИИ.

Современное состояние вычислительных мощностей в ИИ

Три фактора, стимулирующих развитие искусственного интеллекта, это:

1. Новые алгоритмы.
2. Данные контролируемого обучения или получаемые от среды.
3. Доступная для обучения вычислительная производительность.

Инновациям в области алгоритмов и данных трудно сопоставить численный эквивалент, в то время как в оценке вычислительных мощностей нет никаких сложностей. Разумеется, использование емких вычислительных массивов иногда раскрывает недостатки современного инструментария алгоритмов, но в крупных областях сложность вычислений обычно приводит к повышению производительности и дополняет алгоритмические достижения.

Анализ использования крупнейших экспериментов по искусственному интеллекту с 2012 года показывает экспоненциальный рост с удвоением вычислительных мощностей каждые 3.5 месяца. Для сравнения в законе Мура удвоение происходит лишь каждые 18 месяцев. Рост вычислительных мощностей является ключевым компонентом прогресса в области ИИ, и, пока эта тенденция продолжается, стоит приготовиться к появлению систем, выходящих за пределы текущих возможностей.

На диаграмме выше, являющейся основным результатом анализа, показано изменение общего объема вычислений в петафлопс-днях (один петафлопс-день соответствует суткам вычислений, совершаемых со скоростью 10¹⁵ операций нейронной сети в секунду, то есть порядка 10²⁰ операций). Такого рода единицы информации используются из соображений, аналогичных применению кВт-часов для расчета электроэнергии. Важны не пиковые значения FLOPS аппаратного обеспечения, а количество выполненных операций.

Число операций, приходящиеся на модель, сильно зависит от суммарного объема расчетов, поскольку ограничения на параллелизм (как аппаратные, так и вычислительные) ведут к соответствующим ограничениям, накладываемым на объем успешно обучаемой модели. Безусловно, важные прорывы в области ИИ до сих пор случаются и для моделей с небольшими объемами вычислений, но рассматриваемый анализ посвящен именно вопросу пределов необходимых вычислительных мощностей.

Приведенная выше тенденция показывает десятикратный рост в течение каждого года. Частично это обусловлено "железом", позволяющим производить все больше вычислительных операций в секунду за те же деньги (GPU и особенно TPU), но в значительной мере результат обусловлен тем, что исследователи используют все большее число параллельно работающих процессов и готовы платить за это.

Исторические этапы

Соотнеся полученный график с историей развития машинного обучения и специализированных архитектурных решений информационных систем последних лет, можно выделить следующие этапы:

• До 2012. В машинном обучении почти не используются вычислительные мощности графических процессоров.
• 2012–2014. Инфраструктура обучения на нескольких графических процессорах еще не общепринята, в среднем используется 1-8 графических процессоров, рассчитанных на 1-2 TFLOPS.
• 2014-2016. Представлены широкомасштабные результаты параллельного использования 10-100 графических процессов.
• 2016-2018. Подходы, связанные с решением трудностей алгоритмического параллелизма, а также создания специализированных тензорных процессоров значительно ослабили прежние ограничения.

Технологии AlphaGoZero / AlphaZero стали наиболее заметными примерами использования массивного алгоритмического параллелизма, однако соответствующая архитектура теперь доступна и для промышленных решений.

Что нас ждет дальше?

Есть несколько причин полагать, что тренд, приведенный на графике, сохранится в дальнейшем. Многие стартапы в области архитектур информационных систем проектируют процессоры специально под задачи ИИ, с повышенными значениями FLOPS на единицу мощности (что коррелирует с FLOPS/$). Кроме того, некоторые алгоритмические новшества в области параллелизма, принципиально могут быть перенесены и на более старые архитектуры массивов вычислительных мощностей.

С другой стороны, предел стоимости вычислений пока далеко не достигнут. Авторы анализа оценивают, что наиболее крупные модели для обучения требуют в настоящий момент аппаратных средств стоимостью в несколько миллионов долларов (хотя их амортизационная стоимость существенно ниже), при этом большинство вычислительных мощностей относительно нейронных сетей до сих пор тратится не на обучение, а на развертывание для конечных пользователей. Таким образом, результат улучшения качества моделей за счет прироста вычислительных мощностей выглядит разумным и экономически оправданным решением.

Подробнее ознакомиться с результатами анализа и методом расчета можно в оригинальном источнике.

Другие материалы по теме

• Блокчейн, ИИ, бессерверные вычисления: ТОП-10 технологий 2018
• Взгляд на основные тенденции в машинном обучении
• Мнения топовых людей из индустрии Data Science о развитии отрасли