На этой неделе стартап Symbolica AI получил $33 млн на разработку ИИ с принципиально новой (по сравнению с трансформерами) архитектурой. Компания намерена решить дорогостоящие проблемы, связанные с обучением и развертыванием больших языковых моделей, подобных GPT-4, Claude 3 и Gemini. Сейчас трансформеры являются самыми востребованными моделями, но у них множество недостатков – они чрезвычайно сложны, дороги в разработке, обучении и эксплуатации, требуют огромного количества данных и энергии, их сложно проверять, и они имеют тенденцию к галлюцинациям.
Symbolica использует структурированные модели, которые определяют задачи путем манипулирования символами, в отличие от трансформеров, которые используют контекстуальные и статистические отношения между входными данными и учатся на основе предыдущего контента, предоставленного им. Символы представляют собой набор правил, позволяющих предварительно обучать их для выполнения определенных задач – например, для написания программного кода или обработки текста.
Символьные модели используют математические структуры, которые определяют взаимосвязь между символами в соответствии с концепцией, известной как категориальное глубокое обучение. В недавно опубликованной совместно с Google DeepMind статье разработчики объяснили, что структурированные модели категоризируют и кодируют базовую структуру данных, что позволяет им работать с меньшей вычислительной мощностью и использовать меньше данных по сравнению с большими сложными моделями без структуры, такими как GPT.
По словам гендиректора Symbolica Джорджа Моргана, при должном использовании этого подхода к глубокому обучению вполне возможно наделить небольшую модель уровнем логических рассуждений, на которые сейчас способны только GPT-гиганты.
Более того, компания планирует создать набор инструментов, который позволит разрабатывать интерпретируемые модели – чтобы пользователи всегда могли проследить, что именно модель знает и как она пришла к определенному выводу. Это обеспечит высокую прозрачность и безопасность моделей, и значительно упростит процесс мониторинга и отладки.
Интерпретируемость – еще одно весомое преимущество символьных моделей перед трансформерами. Прозрачность необходима для создания продвинутого ИИ, и жизненно важна для отраслей с высоким уровнем регулирования, где ошибки могут привести к катастрофическим последствиям (здравоохранение, оборона и финансы).
Этот материал взят из нашей субботней email-рассылки, посвященной ИИ. Подпишитесь, чтобы быть в числе первых, кто получит дайджест.
Комментарии