Илья Суцкевер, сооснователь OpenAI и основатель Safe Superintelligence (SSI), дал развернутое интервью о том, почему просто увеличение данных и вычислительных мощностей перестало быть эффективным. Его понимание развития ИИ кардинально изменилось, и теперь он выбрал совершенно иную стратегию для своей компании. Ниже главное из этого разговора, от парадокса современных моделей до выбора научных идей по критерию их красоты.

Около десяти лет назад казалось, что прогресс в искусственном интеллекте будет бесконечным. Период с 2012 по 2020 год показал, что достаточно просто увеличивать количество данных и вычислительных мощностей, чтобы модели становились умнее. Но уже с 2020 по 2025 год этот подход практически себя исчерпал.

Это означает, что дальнейший прогресс не будет достигаться простым увеличением размера моделей или объема обучающих данных. Нужны качественно новые идеи, новые алгоритмы, новые способы организации обучения. К такому выводу Суцкевер пришел, опираясь на конкретное наблюдение за работой современных нейросетей.

Современные большие языковые модели демонстрируют странное поведение. Они могут пройти сложный экзамен по математике или физике, но легко ошибаются в элементарных логических выводах, которые делает ребенок. И это не просто баг в коде. Всё указывает на разрыв между тем, как обучаются нейросети, и тем, как обучается человеческий мозг.

Нейросеть запоминает огромное количество закономерностей и корреляций из данных, но не развивает глубокое понимание принципов устройства мира. Она может воспроизвести правильный ответ в контексте, похожем на обучающие данные, но не может применить это знание в новой ситуации.

Фундаментальная разница заключается в том, что человек учится через понимание принципов, а не через накопление примеров. Когда ребенок понимает концепцию причины и следствия, он может применить это понимание в бесконечном количестве новых ситуаций. Нейросети же требуют увидеть миллионы примеров, чтобы научиться обобщать. Это объясняет, почему нейросети требуют столько данных и почему простое увеличение их размера больше не дает того же эффекта.

Суцкевер убежден, что следующий прорыв будет связан с решением именно этой проблемы. Нужно создать системы, которые не просто запоминают корреляции, а развивают понимание причинных связей и принципов.

Альтернатива, которая меняет всю логику обучения, — Reinforcement Learning (RL). Это метод машинного обучения, при котором агент (система ИИ) учится принимать оптимальные решения, взаимодействуя со средой путем проб и ошибок и получая условные награды. Вместо того чтобы просто давать модели текст и ожидать, что она его запомнит, RL позволяет модели учиться, совершая выбор и получая обратную связь. Модель взаимодействует с миром или его симуляцией и учится на результатах своих действий. Это ближе к тому, как учится человек.

Благодаря RL модель начинает развивать стратегию, а не просто воспроизводить закономерности. Она может учиться на ошибках и улучшать свой подход. И индустрия это уже осознала: появились новые модели типа O1 (OpenAI), которые тратят больше времени на рассуждения перед ответом.

Философия переоценки обучения напрямую повлияла на стратегию Safe Superintelligence. Если простое масштабирование не работает, то логичный вывод один: нужно остановиться и переосмыслить все с нуля. Именно это выбрала SSI, в отличие от остальных в индустрии.

Это означает, что компания не будет отвлекаться на коммерческие приложения, пока не решит самые сложные научные вопросы. Такой подход огромной веры в правильность направления и финансовой независимости. В SSI примерно 50 сотрудников и достаточные ресурсы, чтобы фокусироваться на фундаментальной науке вместо коротких коммерческих циклов.

Конечно, конкуренты будут выглядеть прогрессивнее. В то время как OpenAI будет выпускать впечатляющие модели каждый квартал, а Google демонстрировать результаты, SSI будет выглядеть как скучная научная лаборатория. Но Суцкевер готов к этому, потому что верит, что настоящий прорыв придет из революционного понимания того, как организовано обучение и как создать систему, которая обучается так же эффективно, как человек.

Когда идей становится слишком много, а времени и ресурсов недостаточно, нужно выбирать, на что направить усилия. Суцкевер использует неожиданный критерий — ориентируется на красоту научной идеи.

Подход философский, но в нем есть глубокая логика. Красивые идеи часто указывают на глубокие принципы, лежащие в основе природы, будь то физика или информатика.Такое отношение к выбору научных направлений отражает его убежденность в том, что истина имеет эстетику. Природа и математика содержат внутреннюю гармонию, и когда теория согласуется с этой гармонией, то часто оказывается правильной. Это напоминает подход физиков вроде Ричарда Фейнмана или Альберта Эйнштейна, которые также ориентировались на элегантность решений.

В глубинах того, как работает современный ИИ, лежит концепция функции ценности, которая оценивает, хорошо ли модель решает задачу, и на основе этого оценивания модель улучшается. Но как определить правильную функцию ценности для суперинтеллекта — одним из ключевых вопросов.

Суцкевер считает, что правильное определение функции ценности для ИИ может быть таким же, как само создание интеллекта. Неправильная функция ценности может привести к тому, что очень умная система будет преследовать неправильные цели. Это напрямую связано с проблемой выравнивания ИИ с человеческими ценностями.

Суцкевер видит будущее не в замещении человека искусственным интеллектом, а в расширении возможностей через ИИ. Это долгожданный позитивный взгляд на взаимодействие двух видов интеллекта.

Искусственный интеллект может помочь человеку решать невероятно сложные задачи, расширить границы его мышления, предоставить новые инструменты для творчества и открытий. И в этой парадигме технология не враг, а расширение возможностей человеческого потенциала. Вопрос лишь в том, как правильно организовать это взаимодействие, чтобы обе стороны выиграли.