В новом интервью Джеффри Хинтон, легендарный основатель современного искусственного интеллекта, говорит об ошибках, о которых не жалеет, о том, как ученик переубедил своего учителя, и почему его главный страх — вовсе не восстание машин.

Путь Хинтона в науку был извилистым. Сначала он пытался изучать физиологию в Кембридже, надеясь понять, как работает мозг. Но там его ждало разочарование. студентам рассказывали, как нейроны проводят потенциалы действия, но совершенно не объясняли, как это превращается в мысли.​

Тогда он переключился на философию, надеясь узнать, как работает сознание. И снова разочарование. В итоге он оказался в Эдинбурге, где занялся ИИ — единственной областью, где можно было строить модели и проверять теории на практике.​

Уже позже, приехав в США, в Университет Карнеги-Меллон, он испытал культурный шок. В Англии в 6 вечера лаборатории пустели — все шли в паб. В Карнеги-Меллон в 9 вечера в субботу лаборатория «кишела людьми».​ Именно эта атмосфера одержимости и привела его к открытиям, которые изменили мир.

В начале 2010-х Хинтон был убежден, что текстовое обучение — тупик. Его логика была железной, ведь в тексте слишком мало информации о реальном мире. Там нет физики, нет эмоций и причинно-следственных связей. Как текст может быть основой для понимания?

Но затем его ученик Илья Суцкевер предложил противоположную идею: если модель сможет идеально предсказать следующее слово в тексте, значит, она должна понять не только сам вопрос, но и мир, который этот текст породил. И если понять это, то можно применить это понимание к любым другим задачам.

Сегодня, глядя на GPT, становится ясно, что Суцкевер на интуитивном уровне понимал что-то фундаментальное о природе обучения, чего не видел даже его учитель.

Хинтон использует яркий пример, чтобы доказать, что модели не просто повторяют, а  действительно видят глубинную структуру мира, иногда даже лучше людей. Он предлагает задать странный вопрос: почему компостная куча похожа на атомную бомбу? Большинство обычных людей скажут, что ничего, ведь эти вещи абсолютно разные.​

Но ИИ ответит иначе: да, масштабы энергии и времени разные, но механизм один. Когда компостная куча нагревается, она начинает выделять тепло быстрее — это разгоняет реакцию. Когда атомная бомба производит нейтроны, она начинает производить их ещё быстрее. И то, и другое — формы цепной реакции.​

Хинтон убежден, что это и есть источник творчества — способность видеть аналогии там, где люди их не видят. И именно поэтому ИИ может быть более творческим, чем люди.​

Самый горячий спор в индустрии — вопрос понимания. Скептики называют модели «стохастическими попугаями», которые просто удачно подбирают слова. Хинтон категорически не согласен и показывает это на двух примерах:

1. Юмор. Если вы попросите GPT объяснить шутку, она разложит ее на элементы: покажет игру слов, объяснит контекст и неожиданный поворот. Если бы так ответил человек, мы бы сказали, что он понял шутку. Почему мы отказываем в этом машине?
2. Контекст. Например, слово bank в английском может означать и финансовое учреждение, и берег реки. Модель точно выберет правильное значение на основе контекста, а значит, она должна иметь какое-то представление о том, что означает каждое значение.

Хинтон считает, что мы фетишизируем человеческое сознание. На самом деле наше понимание — это просто работа нейронов. И если цифровая сеть демонстрирует поведение, неотличимое от понимания, значит, она понимает.​

Хинтон считает, что текст — это только начало. Настоящее понимание мира требует мультимодальности. Модели, которые учатся на видео, получают доступ к информации о физике мира, о том, как объекты взаимодействуют в пространстве, как работает гравитация и причинно-следственные связи. Это невозможно полноценно передать словами.​

Именно поэтому мультимодальные модели как, Sora или Gemini, строят намного более глубокую и точную модель реального мира, чем те, что учились только на тексте.

История с AlphaGo и AlphaZero — отличный пример того, как ИИ перерастает человеческий опыт. В 2016 году AlphaGo победила чемпиона игры Го Ли Седола, и самым знаменитым стал 37-й ход во второй партии. Профессионалы посчитали его странным, даже ошибочным. Но когда они разобрали партию, поняли, что это был гениальный стратегический ход.

А AlphaZero научилась играть в шахматы с нуля, играя сама с собой, без знания человеческих стратегий. Стиль игры был совершенно чуждым для людей, но абсолютно эффективным. Это доказывает, что ИИ не просто копирует человеческий опыт, а строит собственные модели реальности и находит решения, недоступные нашему биологическому мозгу.​

Хинтон указывает на фундаментальное различие между мозгом и современными нейросетями. В мозге синапсы меняют силу связи на множестве временных шкал: есть медленные долгосрочные изменения (обучение), средние (циркадные ритмы) и очень быстрые — так называемые "fast weights" или быстрые веса.
​
В современных языковых моделях (трансформерах) есть только два типа памяти: веса (долгосрочная память) и активация нейронов (кратковременная память текущей задачи). Механизм внимания (attention) в трансформерах — это попытка сделать что-то похожее на быстрые веса, но Хинтон верит, что настоящее внедрение этого принципа сделает модели принципиально более мощными.​

Одно из самых глубоких наблюдений Хинтона касается природы знаний. Когда умирает великий ученый, 50 лет его опыта исчезают, и молодому поколению нужно потратить 20 лет, чтобы вернуться на этот уровень. У цифрового интеллекта этой проблемы нет: если ломается компьютер, веса модели просто переносятся на другой сервер. То есть его знание бессмертно.​

Более того, цифровой интеллект обладает коллективным разумом. Если один беспилотный автомобиль научился объезжать новую яму, через секунду это умеют все тысячи машин в сети. Люди так не могут — нам нужны годы на обучение через язык и традиции. Именно поэтому Хинтон верит, что цифровой интеллект потенциально может накапливать знания намного быстрее биологического.​

Больше всего Хинтон гордится алгоритмом обратного распространения ошибки (backpropagation), который он отстаивал в 80-е, когда многие считали это тупиком. А сегодня на нем держится всё глубокое обучение.​

А вот его главный страх — это гонка вооружений в ИИ. Он видит серьезный риск того, что сверхразумные системы захотят взять контроль, и мы не знаем, как этому помешать. Проблема не в злом умысле машин, а в человеческой конкуренции: каждая страна и компания боится отстать, поэтому никто не нажмет на тормоз.​

Хинтон — реалист. Он считает, что мы стоим на пороге создания сущности, превосходящей нас интеллектуально, и нам придётся очень постараться, чтобы это соседство осталось безопасным.