История Databricks началась с профессионального разочарования. В 2013 году Али Годси и его команда, занимаясь исследованиями в Беркли, видели пропасть между тем, как технологические гиганты используют ИИ, и тем, что было доступно крупному бизнесу. Индустрия была сосредоточена на громоздких технологиях вроде Hadoop, а корпорации не проявляли интереса к инновациям.

Тогда они основали собственную компанию и десять лет спустя эта решимость привела к раунду финансирования Series K с оценкой более 100 миллиардов долларов. Успех подтвердил их правоту: бизнесу нужен практический ИИ, а не абстрактные обещания.

Сегодня, по мнению Годси, индустрия ИИ переживает принципиальный сдвиг. Эпоха, когда модели кардинально улучшались просто за счет увеличения бюджета на GPU и объемов данных, закончилась. Прогресс между поколениями флагманских нейросетей заметно замедлился. Крупные лаборатории теперь перераспределяют ресурсы в сторону методов, которые не просто увеличивают размер модели, а специализируют ее на конкретных задачах, например, с помощью обучения с подкреплением.

Годси не боится называть вещи своими именами, характеризуя текущий ажиотаж как «ИИ-пузырь». Он видит, как компании иногда покупают решения ради галочки или карьерного роста, а не реальной пользы. В противовес этому Databricks фокусируется на сценариях, где ИИ может напрямую влиять на выручку или издержки клиента.

Ключевое разочарование, которое он видит в индустрии, — погоня за созданием «богоподобного» интеллекта, способного побеждать в олимпиадах. Вместо этого его компания создала Agent Bricks — продукт, который родился из запроса на автоматизацию рутинных задач, таких как обновление поля в Salesforce. Суть в том, чтобы создать специализированные бенчмарки для таких «скучных» операций и оптимизировать под них ИИ-агентов, которые становятся цифровыми сотрудниками.

Внедрение таких агентов упирается в фундаментальные проблемы корпораций. Годси выделяет два главных препятствия: острую нехватку правильных талантов для реализации сложных ИИ-проектов и состояние инфраструктуры данных.

Ответом Databricks на это стала архитектура Lakehouse, где данные и инструменты для работы с ИИ существуют в единой, безопасной среде. Это позволяет гарантировать, что у агента будет доступ только к нужным данным, а у компании — контроль их использования.

Databricks строит не монолитный продукт, а открытую платформу. Компания сотрудничает с лидерами вроде Anthropic, OpenAI и Palantir, придерживаясь простой философии открытости. Это дает клиентам свободу использовать лучшую модель для каждой задачи, будь то рассуждения, генерация кода или анализ.

Такая гибкость стимулирует появление «вайб-кодинга» — быстрого прототипирования систем путем комбинации готовых инструментов. Интересно, что все чаще базы данных для таких систем создают не люди, а сами ИИ-агенты. Для этого в арсенале Databricks есть LakeBase — решение, заточенное под подобные сценарии.

Рост Databricks — это история не только внутренней разработки, но и стратегических приобретений, каждое из которых решало конкретную задачу. 

Покупка Mosaic AI позволила в рекордные сроки создать мощную исследовательскую лабораторию и целую линейку продуктов. Сделка с Tabular была превентивным шагом по объединению двух конкурирующих стандартов данных в один, что, по словам Годси, было выгодно клиентам, но «хуже для действующих игроков». А приобретение Neon связано с гипотезой о новом, растущем рынке баз данных, которые создаются и используются агентами.

Рассуждая о будущем, Годси высказывает парадоксальную, на первый взгляд, мысль. Он считает, что AGI (искусственный общий интеллект) в практическом смысле уже достигнут. Если бы чат-ботов 2023 года показали исследователям в 2009-м, они бы без колебаний признали это AGI. Индустрия же, постоянно двигая цель, изобрела новый термин — «суперинтеллект» (ASI) — который, по его мнению, останется недостижимым при нынешних подходах.

Поэтому его фокус — на горизонте 5–10 лет, где он видит не одного всемогущего «бога», а «миллионы эффективных цифровых сотрудников», множество специализированных моделей, решающих конкретные бизнес-проблемы.