С 2012 года Be My Eyes разрабатывает технологии для более чем 250 миллионов людей с нарушениями зрения. Этот датский стартап связывает слепых и людей с пониженным зрением с волонтерами, которые помогают выполнять повседневные задачи — от идентификации продуктов до навигации в аэропортах.
Теперь, благодаря новым возможностям визуального ввода GPT‑4 (в режиме предварительного исследования), Be My Eyes разработала Virtual Volunteer™, виртуального помощника, встроенного в приложение, который обеспечивает такой же уровень контекста и понимания, как у человеческого волонтера.
«За короткое время использования мы увидели беспрецедентную эффективность по сравнению с любыми другими инструментами распознавания изображений», – говорит Майкл Бакли, CEO Be My Eyes. «Это имеет огромное значение для глобальной доступности: в ближайшем будущем люди с нарушениями зрения будут использовать эти технологии не только для интерпретации изображений, но и для обретения большей независимости в жизни.»
Представьте, что кто-то отправляет фотографию содержимого холодильника. Технология GPT‑4 не просто распознает и называет продукты, но и анализирует, что можно приготовить из этих ингредиентов, позволяя затем запросить рецепт. Возможности практически безграничны.
«Это меняет правила игры», – отмечает Бакли. «Пользователь может переформулировать запрос, чтобы получить дополнительные полезные и практически применимые сведения почти мгновенно.»
В начале февраля компания начала бета-тестирование виртуального помощника с небольшой группой сотрудников, и результаты оказались настолько впечатляющими, что функция будет доступна пользователям уже через несколько недель.
Технический директор Be My Eyes, Йеспер Хвирринг Хенриксен, объясняет, что главное отличие GPT‑4 от других моделей заключается в её способности вести диалог и демонстрировать более высокий аналитический потенциал. «Базовые приложения по распознаванию изображений лишь сообщают, что находится перед вами, но не могут обсудить, соответствует ли, например, состав лапши требованиям или является ли объект на земле препятствием», – говорит он.
Одним из примеров является случай, когда пользователь смог ориентироваться в железнодорожной системе – задача, которая даже для зрячих может оказаться сложной – получив подробные пошаговые инструкции для безопасного перемещения.
Для людей с нарушениями зрения понимание информации на экране зачастую гораздо сложнее. Встроенные в операционные системы скрин-ридеры читают страницы по частям, что делает работу с изображениями ещё более затруднительной. Однако теперь с помощью GPT‑4 можно показать веб-страницу, и система, благодаря многочисленным часам обучения, понимает, какая информация наиболее важна, и суммирует её так, как это делает зрячий человек при сканировании страницы. Это не только упрощает задачи, например, чтение новостей онлайн, но и помогает людям, нуждающимся в визуальной поддержке, делать правильный выбор при покупках в интернете.
Технический директор Be My Eyes, Йеспер Хвирринг Хенриксен, объясняет, что главное отличие GPT‑4 от других моделей заключается в её способности вести диалог и демонстрировать более высокий аналитический потенциал. «Базовые приложения по распознаванию изображений лишь сообщают, что находится перед вами, но не могут обсудить, соответствует ли, например, состав лапши требованиям или является ли объект на земле препятствием», – говорит он.
Одним из примеров является случай, когда пользователь смог ориентироваться в железнодорожной системе – задача, которая даже для зрячих может оказаться сложной – получив подробные пошаговые инструкции для безопасного перемещения.
Для людей с нарушениями зрения понимание информации на экране зачастую гораздо сложнее. Встроенные в операционные системы скрин-ридеры читают страницы по частям, что делает работу с изображениями ещё более затруднительной. Однако теперь с помощью GPT‑4 можно показать веб-страницу, и система, благодаря многочисленным часам обучения, понимает, какая информация наиболее важна, и суммирует её так, как это делает зрячий человек при сканировании страницы. Это не только упрощает задачи, например, чтение новостей онлайн, но и помогает людям, нуждающимся в визуальной поддержке, делать правильный выбор при покупках в интернете.
«Это фантастическое развитие для человечества, но и огромная коммерческая возможность», – заключает Бакли.
Таким образом, Be My Eyes с использованием GPT‑4 значительно расширяет возможности людей с нарушениями зрения, предоставляя им доступ к важной информации и помогая им стать более независимыми.