Исландия – островное государство в Северной Атлантике с богатой культурой и активной технологической индустрией, однако её коренной язык, исландский, находится под угрозой исчезновения из-за широкого распространения английского и других иностранных языков. Чтобы сохранить уникальность исландского языка, правительство страны, через Департамент языкового планирования, активно создает новые исландские термины вместо заимствований. Например, слово «компьютер» переведено как «tölva» – что буквально означает «числовая прорицательница».
В рамках инициативы, запущенной президентом Исландии Гудни Т. Йоханнессоном и при поддержке частного сектора, Исландия сотрудничает с OpenAI для использования GPT‑4 в сохранении и развитии исландского языка. Цель этого партнерства – не только расширить возможности GPT‑4 для работы в новом регионе, но и создать ресурсы, способные продвигать сохранение других языков с ограниченными ресурсами.
Проблема заключается в том, что большинство обучающих данных GPT составляют английский и другие крупные языки, что ограничивает его понимание и возможности генерации текста на исландском. Даже GPT‑4, хоть и значительно лучше своих предшественников, иногда выдает ошибки в грамматике и культурных нюансах. Для решения этой задачи Вильхьялмур Торстейнссон, CEO компании Miðeind ehf, собрал команду из 40 добровольцев, чтобы с помощью метода обучения с подкреплением от обратной связи (RLHF) дообучить GPT‑4 на правильной исландской грамматике и культурных знаниях.
В результате, после одной итерации RLHF, модель стала значительно точнее, что позволяет ей поддерживать наиболее сложные и творческие приложения на исландском языке. Такой подход предоставляет возможность исландским компаниям в скором времени внедрять GPT‑4 в своих интерактивных приложениях на родном языке, обеспечивая тем самым сохранение культурного наследия в цифровую эпоху.
«Мы рады, что наши усилия по обучению одной из самых мощных языковых моделей миру на нашем языке дают реальные результаты. Мы надеемся, что это станет примером для других малоресурсных языков и поможет создать равные условия для всех», – говорит Вильхьялмур Торстейнссон.
Таким образом, сотрудничество с OpenAI позволяет Исландии не только сохранить свой уникальный язык в условиях глобальной цифровизации, но и продемонстрировать, как передовые технологии могут поддерживать культурное наследие и экономическое процветание.