Компания Google открыла исходные тексты фреймворка ReFr

🕛 05.10.2012, 15:50

Компания Google открыла под лицензией BSD код фреймворка ReFr (Reranker Framework), предназначенного для создания, использования и "обучения" моделей переранжирования (reranking), позволяющих изменить весовые характеристики уже отранжированной серии входящих значений, используя для выбора дополнительные весовые характеристики и параметры, которые не были доступны при выполнении первого ранжирования. Такими параметрами могут выступать вероятностные показатели того или иного состояния значений, полученные на основе "обучения" на основе ранее обрабатываемых результатов ранжирования. Код ReFr написан на языке C++ и оптимизирован для работы в распределённых системах и параллельной обработки больших объемов данных (поддерживается работа с Hadoop).
Фреймворк ReFr подходит для решения таких задач как выбор варианта в системах машинного перевода или распознавания речи, в которых, как правило, генерируется несколько гипотез для каждого объекта распознавания. Для более точного смыслового подбора варианта в этой ситуации дополнительно могут быть учтены вероятностные характеристики, полученные на основе обучения системы по базе изначально корректных материалов (например, можно принять во внимание какой из вариантов фигурирует чаще в других переводах с учетом соседних слов). Другой пример использования ReFr - исключение аномальных значений в выборке, не наблюдаемых в прошлых выборках.