Twitter подключил машинное обучение, чтобы обрезать для превью самую интересную часть изображения

Популярная социальная сеть Twitter сообщила об очередном нововведении, которое призвано сделать любимую соцсеть Илона Маска еще лучше. Говоря конкретнее, разработчики внедрили алгоритмы машинного обучения для автоматического создания интересных превью к изображениям Twitter. По словам разработчиков, система на базе нейросетей «знает», какая именно часть изображения будет наиболее цеплять глаз.
И хотя о самом инструменте Twitter стало известно только сейчас, его разработка ведется уже давно. Как рассказывают разработчики, они начинали с распознавания лиц, но это метод подходил только для снимков, на которых есть лица людей, но не для изображений с пейзажами, животными и другими объектами. Тогда они решили использовать методику значимости. Ее суть в выборе наиболее значимого участка изображения вне зависимости от сцены и объектов.
Разработчики создали нейросеть и натренировали ее определять на снимках самые интересные детали. В качестве тестовых данных использовались результаты академических исследований, которые проводились как раз с целью того, чтобы понять, на что в первую очередь люди смотрят на фотографиях. Таким образом они обучили нейросеть предугадывать то, что люди захотят увидеть в первую очередь.

После долгих тренировок разработчики принялись оптимизировать систему для работы на сайте в реальном времени. К счастью, обрезка превью для изображения – задача, которая не требует высокоточной настройки и оставляет поле для творчества. И это позволило сузить список оценочных критериев к минимуму и задействовать методику, известную как Knowledge Distillation. В итоге им удалось сделать нейросеть в десять раз быстрее, чем она была изначально.
Вот пример результата работы нейросети (первый ряд картинок – до внедрения алгоритма, вторая – после):
title="Twitter подключил машинное обучение, чтобы обрезать для превью самую интересную часть изображения"
На этой неделе Twitter приступила к внедрению функциональности на сайте и мобильных приложениях для пользователей по всему миру. Так что когда в следующий раз увидите интересное превью, которое заставит вас кликнуть на изображения, чтобы посмотреть его целиком, обязательно вспомните о пользе нейросетей.
Одновременно Bloomberg сообщил о еще одном инструменте, который в будущем может появится в Twitter. Речь о функции, которая облегчит добавление видеороликов на сайт. Сейчас для добавления видео путем встраивания в твит или запуска прямой трансляции из приложения пользователю нужно совершить несколько действий, тогда как у конкурентов Snapchat и Instagram все делается в одно нажатие или свайп. Якобы Twitter уже подготовил демо-версию функции, которая упростит обмен видео, но ее дизайн пока не утвержден и пока неясно, когда она может быть запущена и будет ли запущена вообще.
Источник: Twitter, The Verge (1 и 2)

Также по теме: