С 2013 года Совет Федерации РФ вел свои фотоархивы на ресурсе flickr.com , однако из-за блокировок российских пользователей в иностранных сервисах, Совфед был в поисках отечественной альтернативы. Это было связано как с требованием к безопасности, так и, самое главное — с гарантией сохранности доступов к материалам.
Главное требование к решению
Миграция с Flickr с сохранением данных об изображениях.
Понятно, что для медиапортала важнейшего законодательного органа страны необходимо решение, которое дает доступ не только к самим файлам. Все активы должны иметь текстовые описания и техническую информацию: где, когда и какое событие изображено, кто создатель изображения и когда было создано, на каких правах можно использовать и т.д. В статье эту описательную информацию будем называть метаданными (подробнее мы уже рассказывали в этой публикации).
На момент переноса в феврале 2022 году архив Совета Федерации составлял около 90 тыс. изображений. Существенно осложнял миграцию тот факт, что flickr не имеет никаких инструментов для миграции. Важной частью работы было именно сохранение существующих активов и перенос их в новую систему, поскольку все фото и видеоматериалы — это история становления и развития государственного органа. Нельзя было допустить потерю этих данных.
Рис. 1 и 2. Изображение и его метаданные в интерфейсе flickr.com
Миграция
Сложности
Существует множество проблем в работе с метаданными изображений. Самая распространенная — сервисы позволяют редактировать данные в своем интерфейсе, но не извлекать для использования в сторонних приложениях.
Flickr, во-первых, при загрузке изображений не считывал часть информации стандарта IPTC, поэтому вносить ее приходилось вручную. Для этого фотослужба вносила правки в метаданные альбомов, которые автоматически применялись ко всем изображениям в альбоме.
Во-вторых, при извлечении метаданные изображения сохранялись в другую базу данных.
Как переносили изображения
Для переноса был использован продукт собственной разработки “Коллектор”.
“Коллектор” — это уникальный инструмент сбора и потоковой обработки изображений из открытых источников. Он умеет обрабатывать метаданные изображений по заданным правилам, проводить манипуляции с текстом, например, перевод на другие языки, а также исправлять некорректные кодировки. После обработки “Коллектор” отправляет материалы на указанный FTP-сервер. Таким образом, материалы, опубликованные на Flickr в открытом доступе, были перенесены на FTP-сервер, а затем в систему Picvario по протоколу FTP. Для этого использовался штатный функционал системы по работе с внешними хранилищами, который позволяет в потоковом режиме импортировать контент с FTP, S3 и всех основных облачных хранилищ.
Как сохранили метаданные
Чтобы не потерять метаданные изображений, был написан специальный скрипт, который брал “Название альбома” во Flickr и дублировал эту информацию в поле “Название” каждой фотографии. Затем после загрузки в Picvario был настроен рабочий процесс, который сгруппировал изображения в тематические коллекции по “Названию”. Таким образом, удалось сохранить наработанные за 9 лет подборки с информацией о событиях.
Рис. 3. Проблема при миграции и решение
Работа с новым контентом
Каждое утро согласно планированию мероприятий фотослужба получает список мероприятий на день и распределяет фотографов. По итогам событий они получают материалы на флеш-картах, проводят предварительный отбор, цветокоррекцию и описывают метаданные в Фотомеханике:
- Название съемки;
- Описание съемки, в котором больше деталей о том, как это мероприятие называется, кто в нем принимает участие, в рамках какого общего мероприятия это происходит;
- ФИО фотографа;
- Credit Line (IPTC) для информирования поисковой системы о кредите фотографа, когда фотография публикуется в Интернете — указывается пресс-служба Совета Федерации;
- Автоматически с EXIF метаданных камеры считывается дата съемки.
После этого контент загружается в Picvario. Так как Picvario умеет “читать” и “понимать” международные стандарты метаданных изображений EXIF, IPTC, xmp, то в систему файлы загружаются уже с указанной выше информацией. Создается соответствующая коллекция с событием. Picvario умеет автоматически распознавать лица с помощью искусственного интеллекта, это важно для дальнейшего поиска. После загрузки сотрудники фотослужбы проверяют, что все лица правильно “считались”, а также заводят в системе впервые загруженные персоналии. Если человека в базе нет, его нужно описать, чтобы в будущем система этого человека узнавала.
Рис. 4 Распознавание лиц на изображении в Picvario.
Доступность для СМИ и внешних пользователей
В отличие от ограниченных возможностей Flickr в вопросе прав доступа, в Picvario есть функция их тонкой настройки: можно раздать права пользователю, группе, организации или управлять доступами к определенному контенту. На портале Flickr Совета Федерации была доступна единственная настройка — контент опубликован с возможностью скачивания оригинала для всех в равной степени.
- После миграции в Picvario фотослужба Совета Федерации получила широкие возможности управления правами доступа к активам. Благодаря возможности регистрации пользователей теперь появилась понятная и прозрачная статистика использования фотоматериалов. Публичным контентом может пользоваться любой желающий: фотобанк доступен на официальном сайте Совета Федерации в блоке социальных сетей. В публичном доступе есть возможность скачать только уменьшенную версию файла или так называемую “прокси” версию, при этом в доступе без авторизации находится ограниченное количество активов.
Рис. 5 Публичный фотоархив Совета Федерации структурирован в самые популярные коллекции
Picvario позволяет настроить возможность регистрации внешних пользователей. После регистрации пользователь автоматически получает права гостевой группы, а администратор уведомление. При необходимости есть возможность установить валидацию пользователей.
Совет Федерации создал гостевую группу пользователей с доступом к скачиванию оригинальных изображений. Это позволяет журналистам, помощникам сенаторов, региональным сотрудникам и всем желающим:
- Иметь постоянный доступ к контенту. Все вовлеченные в процесс участники уже знают, как попасть в фотобанк, и, после определенного мероприятия, легко находят нужное событие в строке поиска и скачивают файлы самостоятельно.
- Экономить время и силы, минуя ручные запросы на предоставление материала в службы Совета Федерации.
На время подготовки публикации в системе были зарегистрированы 242 внешних пользователя.
Рис. 6 Группы прав в фотобанке Совета Федерации, в том числе и гостевая группа с внешними пользователями, которая насчитывает 166 человек.
Итоги внедрения
За чуть более год использования фотобанк Совета Федерации активно используется. Ниже приведем данные из аналитической системы, которая интегрирована в Picvario:
- >1000 поисковых запросов осуществляется ежедневно в системе;
- > 1 терабайта общий объем хранимых изображений;
Рис. 7 Статистический модуль в Picvario c данными об использовании за 30 дней
- 242 внешних пользователей: СМИ, партнеров, помощников сенаторов и других, зарегистрировано в фотобанке,
- > 1900 изображений — среднее количество скачиваний ежемесячно.
Рис. 8 Динамика скачиваний изображений по месяцам
Несмотря на то, что у Совета Федерации была одна главная цель — заменить иностранное программное обеспечение, бильд-редакторы фотослужбы Кузнецова Влада и Евгений Егоров отметили такие плюсы от использования Picvario как:
- корректное чтение международных стандартов метаданных изображений EXIF, IPTC, xmp,
- возможность управлять правами на контент,
- автоматическое распознавание лиц, которое расширяет возможности поиска по персонам на изображениях.
Этих функций в ранее используемом Flickr фоторедакции не хватало.
Если у вас есть задачи по организации корпоративного контента, оставляйте заявку на сайте Picvario. В нашем портфеле заказчиков не только государственные учреждения Совет Федерации и ГлавУпДК при МИД России, но и другие отрасли: промышленные компании, СМИ, учебные учреждения, спортивные клубы, компании электронной коммерции и другие. Будем рады продемонстрировать возможности системы и предложить решение.