Облачное хранилище медиаданных: зачем нужно и какое выбрать

Почему облачные хранилища стали стандартом хранения данных

Изначально в IT-системах для хранения данных использовали собственный файловый сервер: компьютер с большим объёмом памяти, установленный непосредственно в офисе компании. Однако чем дальше мы от начала нулевых, тем очевиднее недостатки такого подхода:

1. Объём данных, которые нужно хранить, растёт с каждым годом. Особенно это актуально для профильных компаний – например, СМИ, работающих с большим количеством медиаконтента. Собственные серверы в этом случае требуют слишком много внимания и ресурсов на обновление, расширение, обслуживание;
2. Зачастую работать с цифровым архивом приходится удалённо, а собственная инфраструктура далеко не всегда даёт все необходимые для этого инструменты и возможности;
3. Содержание собственных серверов заставляет выделить под эти нужды отдельное помещение, нанять одного или нескольких специалистов. Всё это требует существенных единовременных вложений, которые не всегда есть возможность совершить;
4. Свою инфраструктуру сложно масштабировать: если вам понадобилось временно увеличить объём хранящихся данных в 2-3 раза, придётся докупать новое оборудование, нужда в котором потом пропадёт.

Чтобы избежать всех этих проблем, бизнес всё чаще предпочитает не создавать свою IT-инфраструктуру, а использовать облачные хранилища. Это подтверждает и статистика: за 2020 год российский рынок облачных хранилищ вырос на 24% и продолжает рост.

Что такое «облако» 

Облачное хранилище данных – это объём памяти, который провайдер выделяет вам на своих серверах. Вы можете получить к нему доступ с любого устройства, подключенного к интернету: загружать новые файлы, скачивать и изменять старые, создавать резервные копии. При этом все заботы, относящиеся к аппаратной части – закупка и настройка оборудования, его обслуживание – ложатся на плечи провайдера. 

Сейчас наиболее популярными персональными хранилищами являются Яндекс.Диск, Google Drive, Dropbox и iCloud. Отдельно отметим, что популярность iCloud связана с экосистемой Apple, при которой пользователей буквально вынужден хранить свои медиа в облаке:

Пользоваться ими очень просто: регистрируете аккаунт, выбираете подходящий тариф и получаете доступ к удалённой папке, где и храните свои файлы.

Что касается оплаты, все эти сервисы работают по классической модели подписки – стоимость «облака» зависит от его объёма:

Для личного хранения медиафайлов – или для небольших архивов, не требующих активного управления – перечисленные сервисы вполне подходят: они обходятся недорого и позволяют хранить свои файлы в привычных папках, просто удалённых. Однако если речь заходит о работе с большим количеством контента, ситуация несколько меняется.

Эволюция облачных хранилищ: что не так с обычной файловой системой

С развитием интернета стандарт хранения данных постепенно сдвинулся от классических файловых серверов к облачным технологиям, но на этом развитие сферы не остановилось.

Изначально «облака» копировали традиционную для серверов систему:

1. Клиенту выделяется чётко определённый тарифом объём места. Например, у Яндекс.Диска стандартный тариф выделяет клиенту 100 гигабайт, а следующий по уровню – премиум – уже 1 терабайт. Если вам понадобится всего 300 гигабайт, платить придётся за всю 1000: то есть, вы оплачиваете пустующий объём в рамках установленного тарифа;
2. Облако имеет стандартную иерархию файлов: дерево каталогов. Сложность в том, что оно плохо подходит для большого количества параллельных обращений к файлам. Если у вас действительно масштабный архив с тяжеловесными оригиналами фото/видео в высоком разрешении, он начинает работать медленнее, появляются узкие места.

При работе с масштабными медиаархивами эти недостатки становятся критичными. Решение, позволяющее избавиться от перечисленных минусов, разработали в Amazon.

Переход от каталогов к S3: Simple Storage Server

В марте 2006 года Amazon представил облако нового поколения, которое назвал Simple Storage Server. Компания отказалась от обычной файловой системы с каталогами и длинными путями, заменив их на плоское адресное пространство. Его суть в том, что каждый файл получает свой личный идентификатор, и клиент может обращаться к нему напрямую. А для того, чтобы рассортировать эти файлы, используются метаданные: сопровождающая информация, описывающая их содержание и позволяющая разделить архив на категории.

Новая система получила название S3 или «объектное облачное хранилище». 

Преимущества объектных облачных хранилищ для хранения медиафайлов

Если говорить о плюсах, то технология S3 – это:

• Масштабируемость и скорость. Ключевое преимущество: не нужно выбирать тариф с определённым объёмом свободного места – вы получаете столько пространства для хранения файлов, сколько нужно. Масштабирование происходит буквально «на лету», вы платите только за то, чем пользуетесь.
• Оптимизация расходов. Не нужно тратить средства и силы на устройство собственной серверной и её обслуживание, нет переплаты за неиспользуемое пространство – вы покупаете именно ту услугу, которая вам нужна, и строго в необходимом объёме.
• Безопасность. Сохранность данных гарантируется системой управления доступом и шифрованием.
• Отсутствие «потолка». Максимального объёма практически нет: S3 способны работать с петабайтами данных. К примеру, ещё в 2017 году Haystack Facebook хранил 240 миллиардов медиафайлов – и ежедневно их число увеличивалось на 350 миллионов. Это 357 петабайт информации.
• Создание бэкапов. Автоматизированные объектные хранилища позволяют создавать бэкапы не только отдельных данных, но и всей рабочей инфраструктуры. В случае аварии система восстановит работоспособную версию с минимальным простоем.
• HTTP-доступ. API S3 позволяет получать доступ к файлам по HTTP. Это очень удобно: можно выложить редко обновляемые и постоянно нужные медиафайлы в облако, сэкономив пространство на сервере сайта. 
• Гибкое управление. Метаданные и автоматизация позволяют отслеживать пользование архивом, предоставляя нужную для аналитики информацию.

Впрочем, что касается последнего пункта, перспективы развития SImple Storage Server были очевидны с самого начала.

Облачные решения S3: не Амазоном единым

Сама идея легко масштабируемого хранилища оказалась настолько привлекательной, что к ней быстро подключились крупные провайдеры по всему миру. Они не имели права создать точную копию Simple Storage Server от Amazon, поэтому появилось понятие S3-совместимое облако.

К объектному облачному хранилищу нельзя получить доступ по привычному протоколу FTP, он не подходит для неструктурированной файловой системы. Применяется специальный API для управления данными – S3 API. Он и стал стандартом для нового сегмента систем хранения данными.

На сегодняшний день среди российских компаний популярны следующие S3 решения:

• Amazon – Amazon S3;
• Microsoft – Azure (Microsoft Blob Storage);
• Google – Google Cloud Storage;
• Mail.ru – Hotbox (Mail.ru Cloud Solutions);
• Yandex – Yandex Object Storage;
• Selectel – Selectel.

Все эти облачные хранилища совместимы с S3 API и поддерживают соответствующие сервисы аналитики или обработки файлов.

Цены и условия: выбираем объектное хранилище для бизнеса

Стоимость хранения файлов в S3 облаке зависит от четырёх основных параметров:

1. Объём данных. Чем больше информации вы держите на серверах провайдера, тем дешевле будет стоить каждый гигабайт;
2. Объём трафика. Тот же самый принцип: чем больше пользуетесь хранилищем, тем дешевле;
3. Использование API. Запросы к базе обычно тарифицируют по 1 000 или по 10 000 штук (PUT и GET учитывают отдельно);

Тип хранения данных. Холодные данные – файлы, к которым вы редко обращаетесь (например, бэкапы и архивы) – хранить дешевле, чем те, которыми постоянно пользуетесь.

У «большой тройки» тарифы выглядят очень похоже (цены указаны для горячих данных на октябрь 2021):

У каждой компании есть свои тонкости, тарифы зависят ещё и от местонахождения серверов, а также от других факторов, но общее представление о стоимости услуг эта таблица даёт. Рекомендуем перед выбором провайдера получить детальный расчёт по всем нужным вам параметрам – в том числе по количеству запросов API.

Управление медиаданными, которые хранятся в S3-облаке

Изначально «облака» были созданы для хранения данных, а не для их активного использования – предполагалось, что для этого пользователь будет скачивать нужные файлы себе на компьютер. Но в случае с архивами медиаконтента это неудобно: хочется иметь возможность быстро найти нужное фото по дате съёмки, фотографу, описанию или ключевым тегам.

Скачивать для такого поиска весь архив или просматривать его файл за файлом очень неудобно. Тем более, в S3 нет функции предпросмотра файлов, поэтому не получится даже точечно скачать нужные фото, придётся загружать архив целиком.

В итоге для того, чтобы пользоваться медиаконтентом в «облаке», нужны специальные программные решения, которые дают возможность просматривать, редактировать и добавлять метаданные EXIF и IPTC, XMP. Таким продуктом является DAM Picvario, которая имеет готовую интеграцию с любым S3-совместимым облаком или хранилищем Google Drive. 

Платформа даёт полный контроль над медиаконтентом, позволяет быстро искать нужный файл и обрабатывать метаданные файлов напрямую из вашего хранилища. Чтобы попробовать DAM в действии, просто оформите пробную подписку Picvario и подключите систему к вашему облачному хранилищу в личном кабинете – это делается в два клика!