Управление данными, файлами и каталогами - это одна из причин, по которым ИТ-организациям необходимы системные администраторы. У какого системного администратора не возникало необходимости обрабатывать все файлы в дереве каталогов, отыскивать или заменять некоторый текст, и если вам еще не пришлось писать сценарий, который переименовывает все файлы в дереве каталогов, скорее всего это ожидает вас в будущем. Эти умения составляют суть деятельности системного администратора или, по крайней мере, хорошего системного администратора. Здесь мы сосредоточим свое внимание на данных, файлах и каталогах.

Сисадмины постоянно должны перегонять данные из одного места в другое. Ежедневное перемещение данных у одних системных администраторов составляет большую часть их работы, у других меньшую. В индустрии производства мультипликационных фильмов постоянная «перегонка» данных из одного места в другое является необходимым условием, потому что для производства цифровых фильмов требуются терабайты и терабайты пространства. Различные требования предъявляются к операциям ввода/вывода на дисковые накопители, исходя из качества и разрешения изображения, просматриваемого в каждый конкретный момент времени. Если данные необходимо «перегонять» на жесткий диск для просмотра, чтобы к ним был постоянный доступ входе оцифровки, то объектами перемещения будут «свежие» несжатые или с незначительной степенью сжатия файлы изображений с высоким разрешением. Необходимость перемещения файлов обусловлена тем, что в анимационной индустрии вообще используются два типа накопителей. Существуют недорогие, емкие, медленные, надежные накопители и быстрые, дорогостоящие накопители, которые нередко

представляют собой JBOD («just a ьunch of dlsks» - простой дисковый массив), объединенные в массив RAID 0 для обеспечения большей производительности. Системного администратора, которому прежде всего приходится иметь дело с данными, в киноиндустрии часто называют «погонщиком данных».

Погонщик данных должен постоянно перемещать и переносить новые данные из одного места в другое. Часто для этого используются такие утилиты, как rsync, scp или mv. Эти простые, но мощные инструменты могут использоваться в сценариях на языке Python для выполнения самых невероятных действий.

С помощью стандартной библиотеки языка Python можно делать потрясающие вещи без дополнительных затрат. Преимущества стандартной библиотеки состоят в том, что ваши сценарии перемещения данных будут работать везде, независимо от наличия платформозави-симой версии, например, утилиты tar.

Кроме того, не забывайте про резервное копирование. Существует масса сценариев и приложений резервного копирования, для создания которых требуется смехотворный объем программного кода на языке Python. Мы хотим предупредить вас, что создание дополнительных тестов для проверки программного кода, выполняющего резервное копирование, не только желательно, но и необходимо. Вы обязательно должны провести как модульное, так и функциональное тестирование, если вы используете собственные сценарии резервного копирования.

Кроме того, часто бывает необходимо выполнить обработку данных до, после или в процессе перемещения. Конечно, Python прекрасно подходит для решения и таких задач. Инструмент дедупликации, то есть инструмент, который отыскивает дубликаты файлов и выполняет некоторые действия над ними, очень полезно иметь под рукой, поэтому мы покажем, как создать его. Это один из примеров работы с непрекращающимся потоком данных, с чем часто приходится сталкиваться системным администраторам.

Set as favorite

Bookmark

Email This

Hits: 240

Комментарии (0)

RSS feed Comments

Написать комментарий

Имя

Электронный адрес

Вебсайт

Заголовок

Комментарий

smaller | bigger

Subscribe via email (Registered users only)

I have read and agree to the Terms of Usage.

Добавить комментарий