Как загрузить файлы с удаленного сервера без потери данных
Скачивание файлов с удаленного сервера может быть сложной задачей, особенно если соединение прерывается. В этой статье мы рассмотрим, как эффективно загрузить файлы из каталога, используя инструменты, такие как sftp и lftp, а также предоставим советы для тех, кто часто сталкивается с проблемами соединения.
Предварительная настройка
Перед началом загрузки важно убедиться, что у вас есть доступ к удаленному серверу и необходимое программное обеспечение. В данном случае, мы будем использовать sftp и lftp, которые позволяют работать с удаленными файлами через SSH.
Загрузка файлов с помощью SFTP
Предположим, все необходимые файлы хранятся в каталоге с именем 00_fastq, где содержатся файлы, имена которых выглядят следующим образом:
- 142_R2_001.fastq.gz
- 143_R1_001.fastq.gz
- 143_R2_001.fastq.gz
- 144_R1_001.fastq.gz
- 144_R2_001.fastq.gz
- 147_R1_001.fastq.gz
Для начала попробуем загрузить весь каталог с помощью команды:
sftp> get -r 00_fastqОднако, если вы потеряли соединение во время загрузки, вы можете использовать опцию -a, чтобы возобновить загрузку и пропустить уже загруженные файлы:
sftp> get -ar 00_fastqИспользование LFTP для более эффективной загрузки
Если вы предпочитаете работать с lftp, установите этот инструмент и воспользуйтесь командой mirror, чтобы загрузить недостающие файлы. Это команда выглядит следующим образом:
$ lftp sftp://data.example.com
lftp> mirror -v 00_fastqLFTP имеет дополнительное преимущество: он поддерживает использование подстановочных знаков, что позволяет вам легко загружать группы файлов. Например, вы можете перейти в каталог и использовать следующие команды:
lftp> cd 00_fastq
lftp> lcd 00_fastq
lftp> mget 1[4-9]*
lftp> mget [2-9]*Советы по улучшению стабильности соединения
Если вы часто теряете соединение с сервером во время загрузки, рассмотрите возможность использования tmux или screen. Эти инструменты позволяют создать сессию, которую вы сможете повторно подключить позже. Запустив sftp или lftp в сеансе tmux, вы избежите прерывания загрузок, даже если ваше соединение временно пропадет.
Заключение
Загрузка файлов с удаленного сервера может привести к разочарованиям, но используя правильные инструменты и команды, вы можете упростить этот процесс. Sftp и lftp предлагают множество функций, которые делают загрузку более гладкой, включая возможности возобновления и фильтрации файлов. Не забывайте использовать tmux или screen для стабилизации вашего рабочего процесса при работе с удаленными серверами.
