Чтобы ускорить передачу информации файлы передаются чем
Rsync — замечательная утилита для синхронизации файлов между файлами. Она отлично подходит для создания бекапов, резервных копий и просто для переброса произвольных файлов с сервера на сервер. Rsync не единственный в своём роде, у него множество альтернатив: FTP, SSH, FISH, SCP и другие. Однако, эр-синк превосходит их по скорости и возможностям.
Запускается таким образом:
где SRC и DEST могут быть как локальными файлами, так и адресами удалённых серверов в ssh-формате: [USER@]HOST:/path/to/files
Иначе говоря есть как минимум 2 стратегии передачи файлов:
- закачать файлы с текущего сервер на удалённый
- скачать файлы с удалённого сервера на текущий
Почему rsync работает медленно?
При копировании больших файлов, например, баз данных более 30 Гб скорость ближе к концу файла может падать до 5-10 Мб в секунду. Как это решить сейчас расскажу.
Однако, данный способ не рекомендуется использовать при медленной либо плохой сети, т.к. любой обрыв соединения приведёт к необходимости начать процесс передачи файла с самого начала.
Как сделать бэкап с помощью rsync
Допустим, вы зашли по ssh на server1 и хотите сделать полную копию директории /var/lib/data/ на server2. Тогда команда будет выглядеть так:
Опция -archive (-a) включает режим архивирования, что эквивалентно флагам -rlptgoD (без -H,-A,-X).
Альтернативный способ передачи файлов
В данном случае используется комбинированный подход. На исходном сервере файлы архивируются в stdout с помощью tar, затем передаются на целевой сервер и на лету разархивируются. Из недостатков перед rsync: теряются оригинальные метки создания и редактирования файла, а так же владелец и права доступа. В середине можно заметить вызовы команды pv, всё что она делает — отображает скорость данных проходящих между источником и приёмником. Её нужно устанавливать отдельно, если такой возможности нет, то команду pv можно смело удалить из цепочки.
По скорости этот метод может отличаться как в лучшую, так и в худшую сторону от rsync. Проверяйте оба способа, так как сильно зависит от характеристик серверов, дисков, сети между ними, количества, размера и содержимого файлов.
В настоящее время, в век популярности Интернет и разнообразного контента, в том числе медийного, размер которого в HD-качестве может занимать несколько Гигабайт, наиболее остро встала проблема скоростной передачи файлов по сети. В качестве примера можно рассмотреть работу новостной телестудии, где репортер, находясь на другом континенте, должен быстро передать снятый в высоком качестве репортаж в центральную студию для обработки и запуска в эфир. Понятно, что здесь скорость передачи играет ключевую роль, поскольку новость уже не будет новостью, если она появится через пару дней.
Или, например, в случае, когда плавучая бурильная установка, на которой есть только спутниковый канал, должна передать куб геофизических данных бурения скважины для интерпретации в высокопроизводительные вычислительные центры, каждый день задержки может привести к убыткам.
Первое, что приходит на ум — это воспользоваться протоколом FTP. И, действительно, FTP, работающий на базе Transmission Control Protocol (TCP), будет отлично справляться, если потребуется передавать файлы на небольшие расстояния или по “хорошей” сети. Но в приведенных выше примерах скорость протокола FTP будет очень низкой из-за неэффективной работы TCP на сетях с задержками и потерей пакетов. Увеличение канала при этом не решает проблему, и дорогой канал остается не утилизированным.
У протокола Aspera FASP нет недостатков TCP, и он максимально утилизирует любой доступный канал, увеличивая скорость передачи данных по сравнению с FTP в сотни раз. До появления Aspera, данные записывались на жесткие диски или ленты и передавались курьерами, что не очень быстро, кроме того существовал риск потери данных.
Аббревиатура FASP расшифровывается как fast, adaptive, secure protocol, что в переводе с английского означает быстрый, адаптивный и безопасный протокол. Быстрый, потому что эффективно использует всю доступную полосу пропускания; адаптивный, потому что адаптируется под состояние сети и при этом “дружественен” для другого трафика; а безопасный, потому что использует шифрование как при передаче, так и в “состоянии покоя”.
Для того, чтобы понять преимущества FASP, давайте вспомним как работает протокол TCP. В 70-х годах прошлого века перед учеными поставили задачу разработать протокол, который сможет перенести ядерный удар. Требовалось создать протокол, который смог бы безопасно передавать данные. Поэтому при создании TCP основные усилия были направлены на создание механизма именно надежной, а не скоростной передачи. В те годы не было ни мобильных, ни спутниковых сетей, а единственный трансатлантический канал из США в Европу имел скорость 64 Кбит/сек, что показывает состояние технологии на тот период. TCP был разработан так, что скорость передачи обратно пропорциональна расстоянию между конечными точками. Кроме того, в случае потери пакетов TCP считает, что канал перегружен, и самостоятельно уменьшает скорость передачи. Производительность TCP снижается с ростом расстояния передачи и из-за низкого качества сети. Чем больше расстояние, тем больше задержка, и тем ниже скорость передачи. Задержку обычно измеряют величиной Round-Trip Time (RTT). Это время, которое потребуется на отправку пакета и получение подтверждения от получателя. Задержка возникает из-за законов физики, ограничивающих скорость света или электромагнитного сигнала. Например, задержка при передаче по спутниковым сетям может достигать 800 мс. Более того, при передаче на большие расстояния по глобальной сети Интернет (WAN) пакет должен пройти через большое количество маршрутизаторов прежде, чем его получит получатель. Маршрутизатору требуется время на обработку пакета, а если он настроен неправильно или перегружен, может произойти потеря пакета. Чем выше количество потерянных пакетов, тем более затратной по времени становится передача. На рисунке 1 показано, что TCP имеет хорошую производительность в локальных сетях (LAN) относительно доступной пропускной способности сети, но, при этом, чем больше RTT и потеря пакетов, тем ниже будет производительность передачи.
Также, производительность протокола TCP не растет с увеличением канала. Другими словами, если у вас медленная передача на канале в 10 Мбит/c, нет никаких гарантий, что при увеличении канала до 1 Гбит/c скорость вырастет. Конечно, если необходимо передать файл на соседнюю улицу, рост производительности будет заметен, но, если стоит задача передать данные на большие расстояния, то увеличение канала до 1 Гбит/c, скорее всего, мало чем поможет.
Рисунок 1 Производительность TCP
TCP — сессионный протокол, т.е. при передаче он устанавливает соединение, как видно на рисунке 2. все отправленные пакеты получают подтверждение в виде ACK-пакетов. Задержка (RTT) составляет разницу во времени между отправкой пакета и получением подтверждения (ACK).
Рисунок 2 Обмен пакетами TCP
Рисунок 3 TCP Sliding Window
В случае обнаружения потери пакета/подтверждения, отправитель, используя AIMD алгоритм, уменьшает размер окна TCP вдвое или до нуля. Ситуация, когда отправитель не дожидается подтверждения доставки и уменьшает окно передачи, наиболее часто проявляется при передаче на большие расстояния, т.е. в сетях с большим RTT. При этом, если произойдет еще и потеря пакетов, скорость передачи уменьшится практически до нуля. Если представить скорость передачи протокола TCP в виде графика, получится так называемая “пилообразная” функция (sawtooth pattern).
Рисунок 4 TCP AIMD “Sawtooth” Pattern
Протокол FASP
Транспортный протокол Aspera FASP, в отличие от TCP, отлично работает в любой сети, обеспечивая гарантированную доставку. Этот протокол эффективно передает данные неограниченного объёма по глобальной сети Интернет, спутниковым и мобильным каналам, и при этом не снижает свой эффективности в сетях с повышенным RTT и потерей пакетов. Протокол обеспечивает максимальную скорость и механизм предотвращения перегрузки, а также контроль политик передачи, безопасность и надежность.
Рисунок 5 Производительность FASP
При работе в локальной сети разница между TCP и FASP не существенна, но, как только в сети между двумя конечными точками увеличивается RTT и потеря пакетов, производительность FASP становится существенно лучше, (рисунок 5). FASP передает данные быстрее, максимальным образом используя доступный канал передачи. При этом нет никаких ограничений в теоретической максимальной скорости передачи, которая скорее может быть ограничена аппаратными ресурсами, например, производительностью дисковой подсистемы. Передача по протоколу TCP показывает “пилообразный” график, чего вы никогда не увидите в FASP, где скорость передачи выйдет на заданный уровень (Target Rate) и будет его придерживаться вне зависимости от наличия потерянных пакетов. Конечно, потерянные данные будут переданы заново, но это не окажет влияния на производительность передачи. Используя Aspera FASP можно гарантировать предсказуемое время передачи независимо от качества сети.
Протокол FASP работает на базе протокола UDP (User Datagram Protocol) на транспортном уровне модели OSI, а, так как UDP не гарантирует доставку, то алгоритмы предотвращения перегрузки и управление передачей реализованы на прикладном уровне.
FASP не использует механизм окна TCP и не зависит от расстояния передачи. Передача начинается на определённой скорости и отправляет данные на скорости, рассчитанной математическим алгоритмом. Протокол FASP использует механизм негативных подтверждений (NACK); это означает, что, при наличии потерянного пакета, получатель сообщит, что не получил этот пакет, при этом отправитель будет продолжать передачу. FASP, в отличие от TCP, не ожидает получения подтверждения, прежде чем выслать следующие данные. Поскольку для передачи файлов не важно, в какой последовательности придут пакеты, передача данных не останавливается при потерях пакетов, как это происходит в TCP. Данные эффективно продолжают передаваться на высокой скорости. Отправитель заново вышлет лишь потерянный пакет, а не все окно пакетов, как в TCP, не останавливая при этом текущую передачу. Использование протокола FASP позволяет свести к минимуму передачу служебной информации (overhead), позволяя получить цифру меньше, чем 0,1% при 30%-й потере пакетов.
Рисунок 6 Утилита сравнения производительности Aspera и TCP
На рисунке 6 приведено сравнение скорости передачи файла, размером в 100 Гбайт в сети с пропускной способностью 100 Мбит/c, RTT равным 150 мс, и 2%-й потерей пакетов. Как видно, эффективная скорость передачи файлов равна 98 Мбит/c при использовании Aspera FASP, и 0,7 Мбит/c при использовании протокола TCP.
Отказ от использования избыточных алгоритмов контроля скорости и надежности протокола TCP, позволяет протоколу FASP не снижать скорость передачи при потере пакетов. Потерянные данные отсылаются на доступной для канала или заданной скорости, без отправления повторных данных.
Доступная полоса пропускания канала определяется на основе механизма управления скоростью FASP. Адаптированный механизм управления скоростью в протоколе FASP на постоянной основе отсылает пробные пакеты, с помощью которых измеряется так называемая задержка нахождения в очереди (queueing delay). Т.е., когда пакет попадает на маршрутизатор, его нужно обработать и переслать. Т.к. маршрутизатор может обработать один пакет в единицу времени, то, при получении пакета раньше, чем его сможет обработать маршрутизатор, пакет помещается в очередь. Таким образом, формируется задержка нахождения в очереди. FASP использует измеренные значения задержки нахождения в очереди как главный индикатор перегрузки сети (или дисковой подсистемы). Сеть постоянно опрашивается, скорость передачи увеличивается при уменьшении значения задержки нахождения в очереди ниже целевого значения (показывает, что канал не полностью утилизирован и необходимо поднять скорость) и уменьшается при увеличении размера задержки нахождения в очереди выше заданного уровня (показывает, что канал полностью утилизирован и возможна перегрузка). Постоянно отсылая в сеть пробные пакеты, FASP получает точные значения задержки в очереди на всем маршруте передачи. При увеличении задержки в очереди, сессия FASP уменьшает скорость передачи пропорционально разнице между целевой и текущей задержкой в очереди, позволяя не перегружать сеть. При снижении нагрузки на сеть, сессия FASP быстро увеличивает скорость пропорционально целевой задержке, утилизируя при этом почти 100% доступной пропускной способности канала.
Кроме эффективной утилизации канала, основанной на измерении задержек в механизме управления скоростью, FASP позволяет равномерно делить полосу пропускания с другим трафиком TCP, а также задавать приоритеты на различные передачи файлов.
Альтернативные технологии и FASP
На сегодняшний день существуют различные технологии ускорения передачи данных по WAN, например, технология сжатия (пр. Riverbed, Silverpeak). Данная технология заключается в компрессии файлов у отправителя и дальнейшей декомпрессии у получателя. Т.е., на самом деле, вы не ускоряете передачу данных в чистом виде, а просто пересылаете меньше данных по сети WAN. Но возможны сценарии, когда файлы не могут быть сжаты, или они уже заархивированы или зашифрованы — в этом случае роста производительности не произойдет.
Другая технология — это Traffic Shaping. В ней на разные типы траффика выставляется разный приоритет. Например, имеет смысл выставить высокий приоритет на трафик приложений, с которыми работает команда менеджеров по продажам, поскольку этот трафик является критичным для бизнеса. Трафику из системы SAP или электронной почты можно задать средний приоритет, а просмотру WEB страниц низкий. Понятно, что это позволяет настроить качество сервиса на определенные задачи, но этот метод не имеет никакого отношения к ускорению передачи данных.
Еще один метод ускорения передачи – это кэширование. Идея данного способа заключается в том, чтобы кэшировать данные, которые часто передаются по сети. Программно-аппаратный комплекс, который стоит на стороне отправителя опрашивает программно-аппаратный комплекс на стороне получателя на предмет наличия у него передаваемого файла или его части, и, в случае, если они имеются, то файл не передается, а извлекается из кэша. Недостатками этого метода являются дорогое оборудование: программно-аппаратный комплекс, который нужно установить в каждой локации, и подход “все или ничего” (метод не работает в случаях, если объект не найден в кэше или был изменен).
Позиционирование протокола FASP отличается от перечисленных выше методов, так как протокол максимально эффективно утилизирует доступную полосу пропускания, гарантированно передавая данные на допустимо возможной скорости.
Читайте как настроить оптимальную производительность внешнего диска или флешки и ускорить передачу данных на внешний носитель информации и чтение из него. Компьютерные устройства окружают нас повсеместно. Они помогают решать разнообразные задачи. Сложно представить себе, где еще не используются возможности компьютерных устройств.
Суть проблемы
Широкое применение и огромную популярность приобрели стационарные персональные компьютеры. Благодаря инновационным решениям и современным материалам, используемым при создании компьютеров, их возможности расширяются день ото дня. Пользователи используют персональные компьютеры для работы и отдыха. Имея огромную скорость обработки данных и обладая массивным дисковых пространством для хранения информации, они являются незаменимыми помощниками, как для офисных и производственных потребностей, так и для учебы и развлечения.
С развитием всемирной компьютерной сети Интернет и доступностью современных информационных технологий не меньшую популярность приобретают, в последнее время, мобильные и переносные устройства обработки данных: коммуникаторы и ноутбуки, включая их производные (нетбуки, ультрабуки, планшеты).
Обладая меньшими возможностями, они подкупают пользователей своей мобильностью и наличием доступа к собственным данным в любом месте.
Одним из основных внутренним компонентов компьютерных устройств является жесткие диски. Имея значительный объем памяти (в первую очередь стационарные персональные компьютеры и ноутбуки), они могут обрабатывать и хранить гигантский массив данных.
Помимо основных устройств обработки и хранения данных, широкую популярность приобрели внешние подключаемые накопители. Они применяются для хранения архивной личной информации, создания резервной копии или обмена рабочими файлами, используемыми пользователями в повседневной жизни для своей деятельности.
Неудивительно, что при таком обширном предложении компьютерных устройств, одним их основных параметров, имеющих первостепенное значение, является скорость передачи и обмена данными между устройствами.
Передача данных между внутренним хранилищем персонального компьютера и внешним накопителем является одной из наиболее распространенных задач, которые выполняет пользователь. Любые данные: фотографии, видео, важные файлы, резервные копии данных, рабочие и личные документы – все они должны быть перенесены туда и обратно, иногда по несколько раз.
Вот почему медленные скорости передачи могут вызывать чувства разочарования и раздражения. Никто не хочет тратить лишнее время на ожидание передачи нескольких гигабайт данных, а иногда и нет такой возможности (например, вы опаздываете на важную встречу или непосредственно сейчас нуждаетесь в данных). К счастью, есть несколько простых способов увеличить скорость передачи данных.
Установите «USB-накопитель» на оптимальную производительность
Операционная система «Windows» устанавливает значение параметра политики удаления для «USB-дисков» в положение «Быстрое удаление (по умолчанию)». Данный параметр отключает кэширование записей на устройстве и в системе «Windows», что замедляет скорость передачи данных, но позволяет безопасно отключать устройство без использования службы «Безопасное извлечение устройств и дисков».
Чтобы отключить эту функцию и настроить «USB-накопитель» на оптимальную производительность выполните следующие действия. Откройте проводник файлов «Windows», дважды щелкнув ярлык «Этот компьютер», расположенный на рабочем столе. В окне проводника файлов выберите из списка доступных дисков и разделов требуемый «USB-накопитель» (он должен быть предварительно подключен к вашему персональному компьютеру), и нажмите на нем правой кнопкой мыши. В открывшемся всплывающем меню выберите из списка возможных действий раздел «Свойства».
В окне свойств накопителя перейдите на вкладку «Оборудование». В разделе «Все диски» отметьте ваш накопитель, а затем в разделе «Свойства устройства» нажмите кнопку «Свойства».
Далее в новом окне во вкладке «Общие» нажмите кнопку «Изменить параметры».
В открывшемся новом окне свойств выберите вкладку «Политика» и установите переключатель в ячейку «Оптимальная производительность», задав параметрам накопителя соответствующие настройки. Затем нажмите кнопку «ОК» для сохранения установленных изменений.
Дополнительно, получить доступ к меню управления параметрами политики удаления устройств, вы можете из приложения «Управление дисками». Откройте всплывающее меню, нажав вместе сочетание клавиш «Windows + X» или щелкнув правой кнопкой мыши по кнопке «Пуск», расположенной в нижнем левом углу рабочего стола на «Панели задач», и выберите из списка доступных приложений раздел «Управление дисками».
Далее в разделе «Том» приложения найдите ваш накопитель и щелкните по нему правой кнопкой мыши. Затем во всплывающем меню выберите раздел «Свойства».
Дальнейшие действия аналогичны действиям, описанным нами выше. Пройдите весь путь, а затем во вкладке «Политика» активируйте ячейку «Оптимальная производительность».
Однако помните, если вы включите эту функцию, вам придется при извлечении устройства из компьютера, в обязательном порядке, использовать значок «Безопасное извлечение устройств и дисков» в области уведомлений. Несоблюдение этого требования может привести к полной потере данных или поломке «USB-накопителя».
Или вы можете воспользоваться вторым вариантом. Щелкните правой кнопкой мыши на пустом пространстве рабочего стола и вызовите всплывающее меню. Найдите раздел «Создать» и раскройте вложенное меню. Среди предложенных вариантов выберите раздел «Ярлык».
В поле «Укажите расположение объекта» введите следующий путь и нажмите кнопку «Далее» для продолжения:
Присвойте ярлыку имя и нажмите кнопку «Готово», чтобы завершить процесс создания ярлыка.
Этот ярлык непосредственно открывает окно «Безопасное извлечение устройства», которое вы можете использовать для отсоединения вашего запоминающего устройства от компьютера.
Полную версию статьи со всеми дополнительными видео уроками читайте в нашем блоге.
- износ NAND;
- несоответствие стандартов входного и выходного разъемов USB;
- проблемы с файловой системой;
- неправильно настроенный BIOS;
- вирусное заражение.
Способ 1: Проверка на вирусное заражение и его устранение
Способ 2: Подключение флешки к более скоростному порту
Сейчас все еще остается распространенным стандарт USB 1.1, принятый почти 20 лет назад. Он обеспечивает очень низкую скорость передачи данных, отчего кажется, что флешка работает медленно. Как правило, Виндовс сообщает о том, что накопитель подключен к медленному разъему.
Способ 3: Смена файловой системы
В статье о сравнении существующих файловых систем мы пришли к выводу, что оптимальными для современных накопителей являются NTFS и exFAT. Если медленная флешка отформатирована в FAT32, стоит сменить эту систему на упомянутые.
Способ 4: Изменение настроек работы с флешкой
В современных вариантах Windows USB-накопитель работает в режиме быстрого удаления, что дает определенные преимущества для сохранности данных, но и замедляет скорость доступа к ним. Режим можно переключить.
Способ 5: Изменение конфигурации BIOS
Флеш-накопители существуют уже давно, и современные ПК и ноутбуки не всегда совместимы со старыми флешками. В БИОС есть соответствующая настройка, которая для современных накопителей бесполезна, и лишь замедляет доступ к ним. Отключать эту настройку следует так:
Обратите внимание! Если у вас есть старые флешки, то после отключения этого параметра они перестанут распознаваться на этом компьютере!
Мы с вами рассмотрели самые распространенные причины падения скорости работы флешек и решения этой проблемы. Однако, если у вас есть еще варианты, будем рады услышать их в комментариях.
Отблагодарите автора, поделитесь статьей в социальных сетях.
Помогла ли вам эта статья?
Еще статьи по данной теме:
Что за 60Мб/с!? У меня фильм весом около 2 Гигов качается на флешку минут 15.
Читайте также: