Как сделать резервную копию вашего устройства Linux на Amazon S3

Код 42, компания, стоящая за CrashPlan, решила полностью отказаться от домашних пользователей

, Их суперконкурентные цены сделали их решение для резервного копирования таким соблазном для людей с большими потребностями в резервном копировании. В то время как их невыполнение своих обещаний могло посеять семена недоверия, существуют и другие облачные провайдеры. Но какому провайдеру вы доверяете свой архив мемов?

В настоящее время мировым лидером в облачных вычислениях является Amazon Web Services (AWS). Кривая обучения для AWS может показаться крутой, но на самом деле все просто. Давайте узнаем, как воспользоваться преимуществами ведущей в мире облачной платформы.

Простое решение для хранения

Простое решение для хранения, обычно называемое S3, — гигантское решение Amazon для хранения данных. Некоторые известные компании, которые используют S3, включают Tumblr, Netflix, SmugMug и, конечно, Amazon.com. Если ваша челюсть по-прежнему прикреплена к вашему лицу, AWS гарантирует 99,99999999999 процентов прочности для своего стандартного варианта и максимального размера файла (любого отдельного файла) в пять терабайт (5 ТБ). S3 — это хранилище объектов, что означает, что оно не предназначено для установки и запуска операционной системы, а идеально подходит для резервного копирования.

Уровни и цены

В общем и целом это самая сложная часть S3. Цены варьируются от региона к региону, и в нашем примере используются текущие цены для региона США (Северная Вирджиния). Посмотрите на эту таблицу:

S3 состоит из четырех классов хранения. стандарт очевидно, это стандартный вариант. Нечастый доступ в целом дешевле хранить ваши данные, но дороже получать и выводить данные. Уменьшенная избыточность обычно используется для данных, которые вы можете восстановить в случае потери, например, для миниатюр изображений. ледник используется для архивного хранения, поскольку это самый дешевый для хранения. Однако для извлечения файла из Glacier может потребоваться от трех до пяти часов. С ледником или холодильным хранилищем вы получаете сниженные затраты на гигабайт, но повышенные затраты на использование. Это делает хранение в холодильнике лучше подходящим для архивирования и аварийного восстановления. Компании обычно используют преимущества комбинации всех классов для дальнейшего снижения затрат.

Лучшие в каждой категории отмечены синим цветом. долговечность насколько маловероятно, что ваш файл будет потерян. Снижение избыточности, поэтому Amazon придется потерпеть катастрофические потери в двух центрах обработки данных, прежде чем ваши данные будут потеряны. По сути, AWS будет хранить ваши данные в нескольких учреждениях со всеми классами, кроме класса с пониженной избыточностью. Доступность насколько маловероятно время простоя. Остальное легче продемонстрировать на примере.

Пример использования

Наш вариант использования заключается в следующем.

Я хочу хранить десять файлов на S3 Standard общим объемом один гигабайт (1 ГБ). Загрузка файлов или Положил повлечет за собой запрос в размере 0,005 долл. США и 0,039 долл. США за общее хранилище. Это означает, что в первый месяц с вас будет взиматься в общей сложности около 4,5 цента (0,044 доллара США) и чуть менее 4 центов (0,039 доллара США) за последующую парковку ваших данных.

Почему такая сложная структура ценообразования? Это потому, что вы платите за то, что используете. Вы никогда не платите за то, что не используете. Если вы думаете о крупной компании, она предлагает все преимущества наличия решения для хранения данных мирового класса, сохраняя при этом затраты до абсолютного минимума. Amazon также предоставляет простой ежемесячный калькулятор, который вы можете найти здесь, чтобы вы могли прогнозировать свои ежемесячные расходы. К счастью, они также предлагают бесплатный уровень, на который вы можете подписаться здесь, чтобы вы могли испытать их услуги на срок до 12 месяцев. Как и в случае с чем-то новым, как только вы начинаете его использовать, оно становится более удобным и понятным.

Консоль

Бесплатный уровень от AWS позволяет вам опробовать все их услуги в течение целого года. В рамках бесплатного уровня S3 предоставляет вам 5 ГБ дискового пространства, 20000 получает и 2000 переносов. Это должно обеспечить достаточную передышку для пробной эксплуатации AWS и решить, соответствует ли она вашим требованиям. Регистрация в AWS проведет вас через несколько шагов. Вам понадобится действующая кредитная или дебетовая карта и телефон для проверки. Как только вы запустите консоль управления, вы попадете на панель управления AWS.

На первый взгляд может показаться, что есть что-то, что можно принять, и это просто потому, что есть. Основные элементы, к которым вы будете обращаться, и которые аннотированы на скриншоте:

1. Сервисы: Сюрприз, сюрприз, здесь вы найдете все сервисы AWS.
2. Учетная запись: Для доступа к вашему профилю и выставлению счетов.
3. Область, край: Это регион AWS, в котором вы работаете.

Поскольку вы хотите наименьшую задержку между вашим компьютером (компьютерами) и AWS, выберите регион, который ближе всего к вам. В некоторых регионах нет всех сервисов AWS, но они внедряются на постоянной основе. К счастью для нас, S3 доступен во всех регионах!

S3 Security

Прежде чем продолжить, первой задачей является защита вашей учетной записи. Нажмите на Услуги> Безопасность, Фирменный стиль Соответствие> IAM. В ходе этого процесса мы также предоставим необходимые разрешения вашему компьютеру, чтобы вы могли безопасно выполнять резервное копирование и восстановление.

Это простой пятиступенчатый процесс. На скриншоте вы заметите, что MFA можно активировать в вашей учетной записи. Хотя многофакторная аутентификация (MFA), также известная как двухфакторная аутентификация (2FA)

, не требуется, настоятельно рекомендуется. В двух словах, это требует сочетания вашего имени пользователя и пароля, а также кода на вашем мобильном устройстве. Вы можете получить совместимое физическое устройство MFA или использовать приложение, такое как Google Authenticator. Перейдите в App Store или Play Store, чтобы загрузить приложение Google Authenticator.

Использование дополнительной многофакторной аутентификации

расширять Активируйте MFA на вашем корневом аккаунте и нажмите на Управление МФА. Удостовериться Виртуальное устройство MFA выбран и нажмите Следующий шаг.

Откройте Google Authenticator на своем устройстве и отсканируйте штрих-код, который отображается на экране. Введите код авторизации в поле Код авторизации 1 и дождитесь обновления кода в Google Authenticator. Следующий код отображается около 30 секунд. Введите новый код в Код авторизации 2 коробка от Google Authenticator. Теперь нажмите на Активировать Виртуальный МФА кнопка. Как только вы обновите свой экран, активировать MFA будет иметь зеленую галочку.

Теперь вы должны активировать MFA в своем аккаунте и связать Google Authenticator с AWS. При следующем входе в консоль AWS вы будете вводить имя пользователя и пароль в обычном режиме. AWS предложит вам ввести код MFA. Это будет получено из приложения Google Authenticator, как вы делали это на предыдущем шаге.

Группы и разрешения

Пришло время определить уровень доступа вашего компьютера к AWS. Самый простой и безопасный способ сделать это — создать группу и пользователя для компьютера, который вы хотите сделать резервную копию. Затем предоставьте доступ или добавьте разрешение для этой группы только для доступа к S3. Этот подход имеет множество преимуществ. Учетные данные, предоставленные указанной группе, ограничены S3 и не могут использоваться для доступа к каким-либо другим сервисам AWS. Кроме того, в случае утечки ваших учетных данных вам просто нужно удалить доступ группы, и ваша учетная запись AWS будет в безопасности.

На самом деле имеет больше смысла сначала создавать группу. Чтобы сделать это расширить Создание отдельных пользователей IAM и нажмите Управление пользователями. Нажмите на группы с панели слева, а затем Создать новую группу. Выберите название для вашей группы и нажмите Следующий шаг. Теперь мы собираемся приложить разрешение или политику для этой группы. Поскольку вы хотите, чтобы эта группа имела доступ к S3, отфильтруйте список, введя S3 в фильтре. Убедиться, что AmazonS3FullAccess выбран и нажмите Следующий шаг наконец следует Создать группу.

Создать пользователя

Все, что вам нужно сделать сейчас, это создать пользователя и добавить его в созданную вами группу. Выбрать пользователей на панели слева и нажмите Добавить пользователя. Выберите любое имя пользователя, которое вам нравится, под типом доступа убедитесь, что Программный доступ выбран и нажмите Далее: разрешения. На следующей странице выберите группу, которую вы создали, и нажмите на Далее: Обзор. AWS подтвердит, что вы добавляете этого пользователя в выбранную группу, и подтвердит предоставленные разрешения. Нажмите на Создать пользователя перейти к следующей странице.

Теперь вы увидите Идентификатор ключа доступа и Секретный ключ доступа. Они генерируются самостоятельно и отображаются только один раз. Вы можете скопировать и вставить их в безопасное место или нажать Скачать .csv который загрузит электронную таблицу, содержащую эти детали. Это эквивалент имени пользователя и пароля, которые ваш компьютер будет использовать для доступа к S3.

Стоит отметить, что вы должны относиться к ним с наивысшим уровнем безопасности. Если вы потеряете свой секретный ключ доступа, его невозможно будет восстановить. Вам нужно будет вернуться к консоли AWS и сгенерировать новую.

Ваше первое ведро

Пришло время создать место для ваших данных. S3 имеет магазины, называемые ведрами. Каждое имя корзины должно быть глобально уникальным, то есть, когда вы создаете корзину, вы будете единственной на планете с таким именем корзины. Каждое ведро может иметь свой собственный набор правил конфигурации. В корзинах можно включить управление версиями, чтобы в нем сохранялись копии файлов, которые вы обновляете, чтобы вы могли вернуться к предыдущим версиям файлов. Существуют также варианты для межрегиональной репликации, чтобы вы могли в дальнейшем создавать резервные копии своих данных в другом регионе в другой стране.

Вы можете добраться до S3, перейдя к Услуги> Хранение> S3. Создать ведро так же просто, как нажать Создать ведро кнопка. После того, как вы выбрали глобально уникальное имя (только в нижнем регистре), выберите регион, в котором вы хотели бы, чтобы ваш контейнер жил. Создайте Кнопка, наконец, даст вам ваше первое ведро.

Командная строка — это жизнь

Если командная строка ваше оружие выбора

, вы можете получить доступ к вашему недавно созданному S3 ведро, используя s3cmd который вы можете скачать здесь. После того, как вы выбрали последнюю версию, загрузите zip-архив в папку по вашему выбору. Текущая последняя версия 2.0.0, которую вы будете использовать в нашем примере. Чтобы распаковать и установить s3cmd, откройте окно терминала и введите:

sudo apt install python-setuptools
unzip s3cmd-2.0.0
cd s3cmd-2.0.0
sudo python setup.py install

Теперь s3cmd установлен в вашей системе и готов к настройке и привязке к вашей учетной записи AWS. Обязательно иметь свой Идентификатор ключа доступа а также Секретный ключ доступа передать с момента создания вашего пользователя. Начните с ввода:

s3cmd --configure

Теперь вам будет предложено ввести несколько деталей. Во-первых, вам будет предложено ввести свой идентификатор ключа доступа, а затем секретный ключ доступа. Все остальные настройки можно оставить по умолчанию, просто нажав клавишу ввода, кроме шифрование установка. Здесь вы можете выбрать пароль, чтобы данные, отправленные в S3 и из него, были зашифрованы. Это предотвратит мужчину в средней атаке

или кто-то перехватывает ваш интернет-трафик.

В конце процесса настройки s3cmd выполнит тест, чтобы убедиться, что все настройки работают, и вы можете успешно подключиться к своей учетной записи AWS. Когда это будет сделано, вы сможете набрать несколько команд, таких как:

s3cmd ls

Это перечислит все корзины в вашей учетной записи S3. Как показано на скриншоте ниже, созданное вами ведро видно!

Синхронизация с использованием командной строки

Команда синхронизации для s3cmd чрезвычайно универсальна. Это очень похоже на то, как вы обычно копируете файл в Linux, и выглядит примерно так:

s3cmd sync [LOCAL PATH] [REMOTE PATH] [PARAMETERS]

Проверьте его использование с простой синхронизацией. Сначала создайте два текстовых файла, используя потрогать затем используйте команду синхронизировать команда для отправки файлов, которые вы только что создали в корзину, созданную ранее. Обновите ведро S3; вы заметите, что файлы действительно были отправлены на S3! Убедитесь, что вы заменили локальный путь локальным путем на вашем компьютере, а также изменили удаленный путь на имя вашего сегмента. Чтобы выполнить этот тип:

touch file-1.txt
touch file-2.txt
s3cmd sync ~/Backup s3://makeuseof-backup

синхронизировать Команда, как уже упоминалось, сначала проверяет и сравнивает обе директории. Если файл не существует в S3, он загрузит его. Более того, если файл существует, он проверяет, был ли он обновлен, прежде чем копировать на S3. Если вы хотите, чтобы он также удалял файлы, которые вы удалили локально, вы можете запустить команду с -delete-удалены параметр. Проверьте это, сначала удалив один из созданных нами текстовых файлов, а затем команду sync с дополнительным параметром. Если вы затем обновите свою корзину S3, удаленный файл будет удален из S3! Чтобы попробовать это, введите:

rm file-1.txt
s3cmd sync ~/Backup s3://makeuseof-backup --delete-removed

С первого взгляда вы можете увидеть, насколько убедительным является этот метод. Если вы хотите сделать резервную копию чего-либо в своей учетной записи AWS, вы можете добавить команду sync в задание cron

и автоматически восстановите ваш компьютер до S3.

Альтернатива GUI

Если вам не нужна командная строка, есть альтернатива s3cmd: Cloud Explorer, графический пользовательский интерфейс (GUI). Хотя у него нет очень современного интерфейса, у него есть некоторые интересные особенности. По иронии судьбы, самый простой способ получить последнюю версию — через командную строку. Когда у вас откроется окно терминала с папкой, в которую вы хотите его установить, введите:

sudo apt -y install

openjdk-8-headless ant git
git clone https://github.com/rusher81572/cloudExplorer.git
cd cloudExplorer
ant
cd dist
java -jar CloudExplorer.jar

Когда интерфейс запускается, некоторые обязательные поля должны казаться знакомыми. Чтобы загрузить учетную запись AWS, введите свой ключ доступа, секретный ключ, введите имя своей учетной записи и нажмите Сохранить.

Теперь вы можете нажать на свой сохраненный профиль и получить доступ к своему ведру.

Изучение Исследователя

Бегло посмотрев на интерфейс, вы увидите следующее:

1. Выйти
2. Исследуйте и ищите
3. Загрузить файлы
4. Синхронизация
5. Текстовый редактор
6. Панель для списка ваших ведер
7. Панель для навигации по выбранному сегменту

Настройка возможностей синхронизации в Cloud Explorer аналогична настройке s3cmd. Во-первых, создайте файл, который не существует в корзине S3. Затем нажмите кнопку «Синхронизировать» в Cloud Explorer и выберите папку, которую вы хотите синхронизировать с S3. Нажав на До S3 проверит различия между папкой на вашем локальном компьютере и папкой с S3 и загрузит все найденные различия.

Когда вы обновите корзину S3 в браузере, вы заметите, что новый файл был отправлен на S3. К сожалению, функция синхронизации Cloud Explorer не обслуживает файлы, которые вы удалили на локальном компьютере. Поэтому, если вы удалите файл локально, он все равно останется в S3. Это то, что нужно иметь в виду.

Домашние пользователи могут использовать бизнес-ориентированное облачное хранилище

Несмотря на то, что AWS — это решение, разработанное для предприятий, чтобы использовать преимущества облака, нет никаких причин, по которым домашние пользователи не должны участвовать в действии. Использование ведущей в мире облачной платформы дает много преимуществ. Вам никогда не придется беспокоиться об обновлении оборудования или оплате чего-либо, что вы не используете. Еще одним интересным фактом является то, что AWS имеет большую долю рынка, чем следующие 10 поставщиков вместе взятых. Это показатель того, насколько далеко они впереди. Настройка AWS в качестве резервного решения требует:

• Создание аккаунта.
• Защита вашей учетной записи с MFA.
• Создание группы и назначение разрешений для группы.
• Добавление пользователя в группу.
• Создание вашего первого ведра.
• Использование командной строки для синхронизации с S3.
• Альтернатива GUI для S3.

Используете ли вы в настоящее время AWS для чего-либо? Какого поставщика облачного резервного копирования вы используете в настоящее время? Какие функции вы ищете при выборе поставщика резервного копирования? Дайте нам знать в комментариях ниже!