Login
You're viewing the mastodon.coffee public feed.
  • Apr 25, 2026, 11:54 AM

    Я обещала полный разбор, значит будет полный разбор. Итак, история Самой Длинной Перезагрузки

    Но сначала предыстория
    Как и любой уважающий себя кусочек инфраструктуры, MML эволюционировал постепенно, с каждым из трех админов немного менялся

    И в результате стохатической эволюции мы пришли к странному сетапу, где на железной машине стоит ProxmoxVE, но его функционал не используется, и все сервисы развернуты в докер контейнерах

    Проксмокс крайне не любит такое, и рекомендует держать докер исключительно в виртуальной машине. Но миграция всех данных это довольно долгий процесс, поэтому, немного поресерчив, мне пришла в голову идея: почему-бы просто не удалить компоненты Proxmox, оставив базовый Debian? У людей вроде получалось…

    forum.proxmox.com/threads/unin

    Proxmox и Debian стабильные дистрибутивы, требующие минимального ручного вмешательства, так что план казался мне простым и беспроблемным. А чтобы минимизировать последствия неизбежного даунтайма, всё было запланировано на нерабочие дни…

    💬 1🔄 5⭐ 6

Replies

  • Apr 25, 2026, 12:09 PM

    …в день X, я спросонок забыла прогнать бекап перед перезагрузкой. Ведь что может пойти не так, при удалении пакетов из старого, но стабильного дебиана…? Итого самым актуальным бекапом остался регулярный еженочный, который делается автоматически

    Как оказалось, пойти не так может много чего. Сервер из перезагрузки не поднялся (как выяснилось постфактум, там отвалилась сеть, но не суть)

    Осознав что сервер так и не начал отвечать на пинги, я в панике пытаюсь достучаться до iLO консоли чтобы понять в чем дело. Это требует специального VPN, и старый конфиг, который выслали ещё Доку после настройки сервера, не работал. За новым нужно идти в саппорт, что я сразу и сделала

    Правда, мне не ответили. Ни через час, ни через три, ни вообще в этот день

    А при попытке восстановиться из бекапа, оказалось что они были рассчитаны на повреждение данных…но не на полную потерю сервера. В процессе очередной перестройки перестали бекапиться критичные конфиги, без которых мастодон не заработал бы…

    💬 1🔄 0⭐ 4
  • Apr 25, 2026, 12:21 PM

    …вся надежда оставалась на саппорт. В воскресенье я пыталась дозвониться до них по телефону (как со своего, так и через друзей за рубежом), но ни на один телефон не ответили

    так прошло воскресенье…в понедельник утром, саппорт подключился к тикету, и выслал новые конфиги для доступа. Впрочем, заставить работать Java-апплет древней iLO так и не получилось, собрать rescue-iso доступный из интернета — тоже, но на попытки ушла половина понедельника

    Вторую половину понедельника саппорт пытался починить сеть, безуспешно. В итоге они загрузили rescue-образ, и отправили мне ssh-креды к нему. Так получилось как минимум выгрузить конфиги, с которыми можно было бы развернуть ночной бекап, и потерять все посты что были сделаны после. Мне очень этого не хотелось, поэтому я продолжила доставать данные…пока доступ внезапно не оборвался, а так как дело было поздним вечером, рабочий день техподдержки закончился. Пришлось ждать до вторника…

    💬 1🔄 0⭐ 4
  • Apr 25, 2026, 12:41 PM

    Во вторник, как только мне выслали новые креды к rescue-системе, я заказала VPS на Hetzner, и начала переносить все данные туда. Как только мастодон успешно запустился, я написала в саппорт, и попросила переустановить Proxmox. Плевать, если там будет только одна виртуалка, надежная консоль стоит любого оверхеда

    Проксмокс переустановили в среду, и после небольшого подкручивания настроек QEMU, я начала перенос данных обратно, успешно

    Что дальше?

    Дальше мне нужно будет полностью перепланировать систему бекапов, и удостовериться, что их можно развернуть без доступов к оригиналу. В идеале делать эту процедуру хотя бы раз в полгода

    Также перед любым, даже минорным обновлением бекап будет делаться *обязательно*, пока не войдёт в привычку

    Любые операции с Proxmox на хосте будут делаться исключительно в рабочее время

    Переезжать с Flokinet мы не планируем. Переезжать на российский хостинг тоже. Есть веские причины

    Я не планировала учиться делать бекапы на *таком* примере, но так уж вышло

    💬 0🔄 2⭐ 13