Збої в роботі «Хостмайстра» та ResellerClub

Цього тижня відбулися збої по кількох доменних фронтах: у найбільшого міжнародного реєстратора доменів та хостера ResellerClub виникли проблеми з панеллю управління та API, а також стався збій у системі реєстрації доменів UAEPP у компанії «Хостмайстер» — адміністратора домену .UA та інших українських доменів.

На невеликому прикладі спілкування двох компаній зі своїми партнерами та реєстраторами хочу показати вам цю невелику, але суттєву різницю у веденні бізнесу.

ResellerClub

Повідомлення в соціальних мережах:

@ResellerClub: We're experiencing some issues that affect the Control Panel, SuperSite & API & they should be resolved in 2 hrs. Thanks for your patience

TeamResellerClub: We're experiencing some issues with our system that affect the Control Panel, SuperSite & the API. We're working our hardest to fix it at the moment and will have an update for you very soon. You can also follow the issue on our forum - http://bit.ly/W12vjY

А після того, як проблема була вирішена, прийшов докладний звіт про те, що все-таки сталося, яких заходів було вжито, щоб це більше не повторилося, і що компанія глибоко шкодує, що завдала незручностей усім своїм клієнтам:

Yesterday, there was an emergency maintenance that was carried out on our platform servers due to which you may have not been able to access your Control Panel. The downtime lasted for a few hours and we can confirm that none of your orders or data was lost during the downtime. To help you understand this downtime, here is a summary of what happened.

At 10:49 UTC, our systems operators executed a command line that overwrote a few config files within our platform database. While all data remained secure, the files that were overwritten caused the database to stop functioning. This affected all platform related services (Control Panel, API & Whois).

Immediately, our monitoring systems detected the problem and we shutdown the platform to avoid the replication of the broken database structure and avoid any inconsistency issues. Following this, we started inspecting our database consistency and switched over to a standby database when necessary.

The verification of our database was a fairly lengthy process where our systems, software engineering and management teams started verifying each and every database and table to ensure that all transactions that were applied on the primary database were also applied on the standby database. This took a while as we had to bring up the primary database first and restore the postgres system data files to identify all platform related databases.

At 16:37 UTC, all data was perfectly verified, tested and subsequently made live. We will be reviewing this incident and come up with standard operating procedures to ensure that such a downtime does not reoccur.

We have added layers of security to all server config directories. This will make sure that we do not modify or overwrite server config files at any point of time. We will also be setting up new SOPs to check data consistency across our slave databases in a much faster manner.

We deeply regret the inconvenience caused during the downtime. Our teams worked diligently during the restore process and have now restored a fully functioning platform to our standby servers. We will need to switch back to our primary servers for which we have scheduled a one hour maintenance window on Sunday, 27th January, 2013 at 04:30 UTC.

Хостмайстер

Зазначу, що я опустила безліч листів, питань і проблем, які виникли через збій, і на які, на жаль, відповіді дано не були.

Повідомлення в розсилці реєстраторів:

14:24 (пише один із реєстраторів)

Здрастуйте.

Ймовірно, зараз мав прийти лист-повідомлення, що UAEPP пішов в офлайн... Але нема... Дивно...

https://epp.hostmaster.ua/auth/ каже "Сервіс тимчасово недоступний"

EPP сервер також у дауні...

14:28 (пише представник «Хостмайстра»)

Доброго дня!

Сервіс EPP тимчасово недоступний.

Час відновлення – 10 хвилин.

Просимо вибачення за вимушений зупин.

І «докладне» пояснення проблеми після усунення збою:

Через технічний збій у системі реєстрації доменних імен UAEPP реєстратори та реєстранти у публічних доменах Полтави, Івано-Франківська та Херсона могли отримати помилкове повідомлення про закінчення терміну реєстрації доменного імені.

Уся інформація про доменні імена у зазначених публічних доменах відновлена ​​з резервної копії.

Просимо вибачення за доставлені незручності.

Наслідки збою ліквідовано. Можна працювати у звичайному режимі.

При збої в системі реєстрації доменів UAEPP клієнти реєстраторів отримали неправдиві повідомлення про термін дії їхніх доменів, і «відгрібати» за це зовсім не «Хостмайстер», а самі реєстратори та їхня служба підтримки.

Мені щиро хочеться, щоб рівень сервісу та відповідальності у нашій країні був хоча б на десяту частину таким, як у деяких локальних та міжнародних компаній.

P.S. Всі повідомлення, процитовані в цій нотатці, були надіслані адресатам загальної розсилки без позначки про те, що їх не можна публікувати.