Байки

Мы в очень любим три вещи: сисадминов, байки и пиво.

В этот раз мы решили объединить эти любимые вещи и сделать конкурс лучших сисадминских баек: про работу, клиентов и забавные случаи из практики.


Ммммм, сисадмин-техпод-байка-пиво

Каждому, кто расскажет забавную историю в комментариях, мы подарим по баночке нашего фирменного , а победителю, чей рассказ наберет больше всего плюсов вышлем целый ящик пива.

Для вдохновения и правильного настроя, делимся нашими любимыми сисадминскими байками: тут почти нет новых историй, зато много ностальгии, доброго юмора и даже пара нерешенных до сих пор загадок. Поехали?



Раньше я работал в IT-отделе компании Samsung. Одному из сотрудников нужно было сбросить пароль, я сменил пароль на Samsung1 и сказал ему об этом. Мне перезвонили через две минуты и сказали, что пароль не подходит. Я снова сбросил его, но он снова не сработал. Я подумал, что проблемы со стороны пользователя и решил зайти к нему.
Каково было мое удивление, когда я увидел, что он неправильно набирает пароль! Он печатал Semsung1.
Подсказываю! Это компания, в которой вы работаете, и ее название написано на мониторах, перед которыми вы сидите

Питер Дж.




Это было в начале 2007 года. В нашем колледже строили Центр обработки данных в переоборудованном классе, практически не обращая внимания на климат-контроль, а тогда там стоял обычный сплит-кондиционер. Наш колледж находился в юго-западной части пустыни Мохаве, в Южной Калифорнии. В нем экономили деньги каждые выходные отключая все кондиционеры по всему кампусу, в том числе и в центре обработки данных, так что наши серверы пыхтели при 50-60 градусной жаре до утра понедельника. В марте 2007 года мы обратились к поставщику резервных копий, так как у нас был ленточный накопитель Quantum LTO1 (только с одним отделением для кассеты), и он глючил из-за жары в нашем . Нам нужен был надежный накопитель, который бы выживал в наших условиях. Но существующее решение не могло делать копии открытых файлов, потому нам нужна была неделя на то, чтобы собрать полный набор данных (из-за медленного накопителя). Мы попросили денег на резервный узел SAN для подсраховки в случае падения, но нам отказали.

Вместо этого нам выделили деньги на работу сторонней компании, выполняющей резервное копирование в сжатые сроки. Выезд их специалистов запланировали 17 июля 2007 года в 8:45, чтобы они делали нам полный бекап. В точности по Закону Мерфи наша SAN вышла из строя ночью, прямо перед запланированным приездом специалистов по бекапу, а один из на 900 ГБ был потерян навсегда.
Да здравствует планирование!

Джастин Дж.



У нас в компании было совещание руководителей отделов для обсуждения работы с компьютерной системой службы 911. Инструкции разослали утром в пятницу, чтобы начать тренинг по работе в ней уже в понедельник.
Два пользователя, не особо вникая текст письма, активировали систему по инструкции сразу, как только получили письмо, наведя шухер среди офицеров полиции работающих в 911.

Зак Д.



Как и большинство системных администраторов я начал с работы в службе поддержки.
Однажды мне потребовалось более 20 минут, чтобы объяснить новой работнице, как нажать CTRL-ALT-DEL для входа в компьютер. Она просто не могла понять концепцию одновременного нажатия 3 клавиш сразу

Конрад Дж.



Как-то рабочий, обслуживающий коммуникации в фальш-потолке, где были проложены наши сетевые кабели, случайно их перерезал. Когда наши инженеры прибыли на место для устранения обрыва, рабочий сказал, что все в порядке, и он сам все исправил.

Он соединил обрывки витых пар колпачками для скрутки проводов.

Уоллес Ф.



Однажды я чуть не сошел с ума, пытаясь понять, где сбой в питании, проведенном через фальш-пол. Вдруг мы услышали голос из соседней комнаты: О-ля-ля! Ты вылила всю мою бутылку воды на розетку!.

Мы побежали туда и увидели розетку, залитую лужей воды

Хорхе Б.



Лет 10-25 назад я работал в поддержке у провайдера, в какой-то момент мне позвонила женщина, которая сразу призналась, что не умеет обращаться с компьютером, но ей очень надо запустить одну программу. Она жила всего в паре минут от меня, и я решил просто зайти к ней домой.
Придя на место, я сказал, что сначала ей надо открыть меню Пуск. Она спросила меня: Что такое Меню Пуск? Постепенно я ей все объяснил и нашел приложение, которое ей было нужно. Когда я собрался уходить, она сказала, что знает еще одного человека, которому я могу помочь. Оказалось, что у нее есть маленькая дочь, и та слышала, что можно превратить курсор мыши в динозавра. Это было просто, я всего лишь поменял тему курсора Windows XP, но девочка была счастлива.

Вернувшись в офис я заполнил тикет: Помог пользователю найти приложение Х и превратил курсор мыши в динозавра.

Энди С.



Помню, у меня на работе жила саламандра в аквариуме, которая все время умудрялась вылезать из него, хотя крышка была закрыта. Однажды, она вылезла, когда никого не было, и пропала.
Через некоторое время мой компьютер отказался запускаться из-за проблем с блоком питания. Когда я открыл корпус, то увидел палочку, застрявшую в вентиляторе.
Только это была не палочка!..

Роб Х.

У нас был клиент, который прислал нам фотографию своего треснувшего экрана
сделанную с помощью Print Screen.

Лим Р.



Когда я работал в техподдержке, я, было, уделено помогал одному пожилому человеку. Когда мы со всем разобрались, я попросил его закрыть все окна, чтобы мы могли повторить все сначала. Он сказал Хорошо, скоро вернусь. Через десять минут он снова подошел к телефону и сказал: Ну, я закрыл все окна, и что теперь?
Райан Г.



Однажды я отошел от рабочего компьютера, оставив его включенным и не заблокировав заставкой с паролем. Никогда этого не требовалось, потому что коллектив был меньше десяти человек, все работали вместе несколько лет и довольно хорошо друг друга знали. Вернувшись, я увидел, что в моей аське мигает почти весь контакт лист, все мне что-то пишут, включая тех, с кем мы общались очень редко и даже не каждый месяц.

Оказалось, почему-то именно в тот день одному коллеге ударило в голову неизвестное вещество, и он решил пошутить, сев за мой кмоп и написав в мою аську: Я тряс башкой и мой хаер застрял в клавиатуре, а потом одной кнопкой разослав это по всем моим контактам (спасибо Аське, тогда это можно было сделать буквально в один клик).

Я пережил несколько неприятных минут, объясняя, что это глупая шутка коллеги. Но с ним больше не здоровался А компьютер блокировал.

Константин В.



Был случай, когда к нам в офис устроился сотрудник, который, как бы сказать поделикатнее, пренебрегал личной гигиеной. Всех достало его амбрэ, но сказать прямо стеснялись. В итоге, решили проблему довольно замороченным способом, но зато по-админски.

На компьютере Макинтош можно сбросить пароль root-пользователя с помощью специальной опции на установочном диске. Мы загрузили его Мак с этого диска, сбросили пароль root, завели еще одного пользователя и задали ему известный нам пароль. Потом зашли под root, открыли файл с хешем пароля того сотрудника, скопировали его в отдельный файл, а на его место вставили хеш пароля нового пользователя. Это позволило нам зайти в учетную запись пахучего сотрудника, использовав пароль временного пользователя. Мы поменяли на десктопе фон, поставив картинку с младенцем и большой надписью: Даже малые дети знают, что надо принимать душ каждое утро и пользоваться дезодорантом!.

После этого снова зашли под root, скопировали обратно хеш его пароля из сохраненного файла и вставили его обратно, а временного пользователя удалили.

На следующее утро мы с предвкушением ждали его реакции и были вознаграждены громким возгласом изумления, раздавшимся тогда, когда он загрузил свой компьютер. Наши старания были не напрасны, парень стал принимать душ и пользоваться антиперспирантом!

Константин В.



Несколько лет назад, работая в Лаборатории искусственного интеллекта МТИ (на самом деле очень много, потому что описывается компьютер из 60-х годов), я рылся в шкафах, где находился мейнфрейм PDP-10, и заметил маленький переключатель, приделанный к раме одного шкафа. Очевидно, это был прикол, который добавил один из местных хакеров.

На самом деле, есть правило: Не трогать переключатель, если вы не знаете, что он делает, потому что это может привести к сбою компьютера. Но этот был маркирован совершенно дурацким образом, у него было два положения, и на металлическом корпусе карандашом были нацарапаны слова магия и больше магии. Тогда тумблер был в более волшебном положении.

Я позвал другого сотрудника, чтобы он посмотрел на это чудо. Но он тоже никогда раньше не замечал его. При более внимательном изучении выяснилось, что к выключателю подведен только один провод, который скрывался в лабиринте внутри компьютера. Логично, что выключатель не может ничего делать, если к нему не подключены провода с двух сторон, но у этого переключателя был только один провод.

Понятно, что этот переключатель мог быть только чьей-то глупой шуткой. Убедившись в том, что он не должен работать, мы щелкнули им. Компьютер моментально сломался

Представьте себе наше крайнее изумление! Мы списали это на совпадение, но тем не менее вернули переключатель в более волшебное положение перед тем, как запустить компьютер снова, и больше его не трогали.

Год спустя я рассказал эту историю еще одному хакеру, Дэвиду Муну. Он посмеялся надо мной и выразил сомнения в моем здравом уме, обвинив меня, в вере в сверхъестественную силу этого переключателя. В доказательство своих слов я показал ему этот волшебный выключатель, все еще привинченный к корпусу шкафа с подключенным к нему только одним проводом, оставленный в положении больше магии. Мы внимательно изучили переключатель и обнаружили, что другой конец провода был подключен к контакту заземления. Это явно выглядело вдвойне бесполезным, он не только не работал электрически, но и был подключен к контакту, который, в любом случае, ни на что не мог повлиять. Итак, мы щелкнули выключателем.

Компьютер снова сломался

На этот раз мы побежали за Ричардом Гринблаттом, бывалым хакером из Массачусетского технологического института, который работал неподалеку. Он никогда раньше не замечал этого выключателя, но когда осмотрел его, тоже пришел к выводу, что он бесполезен, и решительно откусил провод. Затем мы перезапустили компьютер, и с тех пор он работал без проблем

Мы до сих пор не знаем, как выключатель ломал машину. Существует теория, что цепь рядом с выводом заземления была на пределе, и щелчок переключателя изменял электрическую емкость достаточно для того, чтобы нарушить цепь, когда через нее проходили импульсы с длинной в миллионные доли секунды.

Этот выключатель все еще валяется у меня в подвале. Возможно это глупо, но я держу его в положении большей магии.

Добавлено в 1994 году.

С тех пор было предложено еще одно объяснение этой истории.

Корпус переключателя был металлическим, а неподключенная сторона переключателя была привинчена к корпусу компьютерного шкафа (обычно корпус подключается к отдельной клемме заземления, но бывают исключения). Таким образом корпус выключателя был соединен с корпусом компьютера, который, предположительно, тоже заземлен. Заземление цепи внутри машины не обязательно имеет тот же потенциал, что и заземление корпуса, поэтому щелчок переключателя соединяет заземление цепей компьютера с землей корпуса, вызывая падение/скачок напряжения, которое перезагружает машину. Вероятно, это было обнаружено кем-то, кто на собственном горьком опыте, выяснил, что между ними существует разность потенциалов, а затем приделал переключатель в качестве шутки.

Хакерский фольклор МТИ



В одной конторе, где я в свое время работал, был один товарищ.

Трубку домофона в той конторе повесили у двери, к двери он сидел ближе всех, но бегать на каждый звонок ему было лениво.

Как он решил эту проблему? Он подключил контакты кнопки домофона, открывающей дверь через реле к флоппи-дисководу, расшарил доступ к диску A:, вывел всем ярлычки Открыть дверь.
После этого любой работник мог открыть дверь по локальной сети.

Фольклор

В одном закрытом военном НИИ проводили инвентаризацию и наткнулись на описание оборудования, которое никто не мог опознать. В Книге учета оно было записано как соком 50 хэ. Раз оборудование стоит на учете, его надо найти и проверить, тем более, что оценено оно было в заметную сумму условных единиц. Народ долго ломал голову, пока одному научному сотруднику не пришло в голову простое решение этого ребуса. Учетом занималась весьма пожилая женщина, без высшего образования, не знающая никаких языков, кроме русского. Потому, привод для CD-ROM, 50-скоростной, она записала как поняла, то есть соком 50 хэ.

Константин В.

Однажды, когда я работал в одной небольшой фирме, в нашем кабинете стали проводить инвентаризацию и всех попросили выйти, потому что нужно было наклеить инвентарные номера на всю мебель и оборудование, а мы им мешали. Мы решили совместить приятное с полезным и пошли обедать.

Вернувшись с обеда, мы обнаружили, что ни одна мышка не работает. Причина стала очевидна, когда я перевернул свою кверху брюшком. Ну куда еще можно наклеить инвентарный номер на мышь? Конечно же поперек отверстия с шариком!

Константин В.

В одной компании был МФУ Xerox, и у данного устройства существовала полезная особенность умение отсылать отсканированные документы на емейл. Для этого ему, как ни странно, нужна учетная запись на почтовом сервере, ибо отсылает он по SMTP. Меняли почтовый сервер, часть учетных записей мигрировали, а часть решили просто пересоздать. В процессе создания новой учетки для МФУ полезли на старый сервер уточнить login и обратили внимание на папку с входящими письмами. С сервера адский агрегат почту не забирал, так что скопилось ее порядка пятидесяти мегабайт.

Оказалось, что народ ведет активную переписку с МФУ, пишет ему Спасибо! и Благодарю за документы!. Особенно запомнилось сообщение одной сотрудницы: Спасибо, скан договора получила, жду от Вас приложение 2

Фольклор

Был случай, когда студентам, изучающим искусственный интеллект, дали задание написать самообучающегося бота для 3д-шутера. Студенты справились с заданием и запустили ботов в локалку, чтобы они за ночь наловчились убивать друг друга. Утром зашли в сетку и стали тестировать своих ботов. Выяснилось, что живых игроков выносят в первые же секунды, и выжить нет ни единого шанса. Когда стали смотреть логи, оказалось, что уровни в игре были сделаны небрежно, между текстурами были зазоры, которые не бросались в глаза игрокам, но были обнаружены ботами, и позволяли им прятаться внутри стен, проходя в любое помещение и убивать игроков, не давая им обнаружить себя.

Фольклор



Друг работает на складе комплектующих для компьютера.

Им пришёл заказ из СНБ на 100 модулей оперативной памяти. Вы представляете себе сто оперативок? Упаковали их компактно в коробочку 60 на 40 сантиметров. Приезжает представитель СНБ, у них с менеджером происходит диалог, после которого менеджер вползает в конвульсиях в кабинет шефа, вручает ему коробку с памятью и просит выйти самого.

Шеф выходит на крыльцо. Там стоит вышеупомянутый представитель, который показывает на КАМАЗ С ПРИЦЕПОМ!.. и выдаёт: Я тут машину подогнал, если этого не хватит, то мы ДВЕ ХОДКИ СДЕЛАЕМ!..

Шеф не растерялся, протягивает представителю коробочку и просит подержать. Сам подписывает документы, стоит и улыбается. Представитель начинает нервничать: Где же товар, у меня люди ждут, ЗАГРУЖАТЬ НАДО!.

Шеф: Он у вас в руке.

Фольклор



Мой брат живет в соседнем штате и уже достал просьбами помочь ему с компьютером по принципу тыжпрограммист. Некоторые из звонков в семейную службу техподдержки были болезненные как лечение у стоматолога. Ему казалось, что в его компьютер попадают вирусы и трояны, после чего он звонил мне. Он мог часами держать меня на телефоне, заставляя чинить ему компьютер.

Однажды я решил эту проблему раз и навсегда.

Тебе надо зайти в Гугл
Как мне это сделать?
Откройте свой браузер, введите Google и нажмите Enter.
Что за браузер? Как я могу это сделать?
Это, с чего ты смотришь что-либо в Интернете
О Он только что открыл Word? Так и надо было?

И в таком духе разговор продолжается больше часа. Внезапно мне в голову приходит дикая идея. Последовательно я подвожу его к тому, чтобы загрузить и установить VNC. Затем заставляю его посетить несколько сайтов по компьютерной безопасности, чтобы напугать его последствиями беспечного поведения в интернете, все время читая лекции на эту тему.

Я: Интернет действительно опасное место. Ты должен быть осторожен. Очень осторожен. Есть хакеры, которые хотят взломать твой компьютер. Если они заразят твой компьютер, то загрузят на него хакерские программы, которые будут делать всякие неприятные вещи. Они могут украсть твои пароли или получить доступ к банку и кредитным картам!

Одновременно с этим я через VNC случайно открываю и закрываю окна, захожу на разные сайты.

Я: Они даже могут захватить твой компьютер, превратив его в бота, которым ОНИ будут управлять. Я слышал рассказы о людях, к которым приходили из ФБР, потому что их компьютер был захвачен хакерами, и использовался для атак на Белый дом или Пентагон. Бедные люди даже не был в курсе, что их взломали

При этом я открываю и закрываю все больше окон.

Он: Эй! Я не уверен, что происходит, но мой компьютер ведет себя странно. Он пытается самостоятельно выйти в Интернет!
Я: Ой-ой. Это плохо! Ты уверен, что печатаешь не слишком быстро? На всякий случай запусти антивирус. Если ты не сможешь этого сделать, то это очень плохо.

Он пытается, но я мешаю движению его мыши. Наконец я позволил ему запустить программу, и как только она открылась, то я сразу закрыл ее.

Он: Я начинаю волноваться. Я не знаю, что происходит! Я ничего не могу сделать на своем компьютере!!!

А я открываю командную строку и запускаю команды: IPCONFIG, netstat, tracert whitehouse.gov и тд.

Я: Вау что ты сделал?! Выглядит очень серьезно. Похоже, твой компьютер был атакован Может быть, хакер пытается проникнуть в него. Возможно, тебе придется отключить его. Похоже, они пытаются добраться до твоего банка или того хуже

При этом начинаю набирать:

Access: Pentagon Classification TS5
PASSWORD REQUIRED: ******
FAILURE 1 NOTED: Alert sequence
Delta Alpha Charlie initiated : IP TRACKING LEVEL 1 PRIORITY INITIATED
WARNING - PASSWORD FAILURE 2
ALERT TEAM NOTIFIED: FINAL PASSWORD FAILURE
Security Breach detected. Tracking completed. IP ADDRESS confirmed. Response Team dispatched. Address Confirmed: Illegal security breach confirmed. Trace complete. Team dispatched - 2123 Main street: Perpetrator confirmation - John Smith.


Естественно, я использовал его реальный домашний адрес.

Я продолжал пугать его, набирая вышеуказанное, но он начал меня перебивать

Ой, чувак, это действительно очень плохо Они взламывают Пентагон. Что мне делать. Что делать?!

Я намереваясь действовать слишком медленно для его удобства.

Ой, ты должен запустить антивирус.
ПОМОГИТЕ! Они знают, кто я. Что мне делать?!
Ну, я бы посоветовал выключить компьютер, положить его в коробку и вернуть в магазин!
Наконец я уже не смог сдерживать смех и спалился, а потом объяснил ему, что я делал. Почему-то это не показалось ему настолько смешным, как мне. Но с тех пор мне не звонили как тыжпрограммисту!

Комментарий к статье



Наверное, худшая история, которую я могу вспомнить, помимо обычной головной боли от пользователей, была о том, как мне пришлось провести исследования активности одного пользователя в сети. Было показано, что этот человек генерирует очень большой трафик во второй половине дня и замедляет работу всего отдела. После нескольких минут изучения логов я обратил внимание на название одного из его часто посещаемых сайтов. Уже не помню конкретный адрес, но то был сайт, посвященный КРУПНМ женщинам. Я передал эту информацию своему руководителю, который передал ее дальше, и скоро я получил ответ от начальника моего босса, что им нужны конкретные примеры того, на какие типы сайтов он заходит, со скриншотами.

Остаток дня я никогда не забуду Если бы у меня под руками был отбеливатель, я бы залил его в свои глаз сразу, как только он зашел на тот сайт. Очевидно, этот джентльмен проводил 80% своего времени, просматривая очень сомнительные материалы в офисе.

После сбора снимков экрана в течении двух часов я связался с начальником моего босса, чтобы показать ему свое расследование

Позже он сказал мне, что они поговорили с тем сотрудником, и он уволился.

110 != 220

Это был мой первый год в ИТ, и мне пришлось менять компьютер, который управлял огромной сушилкой для древесины. Мне не очень много лет, но тогда многие компьютеры работали под DOS.

Я позвонил в Германию, в компанию по производству печей, нашел человека, который владел английским, получил спецификации, собрал снаряжение и уехал к заказчику, который находился за 200 миль. После резервного копирования предыдущей системы (на дискеты!) я вытащил огромную сетевую карту из старого компьютера, вставил в новый, подключил питание к ИБП и нажал кнопку включения.

БУМ

Голубой дымок из перегоревшего блока питания С побелевшим лицом я позвонил начальнику, рассказал ему обо всем, что я сделал, и к чему это привело.

Не переживай, щит хепенс, просто зайди в компьютерный магазин в получасе езды, купи новый блок питания и попробуй еще раз. Да, и удали эту чудовищную сетевую карту, прежде чем снова включишь питание!.

Быстро съездив до магазина и обратно, я возвращаюсь с новым блоком питания, заменяю его, снимаю сетевую карту и снова нажимаю кнопку питания.

БУМ

Еще больше голубого дыма, и мое лицо побелело еще сильнее. Я перезваниваю своему боссу: Опять что-то не так с вашей установкой. Через несколько минут, обсудив с ним все по телефону, мы пришли к выводу, что компьютер собран правильно, а проблема в чем-то другом.

Куда ты подключил шнур питания?
К ИБП
Хммм А чьего он производства? Ты не знаешь? Написано по-немецки?
Да
Тогда вернись в магазин, купи новый блок питания и поставь красный переключатель на задней панели на 220В. Перезвоните мне, когда печь снова заработает.

Вот так выяснилось, что в Германии техника работает на 220В. Думаю, 19-летний парень из Канады, которым я тогда был, мог этого не знать.

Из комментариев к статье



Когда я только начинал свою карьеру в сфере IT, и мне сказали, что один VIP-пользователь никак не может подключиться к VPN, попросили помочь. На его рабочем компьютере все было в порядке, поэтому я попросил пользователя лично показать мне, что он делает. Он достал свой токен RSA, ввел код с него и вошел в систему.

Однако этот пользователь не первый раз жаловался эту проблему, и я был не первым, кто пытался ему помочь. Я попросил его рассказать по шагам, что он делает перед тем, как у него не получается зайти в сеть.

Сначала, я достаю свой ноутбук, подключаю сетевой кабель, подключаюсь к Интернету из дома. Потом запускаю VPN-клиент, вытаскиваю этот листок с кодом и набираю его

Оказалось, что он записывал код с токена RSA перед тем, как уйти домой, а сам токен оставлял на работе, потому что эта штука была довольно дорогой, и он не хотел ее терять. Я объяснил, что номер все время меняется, и ему нужно всегда носить его с собой. Проблема с VPN была решена.

Комментарий к статье

Одна из компаний, поддержкой которых мы занимались на моей прошлой работе, была университетская полиция. И вот однажды моему коллеге позвонил начальник полиции и сообщил, что что-тоне так с подключением к сети Ethernet на его новеньком ноутбуке. Мы быстро подъехали, чтобы взглянуть на его ноутбук. Проблема была очевидна!

Каким-то образом (ядо сих пор не знаю, как у него хватило силы) начальник полиции вставил кабель Ethernet в разъем модема RJ-11. И вставил его так сильно, что треснул корпус вокруг разъема.

Комментарий к статье

Несколько лет назад мне позвонил один пользователь и пожаловался, что у него проблемы с печатью на принтере в его кабинете. Я зашел в настройку Принтеры WindowsXP и увидел, что принтера там нет.

Я подошел к его столу, чтобы проверить соединение, но обнаружил, что его рабочая станция не подключена к принтеру.

Зачем мне это нужно?, он спросил, Это же ЛАЗЕРНЙ принтер!"

Комментарий к статье



Этот было середине 90-х, в старые добрые времена DOS. Я работал в очень большом банке и оказывал поддержку пользователям по всему штату. Обучение сотрудников там не одобрялось, и в бюджете не было предусмотрено, поэтому у нас были здания заполненные людьми, пытающимися понять, как заставить работать их компьютеры. Одна дама работала в налоговом отделе, лет ей было 190, и она использовала компьютер только потому, что была вынуждена (опять же без обучения!). Я настроил для нее систему и сделал ее максимально удобной для пользователя, насколько это вообще было возможно в DOS. У нее было простое меню с тремя вариантами, один из которых запускал налоговую программу.

Однажды она позвонила мне очень сильно раздраженная: На моем экране ничего нет!. Не имея в своем распоряжении никаких диагностических инструментов, кроме своего воображения, я начал использовать ее как свои глаза.

Посмотрите на монитор, ту штуку, которая похожа на телевизор, горит ли зеленый светодиод?
НЕ ЗНАЮ
Посмотрите справа от телевизора, 2 дюйма вниз и 1 дюйм направо.
Есть зеленая лампочка.

Я еле удержался от комментариев, и мы повторили этот процесс для компьютера, с аналогичными сложностями в переводе с айтишного языка на понятный ей. После выяснения того, что все действительно было включено и работало правильно, я снова обратил внимание на монитор. Мог ли он сгореть?

Хорошо, я хочу, чтобы вы посмотрели в телевизор. Вы видите что-нибудь похожее на светящиеся оранжево-желтые буквы где-нибудь на стеклянной части телевизора?
О да, там написано 'C: ->'

Я подумал объяснить ей, что она смотрела на приглашение DOS, но решил пропустить такие подробности.

Наберите MENU, нажмите Enter и расскажите мне, что происходит
Ничего.
Есть новые яркие символы?
Да: Bad command or filename C:->.

Несколько попыток запустить приложение Menu не увенчались успехом, поэтому я подумал, что, возможно, приложение было повреждено. После внутренних стенаний о том, что будет дальше, я сказал:

Давайте попробуем запустить приложение Tax без меню. Я хочу, чтобы вы набрали: CD (space) TAX, нажмите Enter и расскажите мне, что произошло.
Ничего! На экране ничего нет!

С растущим возбуждением я прошу:

ПОСМОТРИТЕ НА 1/2 дюйма от того места, где остановились ваши глаза и прочтите чертовы светящиеся символы!
Bad command or file name".

Я был в недоумении Потом еще подумал несколько минут, и мне в голову пришла идея.

Прочитайте по буквам то, что вы только что набрали
S E E D E E S P A C E T A X"

Именно в тот момент своей карьеры я понял, для чего на самом деле нужна кнопка отключения звука. Когда я отключил свой телефон, то с криком ударился головой об стол!

Комментарий к статье



У меня было много такого, чего я уже не вспомню, но есть один случай, когда одна девушка сообщила: На мониторе моего компьютера утка.

Служба поддержки 1-го уровня удаленно проверила ее машину и не нашла вредоносных программ или приложений, которые могли бы вызывать такое поведение. Они уже собирались прислать мне компьютер, чтобы я физически проверил, но, прежде чем отдать мне свою машину, она заявила, что со всем разобралась.

Мне было очень любопытно, что же вызвало такую проблему, поэтому я спросил, что произошло

Она ответила, что вентилятор наклеил на ее монитор стикер с уткой, и она просто не заметила этого.

Комментарий к статье

Однажды вечером нам позвонили из небольшой фирмы примерно в 70 милях от нас. Перед этим мы продали им новый принтер, все, что им нужно было сделать установить драйверы и подключить устройство. Ничего особенного.

Но они позвонили мне и сказали, что компакт-диск не помещается в дисковод. Читая наклейку на диске, они сказали, что поняли проблему. На диске было написано, что он предназначен для MAC, а мне нужно было отправить им диск для Windows, так как компакт-диск от MAC не влезет в привод. Дело было срочное и я поехал к ним в офис.

Я понял проблему сразу, как только вошел в офис, потому что на верхней части компьютера были маленькие резиновые ножки. Решение? Переверните компьютер и теперь CD отлично подходит!

Комментарий к статье

Было дело, в техподдержку позвонила женщина позвонила и сказала, что каждый день она сохраняет свою базу данных на дискете, а на следующий день дискета всегда пуста.

После того, как несколько дней мы просили ее проверять целостность данных в резервной копии, и все было в порядке, но на следующий день снова все исчезало, мы отправили к ней технического специалиста.

Что он увидел?

После сохранения данных на диск 5 1/2 она прикрепляла его к своему металлическому шкафу с помощью промышленного магнита.

Комментарий к статье



В один момент мне было необходимо срочно проложить четыре десятка проводов витой пары на расстояние в сто метров. Большая часть дистанции проходила над навесным потолком на трёхметровой высоте. Поняв, что для моих единственных в конторе админских плеч решение задачи в приемлемые сроки является непосильным, я принялся терзать шефа на предмет привлечения сторонних монтажников, и тот, скрепя сердце, согласился. Я разработал техзадание, разослал по разным конторам и стал ждать.

Одно из предложений сильно выделялось из общей массы. Ребята утверждали, что работу они выполнят всего за один день, причём втрое дешевле, чем любой из конкурентов! На всякий случай перезвонил и уточнил, правильно ли они поняли задание. Ответили, что поняли прекрасно, а скорость и дешевизна объясняется тем, что в работе используется кабелеукладчик. Я был заинтригован. С кабелеукладчиками имел дело в армии и решительно не представлял, каким образом данный девайс можно приспособить к прокладке витой пары под фальшпотолком.

В назначенный день прибыли всего два монтажника со стремянками и инструментами. Наблюдая за процессом разгрузки, я с нетерпением ждал чудо-агрегата, способного автоматизировать процесс. Агрегата так не дождался, зато последней из микроавтобуса была выгружена некрупная такса. Не успел я удивиться по поводу появления животного, как мне объяснили, что это и есть таинственный кабелеукладчик.

В комплекте к таксе шел специальный костюмчик с ручкой вдоль спины для переноски, сбруя на голову со светодиодным фонариком и шлейка. Прокладка кабеля осуществлялась путём прикрепления его к шлейке и запуска таксы в труднодоступное место. Надрессированное животное шустро мчалось на звук голоса или свет фонаря, волоча за собой провод. Потолок собаку выдерживал, мощности же хватало метров на пятьдесят.

Скорость прокладки в длинных и труднодоступных участках была просто фантастической. Такса резво носилась в одну сторону по верху, а обратно по коридору, пугая женскую часть персонала. Даже ЧП в виде выпавшей панельки потолка не повлияло на её настроение: протягиваемый провод сыграл роль страховочного троса, и собачка плавно опустилась на пол. Ребята сказали, что к таким ситуациям кабелеукладчик приучен.

Смех смехом, но такса на полном серьёзе стояла у ребят на балансе фирм. Мне были продемонстрированы документы. Работу дружный коллектив действительно выполнил менее, чем за день, причем без предварительного разматывания кабеля и, соответственно, без обрезков. Правда, работа нашей конторы полностью встала: всё население сбежалось посмотреть за работой кабелеукладчика.

Фольклор

Мы поставили пиво в холодильник и ждем ваших историй

Победителя определим через неделю, 10 марта.

Напоминаем правила:

• Ваша любимая история, личная, рассказанная другом за бутылочкой пива, прочитанная когда-то
• Баночка за каждую историю
• Ящик эля за самую заплюсованный историю в комментариях

Звонит как-то вендор и говорит, что в возврате бракованного железа не их жёсткий диск.


Это местный вендор. Для прода мы покупаем серверное железо у крупных поставщиков, часто возим его в разные страны из одного центра. Но для тестовых новых конфигураций обращаемся к локальным поставщикам, берём железо на тесты или разовые проекты. Один из жёстких дисков оказался бракованным, и мы вернули его назад поставщику по гарантии. Причём знатно ругаясь, что связались с маленькой компанией, что задержало нам график тестов.

Гарантийный отдел ковыряется с диском, а потом звонят:

А зачем вы подменили диск?

Мы такие:

В смысле подменили?

Мы вам продавали другой. А тут корпус тот, а внутри другой. Какие-то следы от отвёртки.

Дичь полнейшая! Мы начали было ругаться, но потом стали разбираться. Начали смотреть на камеры и увидели, что наш сотрудник очень подозрительно себя вёл, когда работал с этим диском в стойке. Как в плохих комедиях про жуликов: постоянно осматривался по сторонам, отходил в сторону, возвращался. Оказалось, что он подменил диск. Честно, я не знаю зачем. Его финансовая выгода минимальная, скорее всего, даже не окупает время работы по замене корпуса.

У нас было ещё несколько странных ситуаций, и сейчас я о них расскажу.

Форекс-трейдер

VDS часто покупаются для торговли на биржах. Ну, на нормальных биржах: я имею в виду тех, где важно географическое расположение сервера для минимизации задержек. Но есть и биржи уровня Форекса. Вернее их даже биржами назвать нельзя. Это на сленге трейдеров кухня. Напомню, что многие из них попали в список компаний с признаками нелегальной деятельности, который завёл ЦБ. У меня есть глубокое личное убеждение, основанное на здравом смысле и математике, что система работает как качели для вытаскивания денег из не самых разбирающихся в вопросе клиентов. Возможно, это не так, но свою точку зрения я могу аргументировать и обосновать при необходимости. Но в истории важно другое. Звонит мой знакомый, который взял у нас сервер в Швейцарии. И вот он начинает в открытую меня и всех наших сотрудников обвинять в том, что мы залезаем к нему на сервер в процессе торгов и вмешиваемся в его форекс-сделки.

По его словам, он придумал великую стратегию, а убыточные сделки берутся рынком, плюсовые же вовремя не берутся, игнорируются. И в этом виноваты мы. Точнее, сначала он обратился с задачей, что его не устраивает производительность сервера. С его слов, она радикально падала в момент выхода новостей. В 16:30, когда выходит мировая статистика. В этот момент времени все трейдеры, кто работает с помощью автоматических торговых систем, начинают многократно усиливать свою активность. Если, грубо говоря, внутри дня он делает десять сделок, то в эти 16:30 и одну минуту он может сделать сто сделок. Естественно, это создаёт пик нагрузки, причём не локально, а на принимающем сервере. Но трейдер этого не понимает, он думает, что у нас сервер именно в 16:30, когда ему надо выставить заявку или закрыть заявку, тормозит. А это совпадает с самым нужным временем. И не верится, что это просто совпадение.

Поскольку это был мой знакомый, сначала я потратил неделю на то, чтобы провести ему курс ликбеза про то, как работают серверы и как работают биржи. Потом выделил админа, чтобы он проверил лично его сервер. Потом началось: Ты меня привёл сюда, ты там лазишь, воруешь мою торговую стратегию, ты вор, ублюдок Ты мне врёшь. Вы залезаете ко мне, ты знаешь, что у меня там классный торговый робот, ты хочешь его своровать. Ты залезаешь ко мне на сервер, ты мне гадишь статистику. Это ты подкручиваешь настройки, чтобы у меня ничего не работало. Перешёл на другой хостинг. Потом вроде ещё и ещё. И только через два года мы начали общаться снова, он признал, что я был прав. Но к этому моменту он уже влез в долги.

Здесь главная проблема работа со знакомым. Если бы это был просто клиент, то мы бы провели диагностику и не получали оскорблений.

Игровые серверы школьников

Школьники довольно часто размещают у нас игровые серверы. Это, скажем так, сложные клиенты, потому что они выбирают третий по цене тарифный план. Первый это промо за 30 рублей в месяц (по цене IP), второй урезанная версия стандартных конфигураций за 130 рублей и третий уже полноценный сервер от 300 рублей в месяц.

Итак, дети открывают сервер, начинают играть. Через некоторое время их с завидным постоянством начинают дидосить. Не каждого, условно примерно каждый десятый сервер. После начала дидоса наша система их блокирует. Ещё через пять минут ребёнок с большим гонором и богатым трёхэтажным матом начинает писать в нашу поддержку о том, какие мы тут все плохие люди. Обрезали ему, значит, игру, у него там нет дохода из-за этого, мы там попали на миллионы из-за него теперь. Он нас побить приедет.

Поддержка вежливо объясняет суть проблемы и предлагает подключить защиту от DDOS-атак за 400 рублей (причём первый месяц бесплатно). По нашей практике, потом можно будет играть совершенно спокойно. На что клиент начинает нас обвинять в том, что это мы специально дидосим его, чтобы он нам заплатил ещё. Далее закономерно встаёт вопрос о возврате средств, и обычно мы средства возвращаем и с лёгкостью расстаёмся с таким клиентом.

Один из тикетов был похож на подобный, но с нюансом. Блокировки не было, дидоса не было, трёхэтажного мата тоже не было. Просто клиент запросил возврат средств с сервера, который был оплачен на несколько месяцев. А тут надо сказать, что у нас есть ссылка для оплаты, которую можно выставить наружу, и любой человек может оплатить хостинг для какого-то клиента. Это удобно, потому что бухгалтерии не обязательно логиниться в админпанель. Школьники использовали эту ссылку для краудфандинга, скинулись на сервак и начали играть.

Клиент пишет заявку на возврат средств, мы отправляем её в платёжный шлюз. И вдруг владелец удаляет сервер, начинаются тот самый мат и дикие крики про то, что вернуть надо на его счёт, а не на счета плательщиков. То есть условно у них было порядка сорока оплат по 100 рублей, и все их платёжный шлюз собирался распихать обратно по тем самым карточкам, с которых они платили. Но главному герою нужен был возврат на один свой счёт. В общем, в ходе диалога с поддержкой он уже прямо признался, что хотел получить чужие деньги. Через пару месяцев эта же история повторилась с минимальными вариациями с другим школьником.

Самый короткий детектив

Бывает, наши серверы берутся для обхода блокировок. Люди разворачивают VPN и просто ходят через наш сервер в большой интернет, если на работе он заблокирован. Ну или просто берут сервер в другой юрисдикции типа Швейцарии и ходят через него. Почему это важно, есть вот тут про маски-шоу.

И вот пишет клиент, что наш сервер не отвечает.

Мы просим трассировку. Клиент делает, присылает. Мы сообщаем, что RDP блокирует его отель, и желаем приятного отпуска в Таиланде. Клиент немного в панике, но мы поясняем, что его Wi-Fi-точка названа именно по отелю. И даём ссылку на то, как это обойти. В тот раз помогло.

Регистрации под ботами

Очень странная ситуация была с тестовыми периодами на наших 32-ядерных машинах. Кто-то научился брать американские номера, парсить голос, русский текст и цифры. Как только криптовалюты совершали очередной прыжок, начинались авторегистрации, а дальше серверы использовались (судя по характеру нагрузки) для майнинга криптовалют. Не знаю, что это было, но майнить биткоин на VDS без видеокарты идея откровенно так себе. Процессор уходит в потолок, три дня они пытаются что-то там сделать, потом период заканчивается. Мы обновили капчи, но на следующей волне скачка курса биткоина снова начались авторегистрации. Я откровенно не понимаю, какой в этом смысл, ведь аренда американского номера стоит дороже, чем возможный профит с майнинга на процессоре три дня. Сейчас эти волны мы наконец-то победили.

Блокировки по IP

Мы выдаём один статический IP клиенту при аренде сервера. Это не карусель динамических адресов, не замены раз в месяц, а конкретный IP, привязанный к клиенту. Сначала мы проверяем его чистоту и отсутствие во всяких чёрных списках, а потом даём клиенту.

Дальше клиент может испортить этот айпишник. Например, инста-блогерки и инста-блогеры часто разворачивают у нас средства накрутки Инстаграма. Инстаграм их ожидаемо банит через некоторое время. Дальше в поддержку начинаются обращения: Почему меня забанил Инстаграм?! с кучей смайликов. Или: Почему меня забанило Авито, смените мне IP-адрес, но про Авито смайликов почти нет.

Ещё накручивают отзывы и просмотры на Амазоне. Потом в поддержке: Ребята, это мой не первый аккаунт, можете, пожалуйста, сменить мне IP-адрес, потому что меня забанило?

Бывает так, что админ настраивает клиенту работу на сервере, но забывает уточнить вопрос про лицензии. Звонит генеральный директор, у которого 25 сотрудников, и они все сидят на удалённом рабочем столе, у нас размещали соответственно. Весь замес в том, что системный администратор, который это настраивал, был на аутсорсе. Он настроил кучу виртуальных рабочих мест. Человек платил около 35 тысяч. У него там размещалось 25 сотрудников, и 120 дней человек вообще не знал никакой проблемы с подключением к удалённому рабочему столу. А цимес в том, что Майкрософт даёт триалку на размещение этого удалённого сервера рабочих столов 120 дней ровно. Человек четыре месяца, получается, пользуется, и тут внезапно посреди пятого месяца обнаруживает, что у него ни один сотрудник не может зайти. Диктует нам ошибку, мы всё прекрасно понимаем, что у него там происходит. И предлагаем ему два варианта:

Вы либо удаляете эту службу, которая не даёт вам подключиться вообще в принципе, либо платите за каждую лицензию.

В общем, ребят, я не буду платить тройную цену от сервака.

Неудивительно, потому что лицензия стоит 91 тысячу рублей, а у него сервак стоит 36 тысяч.

Ребята, надо, короче, решать. Давайте так: мне по-любому нужно это бесплатно. Что если мы оформим договор на другое лицо, и таким образом у меня будет ещё 120 дней? А что если вы измените человека, у меня сейчас есть знакомый, он зарегистрируется?

А вы точно понимаете, что сейчас у официального партнёра MS спрашиваете, как их же обмануть?

Да! Ребята, какие ещё варианты есть?

Неожиданный уход коллеги

Текучка у нас минимальная, поэтому, когда человек уходит, это целое событие. Главное в этом событии то, что на выходном интервью сотрудник уже может быть полностью откровенным, и мы часто узнаём про какие-то вещи, которые раздражают, но про которые обычно не говорят. Это самая полезная обратная связь для найма и удержания людей.

И вот одна из ситуаций. Сотрудник взял и не пришёл на работу. Работал-работал и потом пропал. Выходного интервью нет. Начали разбираться, что же случилось, может быть, обиделся на что-то. Никаких внутренних предпосылок. Уже потом начали общаться с ним удалённо, он прислал ссылку на статью на Хабре про профессиональное выгорание.

Это ничего не объясняло, но дальше удалось поговорить. Сотрудник сказал, что внимательно всё прочитал и не хочет, чтобы это случилось с ним. Поэтому увольняется.

Никаких выводов и действий. Просто, возможно, он счастлив где-то ещё.

Дебош

На корпоративе сотрудник устроил жутчайший дебош. Страшнее представить сложно! Сначала дрался с коллегами, потом начал нападать на случайных людей вокруг. Кое-как скрутили и прижали к полу. Подошёл мужик, начал кричать, что мы ограничиваем свободу человеку, столкнул с него двух человек. Наш герой встал и дал правозащитнику мощного леща, после чего уже и он помогал его держать. Приехали на это все: скорая, полиция, охрана местная. При запаковке в наручники он умудрился вырваться и разбить нос полицейскому.

В итоге уголовку он не получил, полицейские оказались добрыми. Оставили всего до утра к КПЗ и отпустили домой к жене и детям. Как бы конец истории, но непонятно, что делать дальше, потому что в беседе он пояснил, что нет гарантии того, что ровно такое же не повторится. Например, в офисе. Или в серверной. Или на переговорах с клиентом или ЦОДом.

Долго думали, что делать. Увольнять вроде неправильно. По работе претензий нет, всё хорошо.
Но вроде, если человек облажался в соцсетях и кого-то оскорбил, в крупных компаниях увольняют. Тут похожая ситуация. Непонятно. В общем, в итоге перевели на полную удалёнку ещё до того, как это стало мейнстримом.

Уничтоженный сервер 1С

Мы ужасно серьёзны в плане защиты финансовых данных своих клиентов, поскольку довольно часто наши ЦОДы в других юрисдикциях выбираются именно для этого. Одно из следствий если клиент отдаёт прямую команду из личного кабинета на удаление машины, то она именно удаляется, а не помещается в хранилище на несколько месяцев. Для подтверждения этого действия нужно ещё раз ввести пароль от ЛК.

Итак, бухгалтерше одного из клиентов нужны закрывающие документы о том, что услуга оказана. Документы есть в личном кабинете, они автоматически формируются. Она сообщает, что доступ утерян. Но она знает номер договора и все реквизиты. ОК, говорим мы: пришлите письмо на бланке организации с подписью генерального и печатью, восстановим вам доступ.

Письмо приходит, в нём просьба поменять основную почту доступа.

Мы соответственно меняем почту.

Потом нам пишет генеральный директор и сообщает, что бухгалтерша удалила его сервер 1С с базой. И слёзно просит нас его восстановить. Сотрудницу к этому моменту он уже уволил.

Это трагедия в чистом виде, потому что всё юридически правильно, но понятийно нет. Мы долго думали, что можно было сделать в этой ситуации, и решили, что у нас будет отдельная роль внутри аккаунта для биллинга (закрывающих документов и оплат). Сейчас это в планах релизов.

Общие выводы и чем закончилась история с жёстким диском

Мы стараемся разобраться и понять, что можно сделать, чтобы риск не повторялся.
В случае с заменённым жёстким диском сотрудник написал по собственному и уволился тем же днём. Мы не предъявляли ему претензий, поскольку понимали, что будет крайне тяжело это доказать. И, несмотря на всю иррациональность ситуации, у нас есть правило: если ты знаешь риск, то надо постараться его минимизировать на будущее. В этой истории было не очень понятно, что делать. В итоге посовещались и выделили отдельную комнату в офисе для сборок оборудования, над столом там поставили камеру. В этом случае мы, наверное, больше параноики, чем оптимизаторы, но таков принцип. Возможно, это потому, что мы из финансовой сферы, и с этим очень серьёзно. Здесь мы страхуемся не только от хищения, но и от того, чтобы ложно не обвинить своего сотрудника, если будет какая-то путаница от вендора или что-то подобное, потому что оборудование довольно дорогое.

Предварительное уведомление: пост этот сугубо пятничный, и больше развлекательный, чем технический. Вас ждут весёлые истории об инженерных факапах, байки с тёмной стороны работы сотового оператора и прочий легкомысленный шорох. Если я где-то что-то приукрашу то только для пользы жанра, а если навру так всё это дела дней настолько минувших, что никому от того вреда не будет. Но если цепанёте глазом техническую или ещё какую лажу поправляйте меня нещадно, я всегда был на стороне справедливости.

Внимание, начинаю без разгона!

Backdoor во двор

В нашей дежурке на первом этаже были большие такие окна, от цоколя и чуть ли не до потолка. Выходили они на служебную парковку, откуда по утрам разъезжались всякие измерители и прочие полевые сотрудники. Парковка же находилась в достаточном удалении от парадного и всех служебных входов, да ещё за двумя шлагбаумами.
Как-то утром к зданию подъезжают тогда ещё милицейские машинки, на всех проходных встают милиционеры и проводят досмотр всех уходящих. В служебную рассылку прилетает алерт: внезапно (действительно внезапно, не как обычно) нагрянула проверка на лицензионность софта, будут досматривать рабочие станции. У кого что на компах есть пиратского надо сносить вотпрямща!
Безусловно, всё, что касается операционных систем, офисного и служебного софта то большей частью было лицензированное. Но не всё, не всегда и не везде; а уж что себе сотрудники наставили на служебные ноутбуки история совсем тёмная. Я ринулся проверять машины в своей зоне ответственности на пиратщину, что-то по быстрому снося
А в это время в дежурку торопливым и нервным шагом начинают входить инженеры, с ноутами и системниками в объятьях. Входят они через дверь, а выходят, похихикивая от абсурдности ситуации, через окно: все проходные перекрыли, а вот о таком бекдоре демоны правопорядка не додумались. Так, пока шла проверка бухгалтерии (где всё было образцово-показательно), сотрудники и вытащили всё палево.

Прошлое там

Если вы заинтересовались и не закрыли вкладку вот вам некоторая экспозиция происходящего во времени, пространстве и лицах. Я прекрасно юный, зелёный, как лист щавеля, выпускник-айтишник, устроившийся работать в инженерную дежурку самарского Мегафона (который тогда был ещё и вовсе МСС Поволжье). Для меня это было первое настоящее соприкосновение с Техникой с большой буквы и Технарями с ещё более большой: будучи самым младшим чертёнком в этой адской кухне, я с восторгом наблюдал за работой многоопытных чертей инженеров, безуспешно пытаясь постичь их мудрость. Пока та мудрость не всочилась в мозговые поры, я мог только пыриться в кучу разномастных мониторингов, волнуясь каждый раз, когда там появлялось красненькое.



Если кто-то из упомянутых тут персонажей себя вдруг узнает привет вам!

Работает не трогай (но трогай, если не работает)

Одним из упомянутых выше сверхтехнарей был Миша Басов. За годы работы в Меге я о нём слышал много хорошего и интересного в том духе, что он стоял чуть ли не у истоков и запустил кучу процессов. Мне с ним пообщаться как следует не удалось: познакомились буквально в отделе кадров, когда я принёс документы, а он забирал.

Одна из систем мониторинга, с которой мы работали, была написана Мишей. Я уже не очень помню, что там мониторилось, но знаю, что Миша написал временное решение, которое быстро стало постоянным. Да и хорошо: многое из того, что истинные технари делают для собственных нужд на скорую руку, получается просто прекрасно. Тот мониторинг тоже всех устраивал, работая без всякой поддержки и обслуживания, правда, никто не знал, как.
Через пару лет после Мишиного увольнения мониторинг стал показывать пустую страницу.
Я сразу забил в набат. Старший смены забил в набат. Начальник сектора забил в набат. Начальник отдела забил в набат. Начальник службы забил в набат. Начальник департамента звякнул бубенцами. Звон услышал IT-директор всея Поволжья, тут же собрав совещание. Туда он позвал начальника департамента. Тот рявкнул на начальника службы. Тот, не понимая сути проблемы, позвал начальника отдела. Этот, не врубаясь в произошедшее, позвал начальника сектора, который вызвал начальника смены. Ну, а тот перевёл стрелку на меня.
Как-то подменившись с дежурства, я отправился на это совещание. Сказано было много слов, был призван ответственный за мониторинги (ничего внятного мы не услышали), было вспомнено, что мониторинг писал Басов, что мониторинг очень важный, но что никто не понимает и не знает, как он работает Всё свелось к тому, что нерабочую и непонятную систему надо убирать, а вместо этого внедрять проверенное решение от проверенного вендора.
Пока это всё говорилось, я выпросил у кого-то ноутбук и ssh-доступ на тот сервер. Мне было интересно посмотреть, что же за суперкрутую систему написал легендарный Басов.
Захожу, первым делом по привычке набираю

df -h

Команда отвечает мне что-то вроде:

Filesystem      Size  Used Avail Use% Mounted on/var            10G   10G  0G    100% /

Чищу переполнившийся за годы /var/log, обновляю мониторинг всё работает. Починил!
Совещание останавливается, комкается, все расходятся. По пути начальник отдела радуется и обещает мне премию!..

Вместо премии я получил потом ментальный втык за то, что нечаянно обломил откат на заказ системы мониторинга от проверенного вендора.

Где домики живут

Одной из обязанностей дежурных инженеров был контроль электронных ключей доступа в машинные залы. Сами залы меня тогда очень впечатляли: ряды стоек, забитых серверным и коммутационным оборудованием, линии оптоволокна и кросс-кабелей (где-то идеально уложенные, где-то превратившиеся в невероятный комок спагетти), постоянный гул кондиционеров и фальш-полы, под которыми было так удобно охлаждать напитки Входы в залы закупоривались тяжеленными гермодверями, призванными обеспечить автоматическую блокировку при пожаре. Вход и выход строго протоколировался под роспись, чтобы было известно, кто и зачем сейчас внутри.
Больше всего в этих залах мне нравились, конечно, серверные шкафы супердомиков два HP SuperDome 9000, обеспечивавших работу биллинга. Две идентичных ноды, одна всегда была боевой, а вторая синхронным горячим резервом. Различие меж ними было только в IP-адресах, один был x.x.x.45, другой x.x.x.46. Оба этих айпишника знали все инженеры, потому что если что-то на биллинге случилось первым делом смотришь, видны ли супердомики. Невидность супердомиков ахтунг.
Как-то утром подобный ахтунг случается. В течение двух секунд на обоих серверах исчезают все службы, биллинг схлопывается в ничто. Быстро проверяем сервера пингуются, но на них реально ничего нет!
Не успеваем мы даже начать положенный комплекс мероприятий, как слышим громогласный ор "УБЬЮ, СТУДЕНТ!"; в дежурку вбегает архиадмин всея серваков, срывает с полки электронный ключ от машзала и бежит туда.
Очень быстро после этого мониторинг приходит в норму.
Случилось вот что: новый сотрудник подрядной организации, конфигурировавший пачку новых виртуалок, ручками прописал им последовательные статические айпишники, от x.x.x.1 до x.x.x.100. Студент не знал о священных неприкасаемых адресах, а старожилам и в голову не приходило, что кто-то мог на них так покуситься.

Услуга Антиспам

Ух, ночные дежурства! Любил их и ненавидел, потому что это было 50/50: либо плановые работы на оборудовании, где ты принимаешь активное участие, сонными мозгами и дрожащими руками помогая инженеру, либо тишина со спокойствием. Абоненты спят, оборудование работает, ничего не ломается, дежурный расслаблен.


Дежурство идёт по плану.

Как-то раз такое полночное спокойствие нарушает звонок на служебный телефон: здравствуйте, это из Сбербанка беспокоят, у нас перестала работать ваша симка, с которой оповещения наши рассылаются.
Дело ведь давно было, ещё до внедрения IP-подключений к СМС-шлюзу. Поэтому, чтобы Сбер мог отослать смску со своего знаменитого номера 900, они брали предоставленную симку (скорее всего даже не одну), втыкали в GSM-модем, да так и работали.
Окей, проблему принял и начал копать. Первым делом проверяю состояние симки в биллинге, та заблокирована. Что за чёрт рядом красная надпись НЕ БЛОКИРОВАТЬ и ссылка на приказ генерального архидемона. Ух, прямо интересно.
Проверяю причину блокировки, делаю брови домиком и путешествую в соседний кабинет, где пялится в мониторчик девочка из фрод-отдела.
Леночка, говорю я ей, ты зачем Сбербанк заблокировала?
Та в непонятках: мол пришла жалоба, что с номера 900 идёт спам. Ну я и заблочила, утром бы разобрались.
А вы говорите абонентские жалобы игнорируются!
Симку обратно включили, конечно.

Очень страшная история

Когда я только устроился на работу, мне и другим новичкам провели что-то вроде ознакомительной экскурсии. Показали оборудование: сервера, кондеи, инверторы, пожаротушение. Показали базовую станцию, стоявшую в одном из машзалов для опытов, пояснив, что хотя передатчики включаются на минимальной мощности, лучше за экранированную дверь в это время не входить. Пояснили за устройство мобильной сети, про питание основное и резервное, про отказоустойчивость и про то, что сеть спроектирована так, чтобы работать даже после атомной бомбардировки. Не знаю, для красного словца это было сказано, или правда, но в голове это отложилось.
И действительно: какой бы ахтунг иногда не творился локально, поволжская голосовая сеть работала всегда беспрерывно. Я не связист, но в курсе, что оборудование (и базовые станции, и клиентские терминалы) рассчитано на максимальную выживаемость голоса. Отключилось питание на БС? Она снизит мощность, перейдёт на ДГУ/аккумуляторы, отключит передачу пакетного трафика, но голос будет идти. Порезали кабель? База перейдёт на радиоканал, которого для голоса хватит. Телефон потерял БС? Он увеличит мощность и будет щупать эфир, пока не зацепится за вышку (или пока не высадит батарею). И т.д., и т.п.
Но однажды в офисе мигнул свет, а на улице затарахтели дизель-генераторы. Все ринулись перепроверять свои железки: по IT-части ничего критичного не случилось, а вот с мониторинга БС раздалось озадаченное опаньке. И потом: парни, у нас ВСЕ базы легли, проверьте связь.
Достаём мобильники нет сигнала.
Пробуем IP-телефонию на мобильную связь выхода нет.
Сети нет. Вообще. Нигде.
Вспомнив слова про атомную бомбардировку, я подсознательно несколько секунд ждал, пока до нас докатится ударная волна другой причины пропадания сети почему-то в голову не пришло. Было страшно и любопытно одновременно: я как-то понимал, что сделать один хрен ничего не успею. Остальные ребята тоже оторопели, никто ничего понять не мог.
Взрывной волны не было. После пятисекундного шока рванулись к имеющемуся на такой вот случай телефону проводной городской сети, принявшись обзванивать региональные офисы. Городская сеть, к счастью, работала, но в регионах подтверждали: вся Самара мёртвая, ни железки не пингуются, ни дозвон не идёт.
Через пять минут кто-то из энергетиков принёс новость: бахнуло где-то на электростанции, обесточило минимум всю Самару, возможно и область. Выдохнули; а когда произошло переключение на резервные мощности то даже и вдохнули.

Ещё одна страшная (но немного глупая) история

Самый большой факап на моей памяти произошёл во время очередной прямой линии с ныне обнулённым. Тогда как раз вводили фишку с отправкой вопросов смсками, поэтому к всплеску нагрузки на сеть подготовились заранее: всё перепроверили и подготовили, и за целую неделю до дня X запретили любые работы, кроме аварийных. Подобный протокол задействуется в любых случаях, когда ожидается повышенная нагрузка, например в праздники. И для дежурных инженеров оно всё равно, что выходной, потому что когда оборудование не трогают, с ним ничего произойти не может, а если даже произойдёт все спецы на всякий случай заранее сидят в офисе.
В общем, сидим, слушаем национального лидера, ни о чём не беспокоимся.

Со стороны коммутаторщиков доносится негромкое Е***ть.
Смотрю к себе действительно е***ь: отвалилась кампусная сеть.
Через секунду умирает вообще всё (тогда ещё не было мемасика про Наташу и котов, а он бы пригодился). Пропадает пользовательский сегмент сети, пропадает технологический. С возрастающим ужасом пытаемся проверить, что осталось в рабочем состоянии, а проверив, тянемся к шкафчику за спрятанной бутылкой лечебного коньяка: остались только голосовые вызовы (я ж говорил, они живучи!), всё остальное сдохло. Нет интернета ни абонентского GPRS, ни на оптике, которая отводится нескольким субпровайдерам. Не отправляются СМС. Жопа! Обзваниваем регионы у них сеть есть, но Самару они не видят.
В течение получаса конец света стал почти материально ощутимым. Десять миллионов человек, у которых внезапно всё сломалось и которые не могут дозвониться в колл-центр, потому что в колл-центре голосовые терминалы работают через VOIP.
И это во время выступления всетемнейшего правителя! Очередная победа госдепа и Обамы лично!

Дежурившие технари подорвались с низкого старта и отработали очень чётко: в течении часа сеть ожила.

Такой залёт это не областной, и даже не региональный уровень, о таком положено рапортовать в Москву со всеми подробностями и выдачей виновных. Поэтому тем, кто принимал участие в расследовании, запретили рассказывать правду под страхом увольнения, а для ГО сочинили отчёт, полный воды и тумана, по нему как-то получалось, что оно само, никто не виноват.
Что было на самом деле: у одного из начальников ехали сроки внедрений и обламывались премии за них. И начальнику начальника обламывались, и так далее; поэтому надавили на одного из новых инженеров, велев ему провести требуемые сетевые включения пока всё тихо. Инженер не осмелился возражать, или хотя бы потребовать письменный приказ: это была его первая ошибка. Вторая он ошибся при удалённой конфигурации циски, достигнув рекордных результатов по факапу в кратчайшие сроки.
Насколько известно мне наказали никого.

Праздник к нам приходит

Праздники, как я уже упоминал, были для нас всегда особенными днями. В такие дни резко растёт нагрузка на сеть, количество поздравительных звонков и СМС зашкаливает. Не знаю, как сейчас, с развитием интернет-общения, а тогда в один только Новый год опсосы снимали очень существенную пенку на поздравительных звонках.
Поэтому в новогоднюю ночь в офисе обязательно дежурили инженеры всех подразделений (а вне офиса бригады, готовые щемиться сквозь сугробы на устранение аварии на базовой станции в деревне малые дрищи). Биллингисты, админы железячные, сантехники по софту, сетевики, коммутёры, сервисники, саппорт подрядчиков каждой твари по твари. И если позволяли условия, то они тусовались у нас же в дежурке, наблюдая на наших устройствах мониторинга за всплесками трафика, идущего вслед за часовыми поясами по всему Поволжью. Три или четыре раза за ночь мы встречали Новый год, правда, в этом было не столько праздничности, сколько нервного ожидания: выдержит ли оборудование сверхнагрузку, не порвётся ли какое-то звено сложной технической цепочки



Особенно нервничал Саша, отвечавший за биллинг. Он, в принципе, всегда выглядел так, будто вся его жизнь проходит на оголённом нерве, ведь ему приходилось разгребать всё добро, творящееся с биллингом, отвечать за все косяки, его чаще других будили по ночам; в общем, я не представляю, как и почему он работал там, где работал. Может, ему денег много платили, или семью держали в заложниках. Но в ту ночь у меня вообще было ощущение, что если по Саше щёлкнуть ногтем, то от скопившегося в нём внутреннего напряжения он рассыпется в пыль. На такой неприятный случай у нас есть веник, а пока же работаем работу, облизываясь на ждущий своей очереди коньяк.
Час за часом прошли все всплески нагрузки, все принялись перепроверять свои системы. Коммутёр бледнеет: на одном из региональных коммутаторов пропал весь биллинговый трафик. А это данные о всех вызовах, прошедших через коммутатор; они пишутся в файлик, который чанками по FTP (кондово, но надёжно) выкачивается на BRT для тарификации.
Коммутёр, представив, какого объёма скипидарную клизму ему поставят за потерю части новогодней выручки по целому региону, аж задрожал. Повернувшись к Саше, он обратился к сиятельному господину биллингисту полным волнительной надежды голосом: Саша, посмотри пожалуйста, может BRT успел выкачать тарификацию? А, ну посмотри, пожалуйста!.
Саша пригубил коньяку, закусил его икорным бутербродом, не спеша прожевал и, закатывая глаза от удовольствия, обусловленного тем, что косяк не у него, ответствовал: Я уже проверил, файлов нету....

(Мой чудесный корректор спросила о том, что же потом стало с бедным коммутёром. О, судьба его была ужасна: его приговорили к неделе дежурств на первой линии поддержки колл-центра, запретив материться. Бр-р-р!)

Киньте камень, кто безгрешен

По этим историям может сложиться впечатление, что ни я лично, ни другие дежурные не факапили. Ничего подобного, факапили, но как-то без интересного эпика и последствий. Работа считалась подходящей вчерашним студентам без мозгов и опыта, взять с такого сотрудника нечего, выгнать за косяк так новый не факт, что умнее будет. А вот сваливание на дежурку своих косяков было у инженеров отдельной спортивной дисциплиной: проморгали, не разобрались, не вовремя уведомили, вот их и наказывайте. Дежурка же в совершенстве освоила науку отмазываться, получалось далеко не всегда, но все всё понимали. Поэтому прилетало но, как правило, без серьёзных последствий.


Разбираем очередной залёт на пересменке.

За несколько лет работы там я могу вспомнить три случая, когда из отдела кого-то увольняли.
Однажды инженер в ночную смену решил жахнуть пивка, а тут в дежурку возьми и зайди технический директор. Он иногда мог вот так зайти по-простому поздороваться (вроде как сам с дежурных начинал). Спалил парня с банкой пива, щёлк на телефон, увольнение. Больше пива по ночам не пили.
Другой раз дежурный коммутаторщик какую-то сильно страшную аварию проморгал. Подробностей уже не помню.
И третий раз уже под конец моей работы там. Условия труда очень сильно просели, была дикая текучка и страшные переработки. Люди работали иногда сутки, потом шли поспать 12 часов и снова выходили на суточное дежурство. Я и сам так работал, пока позволяло здоровье и это оплачивалось; потом переработки оплачивать фактически перестали (стандартно обещали компенсацию отгулами, когда будет возможность но все понимали, что никто никогда гулять не пойдёт), а на дежурства выгоняли чуть ли не угрозами. У одного инженера не выдержала кукушечка, он посреди смены встал с рабочего места и ушёл домой навсегда, по пути заглянув в кабинет начальника службы, и послав того на три буквы. Помню рассылку почтовую, в которой этого инженера постфактум клеймили фашистом и предателем, в каждой строчке читалось, как у начальства пригорело от такого поступка.
Касаемо моих персональных факапов один случай своей необычностью запомнился. Опять же, ночное дежурство, всё тихо, ничего не происходит. На пересменке проверяем мониторинг: упс, ночью упала обработка данных с коммутаторов, хорошо так и давно горит красная лампочка. Я всю ночь смотрел на этот сигнал и не воспринимал его что ли. При всём том, что это был один из самых очевидных и наглядных мониторингов, я до сих пор не понимаю, почему не видел.
Тут никаких отмазок было не налепить, косяк чистый и стопроцентный, авария пятой категории и вполне вероятное увольнение. Меня после двенадцати часов ночного дежурства до обеда мурыжили, заставляя писать объяснительные. Поскольку в правду никто бы не поверил, пришлось придумать какой-то лепет, что я из-за травмы пережрал обезболивающего и уснул. Начальник службы орал на меня в своём кабинете, в общем, всё шло к увольнению но вылилось в выговор с депремированием. Премий к тем временам в Меге не видели уже несколько лет, так что ущерба никакого я не понёс.

Вспоминая эпизод с приходом техдира: однажды как-то ночью в дежурку забился какой-то жлоб и начал орать, что мы сидим незапертые (дежурка не должна быть заперта в принципе), что мы тут олени, и что к утру от всех нас он ждёт объяснительные про все наши косяки. Этим жлобом был начальник службы безопасности, и от него РАЗИЛО. Прооравшись, начбез свалил во тьму, а утром мы спросили своего начальника мол, что делать-то? Да н***й его шлите ответил тот, и на этом инцидент был исчерпан.

Как я сломал отдел

В те дни башорг (тогда ещё bash.org.ru, а не то, что там сейчас где) был ресурсом культовым. Цитаты там появлялись чуть ли не по паре в месяц, и иметь СВОЮ! ЦИТАТУ!!! НА БАШЕ!!! было столь же круто, как, скажем, свой домен второго уровня году в двухтысячном. Тот башорг был как-то больше айтишно-анимешный, хотя смешным он был для всех.
Каждое рабочее утро самого младшего инженеришки (то есть моё) начиналось с чтения башорга тридцать секунд смеха перед двенадцатью часами страдания.
Однажды коллега спросил меня, над чем это я хихикаю. Я показал ему, над чем. Он разослал ссылку по отделу.
Работа встала на пару дней: к моему удивлению никто из коллег про баш до того момента не знал. В дежурке стоял хохот: Ах-хаха-хаха, пропатчить KDE, ахаха-хаха!. Игого-го-го, топить ломы в ртути, бгегегег!. Рабочий день был потерян, с другой стороны жизнь тогда продлили себе знатно.

Бонус для дочитавших

Помните, в бородатые времена был такой популярный анекдот Вижу в Нортоне два диска C, думаю зачем мне два? Ну и стёр один!. Он очень напоминает одну из моих любимых историй, которую рассказываю не я, но мне. И каждый раз смешно, как в первый:

Постскриптум

Эти истории обработанная компиляция некоторых постов моего ТГ-канала. Иногда там проскакивает подобная дичь; я ни на что не намекаю, но ссылочку всё же оставлю.

Всем хорошей бесфакапной пятницы!

Должен сразу признаться, что программист я не настоящий. То есть, когда-то я был и настоящим в смысле, мне деньги платили именно за написание программ. Однако это было более пятнадцати лет назад, программы я писал, в соответствии с тогдашней модой, в основном, на Delphi (ну или чуть раньше ещё и на C/C++) короче, на том, что сейчас, ну, совсем не модно и спросом не пользуется. А последние лет пятнадцать я зарабатывал почти исключительно системным администрированием, преимущественно, администрированием решений Microsoft, в особенности Active Directory и MS Exchange. И единственное, что в этой деятельности касалось программирования это написание скриптов на, если так можно выразиться, языке программирования под названием Powershell.

Однако сияющие перспективы системного администрирования в плане добычи хлеба с маслом и с икрой как-то так за прошедшие полтора десятка лет потускнели, и решил я вспомнить старое ремесло. Но решил при этом постараться не сильно отдаляться от знакомых тем, чтобы все-таки хоть как-то использовать накопленные знания. В частности знания о продуктах Microsoft, с которыми я эти пятнадцать лет имел дело. Ибо старый программистский багаж типа Delphi это уже не модно совсем, икру с этим особо не добудешь,а идти в модные фронтендщики, меняя Powershell на JavaScript, чтобы потом конкурировать с новоиспеченными вайтишниками, крайне не хотелось: и возраст уже не тот, и прелести скриптового языка вроде невозможности ловить ошибки на этапе компиляции меня еще в Powershell достали.

Но тут я обнаружил трудность. Microsoft, как известно, некоторое время назад решила стать облачной компанией. А для этого стала загонять своих пользователей в облака, для чего явно решила уморить все свои замечательные локальные продукты для бизнеса, типа моего любимого Exchange. А это автоматически делает лишенным всякой перспективы разработку связанных с этими продуктами программ. Однако, подумав, я нашел, как мне показалось, приемлемый компромисс: написать расширение для службы Active Directory Federation Service (AD FS). Потому как эта служба, используемая в разнообразных сценариях аутентификации и авторизации в распределенных системах, имеет куда лучшие шансы выжить в современном мире, чем решения, заточенные на применение чисто на земле(on-premises). В частности, она может использоваться для авторизации доступа к приложениям в облаке Microsoft на основе аутентификации в Active Directory на земле. А потому использование знаний и опыта работы с этой службой (которыми я немного обладаю) может иметь хоть какую-то перспективу и на будущее.

По поводу модуля расширения у меня как раз уже была идея такого моддуля для многофакторной аутентификации, которая могла бы, как мне кажется найти применение для небольших предприятий. Ну, об идее и ее реализации я, может быть, расскажу как-нибудь потом. А в этой статье ограничусь историей о том, как эта реализация началась.

Ещё в давние-давние времена, когда Microsoft только выпустила ныне уже старую систему Windows Server 2012 R2, в которой ADFS обрела нынешний вид, я, обучаясь по своей привычке очередным нововведениям по документации, обнаружил в этой документации подробное, почти пошаговое, руководство с примерами, как делать и подключать этот самый модуль расширения. Тогда мне это было не нужно, но факт я этот запомнил. И вот теперь, когда время настало, я это руководство отыскал. Не скажу, что это было просто ибо Microsoft зачем-то пару раз за это время переделала свой сайт с документацией, отчего все ссылки потерялись. Но, в конце концов, цель моя была достигнута.

Итак, нужный документ был найден. И установил я среду разработки, и развернул я стенд для проверки работы модуля, и приступил. Выбор языка для реализации модуля был прост: поскольку сам модуль выполняется в среде .NET CLR и поскольку примеры кода были на C#, я не стал умничать, а выбрал именно этот язык. Благо я его и так немного знал, и с разными объектами .NET пришлось во время работы с Powershell немало познакомиться, да и сам язык напоминал многие мне ранее знакомые. Ну, а для того, чтобы совсем упростить себе жизнь, я не поленился и поискал (по именам используемых интерфейсов) пример реального модуля расширения. И такой пример нашелся когда-то зачем-то кто-то из Microsoft выложил на GitHub модуль сопряжения с какой-то службой рассылки SMS уже весьма не новый, довольно громоздкий, с какой-то малопонятной логикой, завязанной, видимо, на логику API этой самой службы, описания которого у меня не было короче, в качестве примера малопригодный. Тем не менее, репозиторий с этим модулем я тоже стянул к себе, чисто на всякий случай.

Начальный план был прост и совершенно не амбициозен: написать и подключить минимальный модуль, который отдает ADFS нужные тому фрагменты HTML для страницы аутентификации, а потом, не мудрствуя лукаво, возвращает результат, что аутентификация успешно пройдена. То есть, если вкратце, в одной функции обратного вызова, которая для начала аутентификации, модуль должен отдать строку с элементом , содержащим текст, типа: А вы точно не хакер? и кнопку, типа, Конечно, нет (и плюс требуемые самим ADFS hidden input, в которых он контекст хранит), а в другой, которая для проверки вернуть результат, что проверка пройдена. При этом, в силу особенностей ADFS, в качестве результата нужно возвращать не только признак прохождения аутентификации значение null, но и добавить в передаваемую в качестве параметр коллекцию утверждений (claims) утверждение определенного типа (тип утверждения это URI) со значением типом метода аутентификации (это тоже URI, и он указывается при регистрации модуля). Нужно это все мне было больше для проверки правильности настройки стенда, подвохов я на этом этапе не ожидал. И как оказалось зря.

Так вот. Собрал я с помощью копипасты из руководства и какой-то матери классы, реализующие нужные интерфейсы. Поменял из эстетических соображений значение для утверждения метода аутентификации: в примере использовался URI в виде типичного URL, а мне захотелось использовать схему (часть до двоеточия) urn. Написал скрипт по закидыванию в GAC сборки и регистрации в ADFS класса модуля. И приступил к тестированию. Первая пара итераций, убиравшая мелкие шероховатости из скрипта регистрации и фрагментов HTML, прошла нормально. Но вот потом процесс уперся в мертвую точку. В этот самый тупик

Несмотря ни накакие мои попытки, ADFS после возврата из функции обратного вызвова, которая должна была сообщить об успешной аутентификации, упорно ругался в своем журнале событий ошибкой ID 364 с сообщением Microsoft.IdentityServer.RequestFailedException: No strong authentication method found for the request..., а в веб-интерфейсе аутентификации, соответственно сообщал о том, что произошла ошибка. То есть, ADFS ни в какую не хотел видеть утверждение с методом аутентификации, которое я ему возвращал. Я для начала вернул значение утверждения в то, которое было в руководстве (мало ли, вдруг ADFS там схему от URL хочет) не помогло. Стало ясно, что дело серьезно.

Если бы я был настоящим программистом, то я бы, наверное, подключился к процессу ADFS отладчиком, поставил бы точки остановки в начале функций модуля и прошел бы через них по шагам, контролируя путь выполнения и значения переменных. Но так как я программист не настоящий, я всего лишь вставил в код отладочную печать в текстовый лог всего того, что хотел посмотреть контрольные точки, через которые проходит выполнение, значения переменных, возвращаемые значения. Но не помогло и это: то, что писалось в лог, полностью соответствовало моим ожиданиям выполнение шло, как ожидалось, возвращалось то, что должно возвращаться но модуль не работал все равно. И вот тут я понял, что наступил он затык.

В своей прошлой программистской жизни с затыком своим или коллег я сталкивался неоднократно. Но это было с программами, в которых можно было посмотреть под отладчиком, что происходит вплоть до машинных команд и регистров процессора, да ещё и, при необходимости в вызывающем модуле тоже: пусть исходников от него и не было, но и машинный код тоже мог дать намек, что же вызвающему модулю не так. А ещё это было в офисе. Где можно было подойти к коллеге (или коллега мог подойти ко мне) и попросить помочь. Обычно это заканчивалось на стадии объяснения, как оно работает: в какой-то момент наступало озарение, и я (или коллега) со словами, переводимыми на русский литературный обычно словом Эврика!, находил причину и приступал к ее устранению. Если же озарение не приходило, то часто помогал свежий не замыленный взгляд коллеги (или мой): ведь часто трудно не поверить себе, и понять причину, когда уже убедил себя, что оно должно работать и как именно должно, а вот свежий, не испорченный этим убеждением взгляд легче находит истину. Но здесь я был один, помощи ждать было неоткуда. Оставалось последнее средство.

Последнее средство выхода из затыка делать хоть что-нибудь. Прежде всего упрощать (хотя в данном случае упрощать, вроде как уже некуда). Потом брать и вставлять куски, которые заведомо работают. И тут меня спас тот самый скачанный с GitHub модуль с непонятной в целом логикой работы, который я к тому же не мог даже запустить у себя, ибо доступа к API внешней службы у меня со стенда не было. Но он где-то когда-то заведомо работал а потому мог принести пользу и мне. Сначала я скопировал из него URI метода аутентификации но это не помогло. Потом я взял код функции, производящей аутентификацию, вырезал из нее всё, кроме установки утверждения и возврата значения, и вставил этот код вместо своего на аналогичное место (мудро сохранив при этом отладочную печать в лог). И, о чудо модуль заработал. Теперь осталось лишь понять, в чем же была ошибка, и устранить ее уже в своем коде

Понять это оказалось просто, сравнив строки отладочной выдачи в логе: вставленный код возвращал в качестве имени утверждения правильное (как я потом проверил по документации) значение schemas.microsoft.com/ws/2008/06/identity/claims/authenticationmethod, а мой (точнее, скопированный из руководства) код возвращал несколько другое, неправильное значение: schemas.microsoft.com/ws/2008/06/identity/claims/authenticationmethod. Просто так на глаз эту разницу увидеть трудно, но вот когда значения в логе оказались одно под другим, разница в длине из-за лишней буквы сразу вылезла. И, естественно, после отката всех панически внесенных изменений и исправления ошибки все заработало, как ожидалось.

В этом месте должна быть мораль. И если бы я был топ-менеджером из Microsoft, то мораль была бы проста: не надо переделывать сайт с документацией. Ошибка-то явно была внесена, когда чем-то автоматическим переделывались все ссылки с протокола http на протокол https: URI имени метода аутентификации, который выглядит как URL, и был обработан как URL прямо в примере кода. Если бы сайт не переделывали бы ошибка бы не возникла. Но я не топ-менеджер Microsoft, а потому на ситуацию с ее документацией повлиять никак не могу. Поэтому для себя я сделал куда более скромный вывод: не доверять на 100% примерам на сайтах, даже если они из официальной документации, и даже если ими кто-то некоторое время назад успешно воспользовался. Потому что в наше время документы пишутся и меняются не одним человеком (а иногда даже вовсе ботом), и никто и ничто не гарантирует, что они не будут изменены внезапно.

PS Ссылки на использованные фрагменты документации и репозиторий я не привел, чтобы не нарушать ход повествования. Если они кому-нибудь вдруг окажутся нужны пишите в комментарии, сообщу.

Бугага, хабровчане! Наверняка с вами или коллегами случались в работе трешовые ситуации, о которых вы до сих пор вспоминаете с холодком? Готовы пощекотать себе нервы? Тогда заходите почитать истории, присланные нашими студентами и преподавателями по случаю празднования Дня Всех Святых.

---

На заре моей трудовой карьеры занимался я фрилансом. Достался мне сервер маленькой веб-студии с какой-то панелью управления серверами. В ней можно было виртуальные хосты, аккаунты для ФТП, почту и т.п. и т.д.

В один томный вечер пишут мне, что место на сервере заканчивается. Проверяю, и правда. Начинаю исследовать и нахожу, что в панели есть корзина, в которой довольно много скопилось мусора. Вот, думаю, отлично, сейчас почищу, а потом посмотрю внимательнее.
Нажал на кнопку очистить корзину и стал осознавать, что чиститься стали не только удаленные сайты, но и вполне рабочие, вместе с бэкапами.

Мораль проста. Делайте бэкапы в третье место. Всегда. Каждый раз, как хотите что-то почистить из корзины. недоадмин

---

Однажды мне, абсолютному юзеру, друг предложил освоить джумлу. И даже прислал всякие материалы на эту тему. Хотя мы до сих пор дружим, где-то в глубине души остался шрамик ... Вадим

---

Однажды темной-темной ночью дизайнер Влад нарисовал приложение. И была в этом приложении темная фича. Когда Влад провел демо команде все ужаснулись от того, что эта фича была такой темной, как душа дьявола. Все разработчики дрожали от страха, а ПМ даже начал корректировать диаграмму Ганта, когда демо завершилось.

Через 3 месяца работы команда релизнула проект. Но когда Влад решил посмотреть, как работает темная фича, ее там не оказалось! Дизайнер судорожно вытер пот со лба и пошел к разработчикам. Вся команда в недоумении, ПМ в ужасе. Решили исправлять ситуацию всю ночь.
Утро, уборщица Ольга Леонидовна удивилась, что дверь в офис незакрыта, а внутри никого нет!

С тех пор никто не видел команду, Влада и его темную фичу. Темная фича

---

Однажды Михаил Никифорович увидел красный тикет и решил его пофиксить. Пофиксил он его быстро и нажал кнопочку закрыть. Обновил страничку, но вот дела тикет всё равно был красным и как будто стал больше: обсуждение выросло, и появилось несколько ссылок на другие репорты. Михаил Никифорович напрягся, несколько часов фиксил, всё пофиксил.

Удостоверившись, что все тесты проходят, он не без удовлетворения закрыл тикет. И тут же на глазах тикет стал ещё краснее и больше! Тут уж Михаил Никифорович проснулся от будильника. Что только не приснится перед рабочей неделей учителю труда средней школы.

---

У нас был проект и маленькая команда из двух человек. Я старший, мой коллега был вроде как подчиненным. Однажды нужно было проводить промежуточное демо для заказчика, проект из военной сферы. К нам в офис приезжали коллеги из Москвы. Сроки горели и мы оба допиливали каждый свою фичу, которые слабо пересекались. И вот настал день Х. Но все вроде бы успели, тестировщика у нас не было и полноценного тестирования не проводилось. Все на доверии, каждый отвечает за свою область. Ужас начался утром. На работу мой коллега не приехал, телефон не отвечал. Как оказалось, в его фиче есть критичные баги, которые афектят на основной функционал системы. Баги эти он поправить не успел и просто решил залечь на дно.

Выглядел я в тот день как полнейший идиот, но тот случай научил меня многому: доверять коллегам нужно, но нельзя зависеть. Люди способны вести себя непредсказуемо, поэтому все должно быть под контролем. А коллега мой объявился на работе через 3 дня. Сказал, что отравился но работали мы с ним вместе еще недолго.

---

История для детей проджект менеджера. Как-то раз тимлид поручил сеньёру исправить в проекте race condition использований Database Adapter'a. Рэйс кондишн происходил чуть ли не каждый третий запрос, так что решать надо было срочно. Поэстимейтил тимлид фикс для этого кондишна в 160 часов и говорит ну вот, проблема технически очень сложная, и вообще не понятно, решится ли когда-нибудь. Но может и за неделю решится!. Ну прожект менеджер почесал затылок, посчитал, что с заказчика за такое надо будет взять аж пять тыщ зеленью, и решил, что нечего тут бояться, вывезут девелоперы, починят всё.

Продано, делайте.

А сеньёр ничерта за месяц сделать не успел.

---

Однажды, тёмной-тёмной ночью мне пришлось вносить изменения на прод. сервер. Ничего не предвещало беды: сбоил конфиг nginx. Всего-то удалить мусорный конфиг, что может быть проще? Я перешёл в директорию с конфигами. Вдох. rm -rf ./site.conf /
Выдох. Точка

---

Поделитесь своими жуткими историями здесь в комментариях или на нашем хеллоуинском лендинге.