Русский
Русский
English
Статистика
Реклама

Исследования и прогнозы в it

Как космическая гонка создала Рунет и почему без неё перспективы Рунета печальны

11.06.2021 12:20:14 | Автор: admin

Каким образом в нулевые в России случился бум IT? Дело вовсе не в высоких ценах на нефть. Если посмотреть на биографии и возраст лидеров движения это сплошь математики и физики, получившие, очевидно, очень фундаментальное образование в СССР 70-80-х. И конвертировали это в Яндекс и далее по списку. Ну и остальные кадры оттуда же. Если в стране был такой сильный физмат, то это показатель качества образования в целом. Космическая гонка, опять же. В общем, условно, последние 20 лет СССР обеспечили первые 20 лет Рунета. Вопрос: что дальше? Советское образование кончилось 30 лет назад. Рунета не было бы, не будь этих 20-30 лет бума советского образования. Откуда бы отцы Рунета пришли тогда? Так вот, последние 30 лет это 30 лет без бума советского образования. И кадровый голод, по-моему, уже начинается.
В России еще остается небольшое количество научных школ, работает несколько сильных университетов, есть институты, имеющие научный авторитет в мире. Тем не менее, если текущая ситуация продлится еще лет 510, научная база в стране будет уничтожена настолько, что создавать ее придется практически с нуля, приглашая зарубежных специалистов, в том числе и опытных менеджеров, работающих в сфере науки. (Какое будущее ждет российскую науку)
И Рунет уже не тот. То есть, по инерции катится, но видно уже многое. И будет только хуже, потому что не может быть не хуже. Чтобы это продолжилось, могучему поколению начала Рунета должно прийти на смену не могучее новое поколение. А откуда они придут? Последние 30 лет российское высшее образование коммерциализировалось, деградировало, съезжало со всех пъедесталов и падало в рейтингах. Ну и космической гонки не было, запроса на науку не было. Возможно, это не очень очевидно. Вроде какое-то образование есть, вроде в олимпиадах каких-то побеждают и поди знай, это признак, что всё отлично, или что на пердячем пару остатки 30 лет, когда Россия, удивительное дело, была впереди планеты всей в плане науки и образования? В первых рядах, по крайней мере.

Это ведь уникальное явление в тысячелетней истории России. Или пятисотлетней истории Московии. Россия никогда не была лидером науки. В ней были отличные учёные, вторая половина XIX и начало XX века были расцветом науки в царской России. Что хорошо по сравнению с Россией начала XIX века. Но если взглянуть на российскую науку в контексте европейской той же поры, то восторг иссякнет. Не то, чтобы российская наука была плоха она просто была меньше. Намного, заметно меньше. Это как сравнить процветающий мегаполис в хорошие времена с городом в десять раз меньше в той же стране. Второй город тоже хороший, современный, но видно, что попроще, поскучнее, как будто живёт в другом времени, лет на пять отставая от мегаполиса, а мегаполис в авангарде всего, все остальные меряют время по нему. Вот эту русская наука версус европейская в последние 50 лет перед Мировой войной. Если сравнивать Россию с отдельными странами Францией, Германией, США картина станет только обиднее. А до этого скромного обаяния царской науки в последние полвека царизма на тысячу лет назад не было НИ-ЧЕ-ГО. Ни науки, ни образования. Можно, конечно, винить европейцев в русофобии задним числом, но, всё-таки, современникам виднее. Точно так же как в XXI веке специалисты смогут показать на карте, где находятся очаги передового развития различных областей науки и технологий, откуда постоянно приходят главные новости, где второго эшелона, а где жизнь едва теплится и откуда ничего особо ожидать не приходится. В XIX веке научный мир разных стран уже был достаточно связным, чтобы у учёных и изобретателей в одних странах было достаточное представление о положении дел в других.

В царской России наука и технологии принадлежали ко второму-третьему эшелону ничего особо ожидать не приходится. Это не значит, что тогда в российской науке не существовало звёзд мирового уровня. Это значит, что имена вроде Менделеева, Мечникова и Павлова в тогдашней России можно пересчитать по пальцам. Никогда до XX века российская наука не была на одном уровне, скажем, с британской или французской или германской. Россия, на фоне европейских науки и образования, действительно, была тёмной, невежественной, неграмотной и отсталой страной? Даже в начале XX века. Тем более в первой половине XIX века. Тем более в XVIII веке. И так далее вплоть до Ренессанса в XIV веке. Дорожки разошлись уже тогда. И обидное отношение к России как стране необразованного мужичья отражало эту неказистую реальность. Точно так же, как сейчас русскоязычные разработчики относятся, например, к индийским. Уж точно не в индобофии дело.

Стоило же в XX веке расцвести феномену советской науки, вышедшей в отдельных областях на уровень европейской и американской как отношение к русскоязычным учёным и инженерам сменилось на уважительное во всём мире.

Потому что культура (включая культурные мемы и предрассудки) зеркало материальной реальности, а не наоборот. Меняется реальность меняется и отражение в этом зеркале. В XIX веке в этом зеркале отражался мужик в лаптях. В XX человек в халате и очках. Но кредит заработанного в XX веке уважения уже подходит к концу.

И это очень тревожно, потому что, если верить, что Россия всегда была центром наук, образования, а русский мужик был грамотен, просто раньше Европа не хотела этого признавать, то можно пропустить две важные вещи:

  1. Так было не всегда. Всеобщей грамотности в России менее ста лет.
  2. И это исторически новое состояние может очень быстро стать прошлым.


Короткая история образованной нации


К 2035 году уже арктическая ледяная шапка начнёт полностью таять каждое лето, а столетие с момента, когда можно было сказать, что все русские люди умеют читать и писать по-русски, ещё не наступит. Что всё, что сейчас принято считать за норму высшее образование, чтение книг, всеобщая грамотность, сильные физики, сильные математики, лидерство в космосе, опять же это всё произошло в 19461991. Дата начала условна назначение Сергея Королева генконструктором, потом атомная программа, даже строительство главного здания МГУ на Воробьёвых горах и понеслось. Всего 45 лет из тысячелетней истории Россия (СССР) была, действительно, грамотной, образованной, современной и продвинутой (в образовательном смысле) страной. Поглядывая на современный американский дискурс, внезапно оценил то, о чём не думал даже никогда нормализацию атеизма. Ну и теории эволюции.

И, к слову, космическая программа той же Индии к 2030 году обгонит российскую. А, значит, с задержкой в 10-20 лет (значительной в масштабах человеческой жизни, ничтожной в исторических) и положение российского и индийского IT-сектора и науки в мире поменяются местами. Потому что подойдёт время смены поколений в России уйдёт поколение, рождённое в золотое тридцатилетие советской науки и образования между 1961 (полётом Гагарина) и 1991 годами, в Индии придёт поколение, выросшее уже на индийском пике науки и технологий.

Не хочу преувеличивать распространённость невежества в США какая-то часть населения определённо диковата, но сколько их 10%, 25% или 5%, это просто интернет их делает заметнее, но сам факт, что в американском дискурсе регулярно всплывает религиозная тематика в контексте, который выглядит, скажем так, слегка архаичным мол, я не знал, что мы об этом ещё спорим, хм, что они показали мне ценность прививки атеизма, о чём мне никогда, до знакомства с американским консервативным дискурсом, не приходилось даже задумываться как о чём-то более впечатляющем, чем мытьё рук с мылом. И аборты, конечно. То, что это реальная политическая проблема в стране с самой сильной наукой в мире в 2020 году, что религиозный фундаментализм, оказывается, ещё можно мобилизовать против медицины говорит о том, что, возможно, степень культурности и образованности, до которой дошли два советских поколения, слегка недооценивается. Явно какие-то пробелы, которые ещё не везде закрыты, закрыли с опережением.

Говоря, что Россия к концу XX века стала действительно, грамотной, образованной, современной и продвинутой страной я не имею в виду моду, культуру, технологии. Я о том, что, по крайней мере, теория эволюции, рассказываемая в школах и даже детских садах уже лет 20-30 назад ни у каких родителей заметных в медийных масштабах позывов конфликтовать со школой или воспитательницами детского сада не вызывало. В первую очередь, это открытие для меня самого. Что я, оказывается, недооценивал какие-то вещи в культурном и образовательном смысле нормализованные в СССР тогда. Впрочем, одна из вещей, которая была нормализована преждевременно и напрасно это образованность, грамотность и начитанность советского человека и гениальность советских физиков и математиков, начиная уже со школьной скамьи. Проблема не в том, до какой степени это верно или нет, а в том, что, даже если это всё принять не критически это ведь явление, которое появилось и существовало в течение всего 45 лет, условно с 1946 до 1991. Ничего из этого и близко нельзя было сказать о русских ещё в 30-е годы XX века. Даже про грамотность по переписи 1937 года, 26% советского населения старше 10 лет были неграмотны.

Однако, с точки зрения человеческого восприятия, изменения, произошедшие на протяжении всего двух поколений трёх, если считать от 2020 это не изменения. Это так и было. Большинство людей родилось в это. Многие уже во втором-третьем поколении. И представить из 2020 до какой степени, по-видимому, могла на самом деле быть неграмотна Россия или оценить место русской науки в мировой в контексте той эпохи, действительно, тяжело. Четверть неграмотного взрослого населения за пару лет до начала Великой Отечественной даже это удивительно. В общем, Россия поумнела. Во второй половине XX века, это случилось на самом деле, безусловно и однозначно. Но потом случилось страшное: Россия поверила, что так всегда и было. И это очень опасно.

Опасно не ценить, насколько это всё недавно произошло. Опасно не ценить, насколько это противоречит всей предыдущей истории России за тысячу лет, из которой никогда, никак, ни в чём, ни одним намёком не вытекало никаких предпосылок цивилизационного рывка в науке и образовании во второй половине XX века.

Если не ценить внезапность этого поворота истории, ценность образовательного прорыва, случившегося так недавно, если не осознавать контраст второй половины XX века в смысле культуры и образования со всей предыдущей историей России, не понимать, что произошло, если не ценить приобретённое, не понимать, как это было приобретено, не осознавать, что вообще что-то было приобретено, ценность этого, уникальность было, действительно, приобретено нечто, чего в России никогда до этого не было, совсем недавно, и как это изменило Россию, не осознавать вообще что-то принципиально за те 50 лет изменилось всегда так было то не получится заметить, как это теряется. Это всё ещё с нами? Или уже нет? Или ещё да, но уже одна оболочка с трухой внутри, которую люди пока не замечают?

Думаю, позднесоветское-ранне-постсоветское поколение миллениалы, в общем, 19801996, может быть, чуть старше, родились в эту спокойную уверенность всегда так было. Пронесли заряд предыдущей половины столетия через 90-е и нулевые, создав по пути Рунет действительно, великую вещь. И только укрепились в ощущении, что всегда так было и всегда так будет. Которое всё очевиднее оказывается заблуждением.

Настоящие корни Рунета


Рунет не был создан в 90-е. В 90-е он проявил себя. Создан был Рунет людьми. А эти люди были созданы парой десятилетий раньше. В школах и институтах. В стране с действительно сильным физматом что они своим примером и доказали.

И, похоже, ни разу не задумались, в чувстве собственного превосходства, что их вообще-то учили. И не в сильной школе или сильном ВУЗе, а в сильной образовательной системе. Потому что чудес не бывает. Институтов мирового уровня вдруг, как жемчуг в куче говна, в окружении из посредственной образовательной системы какой-нибудь среднеразвитой азиатской страны появиться не может. Современная Россия тому доказательство. Вместе с системой высшего образования, тонущей, идущей на дно уже 30 лет, тонут и жемчужины тоже. Держатся, карабкаются, на рейтинги мировых ВУЗов стараются внимания не обращать но и без них, в общем, многое видно.

Лучшие советские школы и ВУЗы не были исключениями из правил, они были частью системы, лучшие из лучших стояли на фундаменте из лучших, лучшие стояли на очень хороших и так далее. Это был системный подход. Не лучшие ВУЗы были созданы, а была создано целое среднее и высшее образование, по большей части, с нуля. В огромном масштабе, на всю страну. И это высшее образование, огромная живая среда, уже произвела свои лучшие школы и ВУЗы.

Это, в числе прочего, перестали понимать в России всего через 20 лет после СССР. Сколково, ВШЭ, Особенно Сколково. Это был провал на уровне идеи. Откуда я могу это знать? Иногда это не так сложно. Если ты прочитал, что главный вождь объявил о намерении построить аэродром и самолёт, а потом увидел, что они тащат на поле тростник и сену, чтобы собрать их в форму самолёта вполне уверенно можно сказать, что это был провал на уровне идеи.

Идея создать крутой ВУЗ, пусть даже не по советской кальке, а по американской, создать свою Кремниевую долину в отведённых гектарах земли это карго-культ. Она была мертворождённой как намерение построить самолёт из соломы. Попытка сделать как в Америке людьми, которые не понимали, что было сделано в СССР, привела к закономерному результату: то, чего они не увидели у себя под носом они не разглядели и в США. Что Кремниевая долина, вообще-то, создана не Цукербергом. И даже не Джобсом. И даже не Гейтсом. Её создали: огромный госзаказ, военный госзаказ, космическая гонка, Стэнфордский университет, который, в свою очередь, был частью той же большой движухи, которая происходила в СССР: политикам нужны были физики, математики и инженеры. И, похоже, они понимали, что, если вам нужно 50 гениальных математиков, вы не строите школу для математических гениев с газончиками а-ля кампус в Сколково на 50 учеников. Вы строите пять тысяч школ. И пятьсот университетов. Ну хотя бы 50. Ждёте, ждёте, пока школьники пройдут школы, потом университеты, подкидываете им работы и задачи государственной важности попутно, и вуаля лет через 10-15 из 50 новых университетов вышло по одному гениальному математику. 50 гениальных математиков готово. Всего лишь 5000 школ, 50 университетов и 15 лет стимулов и задач всей этой научно-образовательной машине шевелиться и готово.

Из этого списка Медведеву для успеха Сколково не хватило примерно всего. И представления вообще, что что-то ещё за пределами задачи Хочу тут русскую Кремниевую долину!, выделить землю и построить какие-то здания, нужно знать, может потребоваться.

15 лет стимулов звучит долго. Но долго ли? Для современной России страшно долго. Любые государственные планы с горизонтам дальше двух лет заведомо профанация. Любой горизонт-2030 в 2020 будет профанацией и в 2027 будет профанацией. В 2029 может что-то забрезжит про 2030. Но за долгосрочные проекты власть сама уже перестала пытаться браться, Мудро. Если уж пытаются что-то сделать то авралом, за три года.

Однако, десять лет уже прошло. У Сколково юбилей. В моём гипотетическом примере о выведении 50 гениальных математиков 50 вероятных финалистов уже бы вырисовывались сейчас ещё в процессе учёбы. Так что проблема не во времени, 10 и 15 лет в любом случае пройдут, так почему бы не попытаться потратить их на что-то созидательное?

Рунет , как и Кремниевая долина это больше, чем 50 гениальных математиков, я думаю, но появились на свет они именно так. Всего лишь 5000 школ, 50 университетов и 15 лет стимулов и задач всей этой научно-образовательной машине шевелиться:

40 лет космической гонки то есть, 40 лет стимулов и задач всей этой научно-образовательной машине шевелиться, тысячи школ, сотни, может, тысячи институтов и готово. Возможно, Рунет так удивительно похож на Кремниевую долину (её интернет-направление, с гаджетами в России уже не вышло) именно потому, что люди, их создавшие, вышли из космической гонки. В которой они, в большинстве, не участвовали. Но которая создала эти 40 лет стимулов и задач для научно-образовательной машины, потребность в научно-образовательной машине, тысячи школ и институтов. А уже из них вышли отличные физики с математиками. Не могу ничего сказать про Кремниевую долину в этом смысле, но трудно не заметить, какой вклад физмат внёс в само возникновение Рунета как феномена, глядя на первые поколения рунетчиков. Тем более странно, что сами рунетчики этого не заметили. Рунет был создан в 90-х. Но люди, которые создали Рунет, были созданы в предыдущие 30 лет до 90-х.

И, удивительное дело, как раз прошло ещё 30 лет. Если отцы Рунета хотят передать гордое знамя новому поколению как раз подходит время. За 30 лет должна была подрасти новая смена, да?

На самом деле, нет. За 30 лет только стало ясно, что смены не будет. Уберём из волшебного коктейля амбициозный долгосрочный госзаказ на науку не было такого последние 30 лет, ни мотивации, ни потребности.

Соответственно, уберём запрос на физиков-математиков-инженеров.

Добавим к этому тотальную коммерциализацию высшего образования. Стране, которая хочет построить экономику знаний, не следует требовать платить за получение этих знаний вперёд. Впрочем, Россия за последние 30 лет ни разу ничем не выказала интереса строить экономику знаний. Да вообще в каких-то знаниях, науке. Вот коммерциализация это другое дело, чего зря таким площадям простаивать, да и тратить деньги на чьё-то обучение, когда полно дурачья, которые сами готовы за это платить? В общем, государство не было заинтересовано ни в каком развитии образования и науки за отсутствием вообще какой бы то ни было потребности в этом, и даже немножко было заинтересовано чтобы добить образование, путём повышения его эффективности. Коммерческой эффективности.

Ничего не имею против частного бизнеса и коммерческой эффективности взять те же Рунет с Кремниевой долиной. Но идея, что, если в одних областях и отраслях приватизация, profit motive, коммерциализация творят чудеса, то идея, что осталось распространить коммерциализацию на всё остальное и всюду произойдут чудеса скажем так, себя не оправдала. Конкретно образование и здравоохранение это две сферы, в которых коммерциализация не то, чтобы лишняя это я раньше так думал, что отлично сосуществуют две системы, кому-то подходит больше одно, кому-то нужно другое. Сейчас я думаю, что в образовании и здравоохранении коммерциализация вредна. Не со зла и не по умыслу, но profit motive и образование, так же, как и profit motive и здравоохранение несовместимы. И та и другая сферы по своей идеологии абсолютно некоммерческие, антикоммерческие, и появление коммерческого соблазна в них коррумпирует и разрушает и ту, и другую область. Это происходит само по себе, естественно и неизбежно.

Наверное, это не очень очевидная мысль. Но у меня есть хорошая аналогия: представьте себе коммерциализацию полиции, судов и армии. Шутки-шутками (про их безумную коррумпированность, да) но, во-первых, коррупция это и есть пример коррозийного действия денежного мотива в сфере которая принципиально с ним несовместима. В каких-то сферах денежная мотивация не мешает. В каких-то она помогает. В судебной или полицейской работе появление коммерческого интереса не даёт им выполнять свою функцию. Чем глубже деньги проникают в суды и полицию тем менее они суды и менее это полиция. Это как заливать бензин при переливании крови. Бензин отлично подходит, чтобы заливать в бензобак. Но если попробовать его залить в кровеносную систему может получиться как с российским образованием и здравоохранением. Суды и полиция, по крайней мере, коррумпированы. Представление о том, как должны работать суды и какой должна быть полиция, сохраняются. И можно даже, глядя на них в реальности, замечать некоторые отличия.

Здравоохранение и в большей степени образование в более тяжёлой ситуации. Бензин не только заливается в кровь, но ещё и агитируется как более качественный заменитель крови, вылейте её всю, замените всё на бензин. Многие люди соглашаются с этим или хотя бы не имеют возражений. Консенсуса о роли profit motive в образовании не то, что нет идея полностью коммерческого высшего образования кажется многим разумнее, чем полностью государственного образования. Фу, назад в совок! Не дай бог. Советский режим не состоял из одного образования и науки. Он ещё состоял из политической диктатуры со всеми вытекающими. Это не отменяет того, что советская космическая программа, программа по ликвидации безграмотности, сопутствовавшие буквально цивилизационный сдвиг России чуть дальше от угрюмой аграрной монархии и чуть ближе к миру Полудня. Это стоило сохранять всеми силами. Однако, история так повернулась, что, оценивая, чтобы взять, а что бы не брать у СССР, современная Россия образование не оценила, зато опытом политической диктатуры очень заинтересовалась. То, что следовало делать приоритетом номер 1 было брошено и отравлено ядом коммерциализации, то, что следовало оставить в 1991 активно имплементируется в настоящем.

В общем, смены первому поколению Рунета не будет. Точнее, её нет. Первое поколение Рунета было создано к 90-м за предыдущие тридцать лет. За следующие 30 лет ничего не создавалось, многое разрушалось и деградация видна невооружённым взглядом. То есть, по сути, история уже свершилась. То, что определяет будущее Рунета на минимум пару десятилетий вперёд произошло (или не произошло) за пару уже завершившихся десятилетий. Дальше мы будем наблюдать её наглядные проявления. В какой форме это проявится.

Это не значит, что Рунет умрёт или всем крышка. Нет, конечно. С Рунетом, я думаю, произойдёт то же самое, что происходит с российской космической программой. За те же самые тридцать лет мы ещё не до конца осознали, что лидерами космической гонки США и СССР были в 60-е и 70-е. В 80-е СССР окончательно отстал. И сохранять иллюзию, что Россия в космосе это то же самое, что СССР уже почти невозможно. Тем более, что СССР под конец в космосе был уже не тем СССР, с которым сравнивала себя Россия уже в нулевые. Поддерживать состояние отрицания помогало отсутствие других претендентов на лидерство в космической гонке, но это уже позади участников море. Сегодня Россия по разным оценкам идёт третьей после Китая, это ещё не так обидно. Но на пятки уже наступает Индия, а вообще космические программы запускают все, кому не лень. По прогнозам в 2030 году вместо утешительного третьего места Россия сползёт (по разным параметрам коммерческим, запускам, количеству грузов) уже на 4-6 места. Дело даже не в том, что в России плохо с космосом. Что есть хорошо. А в том, что это вся космическая стратегия и есть работать с тем, что есть, пока это работает. Во-первых, проедание наследия стратегия с предсказуемым финалом. Во-вторых, мало того, что Россия не движется вперёд другие движутся. Некоторые даже рвутся. Никаких космических амбиций у России сейчас нет, никуда Роскосмос прорываться не собирается и вообще, похоже, предпочитает не шевелиться. Поэтому предсказать положение России в космосе в 2030 году так просто, что хоть на деньги спорь: оно видно ясно, как в хрустальном шаре: ничего нового не появится, что-то из действующего отвалится, продолжат летать на том же, что и сейчас, выполнять те же функции, что и сейчас, только ещё меньше (потому что будет падать спрос, будет выходить из строя техника, будут уходить на пенсию люди). То есть, чуть-чуть откатится назад даже с сегодняшних позиций. Это не значит, что все, кто рвутся вперёд, обязательно в этом преуспеют, но скорее да, чем нет. Быть на 4-м месте после Индии в 2030 для России будет удачей. Скорее всего, она скатится ещё глубже во второй эшелон.

И, вероятно, к этому времени Россия уже даже это примет. 10 лет на стадию acceptance должно хватить.

Примерно так я вижу и будущее Рунета. Никуда он не денется, работа будет, бизнес будет, технологии будут. Просто из уникумов, одной из двух стран, включая Китай, которая удержала свой интернет-рынок, и выделяется на карте мира как страна, где главный браузер не Гугл, главная соцсеть не Фейсбук и так далее Россия превратится в страну, в которой есть интернет-индустрия. Как та же Индия. Как и в космической гонке Россия какое-то казалась в двойке лидеров с США. У Китая огромный рынок и господдержка. Рунет вырос в прямо противоположных обстоятельствах. Это её выделяло. Этого уже нет. И вообще, чем дальше, тем меньше чем российская интернет-индустрия будет выделяться. Будет всё ближе к любой другой интернет-индустрии сопоставимой страны.

Это будет что-то вроде интернет-деиндустриализации. Когда вроде экономика есть, но, внезапно, она уже ничего не производит особо, а занимается обслуживанием. При этом разговоры о том, что-де, промышленность не нужна, это прошлый век, будущее за сервис-экономикой оказались враньём. О том, как промышленность не нужна и прошлый век расскажите Китаю. Который начинал с фабрик для иностранцев, а за 30 лет, внезапно, развитие промышленности потянуло за собой развитие промышленности: Китай как никто в мире сейчас развивает инфраструктурные проекты у себя и по всему миру. Одни скоростные железные дороги через всю страну чего стоят. И это только малая часть. Так или иначе, промышленность нужна. Достаточно одного Китая или всем это спорный вопрос, но многие страны, в первую очередь, США, индустриализировавшие Китай ценой собственной деиндустриализации, об этом очень громко жалеют. Но пусть даже один Китай. Промышленность всё равно необходима, покуда люди живут в материальном мире. Мире вещей. То есть, мир не перешёл к постиндустриальной эре, отказавшись от промышленности. Мир просто передвинул всю промышленность в Китай, выбрав себе быть сервисными экономиками. Сейчас горько об этом жалеют и тяжело за это расплачиваются, но дело не в этом. В интернете будет то же самое.

Деиндустриализация Рунета означает, что Рунет, и IT скорее всего, будут меньше выдавать в мир чего-то нового, какие-то продукты, технологии. И больше обслуживать тем или иным образом созданные другими экономиками. Это не хорошо и не плохо само по себе. Хотя нет, всё же плохо. Если последние 10 лет в экономике чему-то и могли научить, что на сервис-экономику лучше не рассчитывать и лучше ей не быть: внутренних источников роста в ней нет, а при внешних экономических неурядицах она обваливается и превращается в основной генератор безработицы. Думаю, эта аналогия корректна и даёт понять, почему всегда лучше быть интернет-индустрией, нежели просто интернет-сектором или IT. Другое дело что а есть ли выбор?

Не буду показывать пальцем на Россию, российскую промышленность никто не любит, покажу на США.

Деиндустриализация это печальный процесс, происходящий, например, в США. Это была индустриальная страна, самая мощная индустрия в мире, поразительная во многих смыслах. Читая о том, как они налаживали, переставляли на военные рейсы и организовывали свою промышленность во Вторую мировую впечатляешься неимоверно. Количество продукции потрясало. Размах многих операций, включая логистические, в которых были задействованы тысячи самолётов разом. Америка стала индустриальным гигантом прежде, чем она стала гигантом военным и политическим. И как раз за те же последние 30 лет это закончилось. Огромное количество индустрий переехали в Китай. Много в Мексику. Фактически, США индустриализировали Китай за свой счёт прямо сняли с себя рубашку и отдали голенькой тогда КНР. Но самое главное, что всё это происходило под совершенно безумный восторг политического, журналистского, экспертного истеблишмента: дело в том, что они видели не деиндустриализацию они видели переход к сервисной экономике! Не разрушали одну из лучших вещей, которую делала Америка делала вещи а сбрасывали балласт на пути в постиндустриальный мир. А индустрии это что-то вроде паровых машин и паровозов, пусть в Китае топят, так им и надо.

Это обернулось грандиозным фейлом. Во-первых, сервис-экономика и постиндустриализация это разные вещи. До постиндустриализации ещё далеко. Под видом постиндустриализации США прошли деиндустриализацию, а пустые места попытались заткнуть сервис-экономикой. Китай прекрасно индустриализировался, удивительное дело, паровозы и пароходы оказались вовсе не утилём, и топят Китай в XXI век, а американцы смотрят видео, как китайцы то мост за десять дней построят, то госпиталь за шесть обсуждают это в новостях и завидуют! Попутно жалуясь, что сами не в состоянии даже имеющуюся инфраструктуру отремонтировать. Прямо как в России. С той лишь разницей, что, когда в России завидуют китайцам, строящим мост за десять дней, подтекст понятен: эх, а мы так не можем.

Когда с тем же самым сентиментом эх, а мы так не можем это шокирует. Это были вещи, в которых США были лучшими в мире организовать какую-нибудь масштабную операцию, осуществить какой-нибудь гигантский проект масштабы, мастерство управления масштабными проектами, ресурсы, амбиции и результаты США были и остаются непревзойдёнными. Для своего времени. Сейчас примерно тем же самым отличается Китай. Это уже совсем не то, но китайцы молодцы. А вот смотреть, как американцы сами себя забывают очень странно. Возможно, со своими заводами, США, как Самсон со своими волосами, отдали китайцам свою силу.

Вполне буквально. Замена индустриальной экономики на сервис-экономику оказалась катастрофой. Люди, которые это пропагандировали идиоты или маньяки. Второе не менее вероятно, кстати, потому что коммерческого интереса за всем этим стояло и стоит немеряно.

Вместо высокооплачиваемых, требующих высокой квалификации то есть, движущих и образование, и благосостояние среднего американца работ в индустрии, сервис-экономика предлагает: низкоквалифицированный труд. То есть, отсутствие мотивации развивать образование и тупеющую рабочую силу.

Низкооплачиваемый труд. Все эти сервис-воркерс получают минимальные или близкие к тому зарплаты. А чего им платить больше? За низкоквалифицированный труд?

Гиг-экономику. Сервис на сервисе и сервисом погоняет. Зачем идти на посоянную работу на минимальную зарплату в Макдональдс, когда можно устроиться в Убер, не быть вообще трудоустроенным, не иметь никаких бенефитов сотрудника и даже минимальной гарантированной Макдональдсом зарплаты? Конечно, в режиме как потопаешь так и полопаешь на Убере наверняка можно зарабатывать больше Мака. Главное, не заболеть. Болеть в отсутствие медстраховки и заработка во время болезни сомнительное удовольствие. В общем, чтобы наслаждаться всеми чудесными возможностями сервис-экономики и гиг-экономики лучше иметь железное здоровье. А то эйфория от перехода в постиндустриальный мир совсем добьёт.

Ну а Китай, бедный, всё ещё копошится в прошлом и развивает зачем-то эту допотопную индустрию. А как же возможность стать частью сервис-экономики и улыбаться посетителям, подавая им латте в Старбаксе?

Попутно они ещё строят масштабные инфраструктурные проекты, скоростные железные дороги, порты и аэропорты по всему, развивают индустрию уже в Эфиопии (!) возможно, тут есть связь с индустриализацей КНР? Возможно, им кто-то подсказал, что люди по-прежнему живут в материальном мире? И что обеспечение комфортных условий для погружения в виртуал тоже задача из материального мира.

России процесс деиндустриализации тоже хорошо знаком, хотя в случае с российскими индустриями по ним никто особо, вроде, не скучает. Зато картина перехода разных сфер бизнеса из индустриального сектора в сервисный очень наглядна. Возьмём, например, автомобилестроение. Безусловно, российский автопром был ужасен. Но представьте, если нет. Деиндустриализация выглядела так: вчера в России/СССР был автопром, обеспечивающий нужды рынка (допустим). Была автоиндустрия, в общем. Потом она стала таять. На смену заводам полного цикла пришли отвёрточные сборки. Тоже, к слову, восхвалялись как прогресс. Нет, Жигули всё равно были ужасны. Но всё-таки отверточная сборка не замена плохому заводу. Замена плохому заводу это хороший завод.

В общем, создать даже видимость замены индустрии не получилось. А авторынок в России превратился в ту самую сервисную экономику. Это звучит не очень драматично, но, всё-таки, если представить саму динамику: была страна, производила автомобили (допустим, хорошие). То есть, был автопром. А потом перестала. И теперь автобизнес это, в первую очередь, торговля. Сервисная экономика. Продажа чужих машин. Без автопрома. Выглядит грустновато, всё же?

Конечно, есть разные заводы разных производителей по стране, и ГАЗ с Ладой, вроде, дышат. Но что-то это ни во что не вырастает. Китай, принимая у себя фабрики и заводы, ставил условием: иметь китайского партнёра. Партнёры китайские тогда были не очень, раздражали только американцев да мешались им. Тем временем, партнёры, работая в обязательном по закону тандемом с американцами, немцами, японцами учились, перенимали компетенции своих коллег на всех уровнях, перестали раздражать и мешаться и во многом уже они стали двигателем второй волны индустриализации и бизнеса в Китае. Спасибо опыту, наниям, технологиям и рабочим местам, предоставленным Китаю во время первой волны индустриализации западными корпорациями. Почему бы России так не делать? Я не очень слежу за автопромом, но, когда следил главами всех заводов, производств, совместных предприятий и даже сборок были варягами. Многие из них не скрывали, что русским менеджерам доверять нельзя, за русскими рабочими надо глаз да глаз. И, в принципе, и менеджеры, и рабочие были согласны: всё так. Пусть варяг придёт и порядок наведёт. Однако варягу варягово, а России что? Китайский подход себя, в итоге, оправдал, хотя их требование (действующее, по-моему, до сих пор) заводить китайский бизнес в партнёры очень многих очень долгое время постоянно по разным поводам раздражало. Китай за это критиковали, считали косным, бюрократичным а они, оказывается, учились у западных коллег, перенимали от технологий до опыта всё. То есть, даже если завтра весь иностранный бизнес оставит Китай опыт останется.

В России же варяги просто заведуют производством в своих интересах, аборигенам ничем не помогая и особо их не подпуская. Это больше похоже на колониализм, чем индустриализацию. Потому что если завтра эти варяги покинут Россию, то после них ничего не останется. Посотрудничали, поработали, попрощались.

А сервис-экономика в России это смешно и грустно. Небольшой всплеск энтузиазма был в нулевые, когда появились нефтяные деньги. После 90-х и в отсутствие альтернативы (каких-либо попыток развивать производство) это было неплохо. Так бы жить да жить: разливать латте в Старбаксе, радоваться, что не надо работать на заводе, и вообще ничего больше делать нефть всё оплатит.

С нефтью начались перебои. Ситуация становится только хуже и будет дальше ухудшаться, потому что улучшаться ей некуда и не с чего. Но зато появился повод задать вопрос: если страна ничего не производит, а её главный экспортный ресурс позволяет выживать, но уже не шиковать откуда в людей возьмутся деньги для сервис-экономики? И сервис-экономика начинает скукоживаться. Сервис-экономика это не экономика, это издевательство. Экономика должна быть в состоянии производить блага, расти и развивать всё вокруг. То есть, нормальная экономика должна служить источником энергии. А сервис-экономика сама на подсосе. Какие в ней факторы роста? Что в ней может начать расти и приносить богатство стране, если у клиентов нет денег? При наличии денег сервис-экономика может работать. При отсутствии денег у рынка сервис-экономика может не работать. Варианта, при котором при отсутствии у клиентов денег, сервис-экономика могла бы сама стать драйвером экономики (а она должна такое уметь, раз её прочили на замену промышленности) нет. Потому что, чтобы стать драйвером для экономики, чтобы рост экономики добавил денег клиентам, и те снова пошли в сервис-экономику. Одна незадача: чтобы стать драйвером экономики сервис-экономике нужны клиенты, а то непонятно, на чём драйвить-то. А если проблема как раз в том, что у клиентов нет денег то ой. Сервис-экономика это обслуживающая экономика, а если обслуживать некого, то что дальше? Промышленности, напомню нет (И не надо! Сервис-экономика это XXI век, а не ваши эти совковые фабрики по выпуску чугуниевых патефонов!), нефть, скажем так, не долгосрочное решение и уже не решение, а чисто выжить. Кто какие ещё знает источники экономического драйва, когда промышленности нет, сырьевая рента высыхает, а сервисная экономика, оказывается, без уже присутствующих денег и спроса в экономике не может?

Я бы предложил промышленность. В России есть что строить, нужно много что строить, и вообще XXI век несёт промышленности новые перспективы. Спрос на вещи, материальные объекты, продукцию промышленного, сложную продукцию сложного производства, всевозможное строительство, безграничное море инфраструктурных потребностей в стране этого на две индустриализации хватит. И потребность в промышленности не грозит иссякнуть ни через 10 лет, ни через 80. Нефть точно сдастся раньше.

А сервис-экономика вообще оказалась не той, за кого мы её принимали. Сервис да, но какая же это экономика. В 2020 году эта индустрия XXI века, наш проводник в постиндустиальный мир, вообще оказалась главным генератором безработицы. Сервис, безусловно, не виноват в пандемии и кризисе. Однако сервис-экономика же продвигалась как замена промышленности. Источник рабочих мест. И так до поры до времени и было, пока не перестало. И стало ясно, что сервис-экономика может производить рабочие места, когда в экономике всё хорошо и так, есть какие-то источники ценности. В этом её главное отличие от промышленности. Промышленность способна производить ценность и вытаскивать на себе тонущую экономику. Взгляните на Китай. А как пример катастрофической деиндустриализации на США. А потом ещё раз на Китай. Россию не предлагаю, потому что российскую промышленность никто не любил и не оплакивал. Другое дело, что, не любя старую русскую промышленность, что-то же делать надо? Варианта, насколько я вижу, всего 3: сервис-экономика как более современная замена промышленности. Отличный вариант замене промышленности в плане генерирования безработицы, какой в 90-е не было. Если в экономике меньше денег, сервис уменьшается, если больше увеличивается, но драйвером-то экономики, который поможет её из состояния меньше денег к больше денег подвести? А если никак, то как она вообще может обсуждаться как замена промышленности? Пусть будет, разве жалко. Но вопрос на что жить, а не где кофе пить.

Второй вариант нефть, сырьё, рента. Даже фанаты сервис-экономики на этот вариант смотрят со скепсисом.Nuff said.

Третий вариант промышленность. Да, в России была плохая промышленность. Но эта проблема давно в России нет никакой промышленности. Соответственно, плохой тоже. Давайте создавать хорошую. В какой-то момент, надеюсь, растущая безнадёжность и безвыходность ситуации всё-таки доведут до принятия мысли, что промышленность развивать необходимо, даже если не хочется, потому что другие варианты ещё хуже. И вообще, у нас сама страна разваливается на куски. Необязательно даже экспортные амбиции с ходу лелеять для собственных-то нужд мы можем что-то начать делать? Дороги, мосты, скоростные железные дороги, жильё, порты. Список улучшений для России будет бесконечен и весь состоять из требований промышленного производства нужных для этого штук. Но можно, конечно, сидеть, беднеть, наблюдать, как изнашивается, что было, а нового не появляется. Это какая-то национальная депрессия.

Почему это важно? Потому что это, возможно, будет один из моментов встречи с реальностью лицом к лицу и осознанием не того, что Россия на каком-то там месте в космическом рейтинге, а что предыдущие 40 к тому времени лет страна уже упущены. Реальность 2021 года в России ковалась в СССР в 1980-х. 40 лет именно столько проходит в течение человеческой жизни с первых слов до пика экономической продуктивности человека в среднем. Каждый фактор с минус девяти месяцев от роду, начиная с доступности и качества репродуктивной медицины, качества жизни матери во время беременности, доступности отпуска по уходу за ребёнком, детских садов, школьного образования, внешкольного образования, ВУЗов, складывается, в сумме, в экономическую продуктивность взрослого человека в течение жизни.

Почти все поводы для гордости в России последние 30 лет от математиков-олимпиадников до космической программы, высокого уровня образования и начитанности и так далее были сгенерированы в последние 40 лет СССР. Какие-то из них протянули дольше, какие-то меньше, но к 2030 уже вряд ли останется что-то живое. И осознавать придётся уже не мы больше не, хуже: что 40 лет были потеряны в иллюзиях и безответственности. И Россия не только больше не иллюзии кончились за ними окажется, что ничего больше и нет. Всё, на что Россия надеялась, верила, рассчитывала или просто не ценила исчезнет, а ничего нового, никакого задела на будущее создано не было.


Подробнее..

Крупнейшая коллекция паролей в сеть выложили файл с 8,4 млрд элементов

09.06.2021 14:20:05 | Автор: admin

На днях в сети появился файл объемом в 100 ГБ с 8,4 млрд паролей внутри (8 459 060 239 уникальных записей). Эксперты предполагают, что эти пароли компиляция предыдущих утечек. Логинов в файле нет, только пароли размером от 6 до 20 символов. Огромное их количество сложные пароли со спецсимволами. Все они содержатся в одном файле с названием RockYou2021.txt.

Выложил этот файл пользователь с одноименным ником RockYou2021. Скорее всего, этот ник является отсылкой к утечке 2009 года, которая называлась Rock You. Но та утечка была в разы меньше в файле, выложенном в 2009 году, содержалось всего 32 млн строк.

Количество паролей в файле превышает население Земли, которое пока еще не добралось к отметке в 8 млрд. Общее число интернет-пользователей на планете, по разным оценкам, составляет примерно 5 млрд человек. Можно предположить, что многие пароли реальны и ими до сих пор пользуются.


Есть мнение, что этот файл результат обычной генерации при помощи продвинутого алгоритма. По словам Троя Ханта, большинство элементов выложенного в интернет файла никогда не использовались в качестве паролей. Это просто компиляция сгенерированных элементов с некоторыми реальными списками.


Но с мнением не соглашаются многие специалисты по информационной безопасности, включая представителей издания BoyGeniusReport. Уж очень похожи пароли на то, что обычно придумывают обычные пользователи.

Сам по себе файл безопасен, поскольку в нем нет комбинаций логин/пароль, которые можно использовать сразу же. Но, если объединить этот файл с каким-либо из ранее утекших документов, содержащих электронные адреса пользователей, получится шикарная база для перебора. Кроме того, файл можно использовать для словарей паролей, которые используются для проведения брутфорс атак. В файле содержатся и простые, и очень сложные пароли.

По мнению некоторых экспертов, этот файл усиливает угрозу компрометации учетных записей пользователей различных сервисов. Портал CyberNews, который одним из первых обнаружил утечку, считает, что угроза реальна для миллиардов пользователей. В реальности все не так страшно, конечно, но все равно ситуация не самая приятная.

Как всегда, под максимальной угрозой пользователи, которые придумали один-два пароля для разных сервисов и используют их в любом удобном случае. Если учесть, что адрес электронной почты у обычного человека один, то угроза компрометации такой учетки действительно высокая.

Чтобы снизить угрозу, стоит сменить пароль, который обычно используется. Вероятно, не о чем беспокоиться тем, кто использует генераторы сложных паролей с серьезной защитой, с одним паролем для каждой новой учетной записи. В файле, правда, есть сложные пароли, но большинство все же похожи на то, что обычно придумывают сами люди, а не генератор. Ну и сейчас в большинстве сервисов вводится двухфакторная аутентификация, так что в этом случае угроза еще ниже.

Для того, чтобы проверить собственные данные, можно использовать специализированные сервисы, которые позволяют узнать об утечке персональных данных и паролей. Здесь, правда, стоит подумать над тем, стоит ли светить пароль подобному сервису вполне может быть, что вот такие базы и появляются после взлома сервисов-проверяльщиков. Они, конечно, защищены, но

Кстати, в феврале 2021 года в сети оказался еще один список 3,2 млрд связок логин/пароль от учетных записей почтовых сервисов Microsoft и Google. Тот файл представлял собой компиляцию многих других утечек, случившихся ранее.

А что насчет других утечек?


Будем объективными: выложенный файл с паролями это не совсем утечка. А вот когда в сети появляются данные клиентов какой-либо компании с паролями, логинами, персональными данными и прочим, вот тогда ситуацию можно назвать реальной утечкой.

В России по ряду данных в 2020 году количество утечек возросло примерно на треть, хотя во всем мире этот показатель немного, но снизился.

В 2020 году в сеть утекло около 100 млн записей персональных данных россиян, что гораздо опаснее, чем выложенный кем-то файл с миллиардами паролей. При этом около 80% нарушений пришлось на сотрудников компаний, большая часть в результате умышленных действий. В России чаще других утечки случаются в финансовых сервисах, госсекторе и hi-tech отрасли.

Что касается мира, то по итогам 2020 года в сети появилось около 11 млрд записей персональных данных и платежной информации (понятно, что в таких утечках на одного пользователя приходится несколько учеток, это не 11 млрд отдельных учеток). Самой большой утечкой можно считать проблему с Whisper у сервиса украли 900 млн записей одномоментно, то есть в сеть слили все записи со дня основания ресурса в 2021 году. На втором месте китайский сервис Weibo, допустивший утечку примерно 500 млрд записей. На третьем компания Estee Lauder. Здесь никаких хакеров не понадобилось, компания сама выложила 440 млн учеток на одном из облачных сервисов.

Подробнее..

Cassandra криптор, который любит держаться в тени

16.06.2021 18:22:08 | Автор: admin

Ни один атакующий не хочет, чтобы его инструменты обнаружили и раскрыли раньше времени. Поэтому, как правило, в чистом виде никто вредоносные программы не распространяет. Например, пользователю прилетело фишинговое письмо от имени известной транспортной компании и просят проверить документы во вложении. Подобные письма достаточно часто являются началом атаки, так было и в этом раз. Внутри архива находился исполняемый файл Cassandra Crypter популярный криптор, полезной нагрузкой которого могут выступать различные семейства вредоносного программного обеспечения. Алексей Чехов, аналитик CERT-GIB, рассказывает, как Cassandra проникает на компьютер жертвы и приводит с собой других незваных гостей.

Работу Cassandra можно условно разделить на два этапа. На первой стадии загружается вспомогательная библиотека, которая извлекает основную часть криптора из исходного файла. На второй криптор раскрывает весь свой потенциал.

Первая стадия

Cassandra маскируется под легитимное приложение. В точке входа располагается стандартная для приложений Windows Forms функция запуска.

Конструктор формы также выглядит стандартным, ничем не отличающимся от легитимного приложения.

При детальном анализе был обнаружен вызов функции aaa(), которая содержит вредоносный функционал. Ее вызов приводит к расшифровке и подгрузке вспомогательной dll.

Для расшифровки используется алгоритм AES.

После подгрузки вспомогательной dll вызовется одна из её функций, в результате чего будет получена и запущена вторая стадия криптора.

Вторая стадия содержится в изображении, в зашифрованном виде, в исходной сборке.

Для расшифровки используется операция XOR, ключом для расшифровки являются первые 16 байтов исходного изображения.

В первой стадии злоумышленники практически не используют средства противодействия анализу, отладки и так далее, за исключением обфускации дополнительной библиотеки.

Вторая стадия

Вторая стадия представляет собой исполняемый файл .Net Framework.

Конфигурационный файл

Ключ, который используется на первой стадии расшифровки пейлоада

"baAsaBBxDT"

Поле, содержащее пейлоад в расшифрованном виде

Поле содержащее сырой (не разобранный) конфиг

"0||0||0||0||0||||||0||0||0||0||||||||||||||0||0||0||0||0||0||0||0||v2||0||3046||0||0||||||0||0||0||||"

Поле, содержащее подготовленный конфиг

Поле, содержащее флаг типа инжекта

0

Поле, содержащее флаг закрепления в системе

0

Поле, содержащее имя файла после закрепления в системе

"YhwcrydjrNS"

Поле, содержащее название мьютекса

"ljrSLVyCApWxcUE"

Неиспользуемое поле

0

Поле, содержащее информацию об использовании загрузчика

0

Поле, содержащее информацию о пути до загруженного файла

0

Поле, содержащее ссылку на пейлоад

0

Поле, содержащее информацию об использовании Anti-VM/Sandbox-функции, осуществляющей поиск

0

Поле, содержащее информацию об использовании Anti-VM/Sandbox-функции, осуществляющей поиск строк в пути файла

0

Неиспользуемое поле

0

Неиспользуемое поле

0

Поле, содержащее информацию об использовании Fake MessageBox

0

Текст заголовка Fake MessageBox

0

Текст Fake MessageBox

0

Информация о кнопках Fake MessageBox

0

Информация об иконке Fake MessageBox

0

Количество секунд, в течение которых приложение будет бездействовать

0

Функция, осуществляющая разбор конфигурационного файлаФункция, осуществляющая разбор конфигурационного файла

Полезная нагрузка

Полезная нагрузка содержится в крипторе в зашифрованном виде. Расшифровка проходит в два этапа:

1. В цикле осуществляется побайтовый XOR шифрограммы, ключа и значения операции XOR от последнего элемента байта шифрограммы и 112. Полученные значения сохраняются в созданный массив. Ключ для первой стадии содержится в конфигурационном файле.

2. Осуществляется дешифрование, аналогичное тому, что было на первой стадии: используется операция XOR, в качестве ключа используются первые 16 байтов массива, полученного на первом этапе.

Закрепление в системе

Закрепление в системе осуществляется через создание отложенной задачи. Файл копируется в директорию AppData//{имя файла, заданное в конфиге}+.exe. После этого исходный файл удаляется и создается задача на выполнение.

Anti-VM

В функции осуществляется поиск виртуальных видеоадаптеров и специфических ключей реестра, свойственных для виртуальных машин.

Anti-Sandbox

Реализованы три функции противодействия песочнице:

  • Детект изолированной среды. Функция проверяет путь до исполняемого файла и ищет в нём специфические строки, таких как \\VIRUS, SAMPLE, SANDBOX и т.д. Также осуществляется поиск окна, свойственного WindowsJail, и библиотеки SbieDll.dll, загруженной в процесс.

  • Попытка обхода песочницы по таймауту. Реализована при помощи стандартной процедуры Sleep.

  • Попытка обхода песочницы по user activity. Реализована при помощи показа Fake MessageBox.

Защита от повторного запуска

Реализована путем создания мьютекса с заданным именем в системе.

Функционал

Downloader

Реализована функция загрузки пейлоада из сети.

Запуск полезной нагрузки

Содержит два варианта запуска пейлоада:

1. Загрузка в память при помощи функций .Net Framework.

2. Инжект полезной нагрузки в запущенный процесс. Есть возможность выбора из нескольких процессов.

На данный момент Cassandra достаточно распространенный тип крипторов. Как правило, злоумышленники используют его в массовых рассылках, чтобы незаметно запускать на машине пользователя вредоносное ПО. Cassandra позволяет запускать даже хорошо изученные семейства ВПО.

Подробнее..

Перевод Про комментарии к коду

16.06.2021 00:20:01 | Автор: admin
image

Раньше я думал, что мне не нужны комментарии, если я пишу самодокументированный код. Однако я понял, что пишу комментарии и считаю их действительно полезными. Чтобы увидеть, сколько комментариев я пишу и какие они есть, я написал скрипт для анализа моих коммитов git за последние шесть лет. В общей сложности семь процентов моих утвержденных строк содержали комментарии. В этом посте есть подробности о том, что считать хорошими и плохими комментариями, а также дополнительная статистика из моего скрипта.

Javadoc самый бесполезный


Одна из причин, по которой я скептически относился к комментариям, заключалась в преобладании комментариев в стиле Javadoc. Этот стиль комментирования существует и на других языках. Вот пример на Python, который я только что придумал, но который является представителем этого стиля:

image

Проблема большинства этих комментариев в том, что они несут очень мало информации. Часто это просто повторение имени метода и имен параметров в нескольких словах. Эти комментарии могут быть полезны для API, открытых извне, но в приложении, где у вас есть доступ ко всему исходному коду, они в основном бесполезны. Если вам интересно, что делает метод или каков допустимый диапазон ввода для параметра, вам лучше просто прочитать код, чтобы увидеть, что он делает. Эти типы комментариев занимают много места, но не представляют особой ценности.

Самодокументируемый код


Вместо того, чтобы писать Javadoc-комментарии, лучше по-максимуму использовать имена методов и имена переменных. Каждое имя, которое вы используете, может помочь объяснить, о чем идет речь и как это делается. Одна из веских причин для написания множества небольших методов вместо одного большого заключается в том, что у вас есть больше мест для использования описательных имен, о чем я описал здесь.

Когда комментировать


Написание самодокументирующегося кода поможет вам в долгосрочной перспективе. Однако бывают случаи, когда полезно иметь больше информации. Например, комментарий об использовании зон набора в коде ниже:

image

Еще один пример:

image

Часто можно услышать совет пишие комменте ПОЧЕМУ, а не ЧТО. Хотя это, вероятно, охватывает большинство моих комментариев, это не то, как я думаю о том, когда комментировать. Вместо этого я обычно пишу комментарий, когда есть что-то особенно сложное, либо в домене, либо в том, как выполняется реализация.

Стандартный совет от толпы исповедующих принцип: никаких комментариев не требуется (к которой я когда-то принадлежал) переписать код, чтобы вам не нужно было его комментировать. Однако это не всегда возможно. Иногда домен просто слишком сложен. Иногда усилия по переписыванию кода были бы слишком большими по сравнению с добавлением комментария.

Еще одна жалоба на комментарии заключается в том, что они будут не синхронизированы с кодом, тем самым препятствуя вашему пониманию кода, а не помогая ему. Хотя это иногда случается, для меня это не было большой проблемой. Почти во всех случаях, которые я анализировал, комментарии все еще оставались в силе. Они также были очень полезны. Каждый раз, когда я натыкался на один из таких комментариев, я был счастлив, что написал его. Это не займет много времени, чтобы забыть некоторые детали и нюансы проблемы, которую вы решаете, и наличие комментария с некоторым дополнительным контекстом и объяснением было здорово.

Логи как комментарии


Иногда вы получаете комментарий на халяву, если регистрируете пояснительное сообщение. В приведенном ниже примере инструкция log объясняет, что произошло, поэтому нет необходимости в комментариях.

image

Анализ комментариев


Когда я впервые подумал о том, чтобы проверить, сколько комментариев содержится во всех моих коммитах, я подумал, что будет достаточно одной строки, чтобы найти комментарии во всех моих коммитах Python (я комментирую только с помощью #):

git log --author=Henrik -p|grep '^+[^+]'|grep '#' | wc -l

Однако вскоре я понял, что мне нужны более подробные сведения. Я хотел провести различие между комментариями в конце строки и комментариями всей строки. Я также хотел узнать, сколько блоков комментариев (последовательных строк комментариев) у меня было. Я также решил исключить тестовые файлы из анализа. Кроме того, я хочу обязательно исключить любой закомментированный код, который там оказался (к сожалению, таких случаев было несколько). В конце концов я написал скрипт на python для анализа. Входными данными для скрипта были выходные данные git log --author=Henrik -p.

Из выходных данных я увидел, что 1299 из 17817 добавленных строк моих содержали комментарии. Был 161 комментарий в конце строки и 464 однострочных комментария. Самый длинный блок комментариев составлял 11 строк, и было 96 случаев блоков комментариев, которые имели 3 или более последовательных строк.

Выводы


Раньше я думал, что написание хорошо названных функций будет означать, что комментарии не нужны. Однако, глядя на то, что я на самом деле сделал, я заметил, что я склонен добавлять комментарии в сложные или неинтуитивные части кода. Каждый раз, когда я возвращаюсь к этим частям программы, я рад, что приложил усилия, чтобы добавить комментарий они были очень полезны!
Подробнее..

Банки потеряют своих клиентов. Банки не потеряют своих клиентов

01.06.2021 06:10:21 | Автор: admin

Проблемы, страхи и надежды традиционных банков отлично резюмировал Google. В своём тактичном предложении стать партнёрами, которое составил для них в прошлом году:

"Youre lagging in technology. Your current vendors are years behind. Consumers think youre irrelevant. Were hip, were cool, we have all the latest technologies, and boy have weve got data! Come partner with us on our new checking account!"

Перевод: Вы технологически отстаёте. Ваши вендоры застряли в прошлом. Клиенты считают вас устаревшими. Мы модные, мы классные, у нас все последние технологии и боже мой, сколько же у нас данных! Становитесь нашими партнёрами в новом банковском приложении!

Забавно, что 75% первых партнёров, похоже, даже не знали, о каком приложении речь! Это был Google Plex часть обновленного Google Pay с фичами вроде кэшбэков, специальных предложений и персональных финансовых советов.

Пример ярко показывает кризис привычной модели взаимодействия банк-клиент. Обе стороны ощущают нехватку в этой цепочке ещё одного звена. И это финтех.

Я уже несколько лет работаю с банками, ниже моё субъективное представление о важности и возможностях их коллаборации с ИТ-шниками + статистика и ссылки на источники.

Банки вынуждены открывать доступ для финтеха

Как говорится из каждого утюга после пандемии мир никогда не будет прежним. А вот в нашем случае вирус выступил катализатором уже происходящих процессов.

Ожидания потребителей по отношению к банкам изменились ещё в доковидную эпоху. Прошлогоднее исследование Ernst&Young показало, что клиенты ждут от банкинга:

  1. Прозрачности и возможности доверять

  2. Максимальной персонализации

  3. Защиты данных

  4. Мгновенного удовлетворения запросов

  5. Помощи с достижением личных целей

Иными словами, того, что умеют делать agile финтехи и не умеют мастодонты старой закалки.

Accenture, в свою очередь, проанализировали изменение поведения людей в связи с локдаунами. Тенденции подтвердились. Клиентов банков поделили на четыре группы пользователей:

  1. Прагматики ценят полезность услуг вне зависимости от используемого канала

  2. Традиционалисты предпочитают общаться с людьми, а не онлайн

  3. Пионеры любители инноваций, первыми пробуют новинки

  4. Скептики разбираются в технологиях, но часто недовольны качеством сервисов

И вот несколько выводов:

  • доверие к банкам со стороны всех групп клиентов падает (в том числе, с точки зрения безопасности данных)

  • использование всех цифровых каналов связи с банками растёт (включая мессенджеры, соцсети, видеозвонки и т.п.)

  • основной критерий при выборе финансовых услуг соотношение цена/качество

  • пионеры и прагматики чаще других обращаются за финансовыми рекомендациями

  • пионеры и прагматики до 44 лет переходят в необанки ради новых услуг

Вспомним и о директиве PSD2, обязывающей европейские банки открыть безопасный доступ к данным своих клиентов для провайдеров финансовых услуг. Американское Бюро по финансовой защите потребителей тоже задумывается о похожей инициативе учитывая размах общего тренда, скорее всего, это лишь вопрос времени.

Таким образом, традиционные банки вынуждены открываться внешним партнёрам, превращаясь по сути в платформу для сторонних разработок. Причём давление происходит одновременно с двух сторон: со стороны спроса и со стороны регуляторов.

А раз эффективной альтернативы нет (сказал он, категорично сдвинув брови), состоявшимся банковским брендам лучше искать в сложившейся ситуации возможности, а не уязвимости.

Банкам приходится впускать финтех в свою жизнь. Однако, это вовсе не вторжение Uber в мир таксопарков. Обе стороны нуждаются друг в друге, чтобы оставаться на рынке. И вот почему...

У банков есть проблемы

1. Безопасность

У банков есть серьёзные проблемы с безопасностью. К такому наблюдению (помимо меня) пришла ImmuniWeb международная компания, занимающаяся безопасностью приложений. Анализ сайтов и приложений 100 банков с разных континентов показал, что:

  • 85% веб-приложений не соответствует GDPR (General Data Protection Regulation)

  • 49% веб-приложений не соответствует PCI DSS (Payment Card Industry Data Security Standard)

  • 92% приложений имеет хотя бы одну уязвимость среднего уровня риска

  • 100% сайтов имеет уязвимости, связанные с забытыми субдоменами (читай сами создают комфортные условия для фишинга)

А это только отчёт о проверке крупных банков. Можно даже не сомневаться, что у банков поменьше недостаточно ресурсов, чтобы обеспечить даже такой уровень безопасности.

Чтобы сделать безопасный IT-продукт, в первую очередь нужны толковые люди с соответствующими хард скилами.

Вот только IT-специалистов сейчас не найти. Душная корпоративная культура не позволяет конкурировать с более привлекательными для талантливой молодёжи стартапами (например, финтех-стартапами) и гигантами вроде Google, Apple и Facebook. А опытные айтишники хотят чудовищно много денег.

2. Технологичность

Банки тратят уйму ресурсов на внедрение новой технологии. Ведь нужно, чтобы она как-то встраивалась в бизнес-процессы и дружила с легаси кодом, которые накопились в огромных масштабах. Неподъёмных для полноценного осмысления одним человеком, а иногда даже небольшой командой.

Финтех-компании лишены подобного наследия, они более гибки при выборе пути и внедрении инноваций. К тому же, партнёрство с ними дешевле и внутренних разработок, и покупки целых стартапов.

3. Зарегулированность

Деятельность кредитных организаций (aka банков) очень сложная система законов, правил и норм, которым нужно соответствовать.

Требования сокращают желание рисковать и ухудшают возможности для инноваций. Драйвером развития в таких условиях может стать кто-то, чьи решения не ограничивает банковская лицензия.

К финтех-компаниям без банковской лицензии требования тоже есть, но они гораздо менее суровые.

И у финтеха тоже есть проблемы

1. Доверие

Каким бы модным и классным не выглядел финтех, ему хватает своих проблем. Одна из них доверие клиентов. Всё-таки традиционалисты и скептики преобладают на большинстве рынков, включая европейские и российский.

По данным Accenture, 20% потребителей не готовы доверить свое финансовое благополучие необанкам. А 45% уверены, что подобные стартапы не продержатся на рынке и года! (отчасти это правда, что уж)

2. Прибыльность

Несмотря на взрывные темпы прироста клиентов, необанки далеко не всегда способны зарабатывать. Так, британские звезды Monzo и Starling столкнулись с удвоением убытков в 2020 г.

Один из первых необанков в мире Moven закрылся по этой причине. Самое показательное в кейсе то, что с рынка он не ушёл трансформировался в IT-компанию для обслуживания кредитных организаций. И сразу же заключил контракт с STC Pay, цифровым кошельком из Саудовской Аравии. Ещё раз подтверждая, что финтех эффективнее в союзе с банком.

Starling в итоге опять вышел в плюс. Но общее правило сохраняется: стабильная доходность не про инновационные финтехи. Даже сами представители брендов не упоминают рентабельность среди главных приоритетов.

3. Отсутствие лицензии

Отсутствие банковской лицензии дар и проклятие финтеха (той его части, у которой нет лицензии). С одной стороны, без жёсткого контроля проще использовать новые технологии и разрабатывать новые типы услуг.

С другой, без разрешения на ведение банковской деятельности большинство из этих услуг просто не получается оказывать. Финтех (в основном), как ни крути, это придаток банка, а не полноценный банк.

А вместе у них есть успешные коллабы

Итак, традиционным банкам и финансовым IT-компаниям необходима правильная модель кооперации. Модель, при которой банки отвечают за операции со счетами и предоставляют партнёрам свой бренд, авторитет и доступ к клиентской базе.

IT-шники, в свою очередь, разрабатывают технологии для сформированного спроса, получают необходимые ресурсы и инвестиции, сокращая свои риски. А заодно экономя бюджет и нервы больших братьев. Подобные схемы партнёрства уже встречаются на рынке.

  1. Westpac, второй по капитализации банк Австралии, сотрудничает с британским провайдером облачных технологий 10x Future Technologies. Вместе они создают BaaS-платформу (Banking as a Service), которая позволит другим брендам предлагать услуги банка своим клиентам.

  2. В России Модульбанк выступил платформой для финтех-сервиса Хайс, а Открытие и QIWI платформой для Точки. Работа на платформе кредитной организации позволила Точке и Хайсу тоже называть себя банками, хотя фактически они ими не являются.

  3. Немецкий Commerzbank работает с одной из ведущих европейских систем удалённой идентификации и электронных подписей IDnow. Она позволяет клиентам подключаться к банку откуда угодно и когда угодно с удобным способом верификации например, по видео.

  4. Ак Барс Банк скооперировался с технологической платформой APIBank для выпуска нового типа карт LetyBank.

  5. Бывает и наоборот: в США финтех LendingClub купил себе бостонский Radius Bank. Основная причина сделки получение доступа к более дешевому и удобному фондированию.

Банки потеряют своих клиентов

Открытость для внешних партнёров означает, что доступ к данным клиентов больше не будет прерогативой банка. И это главное, что останавливает корпорации от новых коллабораций (корпорации коллаборировались, коллаборировались, да не выколлаборировались)

Статистика PriceWaterhouseCoopers показывает, что 88% игроков рынка боится потерять деньги из-за партнёрств с финтехом (по сравнению с 83% пять лет назад). Они полагают, что рискуют, в среднем, 24% выручки.

С другой стороны, это также плохо для банка, как хорошо для клиента.

Если тренд будет усиливаться, традиционным банкам рано или поздно придётся отказаться от стратегий развития, основанных на эксклюзивности данных (допродажи, агрессивное кредитование и т.п.) и нужно будет искать другие точки роста. Финтехам было бы полезно тоже задуматься об этом, чтобы помочь потенциальным партнёрам.

Я бы сказал, что роль банка, как процессингового центра для ИТ-компаний сейчас выглядит как вполне реалистичная модель. С ней обе стороны могут заниматься тем, что у них получается лучше всего.

А это конец статьи.

Автор идеи и главный редактор Денис Элиановский. Статью написал Станислав Лушин. Редактор Татьяна Китаева

Подробнее..

Банкам стоит передавать данные клиентов внешним компаниям (но не с целью их продажи, и не всем)

01.06.2021 08:12:59 | Автор: admin

Проблемы, страхи и надежды традиционных банков попробовал резюмировать Google. В своём предложении стать партнёрами, которое составил для них в прошлом году:

"Youre lagging in technology. Your current vendors are years behind. Consumers think youre irrelevant. Were hip, were cool, we have all the latest technologies, and boy have weve got data! Come partner with us on our new checking account!"

Перевод: Вы опаздываете с технологиями. Ваши вендоры отстали на годы. Клиенты считают вас устаревшими. Мы модные, мы классные, у нас все последние технологии и боже мой, сколько же у нас данных! Становитесь нашими партнёрами в новом банковском приложении!

Забавно, что 75% первых партнёров, похоже, даже не знали, о каком приложении речь! Это был Google Plex часть обновленного Google Pay с фичами вроде кэшбэков, специальных предложений и персональных финансовых советов.

Пример ярко показывает кризис привычной модели взаимодействия банк-клиент. Обе стороны ощущают нехватку в этой цепочке ещё одного звена. И это финтех.

Я уже несколько лет работаю с банками, ниже моё субъективное представление о важности и возможностях их коллаборации с ИТ-шниками, как со внешними независимыми разработчиками + статистика и ссылки на источники.

Мы поговорим о том кейсе, когда данные клиента передаются не с целью их продажи (чего порядочные банки и так не делают), а с целью улучшения клиентского сервиса. За что банки иногда даже сами приплачивают.

Банки вынуждены открывать доступ для финтеха

Как говорится из каждого утюга после пандемии мир никогда не будет прежним. А вот в нашем случае вирус выступил катализатором уже происходящих процессов.

Ожидания потребителей по отношению к банкам изменились ещё в доковидную эпоху. Прошлогоднее исследование Ernst&Young показало, что клиенты ждут от банкинга:

  1. Прозрачности и возможности доверять

  2. Максимальной персонализации

  3. Защиты данных

  4. Мгновенного удовлетворения запросов

  5. Помощи с достижением личных целей

Иными словами, того, что умеют делать agile финтехи и не умеют мастодонты старой закалки.

Accenture, в свою очередь, проанализировали изменение поведения людей в связи с локдаунами. Тенденции подтвердились. Клиентов банков поделили на четыре группы пользователей:

  1. Прагматики ценят полезность услуг вне зависимости от используемого канала

  2. Традиционалисты предпочитают общаться с людьми, а не онлайн

  3. Пионеры любители инноваций, первыми пробуют новинки

  4. Скептики разбираются в технологиях, но часто недовольны качеством сервисов

И вот несколько выводов:

  • доверие к банкам со стороны всех групп клиентов падает (в том числе, с точки зрения безопасности данных)

  • использование всех цифровых каналов связи с банками растёт (включая мессенджеры, соцсети, видеозвонки и т.п.)

  • основной критерий при выборе финансовых услуг соотношение цена/качество

  • пионеры и прагматики чаще других обращаются за финансовыми рекомендациями

  • пионеры и прагматики до 44 лет переходят в необанки ради новых услуг

Вспомним (или только что узнаем) и о директиве PSD2, обязывающей европейские банки открыть безопасный доступ к данным своих клиентов для провайдеров финансовых услуг.

Американское Бюро по финансовой защите потребителей тоже задумывается о похожей инициативе. Учитывая размах общего тренда, скорее всего, это лишь вопрос времени.

Таким образом, традиционные банки вынуждены открываться внешним партнёрам, превращаясь по сути в платформу для сторонних разработок. Причём давление происходит одновременно с двух сторон: со стороны спроса и со стороны регуляторов.

И раз уж такая ситуация сложилась, банкам эффективнее искать в ней возможности, а не уязвимости.

Приходится впускать финтех в свою жизнь. Однако, это совсем не вторжение Uber в мир таксопарков. Обе стороны нуждаются друг в друге, чтобы оставаться на рынке. И вот почему...

У банков есть проблемы

1. Безопасность

У банков есть серьёзные проблемы с безопасностью. К такому наблюдению пришла ImmuniWeb международная компания, занимающаяся безопасностью приложений. Анализ сайтов и приложений 100 банков с разных континентов показал, что:

  • 85% веб-приложений не соответствует GDPR (General Data Protection Regulation)

  • 49% веб-приложений не соответствует PCI DSS (Payment Card Industry Data Security Standard)

  • 92% приложений имеет хотя бы одну уязвимость среднего уровня риска

  • 100% сайтов имеет уязвимости, связанные с забытыми субдоменами (читай сами создают комфортные условия для фишинга)

Это отчёт о проверке крупных банков. Можно даже не сомневаться, что у банков поменьше недостаточно ресурсов, чтобы обеспечить даже такой уровень безопасности.

Чтобы сделать безопасный IT-продукт, в первую очередь нужны толковые люди с соответствующими хард скилами.

Вот только IT-специалистов сейчас не найти. Сложившаяся корпоративная культура не позволяет конкурировать с более привлекательными для талантливой молодёжи стартапами (например, финтех-стартапами) и гигантами вроде Google, Apple и Facebook. А опытные айтишники хотят чудовищно много денег.

2. Технологичность

Банки тратят уйму ресурсов на внедрение новой технологии. Ведь нужно, чтобы она как-то встраивалась в бизнес-процессы и дружила с легаси кодом, которые накопились в огромных масштабах. Неподъёмных для полноценного осмысления одним человеком, а иногда даже небольшой командой.

Финтех-компании лишены подобного наследия, они более гибки при выборе пути и внедрении инноваций. К тому же, партнёрство с ними дешевле и внутренних разработок, и покупки целых стартапов.

3. Зарегулированность

Деятельность кредитных организаций (aka банков) очень сложная система законов, правил и норм, которым нужно соответствовать.

Требования сокращают желание рисковать и ухудшают возможности для инноваций. Драйвером развития в таких условиях может стать кто-то, чьи решения не ограничивает банковская лицензия.

К финтех-компаниям без банковской лицензии требования тоже есть, но они гораздо менее суровые.

И у финтеха тоже есть проблемы

1. Доверие

Каким бы модным и классным не выглядел финтех, ему хватает своих проблем. Одна из них доверие клиентов. Всё-таки традиционалисты и скептики преобладают на большинстве рынков, включая европейские и российский.

По данным Accenture, 20% потребителей не готовы доверить свое финансовое благополучие необанкам. А 45% уверены, что подобные стартапы не продержатся на рынке и года! (отчасти это правда, что уж)

2. Прибыльность

Несмотря на взрывные темпы прироста клиентов, необанки далеко не всегда способны зарабатывать. Так, британские звезды Monzo и Starling столкнулись с удвоением убытков в 2020 г.

Один из первых необанков в мире Moven закрылся по этой причине. Самое показательное в кейсе то, что с рынка он не ушёл трансформировался в IT-компанию для обслуживания кредитных организаций. И сразу же заключил контракт с STC Pay, цифровым кошельком из Саудовской Аравии. Ещё раз подтверждая, что финтех эффективнее в союзе с банком.

Starling в итоге опять вышел в плюс. Но общее правило сохраняется: стабильная доходность не про инновационные финтехи. Даже сами представители брендов не упоминают рентабельность среди главных приоритетов.

3. Отсутствие лицензии

Отсутствие банковской лицензии дар и проклятие финтеха (той его части, у которой нет лицензии). С одной стороны, без жёсткого контроля проще использовать новые технологии и разрабатывать новые типы услуг.

С другой, без разрешения на ведение банковской деятельности большинство из этих услуг просто не получается оказывать. Финтех (в основном), как ни крути, это придаток банка, а не полноценный банк.

А вместе у них есть успешные коллабы

Итак, традиционным банкам и финансовым IT-компаниям необходима правильная модель кооперации. Модель, при которой банки отвечают за операции со счетами и предоставляют партнёрам свой бренд, авторитет и доступ к клиентской базе.

IT-шники, в свою очередь, разрабатывают технологии для сформированного спроса, получают необходимые ресурсы и инвестиции, сокращая свои риски. А заодно экономя бюджет и нервы больших братьев. Подобные схемы партнёрства уже встречаются на рынке.

  1. Westpac, второй по капитализации банк Австралии, сотрудничает с британским провайдером облачных технологий 10x Future Technologies. Вместе они создают BaaS-платформу (Banking as a Service), которая позволит другим брендам предлагать услуги банка своим клиентам.

  2. В России Модульбанк выступил платформой для финтех-сервиса Хайс, а Открытие и QIWI платформой для Точки. Работа на платформе кредитной организации позволила Точке и Хайсу тоже называть себя банками, хотя фактически они ими не являются.

  3. Немецкий Commerzbank работает с одной из ведущих европейских систем удалённой идентификации и электронных подписей IDnow. Она позволяет клиентам подключаться к банку откуда угодно и когда угодно с удобным способом верификации например, по видео.

  4. Ак Барс Банк скооперировался с технологической платформой APIBank для выпуска нового типа карт LetyBank.

  5. Бывает и наоборот: в США финтех LendingClub купил себе бостонский Radius Bank. Основная причина сделки получение доступа к более дешевому и удобному фондированию.

Банки потеряют своих клиентов?

Открытость для внешних партнёров означает, что доступ к данным клиентов больше не будет прерогативой банка. И это главное, что останавливает корпорации от новых коллабораций (корпорации коллаборировались, коллаборировались, да не выколлаборировались)

Статистика PriceWaterhouseCoopers показывает, что 88% игроков рынка боится потерять деньги из-за партнёрств с финтехом (по сравнению с 83% пять лет назад). Они полагают, что рискуют, в среднем, 24% выручки.

С другой стороны, это также плохо для банка, как хорошо для клиента.

Если тренд будет усиливаться, традиционным банкам рано или поздно придётся отказаться от стратегий развития, основанных на эксклюзивности данных (допродажи, агрессивное кредитование и т.п.) и нужно будет искать другие точки роста. Финтехам было бы полезно тоже задуматься об этом, чтобы помочь потенциальным партнёрам.

Я бы сказал, что роль банка, как процессингового центра для ИТ-компаний сейчас выглядит как вполне реалистичная модель. С ней обе стороны могут заниматься тем, что у них получается лучше всего.

Но для этого придётся шэрить данные, и в гораздо больших объёмах, чем это делается сейчас.

Было бы здорово послушать ваше мнение, стоит ли банкам открывать часть данных внешним компаниям в обмен на лучший сервис для своих клиентов?

Автор идеи и главный редактор Денис Элиановский. Статью написал Станислав Лушин. Редактор Татьяна Китаева

Подробнее..

Кто такие citizen developers и как они двигают вперед цифровую трансформацию туториал по созданию робота

28.05.2021 18:18:56 | Автор: admin

Идеи о разработке бизнес-пользователями ходят уже давно, и многие вендора стараются предложить свои решения именно для бизнес-пользователей. Казалось, что времена, когда бухгалтер или финансист сможет разработать автоматизацию для себя, наступят очень нескоро, и в этой статье мы хотим показать, что это уже сейчас стало реальностью.

При написании этой статьи мы пообщались со специалистом финансового отдела одного из Российских провайдеров цифровых услуг и решений, использующей в своей работе Studio X. Светлана не имела опыта разработки до знакомства с сервисами UiPath. С помощью Studio X она менее чем за полгода научилась роботизировать RPA-процессы.

Светлана рассказала нам немного о своём опыте:

Сложности конечно были. По указанной ссылке я установила программу (UiPath Studio X), больше 4 месяцев смотрела презентации, видео, читала материалы на сайте, но ничего не получалось повторить. Потом я прошла видеообучение со специалистом UiPath, Ильей и на практике освоила азы роботизации.

Правда не всё получилось сразу. Я долго мучалась, но у меня не выделялись нужные области в документах, как на обучении. Тем не менее, я создала своего первого робота через картинки, как объяснил позже Илья.

Комментарий от автора: Светлана автоматизировала удалённый рабочий стол через картинки это значит, что использовались не классические селекторы, а технология Computer Vision (компьютерное зрение), о которой мы рассказали здесь. Нужные области это селекторы, на примере ниже станет более понятно о выделении каких областей идёт речь.

Далее состоялась встреча с Ильёй, на которой я смогла показать своего первого робота. Оказалось, что для Oracle нужно было установить еще донастройку Java.

После чего у меня стали выделяться нужные области, а мне стали понятны все просмотренные ранее видеоролики.

После установки донастроек я переделала своего первого робота, он получился простой, его основной задачей является блокировка позиций.

Я пользуюсь сервисами UiPath каждый день и уже создала около 10 роботов, которых применяю в своей работе с разной периодичностью. Некоторыми роботами пользуюсь ежедневно, а каких-то использую раз в месяц. Есть несколько роботов, которые создают заявки в Oracle на добавление новых контрагентов.

Недавно возникла срочная задача проставить адреса уже существующим контрагентам. Я решила ее с помощью робота: прописала шаги в UiPath, и в итоге результат удалось получить в разы быстрее, чем вручную.

Знаю, что можно создавать и сложных многозадачных роботов, поэтому очень хочу изучить UiPath досконально!.

Темпы оцифровывания бизнеса все время растут, а после пандемии COVID-19 они совершили качественный скачок. В исследовании компании KMDA говорится, что в 2020 году на 20% (по сравнению с 2018 годом) выросло количество российских компаний, приступивших к реализации цифровой трансформации. Соответственно, увеличилась и потребность в компетенциях IT-специалистов, компаниям стало значительно не хватать разработчиков и айтишников других профилей.

Высокие зарплаты в отрасли не решают проблемы на рынке труда просто нет необходимых ресурсов. Один из возможных выходов здесь привлечение организациями к программированию собственных сотрудников, не имеющих соответствующего опыта. Использование низкокодовых решений для автоматизации помогает таким энтузиастам осваивать первичные навыки разработки.

Раньше citizen developers обычно создавали простые однопользовательские решения на основе Microsoft Excel и Access. Сегодня low-code инструменты не требуют от пользователя особых технических знаний и навыков, и они могут без труда разрабатывать ведомственные, корпоративные и даже общедоступные приложения.

Зачем нужны citizen developers?

Кроме верхнеуровневой роботизации существует целый мир автоматизации на других подуровнях. Традиционная цифровизация корпоративных технологий проводится сверху вниз, под руководством директора по цифровой трансформации. К сожалению, сверху видна лишь малая часть процессов, которые могут быть роботизированы. Citizen developers же знают детали своих ежедневных бизнес-процессов и замечают мельчайшие возможности для автоматизации на местах, в этом их особенная ценность.

Для наглядности можно посмотреть на график, на котором по оси ординат мы измеряем выгоду от роботизации процесса, а по оси абсцисс количество задач. Самую большую выгоду (на один процесс) мы получаем при роботизации процессов с большим числом транзакций, например, акты сверок. Роботизировали один раз автоматизировали сразу сотни тысяч транзакций. Число таких процессов у компании конечно. Количество задач, которые могут автоматизировать citizen developers, наоборот, неограниченно. Но каждая такая задача приносит несоразмерную с затратами на разработку в центре компетенций или силами подрядчика прибыль. Однако, если посчитать площадь под графиком, то мы увидим, что выгода от citizen development сопоставима с роботизацией крупных процессов с большим числом транзакций. Именно поэтому имеет смысл подключать бизнес-пользователей к разработке RPA-процессов для себя. Минимальными затратами можно получить серьезную прибыль в масштабах компании.

Чтобы цифровая трансформация работала, автоматизация должна касаться всех уровней внутри компании, и здесь citizen developers выступают евангелистами автоматизации. Они ускоряют процесс разработки и внедрения автоматизации на уровне отдельных сотрудников и отделов. В то время как RPA-разработчики работают над глобальными автоматизациями в масштабах всей организации, citizen developers могут найти повседневное применение инструментам автоматизации в своей собственной работе.

Citizen developers помогают снизить нагрузку на IТ-отдел, освобождая место для более приоритетной работы, требующей экспертного взгляда. Штатные программисты получают дополнительное время для решения стратегических задач, за счет того, что автоматизацией на местах занимаются citizen developers.

Как становятся citizen developers

В любой организации всегда есть сотрудник, который следит за передовыми технологиями, тестирует новые инструменты и осваивает новое. У таких энтузиастов достаточно мотивации, чтобы привносить положительные изменения в работу компании, оптимизировать процессы и делиться опытом с коллегами. Такие люди постоянно находятся в поиске новых творческих решений и являются ключом при масштабировании автоматизации.

Последние три года термин citizen developers стал активно использоваться IT-сообществом для обозначения бизнес-пользователей, которые продвигают цифровую трансформацию в компаниях. Это люди,которые не имеют формального опыта программирования, но могут критически мыслить и получать удовольствие от решения сложных задач.

Сегодня citizen developers играют жизненно важную роль, помогая масштабировать технологии, лежащие в основе цифровой трансформации. Это пользователи, которые внедряют простую автоматизацию для себя и своих подразделений в компании.

В отличие от RPA- разработчиков и IТ-команд citizen developers создают новые решения только с использованием предварительно одобренных технологий. Их продукты чаще всего используются на индивидуальном и командном уровне, хотя не исключено, что они могут найти более широкое применение в масштабе всей организации.

Решения UiPath для citizen developers

Одним из решений UiPath для citizen developers является Studio X это среда разработки, которую используют бизнес-пользователи для создания своих проектов по автоматизации. Интерфейс студии очень простой и user friendly:

Слева на панели есть группы основных действий, которые связаны с соответствующими приложениями: Excel, PowerPoint, SAP и т.д. Рядом с ними находится колонка ресурсов это сущности, с помощью которых можно выполнять действия в приложениях: сортировать, фильтровать и т.д. Например, если мы хотим работать с Excel, то мы перетаскиваем ресурс на рабочее поле и выбираем конкретный файл, с которым будем работать.

Рассмотрим простой пример, как можно в Studio X сделать простейшую автоматизацию создать робота, забирающего значение текущего времени из поисковика.

Шаг 1

Заходим в браузер на Google.com и гуглим текущее время в Москве. Для этого выбираем ресурс User Application Browser. Studio X говорит, что необходимо указать приложение для автоматизации:

Шаг 2

Для этого достаточно кликнуть по окну браузера, в котором вы работаете. Далее возвращаемся в студию и видим, что там указано, что мы используем Google Chrome. Сюда же можно ввести нужный URL:

Шаг 3

Далее выбираем активность Type Into, чтобы задать роботу текстовое поле для ввода:

Шаг 4

Нужно указать куда вводить текст, для этого надо выделить поисковую строку в Google. После этого нажимаем кнопку Подтвердить.

И указываем, что нужно ввести Текущее время в Москве. После этого нужно дать указание роботу нажать на кнопку Поиск. Для этого используем активность Click:

Шаг 5

И там же указываем объект это кнопка поиска Google:

Шаг 6

После этого роботу нужно получить данные со значением текущего времени используем для этого активность Get Text и выделяем строчку со временем:

Шаг 7

Полученное значение времени сохраним в переменную для дальнейшего использования. Назовем ее Время Москва:

Шаг 8

И в завершении используем активность вывода сообщения Message Box.

Пишем Точное время в городе Москва и дальше добавляем сохраненную переменную:

Вот как выглядит результат работы робота:

Аналогичную процедуру можно провести и с помощью веб-рекордера. В таком случае можно не вручную собирать робота в студии, а пошагово выполнять нужный бизнес-процесс в режиме реального времени рекордер автоматически запишет и сконвертирует действия пользователя в соответствующие активности студии.

Такие простые автоматизации без труда могут быть освоены citizen developers и использоваться ими для роботизации рутинных процессов на местах.

У UiPath есть не только продукты, специально разработанные для citizen developers, но и специализированные курсы по автоматизации для бизнес-пользователей.

Как компании используют citizen development

Тренд citizen development набирает обороты в последние полтора года среди клиентов UiPath в Азиатско-Тихоокеанском регионе (APAC).

Австралийский Heritage Bank приступил к автоматизации в начале 2017 года. Теперь у него есть полноценная команда по автоматизации, управляющая 12 unattended и 60 attended роботами.

Для масштабной автоматизации банк привлек сотрудников, у которых была сильная мотивация к обучению навыкам автоматизации. Они стали главными кандидатами на роль citizen developers. Далее планируется отобрать 10-20 человек из их числа, чтобы управлять автоматизацией всей компании. Руководство хочет, чтобы сотрудники могли видеть, как автоматизация, запущенная с их помощью, помогает коллегам высвобождать время на выполнение более стратегических или творческих задач. Это должно мотивировать людей заниматься citizen development на местах.

Еще один пример успешного внедрения citizen development компания VITAL. В конце 2017 года VITAL начала работать с RPA для автоматизации повторяющейся работы с данными, чтобы в итоге стать цифровым сервисным центром.

Руководство компании понимало, что для массового привлечения к автоматизации citizen developers необходимо расширение их прав и возможностей, а это требует дополнительного времени, а также базовых знаний программирования. В процессе работы с кадрами выяснилось, что не каждый сотрудник готов и может стать RPA-разработчиком. Однако, людей со способностями и мотивацией можно обучить основным техническим скиллам и сделать из них citizen developers.

На данный момент компания тестирует UiPath StudioX, инструмент UiPath, с помощью которого бизнес-пользователи могут автоматизировать процессы без кодирования. Это позволяет сотрудникам без опыта самостоятельно быстро создавать и обслуживать программных роботов.

Citizen development: факторы успеха

Если обобщить опыт внедрения работы citizen developers, то можно выделить три ключевых фактора успеха такой автоматизации:

  • поддержка руководства компании,

  • грамотные коммуникации с коллективом,

  • поддержание уверенности сотрудников в полезности RPA.

Сложности, с которыми столкнутся бизнес-пользователи, сложно предугадать на начальном этапе. Как мы видим из комментария Светланы, подключение специалистов может помочь пользователям быстро продвинуться в освоении возможностей платформы. Программой развития citizen development нужно управлять на уровне компании: вовлекать специалистов и проводить их обучение.

Citizen development это в первую очередь инвестиции в людей, а не в технологии. Если компания правильно мотивируют своих сотрудников, то она может добиться потрясающих результатов в масштабировании автоматизации. А бот для автоматизации работы с отчетами, разработанный 65-летней сотрудницей, станет обыденностью, а не чем-то удивительным.

Подробнее..

Лайфхаки для роботизации 1С

03.06.2021 20:19:56 | Автор: admin

Несмотря на широкую распространенность платформы 1С в России и большое количество разработчиков автоматизация различных процессов, связанных с этими решениями, может потребовать значительного времени и длиться месяцами.

Основная проблема связана с тем, что все доработки, реализуемые 1С-программистами устанавливаются в лучшем случае поверх чистой конфигурации от самого вендора, а в худшем на целый пласт других доработок от других разработчиков.

Часто такие надстройки слетают при обновлении версии базовой конфигурации 1С, что требует как минимум их повторного включения, а чаще повторной разработки с учетом изменения внутренней кухни конфигурации от вендора.

Рассказываем о том, как при помощи UI Framework избежать подобных проблем роботизации в 1С. Благодаря этому фреймворку UiPath можно роботизировать процессы, в которых участвует несколько приложений, систем и сайтов, гораздо быстрее, чем при помощи программирования в 1С. Подробности ищите в посте.

Статья написана при поддержке архитектора, технического специалиста UiPath: Валентина Драздова.

Попытки обойти проблемы 1С снаружи

Некоторые разработчики не встраивают свои решения непосредственно в конфигурацию 1С, а создают отдельно стоящие приложения, которые обращаются непосредственно к 1С с использованием интерфейсов COM-объектов или взаимодействуют с сервером 1С через web-сервисы. Как правило, такой подход действительно устраняет проблему при обновлении конфигурации, так как обновление не влияет на внешнее ПО, а интерфейсы COM-объектов и веб-сервисов меняются крайне редко. Недостатком данного подхода является то, что от разработчиков требуется больше компетенций, чем просто программирование в 1С, а следовательно больше затрат на тестирование совместимости, что влечет за собой увеличение общей стоимости проекта.

Роботизация как ключ к быстром изменениям

С тех пор, как в Россию пришли решения на базе RPA разработчики начали применять данную технологию для роботизации. Важным преимуществом RPA является то, что такие решения не требуют глубоких знаний в профессиональной разработке ПО, а также использования COM-объектов и web-сервисов, RPA-разработчику необходимо лишь показать, как эту задачу делает реальный человек. Таким образом роботизацией могут заниматься те, у кого есть экспертиза не в программировании, а в своем деле, которое требует автоматизации бизнес-процессов.

Вызовы для RPA со стороны 1C

Однако, несмотря на все предоставляемые преимущества, RPA-платформы часто не дают полностью роботизировать любой процесс в 1С. Мы решили разобраться в теме и выявили причины.

Практически все RPA-решения взаимодействуют с интерфейсами одними и теми же способами:

  1. Ориентирование на селекторы (уникальные идентификаторы и структуру вложенности элементов в рамках окна). Это довольно надежный метод, так как он позволяет работать с приложениями даже в тех случаях, когда они не показываются на переднем плане.

  2. Анализ экрана и поиск нужных элементов по изображению искомого элемента с заданной точностью долгий и ненадежный метод, плохо работает в случае изменения цветовых схем операционной системы и приложений. Так же плохо работает в случаях, когда приложение уходит за рамки экрана или отображается на двух экранах одновременно.

  3. Зашитые координаты кнопок и полей на окнах самый простой и быстрый метод, но он не работает при использовании других разрешений экрана, ломается при любом изменении расположений элементов интерфейса;

1С уникальная платформа, которая не следует чужим стандартам проектирования, а задает свои собственные. Интерфейс платформы отображается с использованием собственных средств вывода элементов, которые могут выдавать элементам произвольные идентификаторы, а также менять порядок вложенности элементов в зависимости от разных условий.

Рис. 1 Пример проблемы выбора элемента меню в 1С 8.3 робот видит блок меню, но не может увидеть конкретные кнопки менюРис. 1 Пример проблемы выбора элемента меню в 1С 8.3 робот видит блок меню, но не может увидеть конкретные кнопки меню

Многие RPA-разработчики возлагают надежды на веб-версию 1С, так как веб более структурирован и более предсказуем. Однако, даже веб-версия 1С не всегда работает так, как этого может ожидать RPA-разработчик. Точно так же, как в десктоп-версии 1С в вебе от запуска к запуску могут отличаться идентификаторы, что приведет к некорректной работе робота. Кроме того, сам принцип функционирования веб-версии подразумевает периодическую перезагрузку тех или иных компонентов веб-содержимого, что также может сбить робота с толку. Например, робот может получить таблицу, запомнить ее идентификаторы и положение. Но, после фильтрации данных таблицы, ее первоначальные идентификаторы будут работать неправильно, а робот не сможет извлечь из нее информацию.

UI Framework универсальная таблетка от UiPath

В отличие от множества других RPA-решений платформа UiPath предлагает использовать собственную разработку, которая называется UI Framework. Особенность фреймворка заключается в максимальной абстракции методов взаимодействия, что позволяет применять разные режимы поиска элементов интерфейса, в том числе и комбинации их вариантов для достижения наилучшего результата.

При работе с UI Framework разработчик RPA может выбирать индивидуально для каждого компонента каким именно методом робот будет его искать:

Default режим по умолчанию. Использует собственные алгоритмы для анализа элементов управления форм на основании тех самых идентификаторов. Данный метод подходит для большинства приложений.

AA режим использования средств Microsoft Active Accessibility. В данном режиме UiPath использует интерфейс специальных возможностей Windows, который позволяет людям с плохим зрением взаимодействовать с программами. В основном данный метод наиболее применим для старых приложений, реализованных на чистом WinAPI без применения современных технологий.

UIA режим использования средств Microsoft UI Automation. В данном режиме UiPath использует методы доступа, предоставляемые для современных приложений Windows. Как правило, это приложения, использующие технологии WPF и универсальные приложения Windows (известные так же, как приложения магазина Windows 8/Windows 10).

Рис. 2 Пример успешного выбора элемента меню в 1С 8.3 благодаря выбору UI Framework UIA робот видит кнопки меню, а не блокРис. 2 Пример успешного выбора элемента меню в 1С 8.3 благодаря выбору UI Framework UIA робот видит кнопки меню, а не блок

Методики поиска Ui Framework надежнее, чем способы с координатами или изображением. Однако, только одного корректного выбора UI Framework недостаточно. Например, на формах ввода документов 1С можно встретить следующую проблему существует несколько полей, и ни одно поле не помечено специальными идентификаторами. Как результат после выбора одного поля робот видит его в нескольких местах сразу:

Рис. 3 Пример проблемы выбора поля на форме ввода нового документа. Зеленым отмечено поле, которое было выбрано при настройке. Желтым все элементы окна, которые робот воспринимает так же, как это поле, что может привести к некорректным результатам автоматизацииРис. 3 Пример проблемы выбора поля на форме ввода нового документа. Зеленым отмечено поле, которое было выбрано при настройке. Желтым все элементы окна, которые робот воспринимает так же, как это поле, что может привести к некорректным результатам автоматизации

Использование разных режимов работы с интерфейсами позволяет достичь более высоких результатов при определении тех или иных компонентов управления в 1С, однако, только их недостаточно, и именно здесь приходят на помощь дополнительные средства:

Поиск по тексту если элемент управления содержит определенную надпись (или имеется неизменная часть формируемой надписи), RPA-разработчик может указать роботу от UiPath о том, что искомый компонент должен искать именно этот текст.

Якоря В дополнении к параметрам искомого элемента управления можно добавить информацию об элементе, который находится рядом. Без данного средства крайне сложно реализовать ввод информации в текстовое поле 1С, так как идентификаторы у таких полей меняются постоянно, а текста в них либо нет (если это ввод нового документа), либо он непостоянен (если это получение информации). Якорь позволяет указать на то, что рядом (слева, сверху, по диагонали, итд) с искомым полем должен располагаться еще один элемент, например, надпись или кнопка, которые уже точно содержат фиксированный текст.

При этом UiPath позволяет добавить сразу несколько якорей специально для тех случаев, когда у вас есть сразу несколько похожих полей на экране.

Поиск по изображению иногда бывают такие случаи, что робот в 1С может найти два идентичных элемента, даже несмотря на то, что используются якоря. Как правило, такое может произойти, когда у вас имеется, например, поле Поиск и кнопка Поиск. Так как 1С старательно жонглирует параметрами отображаемых элементов управления робот может не увидеть чем является каждый компонент. В таких случаях имеет смысл включить дополнительную проверку по изображению: изображение кнопки точно будет отличаться от изображения поля.

Рис. 4 Пример решения проблемы выбора элемента за счет использования якоря с обозначением текста слева от поля. Как результат робот видит только нужное поле, что гарантирует корректный результат роботизации.Рис. 4 Пример решения проблемы выбора элемента за счет использования якоря с обозначением текста слева от поля. Как результат робот видит только нужное поле, что гарантирует корректный результат роботизации.

Повторное использование действий

Скорость создания роботов для 1С явно меньше, чем для большинства других приложений. Чтобы сократить сроки разработки новых процессов, UiPath предоставляет возможности повторного использования существующих разработок.

Сформированные селекторы можно добавить в репозиторий объектов и использовать повторно, тем самым сокращая время на роботизацию одинаковых элементов.

Рис. 5 - Пример использования готовой настроки выбора кнопки "Печать" из репозитория объектовРис. 5 - Пример использования готовой настроки выбора кнопки "Печать" из репозитория объектов

Репозиторий объектов располагается на компьютере разработчика, что дает возможность применять добавленные селекторы во всех проектах, которыми он занимается. Если роботизацией занимается команда разработчиков - имеется возможность создания репозитория в специальной UI-библиотеке. UI-библиотеки можно распространять через оркестратор UiPath, благодаря чему все разработчики и роботы всегда будут иметь доступ к последней версии селекторов.

Помимо хранения репозитория объектов в UI-библиоетках можно создавать такие же последовательности, блок схемы и конечные автоматы, как и в обычных проектах. После публикации и использования - они будут доступны в виде набора готовых активностей. Например, если в нескольких проектах необходимо искать контрагента в 1С - можно выделить этот блок в библиотеку и просто вызывать его. В случае, если в 1С произойдет изменение интерфейса - разработчику достаточно изменить только библиотеку, а не десяток проектов, где необходимо выполнить это действие.

Рис. 6 Пример использования собственной библиотеки действий, созданной в UiPathРис. 6 Пример использования собственной библиотеки действий, созданной в UiPath

Адаптация к изменениям

При использовании корректного UI Framework, поиска по тексту, якорей и изображений RPA-разработчик может не беспокоиться о том, что в следующем обновлении поле или кнопка поменяет свое расположение робот будет по-прежнему правильно находить нужные поля и кнопки.

Единственное, что может помешать роботу изменение подписей у полей и кнопок, или изменение расположений элементов, которые являются якорями. Однако, в этом случае исправление робота занимает короткое время: разработчику необходимо открыть студию, найти нужный блок, где идет работа с полем или кнопкой, исправить якорь в соответствии с изменением интерфейса и опубликовать новую версию. Благодаря возможностям оркестратора UiPath новую версию получат все пользователи сразу после того, как администратор нажмет кнопку Обновить до новой версии.

Во избежание подобных ситуаций рекомендуется использовать UiPath Test Suite, который позволяет выполнить тестирование совместимости роботов и обновленных интерфейсов до введения новой версии программ на продуктив. Помимо тестирования самих роботов, UiPath Test Suite позволяет вам тестировать любые другие приложения на предмет корректности работы сквозных процессах. Подробнее о UiPath Test Suite вы сможете прочесть в нашем блоге совсем скоро.

Computer Vision дополнительная таблетка для сложных случаев

Несмотря на большие возможности поиска элементов управления в UI Framework в платформе 1С существует гораздо больше проблем для RPA-разработчиков, чем изначально можно предположить. Например, одной из сложностей при роботизации 1С являются таблицы. Если с веб-версией таблиц роботы от UiPath справляются очень легко, то вот волшебные Windows-таблицы, которые умеют превращаться в деревья, иногда ставят UI Framework в тупик. Однако, там где нельзя получить доступ к данным напрямую техническим способом имеется возможность использовать компьютерное зрение. Мы уже рассказывали о преимуществах компьютерного зрения при работе с удаленными рабочими столами. Однако, хотим лишь указать на то, что проблема с таблицами и прочими сложностями платформы 1С, отлично решается именно с использованием Computer Vision.

Кейс: как с помощью RPA заносить данные в 1С

В видео показан процесс обработки электронной почты, поступающей от сотрудников склада. Робот комбинирует позиции по контрагентам и договорам, после чего вводит информацию в 1С.

Еще несколько плюсов роботизации 1С с помощью UiPath

Роботы от UiPath ценны тем, что они не ограничивают вас в одном конкретном приложении. Если по поводу того, что запрограммировать 1С надежнее, чем роботизировать еще можно поспорить, то с фактом, что благодаря роботам вы можете роботизировать процессы, в которых участвует несколько приложений, систем и сайтов, гораздо быстрее, чем при помощи программирования в 1С уже сложно не согласиться.

Отдельно стоит отметить движение UiPath в сторону citizen developers, а именно предоставление бизнес-пользователям, далеким от программирования, возможности самостоятельно делать простых роботов, в том числе и для 1С. Таким образом, когда вашим сотрудникам понадобится роботизация они смогут сделать ее самостоятельно в короткие сроки не ожидая долгих согласований от отдела разработки (или же привлечения сторонних организаций и фрилансеров).

Подробнее..

Перевод В офисе полный рабочий день? Нет, спасибо, говорят 86 процентов IT специалистов

02.06.2021 22:14:13 | Автор: admin

Карантинные ограничения продолжают сниматься, и компании готовятся к отмене удаленной работы. Однако сотрудники не торопятся возвращаться.

Профессионалы в области технологий не исключение. По данным опроса Hackajob, эксклюзивно поделившейся его результатами с City A. M., 86% из них хотят продолжить работать на дому после пандемии.

Только 14% из 1700 опрошенных технических специалистов хотят вернуться в офис компании на полный рабочий день, в то время как примерно каждый четвертый хотел бы работать удаленно на постоянной основе.

Шестьдесят процентов с удовольствием работают из офиса время от времени и проводят остаток недели, работая дома.

"Гибридная форма работы это новый прорыв для IT специалистов",-подчеркнул Марк Чаффи, соучредитель и генеральный директор Hackajob.

"Хотя работа из дома, возможно, не была самой легкой для людей в прошлом году, специалисты явно высоко ценят возможность не появляться в офисе каждый день. Сотрудники чувствуют себя более комфортно и счастливо, работая из дома и соблюдая баланс между работой и личной жизнью", - сказал Чаффи в интервью City AM.

Он добавил, что технические специалисты не теряют в продуктивности, работая из дома, даже более того, становятся эффективнее благодаря меньшему количеству отвлекающих факторов и отсутствию необходимости в поездках до офиса.

Двигаясь дальше

Также весьма любопытно, что 80% технических специалистов не думают, что продолжат работать в той же компании через два года.

Это говорит о том, что сотрудники стали больше заботиться о гибкости работы и личном удовлетворении, чем о стабильности, льготах и пенсиях, сказал Чаффи.

"Для беби-бумеров и поколения X было вполне нормальным оставаться в одной и той же организации большую часть своей карьеры. Миллениалы и поколение Z, наоборот, предпочитают концепцию частой смены места работы", - продолжил он.

"Тенденция смены работы каждый год или два может рассматриваться работодателями как тревожный звонок, но, на самом деле, это показывает амбициозность, адаптивность и хорошую осведомлённость человека характеристики, которые ищет каждая компания."

Процессы найма

Опрос также подчеркивает необходимость для потенциальных работодателей отказаться от резюме и устранить предвзятость, которая все еще существует в процессе найма.

Более половины (57%) технических специалистов хотят, чтобы их оценивали по их конкретным навыкам, а не по их резюме или по их полу, этнической принадлежности, образованию, сексуальности, инвалидности или социально-экономическому статусу.

Кроме того, многие говорят, что процессы собеседования вслепую имеют решающее значение, если организации стремятся нанимать людей на основе их потенциала и стремиться к созданию разнообразной и инклюзивной культуры на рабочем месте.

Подробнее..

Перевод Brex будущее бизнес-банкинга и управления денежными средствами

07.06.2021 16:20:09 | Автор: admin
image

Когда Энрике Дубуграс и Педро Франчески присоединились к группе YC W17 с идеей VR-стартапа, они быстро столкнулись с проблемой. Они подали заявку на получение кредитной карты для бизнеса, предназначенной для финансирования программного обеспечения и других расходов, но им было отказано. Бизнес-кредит традиционно оформляется на основе баллов FICO учредителей. Поскольку они являются международными основателями с менее чем месяцем кредитной истории, их шансы получить одобрение были минимальными, несмотря на то, что у них в банке было 125 тысяч долларов.

Такая ситуация была не только у них. Они обнаружили, что, хотя основатели стартапов с самого начала имели доступ к высококачественным платежным продуктам, таким как Stripe (YC S09), получение базовых банковских и кредитных продуктов было ужасным опытом для всех. Даже с 125 тысячами долларов от YC и 1-2 миллиона долларов венчурного финансирования, кредитный лимит стартапа по-прежнему может быть получен от действующего кредитора на уровне 20 тысяч долларов, что явно недостаточно для покрытия расходов на программное обеспечение, маркетинг и других расходов. Карты особенно необходимы молодым компаниям, потому что крупные поставщики не часто принимают ACH и другие формы альтернативных платежей от ранних стартапов. На практике это приводит к тому, что основатели прибегают к использованию своих личных кредитных карт для подписок SaaS или цифрового маркетинга и регулярно подают заявки на возмещение расходов.

Stripe также является отличным примером преобразования платежной системы в Интернете. Запуск Stripe в 2009 году позволил стартапам легко собирать платежи в Интернете с помощью удобных для разработчиков API. Со временем Stripe расширилась, чтобы поддерживать больше бизнес-моделей (например, электронную коммерцию, SaaS, торговые площадки) и вертикалей.

В то время как такие продукты, как Stripe и Square, резко запустили процесс развития кредитных карт бизнеса к потребителю (B2C), распространение карт B2B оставалось неизменно низким. Рынок B2B-платежей в США в три раза превышает рынок B2C, однако распространение цифровых платежей B2B составляет 36%, что вдвое меньше, чем B2C (67%). Внедрение кредитных карт B2B особенно на низком уровне и составляет всего 4% рынка.

image

Чрезвычайно низкое распространение кредитных карт в пространство B2B исторический пережиток отрасли. Чеки остаются самым популярным платежным каналом, потому что, помимо простоты и практически бесплатности использования, они используются дольше всего. ACH пришел следующим в 1970-х годах и теперь составляет половину объема платежей в виде чеков (в основном в виде регулярных платежей, таких как платежная ведомость и выставление счетов).

Между тем, использование карт составляет всего 4% не из-за отсутствия спроса, а из-за значительных проблем с доступностью, адаптацией и полезностью продукта. Большинство банков и поставщиков карт запрашивают излишнюю документацию, привлекают клиентов по средствам онбординга на протяжении 3-5 дней и требуют личной гарантии от основателей бизнеса и владельцев-операторов. Даже в этом случае предлагаемые ими кредитные лимиты минимальны, поскольку они основываются на личной кредитной истории основателя, а не на здоровье бизнеса. И еще одно препятствие: изолированность большинства систем планирования ресурсов предприятия (ERP) затрудняет интеграцию новых платежных решений с бухгалтерским программным обеспечением компании, увеличивая административные расходы на сверку и делая общую стоимость внедрения новой платежной системы невероятно высокий для малого бизнеса.

Чтобы обратиться к этой огромной недооцененной рыночной возможности (не говоря уже о личной болевой точке), Энрике и Педро развернулись и построили Brex. У них было преимущество в том, что они еще подростками в Бразилии основали платежную компанию Stripe-like. Они увеличили объем ежегодных платежей этой компании до 1 млрд долларов США, а затем продали ее. Уже имея представление о первоначальном стеке инфраструктуры карт, необходимом для создания Brex, они смогли быстро продвинуться и запустить свой первый продукт в течение шести месяцев.

Первоначальный продукт Brex представлял собой простую 30-дневную платежную карту для стартапов с кредитными лимитами на основе остатка денежных средств. Ценностное предложение было ясным: основатели не должны были лично давать гарантии, для получения одобрения требовалось менее 24 часов, а предприятия могли получить доступ к 1020-кратному увеличению кредитных лимитов, поскольку андеррайтинг основывался на остатке денежных средств. Они дополнительно дифференцировали продукт с помощью нескольких интуитивно понятных функций. Brex дал основателям стартапов ежедневное представление о совокупных расходах за месяц (по сравнению с существующими предложениями, которые предлагали сверку только в конце месяца). Они упростили регистрацию расходов в 10 раз: всякий раз, когда сотрудник использовал свою карту Brex для оплаты чего-либо, он мгновенно получал текст, который позволял им немедленно отправить квитанцию (вместо того, чтобы разбираться с сохранением квитанций и заполнением их всех в конце месяца). Наконец, они разработали программу вознаграждений для стартапов, предлагая клиентам такие вещи, как вознаграждение за расходы на SaaS и скидки на AWS и Zoom.

Brex мгновенно стал соответствовать запросам рынка, и продукт распространился со скоростью лесного пожара среди стартапов, поддерживаемых венчурными фондами. За пять месяцев после запуска Brex вырос со 100 до 1000 клиентов. Менее чем за три года с момента запуска они охватили более 20 000 клиентов (в том числе 60% всех компаний YC).

Энрике и Педро видят Brex не только в том, чтобы выпускать кредитные карты для стартапов, но и в том, чтобы стать операционной финансовой системой для растущего бизнеса. Мы считаем, что опыт Brex представляет собой следующий великий сдвиг в глобальных финансовых транзакциях B2B.

Начало: устранение трений для получения спроса


С самого начала Brex поняли, что устранение трения финансовых продуктов может существенно отличить их от существующего положения вещей. Первоначальная идея Brex была проста: Вы должны иметь возможность зарегистрировать кредитную карту и банковский счет так же легко, как вы можете настроить адрес электронной почты за считанные минуты, и все это онлайн. Как только они начали привлекать клиентов, Brex обнаружили, что спрос на беспрепятственное финансирование был даже больше, чем они предполагали изначально.

Чтобы предоставить современный и бесперебойный сервис, который они задумывали, Brex построили систему оценки рисков, которая в корне отличается от традиционного андеррайтинга кредитных карт. Они устранили бумажную пересылку традиционных процессов KYC2 и создали системы, которые могли собирать и проверять критически важную бизнес-информацию (например, о бенефициарном владении) за секунды. Затем они создали свою собственную бухгалтерскую книгу, в которой в реальном времени использовались данные о денежных средствах, операциях и транзакциях, чтобы гарантировать клиентам кредитные лимиты с несколькими уровнями авторизации. Действующие андеррайтеры полагаются на данные на определенный момент времени и должны укреплять доверие клиентов в течение длительных периодов времени. Цифровой подход Brex позволил им мгновенно привлечь клиентов с помощью кредитных лимитов в 10-20 раз выше, чем могли предложить традиционные операторы. Эти методы доказали свою высокую эффективность: кредитные убытки Brex были ниже, чем у Amex и Silicon Valley Bank, даже с учетом влияния COVID-19.

Спрос на удобные финансовые услуги вскоре распространился далеко за пределы стартапов, поддерживаемых венчурным капиталом. Каждый месяц регистрировалось более 10 000 предприятий по всей стране. Но поскольку их система андеррайтинга была создана для технологических стартапов, Brex отверг более 80% этих потенциальных клиентов. В конце 2020 года Brex решил переоборудовать свою систему, чтобы обслуживать больше клиентских сегментов.

Имея в виду средний бизнес, Brex запустили новую систему рисков, которая может мгновенно перенести любой законный бизнес на банковский счет и платежную карту в тот же день (продукт, похожий на дебетовую карту). Это изменение позволило Brex увеличить количество новых ежемесячных клиентов в десять раз, и они смогли поддерживать мгновенные одобрения в тот же день для 80% этих клиентов. В первом квартале 2021 года Brex привлек больше клиентов, чем за всю историю компании. Сегодня более 70% новых клиентов традиционные предприятия малого и среднего бизнеса.

Сейчас: переход с карт на банковские и финансовые программные инструменты


Следующим шагом Brex стал запуск дополнительных финансовых и программных продуктов помимо кредитных карт. В прошлом году они запустили сервис, который изменил траекторию их платформы: Brex Cash. Brex Cash задумывался как продукт, заменяющий банковский счет, который позволил бы Brex обслуживать компании еще до того, как они получили право на получение кредита. Это также был способ для клиентов отправлять чеки, ACH и банковские платежи поставщикам и третьим сторонам, которые не принимали кредитные карты (помните, 96% платежей B2B в США не являются картами).

Но Brex Cash это не просто дополнительный продукт. Это глубоко интегрированное решение, которое переосмысливает и оптимизирует рабочие процессы для различных форм платежей.

Brex сделали Cash центром финансовых операций компании, а не традиционным банковским счетом, используемым исключительно для финансовых услуг. Это означало, что продукт должен быть интуитивно понятным и рассчитанным на ежедневное использование, в отличие от вашего обычного банковского счета. Brex устранили все комиссии за ACH и переводы, увеличили скорость платежей и потоки пользователей (инициирование платежей Brex происходит в 4050 раз быстрее, чем у конкурентов), и построил полезность помимо финансовых услуг. Например, они резко сократили нагрузку на клиентов по бухгалтерскому учету за счет интеграции Cash в сторонние бухгалтерские системы. Эти интеграции позволили таким компаниям малого и среднего бизнеса, как OP2, сэкономить 2030 часов в неделю, которые они раньше тратили на загрузку банковских выписок и выполнение выверки вручную.

Сегодня у Brex более 10 000 клиентов от небольших стартапов с венчурным капиталом и традиционных малых и средних предприятий до крупных предприятий на стадии роста, использующих как Brex Cash, так и Brex Card. На наш взгляд, Cash это основополагающий продукт, который переводит Brex из компании, выпускающей карты, в универсальную платформу финансовых операций.

По мере роста Brex, масштабируются и их клиенты. Многие из их первых клиентов-стартапов превратились в крупные организации, чьи потребности эволюционировали от простых кредитных карт. Чтобы не отставать от клиентов, Brex быстро перешел от ориентированного на команду продукта к корпоративному продукту. Они создали инструменты отслеживания на уровне отделов и категорий, с помощью которых руководители и финансовые группы могут лучше понимать расходы организации по сравнению с бюджетами. Теперь компании могут также использовать инфраструктуру виртуальных карт Brex для выдачи карт конкретным организациям и сотрудникам, а не заниматься индивидуальными компенсациями. Одно это означает сэкономленные часы для сотрудников и финансовых отделов. Сегодня крупные стартапы, такие как Scale AI (YC S16), Rippling (YC W17), Rappi (YC W16) и Flexport (YC W14), среди многих других, используют Brex как центральный инструмент для управления финансами.

Будущее: универсальные финансы


Поскольку все больше и больше компаний используют Brex Cash, Brex становятся первой в своем роде универсальной финансовой платформой. Исторически программное обеспечение для финансовых операций и финансовые продукты существовали отдельно. Действующая система включает три ключевых стека. Первый стек это платежная инфраструктура (чеки, ACH и карточные сети), обрабатывающая транзакции. Вторая это поставщики доступа к базовой инфраструктуре учреждения, подобные Amex и Chase, которые управляют хранением и движением средств. Наконец, есть стек дополнительных услуг, состоящий из продуктов, которые решают административные задачи бэк-офиса (таких как Intuit, Bill.com и Concur).

image

Из-за того, как устроена эта система, средний малый и средний бизнес использует как минимум шесть различных поставщиков финансовых услуг и программного обеспечения для управления своим бизнесом. Типичная компания электронной коммерции может использовать Chase для хранения капитала, American Express для командировок и расходов на программное обеспечение, Bill.com для управления кредиторской задолженностью, Expensify для управления расходами сотрудников, Quickbooks для бухгалтерского учета, Shopify или Stripe для приема платежей и стороннего кредитора для продуктов долгосрочного финансирования оборотного капитала. Хотя все эти решения действительно связаны друг с другом, не существует единой организации, которая имела бы целостное представление о финансовых операциях бизнеса.

image

Brex меняют ситуацию, объединяя финансовые продукты и программное обеспечение в единую платформу. Компания потратила последние два года на создание своей инфраструктуры обработки карт и банковского обслуживания, которая, в свою очередь, будет поддерживать ее программное обеспечение (например, Expense Management, Bill Pay). Благодаря своей финансовой инфраструктуре Brex создают финансовую операционную систему для растущих предприятий, позволяя им тратить и отслеживать платежи во всех средах.

image

Мы уже видим, как интеграция финансового стека обеспечивает больший доступ к финансовым ресурсам, и ожидаем, что эти ресурсы улучшатся только по мере того, как Brex приближается к настоящей универсальной финансовой платформе.

Обладая программным обеспечением и финансовой инфраструктурой, Brex может:

(1) Использовать данные клиентов, чтобы предлагать более качественные финансовые продукты, чем у конкурентов: когда клиенты делают бесплатный счет Brex Cash своим основным банковским счетом, Brex получает полную видимость финансового состояния своих клиентов. В настоящее время Brex использует эти данные для прогнозирования предполагаемой взлетно-посадочной полосы и динамически устанавливает кредитные лимиты, которые могут быть в 1020 раз больше, чем предлагают старые конкуренты. По этой причине Datrics (YC W21) использует как Brex Cash, так и карту. В будущем Brex может выявлять стартапы и малые и средние предприятия, которые обслуживают более безопасных клиентов (например, крупные предприятия), и использовать данные о погашении и историю взаимоотношений, чтобы предлагать дисконтирование счетов / факторинг счетов и другие кредитные продукты.

(2) Повышать ценности для клиентов с помощью программного обеспечения: интеграции рабочего процесса платежей, которые поставляются с программным обеспечением Spend Management, эффективно предоставляют продукт, который является не только системой учета, но и системой взаимодействия для клиентов. Это дает огромную выгоду не только за счет более низких банковских комиссий, но и за счет экономии средств и более эффективных операций по всем направлениям. Административные группы бэк-офиса тратят много времени на ручные процессы, такие как стандартизация счетов-фактур, сопоставление счетов-фактур с заказами на покупку, управление платежной информацией для нескольких поставщиков, утверждения платежей и выверка счетов / отчетности. Интегрируя финансовый стек, Brex может автоматизировать эти процессы, экономя время и деньги компаний.

(3) Создавать уникальные финансовые продукты. Опираясь на свое позиционирование как поставщика программного обеспечения и финансовых услуг, Brex может предлагать продукты финансовых услуг, которые трудно получить от традиционных операторов. Нет лучшего примера, чем Instant Payouts, который был запущен в четвертом квартале 2020 года. Продавец электронной коммерции может мгновенно производить расчеты с помощью нажатия кнопки на своей панели Brex, вместо того, чтобы ждать две недели, пока доход поступит. Средства выплачиваются мгновенно в обмен на комиссию, которая может быть оплачена баллами Brex Card. Это невероятно ценно, потому что позволяет продавцам электронной коммерции сгладить свой денежный поток и реинвестировать его в рост независимо от платформы продаж. Хотя продукт, ориентированный на клиентов, прост, внутренняя инфраструктура сложна и включает в себя Brex Card, Cash и андеррайтинговые стеки.

(4) Снижать затраты для клиентов: как поставщик финансовых услуг и компания-разработчик программного обеспечения Brex разрушает существующие модели ценообразования точечных решений на обоих уровнях. Монетизируя клиентов за счет комиссии за обмен картами, Brex может устанавливать цены на программное обеспечение намного ниже, чем может взимать чистый конкурент SaaS. Малому и среднему бизнесу с 20 сотрудниками, возможно, придется платить ~ 4200 долларов в год за Expensify, Bill.com и Quickbooks. Клиенты Brex могут заплатить десятую часть этой суммы и получить все данные о своих расходах в одном месте. Brex может решить вернуть клиентам еще большую ценность, сделав любой из своих продуктов лидерами убытков, чтобы стимулировать новые транзакции на платформе. Например, Brex не взимает комиссию за какие-либо банковские или электронные переводы сегодня, что является нетрадиционной практикой среди традиционных операторов.

(5) Запускать ориентированные на клиента продукты быстрее: ограничивая зависимость от третьих сторон, Brex может быстрее создавать и запускать продукты. Менее чем за два года компания смогла быстро превратиться из компании, выпускающей один продукт, в компанию, специализирующуюся на нескольких продуктах (карты, наличные, мгновенные выплаты, оплата счетов и управление расходами), потому что им принадлежит все, от общей бухгалтерской книги до кредита и могут быстро действовать на собственной инфраструктуре.

image

По мере роста Brex его алгоритм андеррайтинга на основе данных получит огромную выгоду от расширения клиентской базы, которая будет использоваться в моделях компании. Со временем это должно привести к уменьшению просроченной кредитной книги. С другой стороны, диверсификация кредитного портфеля и корректировка по экономическим периодам должны со временем привести к снижению стоимости капитала, что приведет к более высокой марже для Brex и / или снижению цен для клиентов. Brex также является одной из первых финтех-компаний (и первой в случае использования B2B), которая подала заявку на получение промышленного кредита, что позволит Brex Cash превратиться в полноценный коммерческий банк. Благодаря возможности предоставлять ссуды с использованием депозитов клиентов Brex Cash, Brex сможет предоставлять ссуды и кредитные карты с более низкой стоимостью капитала.

Финансовые преимущества интегрированной системы значительны. Общая инфраструктура и простота использования создают больше капитала как для малого, так и для растущего бизнеса. Оцифровка B2B-финансов может полностью изменить траекторию развития бизнеса. OP2 использует как Brex Cash, так и карту, потому что эта комбинация позволяет иметь кредитные лимиты в три раза выше, чем у конкурента, что позволяет компании стремительно расти. Мы видим будущее Brex как сосуществующее с будущим растущего бизнеса.

Вывод: неизбежность цифровых B2B-платежей


В последнее десятилетие мы стали свидетелями появления крупных игроков, которые уменьшили трение и обеспечили оцифровку платежей между потребителями и предприятиями (C2B), помогая потребителям оплачивать в цифровом виде (приложение Cash и PayPal) и помогая продавцам принимать цифровые платежи (Square и Stripe). Между тем, на платежи B2B приходится почти в 3 раза больше, чем на платежи C2B, и распространение электронных платежей по сравнению с ними незначительно. Оцифровка платежей B2B неизбежна в ближайшие десятилетия.

Единого способа решения этой проблемы нет, и на рынке есть целый спектр вариантов использования, которые необходимо продумать. Это также не игра с нулевой суммой; мы считаем, что рынок B2B-платежей на сумму 25 трлн долларов достаточно велик для поддержки нескольких компаний. Brex лишь одна из компаний, выявивших основной спрос, и в связи с COVID-19 она стала еще более отчаянной. В недавнем исследовании Mastercard использования типов оплаты во время пандемии, онлайн-платежи по картам показали наибольший рост (+ 60%), тогда как наличные (-34%) и чеки (-24%) снизились больше всего. Архаичная инфраструктура старых игроков и модели с высокими гонорарами создали естественный потолок для количества предприятий, которые они могут обслуживать. Как и в случае с внедрением потребительских платежей, мы считаем, что большая часть внедрения цифровых платежей будет осуществляться за счет Brex и других современных финтех-компаний, таких как Modern Treasury (YC S18) и Routable (YC S17). Мы с нетерпением ждем следующего десятилетия B2B-платежей и верим, что появится много новых многомиллиардных предприятий.

Спасибо команде Brex, Миа Мабанте и Хлои Гордон за чтение нескольких черновиков этого эссе, а также Зейну Али за разработку графики.



Следите за свежими переводами и новостями YC Startup Library на русском в телеграм-канале или в фейсбуке.

Полезные материалы Y Combinator


Подробнее..

Дефицит чипов способствует развитию теневого рынка электроники контрафакта

15.06.2021 14:10:21 | Автор: admin

Нехватка электронных чипов от процессоров до модулей связи отражается на многих сферах. Поставщики десктопных компьютеров и ноутбуков не могут отгрузить требуемый объем продукции, автомобильная промышленность отказывается от некоторых моделей машин, где требуются современные электронные компоненты. Страдают даже производители бытовой техники просто потому что и стиральные машины с микроволновками умнеют стремительными темпами.

Эксперты предрекают индустрии идеальный шторм и долгий период дефицита с одновременным ростом цен. Кто-то говорит о том, что кризис будет продолжаться год, кто-то говорит уже о паре лет. Некоторые аналитики утверждают, что вскоре все наладится, благо, копании начинают расширять производство. Но сейчас появилась еще одна проблема поддельные чипы, а также откровенно некачественная продукция, происхождение которой сложно отследить.

В каком смысле поддельная?


В самом прямом. Сейчас производители электронных систем находятся в безвыходной ситуации им любой ценой нужны компоненты. И они их достают тем или иным способом. Но из-за постоянно растущего спроса на компьютеры, ноутбуки и т.п. производители стараются побыстрее собрать то, что можно, из существующих запчастей. Проверки, тесты электронных компонентов выполняются не так тщательно, а иногда и вовсе не выполняются.

О том, насколько текущий дефицит силен и насколько сильно он влияет на цепочки поставок, можно судить хотя бы по тому, что компания MSI возобновляет производство видеокарт модельного ряда 2014 года. Не 2018 или 2019, а 2014, потому что у MSI остались компоненты для сборки таких карт.


Если на следующей неделе вам нужно найти 5000 компонентов или вам придется закрыть линию производства, то вы в любом случае снизите требования к поставляемым компонентам. Поставщики электронных систем просто не успевают верифицировать всю цепочку поставок или проверить оригинальность чипов, заявляют представители компании CALCE, которая занимается анализом поставок поддельных электронных компонентов.

Насколько это глобальная проблема?


В общем-то, это не катастрофа, поскольку крупнейшие вендоры мира закупают электронные компоненты у производителей напрямую. Возможно, и в этом случае есть опасность пониженного качества компонентов, но это все же оригинальные запчасти. А вот средние и малые компании, которые закупаются у посредников, подвергают себя и свою продукцию опасности.

Мало того, что те самые посредники накручивают стоимость как отдельных запчастей, так и собранных систем, так теперь есть далеко не нулевая вероятность получения поддельных деталей.

Что касается повышенной цены, то этот факт доказан. Представитель igor'sLAB раздобыл и опубликовал прайс-лист оптового поставщика комплектующих для ПК. Поставщик является одним из звеньев цепочки компания покупает дешевле, продает дороже. И это несколько странная практика, поскольку поставщик является своего рода теневым. Ранее компания занималась скупкой остатков комплектующих со складов крупных компаний и продавала их чуть дороже.

Эти поставщики в большинстве случаев теневые организации. Работают вроде бы официально, но их цепочки поставок проверить сложно. Скорее всего, они закупают элементы у разных компаний, и точно не у производителя. Соответственно, потом все закупленные элементы смешиваются и поставляются далее по цепочке. Проверить компоненты в таком случае крайне сложно. К слову, именно поставщикам-посредникам достается около четверти прибыли всего рынка электронных устройств, так что работать в этой отрасли крайне выгодно, подделывать компоненты еще выгоднее это просто золотое дно.

Подделки заполонили рынок?


Пока что нет, но, по мнению экспертов, наполнение рынка контрафактом может произойти в ближайшее время. Глобальный дефицит приводит к активизации деятельности криминала, и ранние признаки проблемы уже заметны.

На рынке откуда ни возьмись появляются компании, которые ранее не были известны индустрии, и они предлагают дефицитные детали. Откуда они их берут, если производители таких компонентов даже прямые поставки в полном объеме не могут обеспечить?

Есть несколько возможностей получения чипов. Нелегальные закупки на предприятии, которое производит эти чипы, покупка брака с надеждой на то, что бракованные компоненты пройдут хотя бы первичную проверку, выпаивание компонентов из отбракованных плат или кража компонентов из логистической цепочки.

Проблема эта не новая на рынке полным-полно непонятно откуда взявшихся деталей для Kindle, айфонов, Mac и прочей техники. Сейчас к уже существующему рынку контрафакта добавится еще один, даже более масштабный.

В малом объеме проблему появления поддельной продукции можно было наблюдать в 2011 году, когда в Японии произошло землетрясение, а потом цунами. Катастрофические природные явления затронули производителя специфических элементов электролитических конденсаторов для медицинской аппаратуры. В итоге производителям этой аппаратуры пришлось в авральном режиме искать замену поставщику. Замена была найдена, в цепочке поставок появились некие сторонние компании. Но затем оказалось, что многие конденсаторы подделка.


Пример микросхемы FT232RL, оригинал и подделка. Отличить их по внешнему виду невозможно (почти). Но внутри правого чипа стоит старый микроконтроллер, который совместим лишь с устаревшими драйверами

Что же делать?


Пока неясно. Возможно, здесь требуется вмешательство регуляторов, поскольку, как и говорилось выше, компании, которые производят электронную продукцию, сейчас занижают требования к поставщикам (конечно, неофициально). Глобальной проблема, возможно, и не станет, поскольку крупнейшие вендоры вряд ли затронуты.

Но средние и мелкие вендоры/сборщики поставляют не так уж и мало продукции, так что на общем ее качестве текущая ситуация вполне может отразиться. Здесь вопрос упирается в деньги, как и всегда. Ради сиюминутной прибыли и решения своих проблем некоторые компании вполне могут пойти на нарушения. Вопрос лишь в том, насколько много будет таких компаний и насколько активно станут действовать поставщики поддельных/контрафактных элементов.

Подробнее..

Перевод Эксклюзив США по словам чиновника, взломы с помощью программ-вымогателей надо приравнять к терроризму

04.06.2021 16:20:58 | Автор: admin
image

Вашингтон (Рейтер) Министерство юстиции США считает расследования атак с использованием программ-вымогателей таким же важным, как и терроризм. После взлома Colonial Pipeline и увеличения ущерба, нанесенного киберпреступниками, сообщил Reuters высокопоставленный чиновник ведомства.

Внутреннее руководство, направленное в четверг в офисы прокуратуры США по всей стране, гласит, что информация о расследованиях программ-вымогателей на местах должна централизованно координироваться с недавно созданной целевой группой в Вашингтоне.

Это специализированный процесс, обеспечивающий отслеживание всех случаев использования программ-вымогателей, независимо от того, где они могут быть переданы в этой стране, так что вы можете установить связи между исполнителями и продвигаться вверх, чтобы разрушить всю цепочку , сказал Джон Карлин, главный помощник заместителя генерального прокурора Министерства юстиции.

В прошлом месяце киберпреступная группа, которая, по утверждениям властей США, действует из России, проникла к операторам трубопровода на восточном побережье США. Блокирует системы и требует выкупа. Взлом вызвал остановку на несколько дней, резкий скачок цен на газ, панические закупки и локализацию дефицита топлива на юго-востоке.

По словам представителей компании, Colonial Pipeline решила заплатить хакерам, вторгшимся в их системы, почти 5 миллионов долларов за восстановление доступа.
В руководстве Министерства юстиции конкретно упоминается Colonial как пример растущей угрозы, которую представляют для страны программы-вымогатели и цифровое вымогательство.

Чтобы убедиться, что мы можем установить необходимые связи между национальными и глобальными делами и расследованиями, и для полной картины угроз национальной и экономической безопасности, с которыми мы сталкиваемся, мы должны усилить и централизовать наше внутреннее отслеживание , говорится в руководстве, рассмотренном Reuters и ранее не опубликованном.

По словам официальных лиц США, решение Министерства юстиции о включении программ-вымогателей в этот специальный процесс демонстрирует, как проблема становится приоритетной.

Мы уже использовали эту модель в отношении терроризма, но никогда не использовали против программ-вымогателей, сказал Карлин. По словам юридических экспертов, этот процесс обычно ограничивается кратким списком тем, включая дела о национальной безопасности.

На практике это означает, что следователи прокуратуры США, занимающиеся атаками программ-вымогателей, должны будут делиться обновленными подробностями дел и оперативной технической информацией с руководителями в Вашингтоне.

Руководство также просит офисы рассмотреть и задействовать другие расследования, сосредоточенные на более крупной экосистеме киберпреступности.

Согласно руководству, список расследований, которые теперь требуют централизованного уведомления, включает дела, связанные с: противодействующими антивирусными службами, незаконными онлайн-форумами или торговыми площадками, биржами криптовалют, пуленепробиваемыми услугами хостингов, ботнеты и услуги по отмыванию денег в Интернете.

Под услугами пуленепробиваемого хостинга подразумевают услуги регистрации непрозрачной интернет-инфраструктуры, которая помогает киберпреступникам анонимно проводить вторжения.

Ботнет это группа скомпрометированных подключенных к Интернету устройств, которыми можно манипулировать, чтобы вызвать цифровой хаос.

Хакеры создают, покупают и сдают в аренду бот-сети для совершения киберпреступлений, начиная от рекламного мошенничества и заканчивая крупными кибератаками.

Мы действительно хотим убедиться, что прокуроры и следователи по уголовным делам сообщают и отслеживают криптовалютные биржи, незаконные онлайн-форумы или торговые площадки, где люди продают хакерские инструменты, учетные данные для доступа к сети, которые служат множествам целей , сказал Карлин.

Марк Калифано, бывший прокурор США и эксперт по киберпреступности, сказал, что усиление отчетности может позволить Министерству юстиции более эффективно использовать ресурсы и выявлять распространенные эксплойты, используемые киберпреступниками.
Подробнее..

Нейросети и трейдинг. Часть 3 прогнозируем биток на 1 час вперед

10.06.2021 12:09:47 | Автор: admin

Впрошлой статьебыла попытка показать весь процесс обучения, отбора и тестирования моделей на торговой паре EUR/USD. В Google Colab работала схема:обучаем модели->тестируем->рисуем на графике. Попытка оказалась неудачной. Стремление не тащить в Colab тонну кода, а максимально все упростить привело к очень низкому качеству обучения. Сигналы выглядели неубедительно и кучковались в очевидных местах.

С тех пор утекло много воды, исследования продолжались. Об этом и расскажу + очередной Colab, на этот раз проще и нагляднее.

Двигаемся дальше

По итогам предыдущего этапа разработки, нейросеть таки стала что то предсказывать. На графиках появился более-менее адекватный прогноз, по качеству напоминающий средний индикатор. Практического толку немного, но достаточно, что бы дальше заниматься этим направлением. Основными недостатками было низкое качество прогнозирования и группировка сигналов в очевидных местах.

В прошлой статье об этом было подробно, а здесь просто напомню, что нейросеть отвечает на вопрос куда пойдет цена "вверх" или "вниз" и не отвечает на вопрос насколько сильно будет движение. Ответ бинарный: 1 - вверх, 0 - вниз. Т.е. если после опроса вернулся ответ [0.8, 0.2] это значит "пойдет вверх", а [0.4, 0.6] "наверно пойдет вниз, но это не точно". Разница внутри этих бинарных ответов характеризует степень уверенности сети, +0.6 в первом случае и -0.2 во втором. Чем больше эта разница стремится к 1 (или -1), тем выше качество прогноза.

"Степень уверенности" при которой ответ можно считать сигналом, индивидуальна для каждой модели и определяется при прогоне на тестовых данных. Более того, этот порог различен для сигналов "вверх" и "вниз". Модели, которые будут загружены в колаб, имеют название файла типа BTCUSD_M6_0.66_0.75.h5
Последние два значения и есть эти лимиты. Перед опросом модели из ее названия вынимаются значения срабатывания и сравниваются с ее ответом.

На практике, такой подход привел к тому, что нейросеть оказалась хитрым и ленивым созданием. Она может долго молчать не давая внятных ответов, а потом в очевидном месте выдать десяток сигналов подряд как бы говоря"вы хотели много сигналов? вы их имеете!", а то, что по сути это один сигнал ее не волнует. Такое поведение как раз и объясняется тем, что "сигналом" является переход вышеупомянутого порога. Поэтому, подряд идущие ответы со значениями выше порога дают кучу точек в одном месте на графике.

А хотелось то много сигналов на большом и небольшом движении цены, на спокойном рынке и когда штормит. В итоге, эта проблема была решена, но не на стороне нейросети, а просто костылем прикрученным уже на этапе интерпретации ответов. Опираясь на несложную математику и сопоставляя текущую волатильность с ответами нейросети, удалось динамически менять уровень "уверенности" который считается за сигнал (этого в колабе нет). В итоге прогнозы немного лучше растянулись по графику, стало нагляднее.

Когда эта задачка решилась, возникла необходимость всю эту красоту нарисовать и выставить напоказ. Сегодня браузер является самым массовым средством доставки. Беру открытую библиотеку которая рисует свечи а-ля TradingView, добавляю туда свои сигналы, быстро все это собираю "на коленке" и готово... таков был первоначальный наивный план. На практике, после питона вникать в JavaScript + Vue + NodeJS оказалось погружением в ад. В итоге,сайтзаработал, но тормозит и периодически подвисает, зато график BTC/USD на свечах 5m похож на новогоднюю елку.

Google Colab

В колабе к этой статье будет следующее:

  1. установим/подключим все нужные библиотеки

  2. загрузим уже обученные модели

  3. скачаем данные по паре BTC/USD за последние две недели, в данных будет время, цена и вектор для опроса моделей (подробнее было в предыдущей статье).

  4. нарисуем графики с прогнозами, каждый прогноз на, примерно, 1 час вперед.

"Муть какая-то..."скажет внимательный читатель."Ты даешь нам готовые модели + данные из истории. А может модели переобучены на этих данных? Поэтому и прогнозируют".

Читатель был бы прав если бы не одно "но". Модели не меняются, а вот данные подгружаются с биржи самые последние разбитые на свечи 6м, т.е. каждые 6 минут добавляется новый блок данных, всего 3000 блоков. Через сутки график обновится примерно на 10%, а через две недели на 100%. Последний раздел колаба дает возможность скачать архив моделей. Потом архив можно вернуть обратно и проверить результат спустя сутки или более.

Google Colab можно найти поэтой ссылке. Не забудьте сначала залогиниться в свою учетную запись на Google (или Gmail).

Копируйте ноутбук себе.

Если выпрыгнет предупреждение типа
Warning: This notebook was not authored by Google
соглашайтесь и продолжайте, никакие данные не собираются, весь код открыт.

Теперь нужно последовательно запускать блоки сверху вниз...
На этом все.

P.S. Не пытайтесь заработать на реальном рынке, 97% начинающих теряют депозит. Цель исследования - решить интересную задачу.

Подробнее..

Перевод Raspberry Pi Foundation 5 устройств менее чем за год. Что дальше?

31.05.2021 22:09:30 | Автор: admin

Менее чем за год Raspberry Pi Foundation выпустила целую серию новых продуктов. Четыре гаджета вышло в 2020 году и один в 2021. Все это невзирая на проблемы с логистикой из-за пандемии. Успех частично объясняется ростом спроса на ПК, включая миниатюрные системы, после массового перехода на удаленку.

Компания постаралась удовлетворить спрос: сначала она выпустила хорошую камеру, в апреле 2020, через месяц Raspberry Pi 4 c 8 ГБ ОЗУ. Потом Compute Module 4, Raspberry Pi 400 и, совсем недавно, Raspberry Pi Pico за $4. Даже пандемия COVID-19 не повлияла на эффективность работы и цепочку поставок. Будет ли компания отдыхать? Вряд ли.

Мы вошли в пандемию с огромным списком задач. Их успешное решение, запуски новых продуктов, позволяют нам успешно двигаться вперед, заявил создатель и соучредитель Raspberry Pi Эбен Аптон.

Компания действительно решает очень сложные задачи то, что Raspberry Pi Foundation нашла необходимые ресурсы и силы для реализации всех названных проектов, можно назвать реальным достижением. Но Raspberry не собирается останавливаться у компании большие планы на этот год.


Год бюджетных ПК


Raspberry Pi одна из первых компаний, которые столкнулись с массовым переходом на удаленку. Все потому, что в большинстве семей всего один ПК на всех в обычной ситуации. И вдруг у большого количества семей появилась необходимость задействовать минимум один дополнительный компьютер, а лучше больше. Ведь членам семьи нужно учиться и работать, и все это удаленно.

Команда Raspberry стала понимать серьезность ситуации с пандемией после того, как в упаковках с комплектующими, приходящими от поставщиков, им все чаще стали встречаться маски, вкладываемые в качестве подарка. Все это приходило из Китая. Некоторые поставщики даже стали говорить команде, что через несколько недель она столкнется с непредвиденными трудностями из-за пандемии.

Но в любом случае множество пользователей по всему миру оценили достоинства системы ценой менее $50, которую можно использовать в качестве десктопного ПК. Спрос резко увеличился, и уже в марте 2020 года компания продала 640 000 девайсов, что стало вторым по объему продаж месяцем в истории компании. По данным TechRepublic общий объем разных устройств за 2020 год превысил 7,1 млн штук.

В 2020 году появился новый продукт в линейке Pi 400. Компания взяла свой флагман, Pi 4, и поместила его в клавиатуру, в результате чего получился эдакий десктопный ПК с базовыми функциями. Он предназначен, в основном, для семей с ограниченным бюджетом и не занимает много места на рабочем столе. Идея создания такого устройства появилась не вдруг команда вынашивала ее более четырех лет.


Команда, кстати, думала, что пандемия быстро закончится, возможно, даже к тому моменту, как будет выпушен Pi 400. Но, как все мы знаем, это оказалось ошибкой. Согласно данным продаж, компания продала в марте от 300 до 400 тыс. этих устройств. У Raspberry Pi Foundation не было проблем с продажами скорее, проблемы возникли с необходимостью удовлетворять постоянно растущий спрос.

Но все оказалось не так сложно, как могло бы быть. Команде удалось отладить процессы так, что участие в процессе производства кого-либо из членов команды почти не требовалось. Нужно было поддерживать процесс, мониторить выполнение задач, но не более. С Pi 400 возникли некоторые сложности, поскольку требовалась ручная сборка некоторых элементов. Но в итоге все получилось.

Как Raspberry Pi помогла пациентам, студентам и их родителям


Компания участвовала и в большом количестве социальных и благотворительных инициатив. В частности, команда предоставляла свои устройства учащимся, кто не мог позволит приобрести технику. В феврале Raspberry Pi Foundation предоставила 5000-й комплект в рамках кампании Bloomfield Trust.

Также Raspberry Pi Foundation продавала свои наборы напрямую школам, без посредников и наценок. Более того, образовательным учреждениям устройства предлагались по оптовым ценам. По словам представителей компании, Raspberry Pi c 2 ГБ ОЗУ, мышью, клавиатурой и базовым дисплеем лучший выбор, чем бюджетные ноутбуки, которые предлагаются школьникам в рамках государственных инициатив в Великобритании.

За 40 фунтов стерлингов вы получаете нечто гораздо более крутое, чем самый дешевый Chromebook. Да и недорогие Хромбуки это мусор, рассказал представитель компании.


Бездонная бочка


Речь идет о еще одном устройстве компании микроконтроллере Pico. Это первая такая система в продуктовой линейке Raspberry Pi, как и первое устройство с собственным процессором.

Pico чрезвычайно востребованный продукт. В марте 2021 года компания отрузила 200 000 устройств при общем количестве заказов в 900 000. Затем было отгружено еще 100 000 устройств, но покупатели заказали дополнительно 200 000.

Это попытка наполнить бездонную бочку. Некоторые покупатели, видя цену в $4, вероятно, заказывали десятки микроконтроллеров, заявил Аптон.

Raspberry Pi Pico позиционируется как девайс для обучения, хотя, конечно, устройство массово покупают и любители DIY. В любом случае, микроконтроллеры полностью новый рынок для компании. Этот девайс расширяет и без того объемную экосистему продуктов.


Программное обеспечение новый фокус компании в 2021 году


Несмотря на успехи, компанию затронуло влияние пандемии инженеры, участвующие в разработке железных проектов, не могли посещать офис и лаборатории. Ну а выполнять подобную работу в домашних условиях невозможно.

Аптон считает, что удаленная разработка аппаратных систем плохая идея. Поэтому в 2021 году Raspberry Pi снизила активность в разработке железа и направила дополнительные усилия на софт. Значит ли это, что Raspberry Pi 5 не появится в этом году? Вероятно, да, хотя компания пока не отказалась полностью от идеи выпуска нового девайса.

Raspberry Pi планирует к середине года перевести платформу на Debian 11, что позволит обновить многие элементы системы, включая оптимизацию стека Mesa 3D. Также Аптон надеется увидеть, как повлияет обновленный Chromium на Raspberry Pi. Одно из преимуществ Chromium мультимедийные возможности, включая видеоконференции, что крайне актуально в нынешнюю эпоху удаленки.

Сейчас мы используем Chromium 88, так что находимся на переднем краю современных технологий. Это очень важно, поскольку многие платформы видеоконференцсвязи задействуют самые новые возможности браузеров. И если мы говорим о том, что Raspberry Pi отличная платформа для работы из дома, нужно поддерживать видеоконференцсвязь, говорит Аптон.

Если 2020 год был годом нового железа Raspberry Pi, то 2021 может стать годом, где во главу угла ставится разработка ПО. Усилий для этого нужно не меньше, чем в ходе разработки аппаратного обеспечения, поскольку команда Raspberry Pi одновременно работает с ядром, с Debian и Chromium.

На данный момент мы добились значительных успехов в интеграции мультимедия, в частности, мы добавили поддержку Vulkan 1.1. Новые стандарты это еще одно направление, говорит Аптон.

Подробнее..

MITRE ATTampCK 2021 Trend Micro снова в тройке лидеров

04.06.2021 10:04:57 | Автор: admin

База знаний MITRE ATT&CK чрезвычайно ценный инструмент. Она помогает стимулировать развитие всей отрасли кибербезопасности и формализовать описание подходов, которыми пользуются злоумышленники в ходе своих атак. На основе этой базы эксперты MITRE проводят тестирование продуктов по безопасности. В последнем имитировались тактики двух популярных киберпреступных группировок Carbanak и FIN7, а модельными целями стали крупный банк и сеть гостиниц. В ходе тестирования платформа Trend Micro Vision OneTM смогла оперативно выявить 94% предпринятых хакерами атак. В этом посте мы расскажем о том, как проходило исследование и какие выводы из его результатов могут сделать пользователи.

MITRE и её цели

MITRE некоммерческая организация, которая появилась в США в 1958 году. Её основные цели руководство федеральными исследовательскими центрами, системная инженерия и различные научные изыскания. Помимо прочего, MITRE регулярно проводит исследования MITRE ATT&CK, которые помогают оценить способности различных инструментов кибербезопасности обнаруживать и анализировать атаки хакеров. Для этих целей используется эмуляция методов определённых киберпреступных группировок, которые называются APT (от английского advanced persistent threat, т. е. развитая устойчивая угроза). Это крупные и успешные коллективы хакеров, которые регулярно совершают атаки на глобальном уровне и привлекли к себе внимание различных служб, но пока избегают поимки.

Программа MITRE ATT&CK служит не для оценки качества ПО и составления рейтингов самых успешных вендоров. Её цель дать компаниям максимально прозрачное видение того, как конкретное решение помогает обнаружить атаки и определённые группы угроз. Для удобства все атаки в ходе симуляции рассматриваются с точки зрения количества обнаруженных шагов злоумышленников, аналитики, которая позволяет получить дополнительные данные об их тактике, телеметрии и общей видимости атаки. Специалисты по кибербезопасности могут использовать результаты MITRE ATT&CK, чтобы провести внутренний аудит инфраструктуры и найти пробелы в системе безопасности. Затем они могут подобрать вендоров, которые лучше всего справились с закрытием этих пробелов в ходе исследования. Также тестирование помогает обнаружить излишне защищённые (если это в принципе возможно в современных условиях) узлы и оптимизировать расходы компании на кибербезопасность.

В отличие от предыдущих исследований, в версии 2021 года было проведено опциональное тестирование способности ПО не только анализировать ход атаки и выявлять тактику преступников, но и непосредственно предотвращать проникновение хакеров в систему в режиме онлайн

Кто такие Carbanak и FIN7

В этот раз специалисты MITRE эмулировали атаки сразу двух крупных APT-группировок. В первый день исследования рассматривались тактики и инструменты Carbanak, которая традиционно интересуется банками, а во второй FIN7, которая по сценарию атаковала крупную гостиничную сеть. Обе эти группировки мотивированы финансово, то есть действуют не ради того, чтобы что-то доказать или привлечь внимание общественности. Их интересует конкретная выгода в виде украденных ценных данных и финансовой информации, например, номеров кредитных карт.

Некоторые специалисты объединяют эти группировки в одну (Carbanak) из-за того, что обе команды хакеров используют бэкдор разработки Carbanak для совершения своих атак. Помимо этого, и Carbanak, и FIN7 часто пользуются вредоносным ПО для PoS Pillowmint и системой удалённого доступа Tirion. Тем не менее, в рамках исследования MITRE ATT&CK их рассматривали как независимые группы хакеров, хотя часть тактик и целей группировок совпала.

Общие для Carbanak и FIN7 тактики, которые применялись в ходе тестирования. Источник (здесь и далее): Trend MicroОбщие для Carbanak и FIN7 тактики, которые применялись в ходе тестирования. Источник (здесь и далее): Trend Micro

Компрометация цели

Сценарий этих атак начинается с компрометации важного для организации менеджера банка/гостиницы. В ходе симуляции злоумышленники направляют на его электронную почту фишинговое письмо с вредоносным ПО во вложении. Цель письма хитростью заставить менеджера открыть вложение и таким образом запустить ПО. Это даст хакерам первичный доступ к его системе.

Сообщение об обнаружении техники Открытие пользователем связанного с MS Office документа, сгенерировано в момент, когда explorer.exe запустил winword.exe после нажатия пользователем на вложение 2-list.rtfСообщение об обнаружении техники Открытие пользователем связанного с MS Office документа, сгенерировано в момент, когда explorer.exe запустил winword.exe после нажатия пользователем на вложение 2-list.rtf

Сохранение доступа к системе

Теперь, когда киберпреступники получили доступ к сети организации, они должны собрать информацию, необходимую для достижения своих целей. В ходе этого используется сразу несколько тактик уклонения, которые помогут сохранить полученный доступ и избежать обнаружения системами кибербезопасности

Сообщение об обнаружении техники Копирование данных из буфера обмена или снимков экрана при помощи PowerShell, сгенерированное, когда powershell.exe выполнил команду CopyFromScreen ()Сообщение об обнаружении техники Копирование данных из буфера обмена или снимков экрана при помощи PowerShell, сгенерированное, когда powershell.exe выполнил команду CopyFromScreen ()

Злоумышленники применяют метод повышения привилегий, который обычно включает в себя использование уже существующих слабых мест системы, неправильной конфигурации различных элементов и уязвимостей сети для получения полномочий более высокого уровня. Теперь их целью становится поиск учётных данных и получение доступа к нужным машинам в сети, на которых содержатся ценные данные цель атаки.

Результаты симуляции цепочки атак с использованием Credential Dumping, выполненных при помощи вредоносного ПО MimikatzРезультаты симуляции цепочки атак с использованием Credential Dumping, выполненных при помощи вредоносного ПО Mimikatz

Как мы уже говорили, обе группировки имеют финансовую мотивацию, поэтому в данном случае они ищут информацию, которая может принести наибольшую выгоду. И Carbanak, и Fin7 ранее уже похищали персональные данные и данные кредитных карт для дальнейшей перепродажи.

Перемещение по сети и подготовка к краже данных

Киберпреступники будут перемещаться по сети, чтобы обнаружить свою основную жертву систему с данными, которые они планируют похитить и перепродать. Именно этот момент можно считать критически важным для обнаружения активности хакеров в инфраструктуре цели атаки. Сопоставив информацию от различных инструментов, платформа кибербезопасности должна своевременно выявить вектор атаки и защитить систему до того, как будут предприняты финальные шаги, то есть безопасный отход из сети со скопированными данными.

Модели симуляции, в которых обнаружены связанные события, готовые к более детальному исследованиюМодели симуляции, в которых обнаружены связанные события, готовые к более детальному исследованию

На этом этапе особенно ярко проявляются преимущества решений Trend Micro Vision One: автоматическое сопоставление данных об угрозах из разных сегментов сети и конечных точек позволяет направлять службам ИБ более конкретные и полезные предупреждения. Мы не просто сообщаем вам, что произошёл целый ряд отдельных событий мы можем показать, как они все связаны, и есть ли признаки компрометации, которые соответствуют тактикам определённых группировок киберпреступников или типам атак.

Краткое описание симуляций

Первая симуляция комплексной атаки была совершена с применением методов Carbanak. Её целью стал, как часто бывало в деятельности этих киберпреступников, банк. Атака началась с компрометации компьютера менеджера по персоналу, затем злоумышленники исследовали сеть компании до момента, когда нашли ПК финансового директора. Проникнув в эту систему, они завершили сбор ценной информации и начали осуществлять от его лица денежные переводы.

Среда для эмуляции атаки Carbanak с решениями Trend Micro, отвечающими за обнаружение и предотвращение кибератакСреда для эмуляции атаки Carbanak с решениями Trend Micro, отвечающими за обнаружение и предотвращение кибератак

Во второй симуляции использовались методы, характерные для группировки Fin7, которая атаковала сеть гостиниц. Для начала была скомпрометирована система управляющего гостиницы. Затем она использовалась для доступа к сети, в которой злоумышленники собирали учётные данные и искали новые жертвы. Одной из них стала система ИТ-администратора, с помощью которой они получили доступ к бухгалтерии и загрузили код для регулярного копирования информации о платежах клиентов.

Среда для эмуляции атаки FIN7 с решениями Trend Micro, отвечающими за обнаружение и предотвращение кибератакСреда для эмуляции атаки FIN7 с решениями Trend Micro, отвечающими за обнаружение и предотвращение кибератак

В третьем сценарии было запущено 10 атак и проведено 96 тестов. Их целью стало оценить инструменты кибербезопасности и их возможности по быстрому снижению уровня уязвимости систем к атакам, включая сложные или неизвестные их версии. Если в первых двух сценариях рассматривалась работа условной системы видеонаблюдения перед дверями в вашу квартиру, то в этот раз исследователи предложили инструментам кибербезопасности выступить в качестве замка на её двери, то есть в принципе не допустить злоумышленников внутрь. Инструменты для предотвращения атак не менее важны, чем средства их обнаружения, но только вместе они способны выявлять и обезвреживать комплексные атаки из первых двух сценариев.

Раннее обнаружение и блокировка первых тактик атаки в принципе предотвращает её успешное развитиеРаннее обнаружение и блокировка первых тактик атаки в принципе предотвращает её успешное развитие

Каких результатов в итоге добились решения Trend Micro

Тридцать с лишним лет исследований данных и угроз Trend Micro стали важным преимуществом, которое позволило собрать всю необходимую телеметрию, сопоставить факты и рассказать подробную историю этих атак. Платформа Trend Micro Vision One показала следующие (достаточно впечатляющие) результаты:

выявлено 94% всех атак, то есть 167 из 177 шагов, предпринятых киберпреступниками в ходе симуляций, такая видимость атак помогает клиентам быстрее понять цели хакеров и среагировать на них вовремя;

во многих организациях, особенно в тех, что активно переносят свою инфраструктуру в облака, набирает популярность ОС Linux для них интересным окажется то, что при оценке работы в этой среде наши инструменты выявили 100% (14 из 14) атак;

за время симуляций платформа Trend Micro Vision One помогла получить 139 образцов телеметрических данных, благодаря которым упрощается дальнейший анализ инцидентов и выявление атак;

в финальном сценарии 90% атак удалось предотвратить при помощи автоматизированных инструментов. Раннее обнаружение и блокировка атак высвобождает ресурсы, которые иначе пришлось бы тратить на их анализ, а это в свою очередь даёт ИБ-специалистам возможность сосредоточиться на более сложных проблемах кибербезпасности.

К размышлению: иерархия оценок MITRE ATT&CK

Для самостоятельной оценки итогов исследования стоит понимать, как MITRE ATT&CK рассматривает результаты обнаружения атак. Всего в системе существует пять категорий показателей:

  1. Атака не выявлена (None): такой показатель не означает полного отсутствия информации об атаке, а всего лишь сигнализирует, что полученный системой результат не соответствует установленным MITRE Engenuity критериям обнаружения;

  2. Получены данные телеметрии (Telemetry): обработанные данные показывают, что произошло некое событие, связанное с обнаруживаемой атакой;

  3. Обнаружена атака (General): к этой категории относятся оповещения, в которых выявлена подозрительная активность, но она не была отнесена к конкретной тактике или технике киберпреступников;

  4. Выявлена тактика (Tactic): в этом случае выявленная атака может быть соотнесена с конкретной тактической целью злоумышленников (например, известно, что целью данной атаки является доступ к учётным данным);

  5. Выявлена техника (Technique): обнаружение конкретной техники означает, что мы понимаем, чем конкретно занимаются хакеры (например, что в данном случае используется Credential Dumping).

Результаты, которые попадают в последние три категории, означают, что система кибербезопасности способна выдавать расширенные данные. Это всегда хороший признак, ведь по тактикам и техникам из перечня MITRE ATT&CK можно в деталях рассказать историю атаки и понять её. Поэтому вендоры обычно стремятся получить высокий результат именно в этих категориях. Тактики можно расценивать как главы в книге: хороший специалист способен в общих чертах описать атаку и её цели, используя эти главы, а затем дать более детальную оценку атаки, обращаясь к конкретным техникам на ей страницах.

Оценка атак Carbanak и FIN7, в общий список интересующих исследователей показателей вошло 65 техник и 11 тактик из перечня ATT&CKОценка атак Carbanak и FIN7, в общий список интересующих исследователей показателей вошло 65 техник и 11 тактик из перечня ATT&CK

Показатели телеметрии также важны, ведь они дают ИБ-специалистам возможность видеть следы киберпреступников и лучше понять вектор их атак. Естественно, в данном случае важно не только видеть, но и уметь анализировать полученные данные. В этом Trend Micro всегда готова помочь. Мы начинаем поиск корреляций в данных, чтобы вам было проще заметить комплексную атаку до того, как она принесёт свои плоды злоумышленникам. А информация от MITRE ATT&CK поможет ближе ознакомиться с различными типами атак и типичными для группировок хакеров инструментами.

Платформа Trend Micro Vision One обнаружила обе атаки и обеспечила их полную видимость, что значительно упрощает дальнейший анализ и расследование инцидентов. 167 выявленных в ходе атак шагов и 139 элементов телеметрии были успешно сопоставлены, что помогло команде составить чёткую картину того, к чему конкретно стремились злоумышленники в каждом из сценариев.

Опциональный третий этап исследования был нацелен на обнаружение и предотвращение атак. Внём приняло участие 17 из 29 вендоров, включая нашу компанию. В этом сценарии инструменты Trend Micro сработали просто отлично, обеспечив автоматическую блокировку 90% атак. Так же успешно они показали себя при работе с серверами на базе Linux. В ходе этих симуляций инструменты Trend Micro Vision One смогли выявить все 14 использованных техник.

Мы всегда рады участвовать в исследованиях MITRE Engenuity ATT&CK, чтобы протестировать наши продукты в борьбе с комплексными угрозами. С полным разбором результатов и подробной информацией о платформе Trend Micro Vision One вы можете ознакомиться по ссылке: https://resources.trendmicro.com/MITRE-Attack-Evaluations.html.

Подробнее..

Где в Рунете работать хорошо всероссийское исследование IT-брендов 2021

16.06.2021 20:20:54 | Автор: admin

Команда Хабра и ЭКОПСИ начинает второе исследование IT-брендов работодателей. Оно будет полезно кадровым и маркетинговым департаментам компаний, которые вливаются (или уже влились) в IT-сообщество, а также айтишникам, которые хотят анонимно донести свои пожелания до работодателей. Участвуя в этом исследовании, вы помогаете развиваться сообществу, ведь компании, которые пытаются стать более привлекательными для айтишников, черпают вдохновение именно в нашей аналитике.

Итоги прошлогоднего исследования здесь (если лень читать, можно послушать выступление Артема Гринева). Спасибо за обсуждения в блоге, комментарии и предложения: мы многое улучшили. О том, что было и что будет под катом.

Какие плюшки мы получили от прошлого исследования

Мы рассказывали об исследовании на разных конференциях и митапах. Побывали на РИФе, IT-саммите, конференции журнала Штат; готовимся ещё к паре конференций. Популяризируя повестку и расширяя потенциальный охват исследования, мы смогли нарисовать исчерпывающую картину рынка айтишного труда.

Мы многое узнали о взаимоотношениях работодателей и айтишников

Исследование раскрыло реальную картину коммуникации работодателей с айтишниками, и мы сделали об этом ряд публикаций. Почитайте, например, статью об IT-образовании (особенно если вы гуманитарий и боитесь спросить, как стать айтишником) или пост о том, кем представлено IT-сообщество (рекомендуем, если вам интересно, насколько в действительности популярна ваша специализация). Это только два кейса из множества: остальные публикации можно найти тут.

Компании смогли увидеть себя со стороны

Из 500 компаний, участвовавших в опросе, 30 особенно заинтересовались результатами исследования. Мы пообщались с представителями этих компаний поплотнее и показали им, как айтишники воспринимают их в качестве работодателей. Для этого потребовалось воссоздать портреты компаний глазами разных целевых аудиторий, и для многих такой взгляд со стороны оказался инсайтным, иногда вдохновляющим, а иногда и приземляющим. Кто на свете всех милее? не всем волшебное зеркало ответило на этот вопрос так, как им хотелось бы.

Например, для одной компании из финтех-сферы стало открытием, что сотрудники не видят потенциала для профессионального роста внутри коллектива, но при этом соискатели считают, что компания даёт возможности для быстрой прокачки скиллов. Получается ситуация перегретых ожиданий кандидатов с сопутствующими рисками разочарования при трудоустройстве.

На встречах с руководством компаний мы отыскали причины расхождений и негативных оценок. По итогам компании доработали свои коммуникации и IT-бренд объективная аналитика помогла переосмыслить процессы и внедрить новые практики.

Стало понятно, как работать с айтишниками

Мы запустили цикл бесплатных хабрасеминаров по IT-бренду (подробности см. здесь). Самые смелые и открытые работодатели пришли к нам и поделились инсайтами: рассказали, например, о том, чем отличается построение IT-бренда для компаний из промышленности и из финтеха, кто такие деврелы и какую роль при вхождении в IT-сообщество играет контент. Реальные кейсы из собственной практики разобрали такие компании, как МегаФон, Дойче Банк и Северсталь.

Что мы учли во втором исследовании по следам ваших комментариев

Первое исследование мы запустили год назад, когда оценили ситуацию на рынке IT-специалистов и поняли, что трендом становится ощутимый кадровый голод при быстро растущем спросе. Так, Агентство стратегических инициатив установило, что в РФ есть потребность в 1 млн специалистов, притом что реальное их количество составляет около 350 000 человек. Наша инициатива отличалась от ранее выпускавшихся рейтингов IT-работодателей (например, от Хабр Карьеры) методологией и углом зрения: мы исходили именно из отношения самих айтишников к IT-брендам работодателей. В основе опроса воронка из четырёх уровней, по которой прогонялись компании:

Следуя избранному принципу, мы прислушались к фидбэку респондентов и провели работу над ошибками.

Не нахожу в вашем списке компанию Х, а хотел её оценить

Действительно, с учётом того, что работодателями являются более 20000 компаний, сделать полный список задача нетривиальная. Тем не менее мы:

  • добавили ряд компаний, чтобы полнее охватить рынок IT-работодателей (в списке их было 500, а стало 702). В прошлый раз некоторые респонденты прямо указывали в комментариях внутри опросника, каких компаний не хватает;

  • добавили возможность для респондента искать компании в списке, а в конце опроса перечислить недостающие, если он захочет.

У вас что, только Москва, Питер и Воронеж участвовали? А где остальные регионы?

Наибольшую активность проявили респонденты именно из этих локаций. Это круто, но всё же хочется расширить список регионов. Для решения этой задачи мы запартнёрились с региональными вузами, сообществами, конференциями и другими организациями, которым было бы интересно измерить настрой на рынке IT-труда. Вот список наших друзей, которые будут привлекать IT-специалистов по своим каналам: ВШЭ (Высшая школа экономики), Университет ИТМО, МАИ (Московский авиационный институт), Казанский федеральный университет, Новосибирский государственный университет, Высшая IT-школа HITs и Томский государственный университет, Тюменский государственный университет, ОЭЗ Иннополис, Академпарк (Новосибирск), РАЭК, krd.dev, консалтинговая компания в геймдев области Values Value, Open Data Science, ProductSense, ITMO Case Club, Онтико, Московский клуб программистов.

Кстати, если вы IT-сообщество (конференция, паблик, группа, СМИ или вуз), которое хочет разобраться в собственном устройстве и узнать мнение своих сотрудников, просто соберите репрезентативную выборку и напишите нам. Мы поможем провести исследование и прийти к полезным выводам.

Жаль, что не опубликовали весь рейтинг интересно же увидеть полную картину, а не только список топов. И ещё: Побольше бы таких публикаций: это полезно для HR и деврелов!

Мы согласны с обоими замечаниями. В 2020 г. исследование было по сути своей пилотным, такой проект (и по объёму, и по методологии, и по выборке) был реализован в России впервые, поэтому мы опубликовали и озвучили только топ-20 компаний и ключевые выводы. В этом году мы решили, что:

  • будем публиковать более широкий список работодателей (как минимум топ-50), чтобы каждый читатель Хабра смог увидеть более полную картину по компаниям и ознакомиться с мнениями своих коллег по цеху. В рейтинги мы добавим разделения по отраслям рынка об этом тоже просили многие подписчики блога;

  • расскажем про типажи специалистов на основании их предпочтений при выборе работодателя, а также о том, какую мы увидели отраслевую специфику у компаний;

  • сделаем публикации про мотивационные профили для разных возрастных категорий и расскажем о том, различаются ли критерии выбора работодателя у мужчин и женщин.

Была ещё масса замечаний по технической части опроса. Мы пофиксили все баги, о которых вы писали в комментариях, но не останавливаемся на достигнутом и просим оставлять предложения, что ещё можно исправить или сделать лучше.

Итак, какие плюшки можно получить с исследования, понятно. Но как в нём поучаствовать и тем самым улучшить IT-ландшафт и сделать жизнь айтишников чуточку лучше?

Как устроен опрос

В опросе может принять участие любой айтишник. Ехать никуда не надо, паспорт предъявлять тоже не нужно, всё делается быстро и анонимно. Вот сам опрос, а вот пост с подробностями.

Мы не запрашиваем ФИО, почту, ID или ещё что-то, что может вас идентифицировать. Мы собираем только социально-демографическую информацию и данные о профессии, чтобы проанализировать их и сделать разрезы по восприятию. Более того, мы никому не показываем сырые данные, так что ответы респондентов абсолютно анонимны.

Мы принимаем ваши оценки и истории о работодателях до 15 августа. Затемобработаем данные и поделимся результатами. Ну а чтобы ожидание не было скучным, по ходу дела будем публиковать наши наблюдения по предыдущему опросу и вести хабрасеминары.

Когда будут результаты

Мы поделимся результатами, как только завершим опрос и обработаем данные. Ориентировочно сентябрь. До этого момента будет доступна аналитика с прошлого исследования.

Подробнее..

Опрос программисты и электронные трудовые книжки

27.05.2021 18:04:31 | Автор: admin
Электронные трудовые книжки не только стали частью юридической реальности, но и пробрались в шутки. Предлагаю выяснить, насколько эти шутки правдивы.

image

При ответе будем считать, что программистов бывших не бывает, и если вы сам уже не кодите, то всё равно из них. :)

Если у вас есть расширенные ответы и иллюстрирующие примеры, то оставляйте их в коммментариях.
Подробнее..

Самые известные за последние годы аварии в дата-центрах разных компаний и их причины

09.06.2021 18:07:37 | Автор: admin


Дата-центры становятся всё более важными объектами, ведь от их нормальной работы зависит как нормальный ход работы многих крупных и мелких компаний, так и сохранность данных обычных пользователей. Всего минута простоя крупного дата-центра может стать причиной миллионных убытков для клиентов оператора ЦОДа. Ну, а многочасовые или тем более многодневные простои приводят к убыткам, которые вообще иногда невозможно оценить. Под катом наиболее известные аварии последнего времени с описанием причин их возникновения.

Пожар в дата-центре OVH




В марте 2021 года почти полностью сгорел один из дата-центров OVH. Это самая крупная авария последних лет, ведь OVH один из крупнейших хостинг-провайдеров Европы. Пожар был настолько сильным, что практически уничтожил дата-центр SBG2. Основной подозреваемый одна из систем бесперебойного питания, с внутренним порядковым номером UPS7. Накануне пожара эта система проходила техническое обслуживание, в ходе которого в ней поменяли большое количество компонентов. По завершении процедуры UPS7 запустили вновь, и работа ее вроде как была штатной. Но вскоре случился пожар.

К слову, пожары в дата-центрах, тем более такого масштаба, происходят крайне редко. Учет подобных случаев ведёт Uptime Institute по словам его представителей, в среднем пожары случаются реже раза в год. В большинстве случаев инциденты удалось прервать в самом начале развития, но в некоторых случаях огонь всё же выходил из-под контроля.

В случае OVH с перебоями в работе, вызванными последствиями пожара в SBG2, столкнулись около 3,6 млн веб-сайтов.

После изучения ситуации с OVH эксперты пришли к выводу, что причин бедствия могло быть несколько и дело не в одном только бесперебойнике. Разрастанию масштаба инцидента способствовали:

  • Конструкция дата-центра. Он башенного типа (Tower design). Здесь используется схема конвекционного охлаждения, когда нагретый воздух поднимается по башне в самом центре здания. В целом такая конструкция считается надежной и экологичной, но последние данные о распространении пожара говорят о том, что огонь, попав в конвекционную систему, быстро разошёлся по зданию.
  • Возможное отсутствие в дата-центре, где произошло возгорание, системы сверхраннего обнаружения пожара. Более того, есть информация, что там не было ни систем газового, ни систем водяного пожаротушения. Вместо этого использовались датчики дыма и огнетушители.

Последнее тем более странно, что сейчас существует огромное количество решений для поддержания безопасности. Скажем, есть датчики, которые контролируют параметры окружающей среды и способны работать с ИБП. Например, датчик мониторинга окружающей среды Eaton EMP002 отслеживает температуру, влажность, ведет мониторинг работы сопряженных устройств вроде датчиков задымленности или детектора открытия двери. Кроме того, существуют системы безопасности, которые способны улавливать изменения температуры в доли градуса, отслеживать концентрацию угарного газа и прочих веществ. В случае выявления проблемы такие девайсы уведомляют оператора службы технической поддержки и включают сигнал опасности.

Пожар в дата-центре WebNX




В апреле 2021 года произошел пожар в дата-центре Ogden американской компании WebNX. Загорелся генератор, после чего пожар распространился на прилегающие помещения. В результате произошло полное отключение энергоснабжения, пострадало серверное оборудование. Некоторые серверы, сильнее всего поврежденные огнем, вряд ли удастся восстановить.

Ситуация вышла из-под контроля после того, как прекратилось энергоснабжение города, который поставлял энергию для дата-центра, в дата-центре включились несколько автономных генераторов энергии, но в одном из них произошла поломка, которая и привела к возгоранию.

Прибывшие пожарные потушили огонь, но их действия привели к повреждению оборудования водой в помещениях, затронутых огнем.

В этом дата-центре размещались и серверы компании Gorilla Servers. Правда, оборудование этой организации не пострадало, но в результате отключения энергии прекратили работу сервисы и сайты клиентов. Дата-центр оказался обесточенным на несколько часов, восстановление работы всех систем потребовало около 20 часов. Убытки оператора дата-центра в этом случае превысили $25 млн.

Сбой в работе дата-центра банка TSB


В сентябре 2018 года британский банк TSB решил провести обширную миграцию IT-оборудования, не проведя перед этим тестирование нового дата-центра. Самое обидное для компании то, что поставщик IT-услуг Sabis, которого наняли для проведения миграции, протестировал все дата-центры, затронутые в ходе миграции, кроме одного. При этом факт того, что тестирование не проведено, был скрыт от руководства.

Итог плачевен: два миллиона клиентов банка одномоментно лишились доступа к счетам. Банку пришлось потратить около $480 млн на устранение последствий сбоя в работе ЦОД, включая сборы за расследование инцидента в размере примерно $35 млн.

Пожар в лондонском дата-центре Telstra


В августе 2020 года пострадал дата-центр Telstra, крупнейшей телекоммуникационной компании Австралии. Как и в случае с OVH, проблема возникла из-за неисправного ИБП. Несмотря на то, что огонь удалось локализовать, в отличие от OVH, инцидент затронул большую часть площади дата-центра, а это 11 000 квадратных метров. Внутри помещений, где возникло возгорание, находилось около 1800 серверных стоек.

На место отправили сразу четыре пожарные машины и 25 членов экипажа. Похоже на то, что команда сработала очень хорошо, поскольку огонь смог серьезно повредить лишь небольшую часть складского помещения. Из персонала никто не пострадал.

Тем не менее, несколько десятков серверов оказались в офлайне, их работу удалось восстановить лишь через несколько часов. Соответственно, не работали сервисы и сайты клиентов Telstra. Общие убытки компании превысили $10 млн, не говоря уже о репутационных потерях.

Поломка ИБП в дата-центре Equinix LD8


В августе 2020 года возникла и проблема с энергосетью дата-центра Equinix LD8: Там после отключения подачи энергии из сети отказал ИБП. Пожара не было, но проблему с электрическом не удавалось решить на протяжении нескольких часов, так что пострадало немало клиентов.

Авария случилась в ЦОД на территории лондонского района Доклендс, причем сотрудники поддержки смогли понять причину проблему почти сразу после ее появления. Как оказалось, отключившийся ИБП обесточил главный кластер маршрутизаторов Juniper MX и Cisco LNS. Именно этот кластер обеспечивал работу большей части оборудования дата-центра.

После того, как кластер обесточился, отключились сервисы крупнейших компаний клиентов Equinix. В их число входят международные телекоммуникационные компании Epsilon, SiPalto, EX Networks, Fast2Host, ICUK.net и Evoke Telecom. Повлияла авария и на работу других дата-центров.

В качестве вывода скажу, что это далеко не все аварии, которые случились за последние несколько лет. Но, вероятно, эти инциденты можно назвать наиболее показательными, поскольку их можно было предотвратить. Непрофессионализм сотрудников, проблемы с ИБП, отключение питания достаточно распространенные проблемы. А с какими сложными инцидентами в дата-центрах сталкивались вы? Если есть что рассказать давайте обсудим в комментариях.

Бонус: отключение энергии из-за технических работ


Есть и ситуации, которые достаточно сложно (хотя и можно) предусмотреть. Например, в The Register как-то пересказали историю, присланную в редакцию одним из читателей. Жила-была серверная ферма с тремя ИБП на 220 кВА, работала себе вполне нормально довольно долго. С течением времени потребность в одном из ИБП отпала, и его решили переместить в недавно открытый новый ЦОД. Руководство планировало сэкономить на покупке нового ИБП но вышло иначе.

Стоит отметить, что ЦОД, о котором идёт речь, немаленький, его площадь составляла около 2500 квадратных метров. Оборудования было много, несколько сотен серверов, так что допустить какие-то либо проблемы было смерти подобно.

В ЦОД пригласили профессиональных электриков, на которых и возложили обязанность отключения от сети одного из ИБП и его транспортировки с дальнейшим подключением в новом ЦОДе. В итоге профессионалы сделали что-то не то, и дата-центр полностью обесточился.

Я сидел за рабочим столом, когда электрики начали отключение блока ИБП от сети. Они перевели систему в режим байпаса без проблем. Затем они обрезали автомат защиты на выходе и еще несколько проводов для ускорения демонтажа. И тут дата-центр площадью 2500 квадратных метров вдруг затих. Я побежал в машзал, ожидая обнаружить пораженных током электриков. Но они просто спокойно отсоединяли провода. Я закричал, что ЦОД ушел в офлайн, на что электрики ответили, что оборудование запитывается в режиме байпаса. Я повторил. Они остановились, подумали секунд десять, а затем их глаза открылись по-настоящему широко, рассказал очевидец.

Восстанавливать работоспособность дата-центра пришлось 36 часов, хотя изначально электрики заявили о часовом простое.
Подробнее..

Видеокарты продолжат дорожать накрутка при помощи посредников, нехватка мощностей и геймеры

11.06.2021 20:19:02 | Автор: admin

О том, что чипы и железо продолжает дорожать, на Хабре писали не раз и не два. И действительно, дорожают чипы памяти, видеочипы и даже жесткие диски с SSD. Сначала причиной были майнеры, сейчас они продолжают поддерживать стабильный спрос на все, что может им пригодиться.

Но по данным экспертов, в последнее время на рост цен влияют далеко не только они. Насколько можно понять, в ближайшем обозримом будущем ни старые, ни новые модели карт дешеветь не будут. Напротив, цены идут только вверх. Почему?

Накрутка посредников


Несколько дней назад эксперты ресурса igor'sLAB пытались найти причину активного роста цен на практически все подели карт. Как оказалось, в цепочке поставок появились некие дополнительные игроки, которые привели к сильному разрыву между рекомендованными производителями ценами и реальной стоимостью графических адаптеров.

Не так давно разобраться пыталась и компания NVIDIA ее глава, Дженсен Хуанг, заявил, что дефицит видеокарт связан с увеличившимся спросом (что, собственно, и так понятно). Но вот цены растут не из-за NVIDIA или ее партнеров. Цена графических адаптеров увеличивается уже ближе к концу логистической цепочки.

Эту точку зрения и подтвердил представитель igor'sLAB. Он раздобыл и опубликовал прайс-лист оптового поставщика комплектующих для ПК. Поставщик является одним из звеньев цепочки компания покупает дешевле, продает дороже. И это несколько странная практика, поскольку поставщик является своего рода теневым. Ранее компания занималась закупкой остатков комплектующих со складов крупных компаний и продавала их чуть дороже.

Теперь же компания каким-то образом получила возможность закупать крупные партии видеокарт. Ей они не нужны это лишь товар для перепродажи. И как раз продаются графические адаптеры уже по сильно завышенной цене, причем ни геймеры, ни майнеры здесь ни при чем.

Понятно, что одна такая компания особой погоды не делает. Но когда подобных звеньев несколько, то цена увеличивается в разы. Вот скриншот прайса, который удалось достать.

Если нет желания рыться в прайсе, то ниже -наиболее интересные примеры цен. Оценивая их, стоит помнить, что это оптовая стоимость товара, а не розничная. До конца цепочки еще несколько подобных звеньев, так что в итоге цена получается оцень высокой.

INNO3D GeForce RTX 3080 iChill X4 $2659
KFA2 GeForce RTX 3080 SG 1-click OC $2379
ZOTAC Gaming GeForce RTX 3080 Trinity OC $2464
ASUS GeForce RTX 3080 TUF Gaming $2562
ASUS GeForce RTX 3080 TUF Gaming OC $2586
Gigabyte GeForce RTX 3080 AORUS Master $2623
MSI GeForce RTX 3080 Gaming Z Trio $2684
MSI GeForce RTX 3080 Suprim X $2745

И еще четыре причины


Как будто искусственной накрутки недостаточно, но эксперты выделяют еще четыре фактора роста цен на видеокарты.

Первый фактор постоянный рост спроса на настольные ПК. Нехватка компьютеров, вызванная пандемией и последующей удаленкой, все еще есть, дефицит достаточно серьезный. И многие пользователи хотят не просто ПК, а игровой компьютер, чтобы можно было поработать и поразвлечься (ну или просто поразвлечься, не будем себя обманывать).

Второй фактор компании не успевают расширить производственные мощности для производства дополнительных карт. Этот фактор влияет почти на все составляющие железного бизнеса, включая оперативную память, процессоры, чипы для SSD. Но заметнее всего, конечно, нехватка видеокарт. Собственно, у производителей особо и стимула-то нет расширяться цены повышаются, так что компании получать сверхприбыли с тем же уровнем производства, что и ранее. Вкладываться в новую инфраструктуру не нужно, увеличивать вовлечение ресурсов тоже красота.

Третий фактор, не слишком известный и явный рост спроса на игровые консоли Microsoft и Sony. Да, архитектура приставок и комплектующие отличаются от чисто компьютерных. Но нельзя забывать, что комплектующие для консолей тоже нужно производить, а этим занимаются все те же производители компьютерного железа. Часть мощностей этих компаний заняты под производство элементов для приставок.

Четвертый фактор увеличение потребностей операторов дата-центров и крупных корпораций. Всем им нужны современные серверы с современными же комплектующими. Особенно востребована серверная память. Под нее занимают не используемые консольщиками производственные линии, вытесняя в некоторых случаях видеокарты.

Каждая из названных причин вроде бы не слишком критическая. Но если собрать все вместе, учитывая проблему с накруткой цен, то ситуация начинает выглядеть не просто плохо, а очень плохо.

Но и это еще не все


О нехватке видеочипов мы говорили ранее. Но теперь стремительно начала расти стоимость видеопамяти GDDR6. Это 6-е поколение памяти DDR SDRAM, предназначенной для обработки графических данных и для приложений, требующих высокой производительности. Память тоже не успевают производить в нужных объемах.


В следующем квартале цена чипов увеличится на примерно 13% от показателей второго квартала 2021 года. И это при том, что в первом квартале цены и так выросли на 10%, во втором еще на 20-25%. На четвертый квартал прогнозов пока нет видимо, аналитики просто боятся их делать. Если учитывать лишь то, что пока есть сейчас, к началу осени 2021 года стоимость только памяти GDDR6 увеличится на 50%.

По словам экспертов, это еще ничего в пике спотовые цены GDDR6 увеличились сразу на 200% по отношению к контрактным. Возможно, к концу года соотношение чуть выровняется но надежды на это не очень много.

Есть ли светлый луч в темном царстве дефицита?


Нет Есть, но пока что очень слабый. Геймеры вряд ли откажутся от возможности поиграть, хотя, конечно, они не готовы покупать карты по любой цене, показанной рынком.

А вот любители криптовалют, если волатильность последних будет такой же, как сейчас или даже более сильной, могут чуть снизить накал страстей. Уже сейчас спрос на карты с DDDR5 чуть ослаб, так что есть надежда на падение стоимости хотя бы старых видеоадаптеров.

Что касается новых вероятно, ажиотаж будет таким же, как и сейчас, по крайней мере, в ближайшее время. И если нужен игровой компьютер то обойдется он в цену чугунного моста, а то и двух. Эксперты, как и раньше, предрекают завершение кризиса с видеочипами, DRAM и видеопамятью не ранее, чем в 2022 году.

Подробнее..

Прогноз IT-рынка (с иронией)

07.06.2021 12:06:42 | Автор: admin

Я хочу быть таким умным, как моя жена потом

Одесская народная мудрость

По служебной необходимости пришлось окунуться в океан прогнозов. Окунулся, да и ладно, но попутно пришел к выводу, что прогнозов огромное количество, но простому разработчику они в принципе ничего подсказать и не могут. Так как это, либо прогнозы настроений служащих крупных IT-компаний типа индекса настроений либо результаты личных интервью (такого типа или такого), что отражает, по существу, как крупные компании внутренне воспринимают текущую ситуацию на рынке, то есть глубоко изнутри крупных компаний. А, как известно, летящая дробинка приносит разный результат слону и синице.

Второй тип прогнозов принципиально созданы на исследовании отображения IT-отрасли в остальной массе экономических отношений. Типа прогнозов Deloitte или Gartner, Dramexchange конечно они более детализированы, но сделаны под потребности крупных IT-компаний, которые свои позиции на рынке отстаивают, в том числе, и интегрированностью с другими отраслями экономики. И эти связи позволяют достаточно хорошо проходить мелкие зигзаги экономической ситуации в среднесрочной перспективе.

На основе этих размышлений попробовал сделать какой-то синтез для простого разраба. Для этого взял открытые данные компании Reports and Data отраслевых IT-прогнозов. Составил датасет (он в приложенном файле) и в процессе причесывания обнаружил, что данные в нем не проходит мои тесты на валидность. Немного был удивлен этим фактом, но так как жалко было проделанной работы и поэтому пришлось сделать материал с долей иронии. Далее в посте представляю одну метрику (темп роста) и список направлений, в которых развивается IT-отрасль, а также пару-тройку собственных наблюдений.

На рисунке 1 представлена картинка получившаяся по данным Reports and Data.

Рис. 1. Прогноз развития мировой IT-отрасли по данным Reports and Data.Рис. 1. Прогноз развития мировой IT-отрасли по данным Reports and Data.

Примечание автора. Скачки темпов роста от обратной интерполяции из-за того, что в период 2016-2018 гг. многие направления IT-отрасли не сформировались в мозгах исследователей.

Исходные и очищенные данные для тех, кому любопытно поиграться самому здесь в файле.

Более любопытная картина возникает, если наложить используемые данные на мировой ВВП. Объем ВВП (Gross Domestic Product) мира взял по данным Всемирного Банка 87751541 млн.долл. за 2019 год, прогнозируемый рост экономики также по данным Всемирного Банка. Результирующая модель представлена на рисунке 2.

Рис. 2. Прогноз развития мировой IT-отрасли по данным Reports and Data с наложением на мировое производство.Рис. 2. Прогноз развития мировой IT-отрасли по данным Reports and Data с наложением на мировое производство.

По сути динамика представленной модели (рис.2) говорит о том, что в 2029-30 гг. весь прирост мирового ВВП начнет происходить за счет IT-отрасли. Тут получается два связанных прогноза (учитывайте ироничность данного материала):

А) где-то в 2029-30 гг. наступит цифровая революция в производстве;

Б) от лопат и лома в производстве мы сможем избавиться где-то в 2051 году (этот вывод получено на расчете представленных моделей с темпом роста мировой экономики 3,8 %/год и 70% ВВП мировой экономики уходит в основные производственные фонды).

А в конце представлю пятерку наиболее капиталоемких и пятерку наиболее динамичных направлений.

Рис. 3. Пятерка наиболее капиталоемких направлений в IT-отрасли.Рис. 3. Пятерка наиболее капиталоемких направлений в IT-отрасли.Рис. 4. Пятерка наиболее динамичных направлений в IT-отрасли. (принцип отбора следующий: отбирались те направления, которые обогнали наибольшее количество соседних направлений по капиталоемкости).Рис. 4. Пятерка наиболее динамичных направлений в IT-отрасли. (принцип отбора следующий: отбирались те направления, которые обогнали наибольшее количество соседних направлений по капиталоемкости).
Подробнее..

Категории

Последние комментарии

  • Имя: Макс
    24.08.2022 | 11:28
    Я разраб в IT компании, работаю на арбитражную команду. Мы работаем с приламы и сайтами, при работе замечаются постоянные баны и лаги. Пацаны посоветовали сервис по анализу исходного кода,https://app Подробнее..
  • Имя: 9055410337
    20.08.2022 | 17:41
    поможем пишите в телеграм Подробнее..
  • Имя: sabbat
    17.08.2022 | 20:42
    Охренеть.. это просто шикарная статья, феноменально круто. Большое спасибо за разбор! Надеюсь как-нибудь с тобой связаться для обсуждений чего-либо) Подробнее..
  • Имя: Мария
    09.08.2022 | 14:44
    Добрый день. Если обладаете такой информацией, то подскажите, пожалуйста, где можно найти много-много материала по Yggdrasil и его уязвимостях для написания диплома? Благодарю. Подробнее..
© 2006-2024, personeltest.ru