Блог компании softline

Коллеги всем привет, меня зовут Александр Дворянский и я директор по стратегическим коммуникациям Infosecurity a Softline company, и сегодня мы будем говорить про актуальные сейчас тренды в области кибербезопасности, причем как со стороны защищающихся так и с позиции атакующих. Все предыдущие года я готовил аналогичный текст в начале года и рассказывал о трендах развития кибербезопасности на 2018 г., 2019 г., 2020 г. Однако, сегодня я отойду от этого правила, так как если с позиции защищающихся изменений не так много, а вот инструментарий атакующих очень быстро меняется.



Итак поехали

С точки зрения общих трендов

1. Облачный и гибридный SOC в противовес on-premise

То время, когда иметь SOC было просто модно, уже прошло. Спрос на услуги коммерческих SOC растет прямо пропорционально повышению ИБ-зрелости российского бизнеса. Как следствие, повышается число сервисных провайдеров, оказывающих услуги по подключению и сопровождению Центров мониторинга и реагирования на инциденты. Однако основываясь на статистике по проектам текущего года пользователи все больше и больше выбирают облачный сервис или гибридную схему на базе существующего у заказчика SIEM-решения. Тренд перехода к облачным сервисам SOC из года в год продолжает набирать обороты.



2. Увеличение доли сервисов, оказываемых по модели MSSP

Все больше крупных и средних организаций открывают для себя управляемые услуги, оказываемые сервис-провайдерами, по предоставлению сервисов информационной безопасности на коммерческой основе.

В России модель MSSP еще только начинает набирать обороты, хотя до мировых показателей, конечно, еще далеко. Все больше заказчиков начинают доверять сервис провайдерами, передавать на аутсорсинг ключевые IT и ИБ процессы.

3. 187 ФЗ получит новый виток в развитии

За последние несколько лет законодательство РФ в области ИБ заметно ужесточилось. Внедрение средств защиты информации в государственных организациях регламентируется приказами ФСТЭК 17 Об утверждении Требований о защите информации, не составляющей государственную тайну, содержащейся в государственных информационных системах и 21 Об утверждении Состава и содержания организационных и технических мер по обеспечению безопасности персональных данных при их обработке в информационных системах персональных данных.

Данная нормативная база будет нуждаться в обновлении: в обоих документах содержится конкретный перечень рекомендуемых для внедрения решений, однако часть из них уже технологически устаревает и не способна должным образом защитить информационные системы от современных внешних угроз. Выходит, что учреждения формально выполняют все требования по обеспечению информационной безопасности, а на деле их инфраструктура остается уязвимой.

4. Увеличение расходов на кибербезопасность, ориентированных на соблюдение требований

Ожидаемо что все больше организаций начнут увеличивать объем инвестиций в свою кибербезопасность и защиту данных, чтобы избежать санкций со стороны регулирующих органов в сочетании с дорогостоящими коллективными и индивидуальными судебными исками от клиентов, данные которых были украдены или скомпрометированы. Существенное увеличение расходов на нужды кибербезопасности, главным образом для того, чтобы избежать непредсказуемых, но потенциально больших юридических и репутационных потерь, вероятнее всего, станут отличительной чертой многих бюджетов на 2021 год.



5. Кадровый голод

Все больше молодых специалистов сразу после института хотят все и сразу не имея в своем багаже какого-либо существенного опыта. Им не интересно проходить долгий и сложный путь обучения и развития, набирая опыт и компетенции. Квалифицированные же специалисты в свою очередь, давно и успешно трудоустроены. Особенно остро такая проблема характерна для регионов с традиционно меньшим уровнем зарплат.

С точки зрения атакующих

1. Изощренные атаки программ-вымогателей стремительно увеличиваются

Для всех, кто способен покупать биткойны или другие цифровые валюты станут легко доступны программы-вымогатели как услуга (RaaS). В отличие от огромного количества убыточных стартапов, сегодняшняя сцена киберпреступности характеризуется зрелостью, высокой производительностью труда и прибыльностью: одни группы разрабатывают сложные вредоносные программы, другие готовят масштабные атаки или предоставляют многоязычную поддержку по телефону для жертв, чтобы упростить выплату выкупа в биткойнах.



2. Устаревшее программное обеспечение с открытым исходным кодом для снижения киберустойчивости

Множество недокументированного программного обеспечения с открытым исходным кодом (OSS) это бомба замедленного действия, готовая внезапно взорваться во многих компаниях малого, среднего и крупного бизнеса. В период пандемии большинство сильно пострадавших предприятий отдавало предпочтение недорогим предложениям по разработке программного обеспечения по всем другим критериям. Как следствие, они получили соответствующее качество кода и безопасность своего программного обеспечения, в том числе, с введенными недокументированными компонентами OSS и фреймворками для экономии времени программирования. Занятые феноменом WFH, команды по кибербезопасности не имеют достаточно времени для тестирования недавно разработанного программного обеспечения, которое в конечном итоге развертывается в производственной среде в условиях хаоса.



3. Bug Bounties, чтобы продолжить преобразование в тестирование на проникновение

Основоположник коммерческих платформ bug bounty продолжают изобретать себя заново, предлагая тестирование на проникновение нового поколения, red teaming и другие услуги, по подписке или разовые услуги. Примечательно, что при этом они обычно платя своим охотникам за ошибками за успех. Мировой рынок массового тестирования безопасности и раскрытия уязвимостей также нарушен бесчисленными стартапами, управляемыми сообществами и бесплатными проектами, такими как Open Bug Bounty, с более чем 1000 программами вознаграждения за ошибки на сегодняшний день.



4. Варианты атак с повторным использованием паролей, нацеленных на третьих лиц для Snowball

Несмотря на то, что 2020 год стал рекордным по количеству украденных данных и учетных данных, большинство взломанных логинов и паролей можно легко купить или найти в Dark Web и других хакерских ресурсах. Современные киберпреступники проницательны и прагматичны: они предпочитают безопасные и недорогие операции перед проведением изощренных хакерских кампаний с сопутствующим риском быть обнаруженными и привлеченными к ответственности.
В этом году мы стали свидетелями впечатляющего количества очень успешных атак с повторным использованием паролей, нацеленных на третьих лиц, и мы ожидаем, что в 2021 году их число станет еще выше.



5. Увеличенная внешняя поверхность атаки для упрощения и ускорения кибератак.

Работа из дома привела к рекордному количеству открытых ИТ-ресурсов и облачных ресурсов, от открытых серверов RDP и VPN до устройств IoT и консолей администрирования устройств безопасности, таких как защищенные шлюзы электронной почты или межсетевые экраны веб-приложений. Бесчисленные организации бросились хаотично оцифровывать свои критически важные бизнес-процессы, не предпринимая никаких мер по обеспечению кибербезопасности и защиты данных. При переходе к поставщикам общедоступных облаков и использованию широкого спектра преимуществ, связанных с новыми технологиями, включая Docker и Kubernetes, большинство организаций не инвестировали в необходимое обучение безопасности для своего ИТ-персонала.

Ожидается, что в 2021 году злоумышленники начнут свои APT-кампании с поиска таких неприхотливых плодов, прежде чем использовать дорогостоящие нулевые дни и проводить трудоемкие целевые фишинговые атаки.



6. Работа из дома, чтобы помешать и замедлить внедрение DevSecOps

DevSecOps приобрел большую популярность в последние несколько лет. Совместные усилия разработчиков программного обеспечения, ИТ-людей и кибербезопасности команд бесспорно приносят ловкость, эффективность затрат, а также позволят убедительно сократить количество данных нарушений и инцидентов в области ИБ. Хаос и серьезные разрушения пандемии COVID-19 свели на нет большую часть усилий: теперь люди работают изолированно от дома и имеют большее количество задач, что сокращает сотрудничество и общение с другими командами. Обучение внутренней безопасности также не всегда хорошо работает.



7. Киберпреступники все чаще используют машинное обучение и искусственный интеллект при разработки более эффективных атак

Уже несколько лет киберпреступники используют машинное обучение для автоматизации и оптимизации всевозможных задач и процессов: от профилирования жертв до более быстрого обнаружения устаревших систем. Однако враждебное использование ИИ сегодня преувеличено: мы все еще очень далеки от сильного ИИ в 2020 году, а с существующими системами машинного обучения и искусственного интеллекта не учитываются принципиально новые методы взлома.

Практическое использование ML / AI просто ускорит, усилит и разнообразит векторы эксплуатации и повысит эффективность полезной нагрузки эксплойтов, что в конечном итоге затронет большее количество жертв за более короткий период времени. Растущая доступность фреймворков машинного обучения и специальных аппаратных возможностей, доступных для почасовой или ежемесячной аренды, будет способствовать дальнейшему распространению злонамеренного использования ИИ киберпреступниками. Скорее всего, в 2021 году злоумышленники станут еще более эффективными, быстрыми и организованными благодаря состязательному ML / AI.

Продолжаем публиковать анонсы новинок AWS с главного облачного события года AWS re:Invent. В первой части мы рассказали обо всех ключевых событиях, представленных визионером компании Andy Jassy. Прочитать можно здесь. Теперь главные изменения, анонсированные в области хранения данных.

Новый тип томов Amаzon EBS gp3

Твердотельные накопители общего назначения блочного хранилища Amazon EBS нового поколения, которые позволяют клиентам изменять производительность независимо от емкости хранилища и обеспечивают до 20% более низкую цену за GB по сравнению с существующими дисками gp2.

Новые тома gp3 обеспечивают базовую производительность 3 000 IOPS (операции ввода-вывода в секунду) и 125 MB/s (пропускная способность) при любом размере тома. Если приложению требуется более высокая производительность по сравнению с базовыми показателями, клиенты могут за дополнительную плату масштабироваться до 16 000 IOPS и 1 000 MB/s. Мигрировать данные с gp2 на gp3 можно просто при помощи существующего функционала Elastic volumes.

Тома gp3 рекомендуется использовать для приложений, где нужна высокая производительность при разумной цене, таких как MySQL, Cassandra, VDI или кластеры Hadoop.



Подробности тут

Многоуровневое ценообразование для io2 Amazon EBS в зависимости от производительности IOPS

Первые 32 000 IOPS взимаются по текущей базовой ставке. Дополнительное резервирование производительности в диапазоне 32 001-64 000 IOPS оплачивается с 30% скидкой. В результате, резервирование 64 000 IOPS за месяц теперь обходится в $3552, что на 15% экономит затраты клиентов. При использовании тома io2 Block Express производительность более 64 000 IOPS оплачивается с еще одной дополнительной 30% скидкой. Пользователи, которые на данный момент уже используют тома Amazon EBS io2 с зарезервированной производительностью более 32 000 IOPS, автоматически получат выгоду от новых цен начиная с 1 декабря 2020 г. Многоуровневое ценообразование применяется только к индивидуальным томам Amazon EBS, но не к суммарному количеству IOPS всех зарезервированных томов io2.



Подробнее тут

Поддержка multi-attach опции для томов Amazon EBS io2

Опция multi-attach позволяет использовать том Amazon EBS одновременно для записи и чтения с нескольких (до 16) серверов. Теперь эта функциональность поддерживается как для томов io1, так и io2. Виртуальные машины Amazon EC2 должны быть под управлением системы Nitro и располагаться в одной зоне доступности (Availability Zone). На данный момент поддерживается только операционная система Linux. Функциональность не требует дополнительной оплаты.

io2 Block Express (SAN в облаке)

Некоторым клиентам требуется экстремально высокая производительность в сотни тысяч IOPS. Уже сейчас в рамках предварительного запуска (Preview) вы можете протестировать диски io2, которые работают на новом поколении архитектуры блочного хранения данных EBS Block Express. Диски io2 Block Express обеспечивают пиковую производительность 256 000 IOPS и 4 000 MB/s при средних задержках менее миллисекунды. Поддерживается функциональность шифрования данных @ Rest и создание мгновенных копий (snapshots). Тома io2 Block Express подходят для задач запуска Oracle, SAP HANA, Microsoft SQL Server и SAS Analytics.



Детали тут

Инстансы Amazon EC2 R5b для оптимальной работы с io2 Block Express

Производительность доступа к Amazon EBS в новых инстансах Amazon EC2 R5b в 3x раза выше по сравнению с предыдущим поколением R5. Инстансы управляются картами AWS Nitro нового поколения. Это позволяет, в зависимости от размера виртуальной машины R5b, достигнуть производительности в диапазоне 10-60 Gbps и 43-260 IOPS. Amazon EC2 R5b подходят для высоконагруженных реляционных БД и приложений систем ERP.



Подробности тут

Подсказки по оптимизации стоимости томов Amazon EBS

Compute Optimizer анализирует настройки томов io2/io2 и gp2/gp3, а также дает рекомендации по оптимизации их производительности. Функциональность не требует дополнительной оплаты.

Оптимизация шифрования @ Rest сервиса Amazon S3

Новая возможность управления ключами шифрования SSE-KMS на уровне S3 корзины позволяет значительно улучшить внутреннюю производительность шифрования @ Rest. Отсутствие необходимости постоянных обращений к сервису управления ключами AWS KMS на 99% снижает стоимость шифрования.

Репликация данных Amazon S3 в несколько корзин

Новая функциональность позволяет одновременно реплицировать данные Amazon S3 в несколько корзин, расположенных в одном или нескольких регионах AWS. Это упрощает построение географически-распределенных решений. Основное применение снижение задержек при обращении к ресурсам Amazon S3 из разных географических локаций, а также построение распределенных катастрофоустойчивых решений.

Сильная согласованность (Strong consistency) ресурсов Amazon S3

До настоящего момента Amazon S3 обеспечивал согласованность данных чтение-после-записи (read-after-write consistency) при создании новых объектов. При модификации или удалении объектов гарантировалась согласованность в конечном счете (eventual consistency). Новая функциональность обеспечивает сильную согласованность (strong consistency) данных в корзинах Amazon S3 для всех операций. Это значительно упрощает работу с озером данных и аналитическими приложениями.

Русскоязычная Twitch-сессия

И мы продолжаем рекомендовать русскоязычный twitch-стрим AWS, который будет проходить в ключевые дни AWS re:Invent. Стримы готовят и проводят ведущие solution архитекторы AWS, которые выбрали все самое интересное и полезное из новинок и анонсов многочасовой конференции. Регистрируйтесь, подключайтесь к стримам и обсуждайте в прямом эфире.

Для тех, кто сегодня опоздал или хочет пересмотреть twitch, на котором подробно обсуждали storage, выкладываем запись

Стартовала вторая неделя AWS re:Invent. И снова много новинок и улучшений, теперь в области машинного обучения. Самые важные в нашем обзоре. Сегодня их будут активно обсуждать в русскоязычном twitch-стриме эксперты AWS, которые что-то уже поюзали и теперь делятся впечатлениями от новинок. Ссылка на twitch в конце статьи.

Distributed training on Amazon SageMaker

Теперь на Amazon SageMaker проще и быстрее обучать большие модели и обрабатывать большой объем данных. Новый продукт Distributed training on Amazon SageMaker позволяет производить распределенное обучение и поддерживает параллелизм как по данным, так и по моделям. Изменения в коде для этого требуются минимальные. Теперь можно легко разбить данные на части и производить обучение на разных GPU. Также можно разбить саму модель так, чтобы для обучения использовалось несколько GPU. Это полезно для больших моделей, которым одного GPU не достаточно.



Подробнее тут

Amazon SageMaker Clarify

Модели машинного обучения часто представляют собой черный ящик. Трудно понять почему модель выдала тот или иной результат. Amazon SageMaker Clarify поможет понять работу моделей и факторы, повлиявшие на каждый конкретный результат. Это особенно важно для аудита моделей.

Кроме того, данные могут быть не сбалансированы. Исторические данные, на которых обучаются ML модели, неполны и часто предвзяты. Например, если раньше люди в определенном возрасте брали мало ипотечных кредитов, то модель, обученная на таких данных, может и в будущем отказывать людям этого возраста в ипотеке. Что только подкрепит предвзятость. Amazon SageMaker Clarify позволяет определять такого рода несбалансированность и предвзятость в данных. Благодаря этому модели начинают работать лучше для всех.



Подробнее тут

Amazon SageMaker Debugger

Amazon SageMaker Debugger удобный инструмент для отладки и профилирования моделей, сбора и анализа данных об обучении, создания отчетов и визуализации метрик. В этом году SageMaker Debugger получил множество обновлений, а также полностью переработанный пользовательский интерфейс.



Детали тут

Amazon SageMaker JumpStart

Amazon SageMaker JumpStart позволяет быстро развернуть готовое решение или ML модель. Уже доступно 15 решений для таких задач как распознавание рукописного текста, предсказание спроса, определение мошенничества и злонамеренных пользователей, а также многого другого. Кроме того, SageMaker JumpStart позволяет в несколько кликов развернуть одну из 150 ML моделей с открытым исходным кодом из TensorFlow Hub и PyTorch Hub.



Подробности тут

Amazon SageMaker Edge Manager

Набор инструментов (MLOps) для превращения ваших умных устройств в edge smart devices, которые смогут запускать модели, обученные в облаке, собирать телеметрию и отправлять примеры данных обратно в облако для переобучения. Также Amazon SageMaker Edge Manager поможет отслеживать состояния вашего флота устройств и производить обновление моделей, оптимизированных с помощью SageMaker Neo.

SageMaker Edge Agent это небольшой рантайм, размещающийся на устройстве и умеющий запускать модели, собирать телеметрию и отсылать примеры данных обратно в облако.
SageMaker Neo это инструмент оптимизирующий ваши модели для маломощных устройств, уже включен в рантайм агента.

SageMaker Edge Dashboards помогут контролировать состояния ваших устройств, дрифтинг моделей.



Подробнее тут

Amazon Redshift ML

Теперь тренировать модели и делать inference можно прямо в SQL запросах к Redshift, благодаря интеграции с SageMaker AutoPilot, который подготовит данные и выберет наиболее подходящий алгоритм. А все дальнейшие предсказания уже можно делать, используя ресурсы кластера RedShift не выгружая данные из него.

Это облегчает процесс работы с данными для разработчика или аналитика и убирает такие шаги, как выгрузка данные в промежуточное хранилище, запуск процесса обучения, хостинг модели и процесс предсказаний.



Подробнее

Amazon Neptune ML

Amazon Neptune ML это новая функция для управляемых баз данных на базе графов Amazon Neptune. Построенная с использованием Deep Graph Library, она помогает улучшить точность вплоть до 50% по сравнению с другими библиотеками и алгоритмами, которые не специализируются на источниках данных в виде графов.

Amazon Neptune ML умеет предсказывать как на уровне вершин (missing nodes, classification node) так и на уровне ребер (weight regression).

Amazon Lookout for Metrics

Новый сервис, автоматически определяющий аномалии в ваших бизнес-метриках и не требующий навыков в разработке и машинном обучении. Сервис умеет подключаться к таким источникам данных, как: Salesforce, Marketo, Google Analytics, Slack, Zendesk и многим другим.

Он может быть использован для мониторинга, нахождения и оповещения об аномалиях, а также способен показывать потенциальную причину аномалии на таких данных, как: просмотры веб страниц, скорость оттока клиентов, активные пользователи за день (DAU), транзакции, установки мобильных приложений и многих других.

Компания Plarix уже получила доступ к preview и опробовала данные сервис для анализа своих данных.

We experimented with our user acquisition data to understand how the service works and it quickly identified and grouped anomalies enabling us to work faster and better, Михаил Артюгин, Технический Директор в Playrix.



Подробнее тут

Русскоязычная Twitch-сессия

Сегодня пройдет очередной русскоязычный twitch-стрим, теперь по новинкам в области машинного обучения. Напоминаем, что проходят стримы в ключевые дни AWS re:Invent. Стримы готовят и проводят ведущие solution архитекторы AWS, которые выбирают все самое интересное и полезное из новинок и анонсов многочасовой конференции. Для тех, кто еще не подключался ссылка на регистрацию.

Предыдущие анонсы новинок AWS re:Invent можно почитать здесь и здесь

Алексей Баукин, инструктор Substance Designer в Realtime School

В метафизической философии Субстанция неизменная сущность вещей

Давайте поговорим о текстурировании. Качество и вау-эффект любой 3D-картинки, от простого рендера до киношных спецэффектов или виртуальных игровых миров, напрямую зависит от того, насколько хорошо сделаны, подобраны и наложены текстуры. С текстурами как с ремонтом: хороший отделочник сделает конфетку из самого убитого помещения, плохой маляр с ведром зеленой или серой краски превратит любой шедевр архитектуры в унылое ничто вспомните окружающий нас ЖКХ-арт. Поэтому говорить о важности текстурирования бессмысленно, а вот о методах и приемах очень даже полезно.



Компания Adobe с недавних пор предлагает целый комплект дополняющих друг друга инструментов для текстурирования 3D-моделей под общим названием Adobe Substance. Substance? Да-да, где-то мы это слышали раньше Oh wait! Это же известный еще с 2003 года Allegorithmic, в 2019 году влившийся в плеяду творческих инструментов компании Adobe.

Основная особенность всего этого инструментария процедурность, делающая процесс текстурирования максимально гибким. В состав Adobe Substance входит:

• Substance Painter программа для текстурирования рисованием по 3D-модели в realtime с помощью заранее подготовленных материалов;
• Substance Designer создание материалов и текстурирование с помощью узлов (нод);
• Substance Alchemist организация коллекций материалов, работа с готовыми текстурами и создание текстур из фотографий и сканов;
• Substance Source библиотека готовых материалов.

Сегодня мы поговорим об основном инструменте для создания текстур с нуля Substance Designer на примере генерации текстуры ржавого металла.

Substance Designer создает материалы процедурно, что позволяет полностью контролировать и недеструктивно редактировать готовый материал на любом этапе рабочего процесса. Кроме этого, он умеет:

• Запекать (bake) текстуры;
• Генерировать текстуры по фотографиям (scan-processing);
• Создавать HDRI;
• Текстурировать модели.

Как работает Substance Designer?

Те, кто пробовал текстурировать в Photoshop, знают, что там почти все построено на слоях и модификаторах их свойств. В нашем случае система слоев с модификаторами никуда не делась, преобразовавшись в ноды, связанные между собой в логические цепочки:


Узнаете Levels из фотошопа?

Ноды это схематичное отображение всей последовательности действий для генерации текстуры. Каждая нода совершает какое-либо действие над проходящими через нее данными. Результат на выходе одной ноды подается на вход другой (или нескольких), и мы формируем логическую последовательность действий, приводящую нас к готовому результату. Система нод вовсе не такая жуткая, как может показаться на первый взгляд:



Главное качество нодовой системы недеструктивное редактирование: текстура генерируется в реальном времени, и при изменении любого параметра любой ноды все последующие немедленно перестраиваются, исходя из изменившихся данных на входе. Таким образом, мы управляем процессом в real time, делая его невероятно гибким.

Ноды делятся на несколько видов:

• Фильтры;
• Функции;
• Генераторы.

Много нод это хорошо, но как это поможет сделать материал?

Зная разновидность и поведение нод, можно вывести группы, из которых состоит наша структура:

• Узор, который задает саму текстуру(паттерн);
• Крупные детали;
• Мелкие детали;

С чего начать?

Для работы с Substance Designer понадобятся базовые знания о текстурных картах PBR, референсы того, что вы будете рисовать, и понимание инструментов управления нодами. Если текстурные карты и виды PBR можно коротко описать картинкой ниже, то на инструментах стоит остановиться подробнее.


Источник: www.substance3d.com/books/pbr-guide

Какие ноды понадобятся?

Первая в нашем списке уже упомянутая нода Levels. Она дает контроль над контрастом.



Нода Transformation 2D позволяет передвигать узор/паттерн/текстуру.



Ноды Blur и Blur HQ Grayscale/Color позволяют замылить изображение, что очень полезно для создания фасок (blur+curve). Различия видны из названия: если достаточно банального расфокуса, используйте обычный Blur, если же нужна тонкая настройка без Blur HQ Grayscale/Color не обойтись. Нода Grayscale не работает с цветом! Для работы с полноцветными данными используйте Blur HQ Сolor.



Ноды Gradient и Uniform color. Первая позволяет красить карту высот в несколько цветов градиентами, а вторая создает сплошную заливку.



Ну а самый необходимый инструмент нода Blend. Получая на входе данные из нескольких источников, она позволяет смешивать их по определенным алгоритмам, формируя ваши узоры и паттерны. Функционально она выполняет те же задачи, что и режимы наложения слоев в Photoshop.

Создание материала в Substance Designer

В первую очередь нужно определиться, какой метод генерации материала будет использоваться. В нашем случае мы выберем шаблон PBR (Metallic/Roughness):



После выбора шаблона в окне Graph появились ноды, которые отвечают за итоговый вид текстуры:



Наведя курсор на окно Graph и нажав TAB или пробел, вы получите меню с инструментами и строкой поиска. Поищем в ней ноду Mesh 1: вводим имя и нажимаем Enter.



Выделив ноду Mesh 1 одинарным кликом, мы увидим ее параметры. Если щелкнуть дважды, нода отобразится в левой колонке в окне 2D-просмотра. Редактируем параметры: на вкладке instance parameters изменим tiling на 6 и rotate 45 degrees на true:



Добавим ноду Levels, чтобы сделать наш узор менее рельефным. Параметры ее настройки на картинке ниже.



Мы получили паттерн текстурированного стального листа новенького, как с завода. Стоит добавить немного ржавчины. Для этого понадобится маска, которая будет определять области коррозии. Сделаем ее с помощью нод Normal, Curvature smooth и Histogram scan.



Генерируем текстуру ржавчины, используя BnW Spots 2 и Directional Warp:



Маска почти готова. Осталось смешать ржавчину с окантовкой и увеличить контрастность. Добавляем ноды Blend и Histogram scan:



Разумеется, параметры расположения маски можно менять, перемещая пятна ржавчины по металлу.

Теперь раскрасим нашу маску, используя ноды Gradient Map и PBR Metal Reflectance (вместо нее можно использовать и обычный Uniform Color). В Gradient Color нажимаем Gradient editor откроется окно с настройками. Цвет ржавчины, конечно, можно подобрать и вручную, но это медленно и нецелесообразно. Вместо этого найдите любую картинку с ржавым куском железа и, удерживая левую кнопку мыши, проведите инструментом Pick gradient по картинке вы получите идеальный градиент ржавчины, на создание которого руками ушли бы часы.

Далее смешиваем окраску ржавчины с текстурой с помощью ноды Blend (режим смешивания Copy) и выводим результат в ноду Base color.



Остается лишь добавить несколько деталей, чтобы наш металл смотрелся реалистичнее. Карту Roughness не трогаем, а вот Metallic немного подкорректируем: инвертируем нашу маску и втянем ее в Metallic, чтобы определить, где и как поверхность будет отражать свет. Теперь осталось лишь добавить немного теней. Для этого к ноде Levels добавляем HBAO и редактируем параметры:



Результирующая процедурная текстура на картинке ниже. В любой момент мы можем изменить любой параметр текстуры и сразу увидеть, как изменится внешний вид. Готовый материал можно использовать как в Substance Painter, так и в других программах, поддерживающих форматы текстур Substance Designer.



Вы можете скачать файл Substance Designer с этой текстурой и поэкспериментировать с разными параметрами нод: смягчить или усилить контраст штамповки на стальном листе, изменить количество ржавчины, ее оттенок или даже добавить, например, слой облупившейся краски. Также вы можете посмотреть демо-ролик по созданию материала в Substance Designer.

Об авторе: Алексей Баукин инструктор курса Основы Substance Designer в школе компьютерной графики Realtime.

Дополнительная информация:
Консультация по Adobe Substance Designer Анна Макеева, Anna.Makeeva@softline.com;
Решения Adobe;
Промо-страница Adobe Creative Cloud.

Adobe Acrobat вроде бы не нужно представлять это легендарное приложение легендарной компании у всех на слуху, и мало кто не знает его красного логотипа и не вспоминает первым делом при упоминали аббревиатуры PDF Но если копнуть чуть глубже, то оказывается, что знают многие и про возможности формата PDF и, как следствие, про возможности Acrobat лишь малую долю от гигантского пласта функционала, сделавшего PDF одним из самых распространенных форматов документов, а Acrobat нарицательным именем по работе с этим форматом. Как ни странно, это касается и многих специалистов по допечатной подготовке: кому-то не хватает времени разбираться в тонкостях, кому-то любопытства. Но если вы из тех, кому не нравится иметь недешевый умный кухонный комбайн и пользоваться у него лишь парой-тройкой кнопок, читайте дальше: в случае с Acrobat мы вместе разберем все заложенные в нем возможности для допечатной подготовки в серии статей, написанных по заказу такой же неравнодушной компании Softline.

Несколько слов о себе Я занимаюсь настольным издательством и допечатной подготовкой с 1990 г., и впервые столкнулся с Acrobat в 1994 г. За эти 25 с лишним лет мне не надоело открывать его возможности, и довелось заниматься этим в качестве руководителя препресс-отделов агентств и издательств и консультанта по Acrobat в России самой компании Adobe. Мне есть чем поделиться на тему Acrobat и PDF так приступим! Пойдем от простого к сложному и затронем все важное от начальных настроек до работы с цветом и решения конкретных вопросов в панели Preflight, но всему свое время: заглядывайте сюда регулярно в конце 2020 и начале 2021 г. по мере выхода новых статей.

Краткая историческая справка (любопытные могут прочитать больше здесь): Acrobat и PDF возникли одновременно. В начале 1990-х Джон Уорнок, один из двух основателей Adobe, искал решение задачи надежного переноса документов между разными компьютерами, операционными системами и заодно, бумажными носителями без изменения их внешнего вида или зависимости от внешних условий (напр., наличия нужных шрифтов). Эта работа завершилась в 1993 г. релизом переносимого формата документов Portable Document Format, которому суждено было совершить революцию в подходах всего мира к работе с документами. Но первой на него обратила внимание именно индустрия препресс, т.к. формат по сути представлял собой идеальную цифровую распечатку со всеми необходимыми для надежного вывода данными в едином файле: текст со шрифтами, изображения, векторные объекты + поддержка цветовой модели CMYK. Специалистам по допечатке не требовалось объяснять этих преимуществ: они уже имели все это благодаря PostScript, тоже продукту Adobe (кстати, самому первому, под запуск которого компания и была создана в 1982 г.) Но вот незадача: PostScript нельзя было увидеть и удобно проконтролировать, это язык принтерных команд, который создает графику шаг за шагом, а не фиксирует ее описание. PDF стал в чем-то эволюцией, в чем-то революцией относительно PostScript, добавив быструю и надежную визуализацию графической информации благодаря отказу от команд управления принтерами и развитию описательной части в компактном универсальном виде. Отвечали за эту визуализацию новые приложения для Mac OS, Windows, DOS, OS/2, Unix Acrobat Reader и Acrobat Distiller.



Первое обеспечивало рендеринг то самое одинаковое отображение данных PDF на всех системах, второе превращало любые имеющиеся PostScript и EPS-материалы в PDF. Оставалось только вывести данные в PS из графических приложений или напечатать в PDF из обычных через идущий в комплекте PDF-драйвер (точнее, сначала в PS, но это под капотом).

Началась знакомая нам эпоха современного препресса, в которой по мере добавления поддержки PDF в растровые процессоры и развития формата PostScript и PDF сначала шли рука об руку, но постепенно PDF выжал старшего брата, сохранив его актуальность только в узких применениях. А Acrobat стал одним из главных инструментов препресс-оператора благодаря исчерпывающей поддержке всех возможностей по созданию и манипуляции PDF-файлами.

Настройки для контроля и решения проблем PDF для предсказуемой печати

В этой первой статье мы познакомимся с настройками приложения под проверку PDF-файлов на соответствие ожиданиям и отсутствие сбоев. Сразу договоримся использовать названия русского интерфейса Acrobat, даже если перевод нельзя признать удачным или хотя бы одинаковым в разных местах программы. Сам я, честно говоря, предпочитаю английские интерфейсы ради точности и краткости терминов, и всегда рекомендую привыкать к ним, даже если вы слабо владеете английским это поможет и язык прокачать, и главное, проще работать с огромным массивом полезной информации по препрессу в англоязычном Интернете по сравнению с Рунетом. Так или иначе, с 2012 г. Acrobat позволяет свободно переключать языки интерфейса в меню Установки > Язык > Язык приложения. Как и многие другие команды, вызов настроек возможен через клавиатурные сокращения не будем их обсуждать в статье, но отложите полезные ссылки и старайтесь ими пользоваться: вы подарите себе много часов сэкономленного времени.

• Комбинации клавиш (по-русски)
• Keyboard shortcuts (по-английски)

Дальше я не буду указывать англоязычные ссылки при наличии русских, но поделюсь лайфхаком: в статьях онлайн-справки Adobe достаточно удалить из ссылки узел ru/, чтобы открыть статью по-английски. Попробуйте на примерах выше.

Установки

Итак, начинаем с настройки рабочей среды это очень важно для быстрой работы и задания корректного поведения инструментов. Всего обсудим не сможем, коснемся только вещей, прямо влияющих на препресс.

Раздел Единицы измерения

При выборе русского языка интерфейса свежие версии Acrobat автоматически включают миллиметры в качестве основных единиц измерения. Если это необходимо поменять, это делается в этом разделе. Заодно можно изменить цвет линий сетки или направляющих, если вы ими пользуетесь и в конкретном документе они теряются на фоне изображений.

Раздел Вид страницы

Эта группа настроек не очень интуитивно названа, но очень важна разберем все предметно.

Макет страницы. В каждом PDF-файле можно задать его внешний вид при открывании (Файл > Свойства > Вид при открытии). В частности, макет и масштаб: число и порядок страниц на экране и их начальный размер. Это очень полезно при контроле документов с обложками или организованных тетрадями. Например, страницы поодиночке или разворотами, вписывание страницы по ширине или высоте или в реальном масштабе. Но в случаях, когда такие параметры не заданы в самом файле, сработает установка из этого раздела однако, есть важная тонкость. Если в открытом файле можно через меню явно задать поведение первой страницы при отображении разворотами (Режим просмотра > Двойником > Титульный лист/Разворотами), и в результате первой в развороте пойдут либо нечетные страницы как в книгах и журналах, либо четные, то в установках Макет страницы можно выбрать только Постранично или Двойником. Но и в этом случае повлиять на поведение первой страницы можно: оно будет задано установкой в меню Просмотр > Вид страницы > Показать обложку при отображении двух страниц, если включить ее в пустом приложении при отсутствии открытых документов.

В эту логику может вмешаться установка из раздела Документы: Открыть окно параметров > Восстанавливать при открытии документов прежние параметры просмотра. Ее лучше держать отключенной, потому что при включении она запоминает последние параметры отображения каждого открывавшегося документа. Это не только замусоривает диск ненужной информацией, но и мешает тестировать настройки внешнего вида документа при открывании при их обновлении они не сработают в документах, которые вы уже открывали ранее, если включена эта опция.

Разрешение. Это ключевая установка, если вам необходимо работать с документами в их реальном физическом размере. Очевидно, что для этих целей вы выставите масштаб на 100% (рекомендую это в качестве значения по умолчанию), но это 100% от какой величины? Чтобы привести экранные размеры к физическим, Акробату необходимо понимать реальное разрешение вашего экрана для этого и предлагается эта установка. На ноутбуках и современных ЖК-мониторах системная настройка часто верна, но если нет или вас отвлекают небольшие отклонения, то можно добиться стопроцентного попадания, указав реальное разрешение (в ppi пикселах на дюйм) вручную в поле Заказное разрешение. И еще момент насчет масштаба 100% в русском интерфейсе он ошибочно указан в выпадающем списке Масштаб как 10%, но это не беда: просто наберите 100% вручную.

Рендеринг. Эта группа параметров прямо влияет на возможность обнаружения дефектов в файлах для печати. Многие помнят растровые процессоры, не поддерживавшие отработку прозрачности для них требовались файлы по спецификации PDF 1.3 или PDF/X-1a, к которых эффекты прозрачности приходилось предварительно растрировать (плющить). Это приводило к появлению сотен и даже тысяч мелких изображений с векторными масками и радикальному усложнению документа с высокой загрузкой памяти компьютера и растрового процессора. Выводы из этого: при работе с такими файлами стараться не использовать кеш страниц (фоновую отрисовку следующей страницы при просмотре текущей) и соблюдать осторожность при включении сглаживания изображений и сглаживания штриховых иллюстраций (векторов). Эти функции делают растровые изображения и векторные рисунки максимально приятными для глаза, но могут приводить к появлению призраков: видимых на экране, но не существующих и не выводящихся на пластины зазоров между теми самыми фрагментами изображений, образовавшимися при сплющивании прозрачности. Обычно эти установки практичнее держать включенными, но если в отдельных случаях вас терзают смутные сомненья, откройте Установки и временно их отключите. Если и это не успокоит, для проверки сделайте за RIP его работу: отрастрируйте проблемную страницу в Photoshop с разрешением RIP (2400/3600dpi) строго без включения сглаживания (anti-aliasing). Если так призраков уже не увидите без колебаний отправляйте страницу на вывод.

Еще две установки этой группы могут давать ложное спокойствие при наличии проблем. Улучшить тонкие линии удобно для просмотра, но если где-то в PDF прокрались линии толщиной меньше 0,1 пункта, то вас ждут проблемы при выводе. Такое важно проверять как автоматически средствами Preflight (об этом позже), так и просто видеть глазами. При включении этой опции Acrobat покажет такие линии более толстыми, и вы пропустите проблему. Спокойнее отключить эту опцию и увидеть все как есть (или вообще не увидеть эту линию там, где ожидали).

Использовать локальные шрифты еще одна ловушка во имя удобства. Ради самодостаточности PDF важно встраивать в него все использованные шрифты, хотя возможность этого не делать иногда соблазняет любителей сократить размер файла. Если шрифт не встроен, он должен быть доступен растровому процессору на этапе отрисовки, но т.к. в большинстве случаев этого нет, произойдет подмена и результат отправится в корзину. Такие подмены важно замечать при контроле в Acrobat, и эту опцию отключать иначе нужный шрифт, возможно установленный локально на вашей системе, прекрасно подключится в документе. Так вы пропустите подмену. Но конечно, такие моменты нельзя доверять глазу оператора: проверку встройки шрифтов необходимо также включать в процедуры автоматического префлайта. А что касается оптимизации размера файлов, можно смело использовать сабсеттинг шрифтов автоматическое создание выборок только реально задействованных в каждом документе символов (особенно после нарезки многостаночного файла на одностраничные, если вам это часто требуется). Если вас беспокоит невозможность при этом использовать возможности Acrobat по редактированию документов, не переживайте: Acrobat не позволит это и при полностью встроенном шрифте в силу ограничений шрифтовой лицензии: редактирование возможно только локально установленными шрифтами (и не зависит от включения опции, которую мы обсуждаем). Если нужно редактировать PDF со встроенным шрифтом, которого у вас нет, вас выручит только Enfocus PitStop Pro, который также продадут в Softline и который беспечнее Acrobat в вопросах цифрового копирайта. Возможно, до первого прецедента: в Adobe выучили свой урок юридически болезненным образом, хотя сами и стояли у истоков первых лицензий на цифровые шрифты.

В завершении разговора о шрифтах добавлю, что старинные суеверия из времен PostScript о несовместимости шрифтов TrueType (.ttf) с серьезным препрессом канули в Лету: если качество самого шрифта не вызывает нареканий, его можно спокойно использовать и выводить. Формат PDF поддерживает все современные форматы шрифтов, кроме веб-шрифтов (EOT/WOFF/2), и для него являются одинаково родными как PostScript-шрифты, так и TrueType или OpenType как контейнер для первых двух в структуре PDF-файла шрифты представлены особым образом. А т.к. с 2007 г. PDF стандарт Международной организации по стандартизации (ISO), у производителей растровых процессоров нет выбора поддерживать или не поддерживать его отдельные фичи: здесь все или ничего.

Всегда показывать размер страницы

Опция говорит сама за себя, важно просто помнить, что она есть. Старые версии Acrobat всегда отражали размер, а в новых это необходимо явно включать здесь. Размер будет всегда на виду в нижем левом углу окна.

Отображать границы иллюстраций, рамку отсекания и область выпуска за обрез

Растровые процессоры могут настраивать обрезной размер по-разному: иногда явно, так что идущие на вход страницы, просто центрируются в рабочей области. Но чаще RIP полагается на заданные в каждой странице PDF размеры, которые делятся на 5 типов:

• Art box (иллюстрация, красные направляющие) общая внешняя граница всех объектов. Практического применения не имеет
• Trim box (обрезной формат, зеленые направляющие) обрезной формат. Границы, по которым пройдет нож при подрезке тетради или готового изделия.
• Bleed box (дообрезной формат, синие направляющие) внешние границы выпусков под обрез. Кстати, не советую идти на поводу у типографий, пытаюшихся требовать выпуски более 2 мм: если такова их погрешность при подрезке, кому нужны услуги такого качества?
• Media box (тонкая серия рамка) внешние размеры холста документа или общая граница запечатываемой области. Может содержать, напр., реперные метки, цветовые шкалы или инструкции для печатников за рамками выпусков.
• Crop box (кадрирование, черные направляющие) граница видимой на экране области. К препрессу имеет косвенное отношение: напр., в файле могут быть и выпуски, и реперные метки, но можно задать crop box равным trim box, и тогда на экране в Acrobat не будет видно ничего за рамками образного формата. Однако, в типографии выведется все, что влезло в bleed/media box или было задано в растровом процессоре. Так что заведите привычку проверять, видите ли вы перед собой (и при отображении размера в углу) всю страницу или только часть, приоткрытую с помощью crop box.

Визуальным индикатором для этого служат специальные направляющие указанных цветов, знакомые всем по диалогу подрезки Установить поля страницы. А установка, которую мы обсуждаем, позволяет отображать их постоянно на каждой открытой странице это снимает многие вопросы.

Отображать сетку прозрачности

Еще одна опция с говорящим названием, про которую важно помнить, что она есть. Если вы часто работаете с PDF-файлами, которые идут не на вывод, а под вставку в другие приложения, или открываете в Acrobat файлы Illustrator (.ai), которые в большинстве случав являются ни чем иным как PDF с некоторыми приватными довесками, то бывает полезно понимать, где на странице сплошной белый фон, а где пустая область, которая будет прозрачной при вставке. Эта опция позволяет отображать такие пустые области так же, как отображают прозрачность Photoshop и другие инструменты серой шахматной сеткой.

Использовать логические номера страниц

Логические номера большое подспорье. Они позволяют размечать в документах разделы для удобства навигации и понимания структуры. Польза для допечатки ситуации, когда напр. разные секции печатаются на разной бумаге и должны выводиться отдельными тетрадями. Но чаще всего необходимо размечать обложки, чтобы они отделялись от блока. Можно, как в примере, задать префиксы обл. двум первым и двум последним страницам в брошюре, чтобы четко дать понять специалисту типографии, как обращаться с документом.



Возможность доступа к нужной странице по логическому номеру как раз задается этой установкой. В нашем примере это означает переход на страницу, показанную слева под номером 1 либо по этому номеру 1, либо по номеру 3 (порядковому в документе).

Сразу посмотрим, как задается нумерация, потому что в русском интерфейсе это не очень наглядно. В панели Миниатюры страниц выбираем нужный диапазон страниц и правым кликом вызываем контекстное меню; в нем команда Ярлыки страницы, которая, наконец, покажет диалог Нумерация страниц.

Опции Reference XObject

Стандарт PDF 1.4 (и PDF/X-5) допускает использование вставок из внешних документов в виде специальных ссылок-референсов (хотя это не единственное предназначение структуры XObject: она также обеспечивает переиспользование повторяющихся фрагментов в пределах одного файла напр., для корректных заливок-паттернов). Эта возможность весьма хрупкая, она требует гарантированной доступности внешних файлов, специальных разрешений для доступа к месту их хранения и специальных инструментов создания таких файлов. С высокой вероятностью вы не встретите в своей практике PDF-файлов со внешними икс-объектами, поэтому можно не пугаться неправильных настроек в этом поле и оставить все по умолчанию.

Использовать просмотр наложения цветов

Речь о старых друзьях оверпринтах. Привет из времен PostScript, когда это был единственный способ наложения цветов со своим набором тонкостей и оговорок, до прихода прозрачности с PDF 1.4. В отличии от прозрачности, отрисовку оверпринтов было и есть необходимо включать явным образом в Illustrator и Acrobat, что и делает эта опция. Если это не сделать, можно не увидеть примененные оверпринты, и последствия могут быть плачевными неспроста при приеме на работу вас, наверняка, расспрашивали про последствия оверпринта на белых объектах Эта настройка позволяет включить отображение оверпринтов для любых файлов или только для PDF/X, печатное предназначение которых и так понятно. Или навсегда отключить.

Выделять несколько элементов одновременным нажатием Shift и щелчком мышью

Эта опция с нечитаемым названием, не заслужившая даже упоминания в онлайн-справке, имеет отношение к очень удобной возможности добавления непечатаемых препресс-комментариев в документ. Здесь необходимо сделать шаг в сторону, чтобы пояснить о чем речь.

Дело в том, что с 2012 г. и версии Acrobat Pro XI при работе в панели Просмотр цветоделения появилась очень удобная возможность фиксировать результаты, отображаемые в панели, локально прямо в контексте страницы с помощью заметок:



Заметка вставлялась по Shift-щелчку в интересующем месте. Но т.к. окно Просмотр цветоделения модальное и может висеть открытым, пока вы заняты другими вещами, его захват клавиши Shift приводил к тому, что становилось невозможно использовать ее для выбора нескольких объектов. Для исправления этой нестыковки и была добавлена такая настройка при ее включении заметки Просмотра цветоделения добавляются по Alt-щелчку. Без нее по-прежнему, по Shift-щелчку. А сам диалог Просмотр цветоделения, кстати, далеко не только про цветоделение, но об этом позже.

Диспетчер цветов и управление цветом

Эти настройки управления цветом работают по умолчанию в случае, если RGB, CMYK и Grayscale объекты в файле не протегированы цветовыми профилями индивидуально или если на уровне конкретного документа не задан целевой цветовой профиль Output Intent (совершенно неадекватно переведенный как Способ вывода). Другими словами, просто RGB или просто CMYK будут отображены в Acrobat как если бы все цветовые координаты были заданы именно в указанных тут цветовых пространствах.

Важно помнить об исключениях. Главное это все файлы PDF/X, потому что стандарт обязывает их иметь явно заданный целевой Output Intent. Обычно он задан через встроенный ICC-профиль, но здесь есть тонкость. В своей практике я избегал этого способа, потому что качественные CMYK ICC-профили довольно тяжелые, 2 МБ и больше. При том, что часто типографии для упрощения своей жизни требуют сдавать материалы одностраничными PDF-файлами, это означает, что каждый файл увеличится в размере на эту цифру. Для 100-страничного журнала это +200 МБ лишнего веса и времени на перекачку. Если для кого-то это насущный вопрос, есть альтернатива: Output Intent можно задавать не встройкой профиля, а простым упоминанием одного из стандартных Output Intents через т.н. Output Condition Identifier это умеют все приложения Adobe и сам Acrobat при обработке PDF/X. Это набор типовых условий печати со стандартными названиями, и достаточно упомянуть одно из этих названий, а Acrobat или другое препресс-приложение или RIP самостоятельно подставят подходящий профиль согласно реестру ICC (в этой таблице Output Condition Identifier указан в поле Characterisation data reference). Стоит иметь в виду, что это все-таки довольно хрупкий процесс, потому что можно ошибиться в названии или профиль для подстановки может быть устаревший или вообще не настроен в RIP или настроен, но физически недоступен однако именно он будет отвечать при выводе за конвертацию в CMYK любых объектов PDF, заданных в других цветовых моделях.

Output Condition Identifiers касаются самых распространенных печатных процессов и бумаг. И хотя, конечно, желательно работать с индивидуальными ICC-профилями, созданными под каждое сочетание бумаги, красок и печатных условий, часто это непозволительная роскошь. Обычно на помощь приходят очень тщательно проработанные профили международных организаций по печатным стандартам. Они регулярно уточняются и прекрасно подходят в большинстве случаев, когда типография заявляет работу по одному из стандартов ISO 12647, FOGRA, CGATS и др. По ссылке вы можете подобрать и скачать верный профиль для своей работы.

К исключениям, которые не покрывают общие настройки цвета, можно отнести также прямой выбор профиля для экранной пробы в Просмотре цветоделения их можно свободно переключать, чтобы проверить, как изменится цветопередача в разных условиях печати (которые, собственно, и фиксирует CMYK-профиль ICC). Также уже не имитацию, а трансформацию в нужное цветовое пространство с сохранением цветопередачи предлагает панель Преобразовать цвета, о которой еще поговорим предметно. Про нее надо понимать, что дальнейшее поведение цвета в преобразованном файле относительно общих настроек Acrobat определяется галочкой Встроить. Если она включена, целевой профиль станет Output Intent для этого документа со всеми вытекающими, который мы обсудили для PDF/X.



Конечно, и фиксапы Preflight позволяют манипулировать цветом. Но это самый мощный инструмент в Acrobat, и он требует внимания к тонкостям управления цветом: в каждом конкретном случае решение будет в ваших руках.

Наконец, вспомним о способности бесплатного менеджера медиафайлов Adobe Bridge синхронно управлять цветовыми установками во всех приложениях Adobe Creative Cloud, включая Acrobat Pro. Хотя, как видим, можно вручную подключить профили нужных цветовых пространств, часто важно делать то же самое в таких приложениях как InDesign, Illustrator или Photoshop и именно эту задачу синхронного переключения Bridge берет на себя. Если вызвать его меню Edit > Color Settings, выбрать в нем один из наборов цветовых настроек и нажать Apply (Применить), то изменения синхронно применятся во всех установленных приложениях Creative Cloud. А создавать такие наборы настроек позволяет Photoshop, причем только в нем в настройках рабочего цветового пространства для модели Grayscale можно подгрузить CMYK-профиль и конвертировать в одноканальный профиль Grayscale, с помощью которого можно симулировать на экране однокрасочную черную печать с реальными параметрами растискивания и впитывания краски.

Раздел Документы

Помимо уже упомянутой опции Восстанавливать при открытии документов прежние параметры просмотра, здесь полезно отключить При выполнении команды Сохранить как оптимизировать для быстрого просмотра в веб-браузере. Эта опция пересобирает PDF-файл для постепенной подгрузки в браузере, что не несет никаких плюсов для растровых процессоров и только тратит время впустую.

Преобразование в PDF и преобразованиt из PDF

Эти две группы установок задают поумолчательные значения при конвертации других форматов в PDF и из PDF. Вы, наверняка, помните, что для конвертации в PDF из PostScript и EPS используется приложение Distiller, в котором можно задавать разные наборы параметров преобразования. Acrobat позволяет сократить лишние действия и выбрать по умолчанию один из этих наборов, чтобы можно было уронить PS/EPS на сам Acrobat и сразу получить PDF без переключений в Distiller. Это делается в меню Установки > Преобразование в PDF > PostScript/EPS. Также полезно пробежаться по настройкам растровых форматов, чтобы при открывании в Acrobat они превращались в PDF с предсказуемыми параметрами сжатия. Для офисных форматов настроек не предлагается, но стоит помнить, что Acrobat сможет превратить их в PDF, только если в системе установлены исходные офисные приложения. Кстати, если это так, то многие параметры конвертации в PDF доступны в самих Word, Excel, PowerPoint через закладку Adobe PDF.

А в части преобразования из PDF нас касаются два сценария (хотя имейте в виду, что можно настроить поумолчательные параметры экспорта в любые перечисленные форматы может пригодиться). Первый т.н. refrying исправление неустранимых сбоев в PDF через экспорт в PostScript с повторной конвертацией в PDF. Это ломает многие структуры в исходном PDF за счет отсутствия их поддержки в PostScript, но это упрощение обычно приводит к тому, что файлы, отказывавшиеся выводиться, избавляются от своих проблем. Настройки экспорта в PostScript, показанные на снимке экрана, являются оптимальными для этих задач. Они дают компактные файлы за счет двоичного кодирования и поддержки последней (во всех смыслах) третьей версии PostScript.



Второй сценарий попроще, но бывает очень полезен. Это, собственно, и не про установки, а про команду экспорта сразу всех изображений из PDF в их реальном размере. В инструменте Экспорт PDF (который как раз и пользуется нашими установками по умолчанию)) в разделе Изображение есть малозаметная галка Экспорт всех изображений:



С ее помощью можно в один клик экспортировать все встроенные растровые объекты в заданном формате и сжатии в исходном разрешении.

Это особенно удобно при необходимости править графику Illustrator (.pdf или .ai), сохраненную в режиме линковки изображений. Отсутствие под рукой залинкованных внешних файлов приводит к тому, что Illustrator открывает файл с пустыми прямоугольниками на месте изображений, но тут мы вспоминаем, что если не отключать при сохранении .ai поумолчательную галку Сохранять в режиме совместимости с PDF, то наш .ai это обычный PDF с парой важных только для Illustrator довесков (и как следствие, их можно и нужно вставлять в верстку InDesign или QXP вместо промежуточных форматов вроде EPS). А это означает, что копия залинкованных в .ai изображений, пусть и экранного качества, все равно встроена в файл, и до них можно дотянуться такими средствами работы с изображениями в Acrobat и экспортировать для перелинковки.

Кстати, то же самое возможно в Photoshop. При открывании PDF он дает выбор способа, и позволяет как отрастрировать всю страницу с нужными параметрами (вспоминаем тему призраков от сплющивания прозрачности) так и открыть в исходном разрешении любое из встроенных изображений или все сразу:



Есть и вариант открыть из PDF 3D-модели, но к препрессу это прямого отношения не имеет.

Что ж, на этом ставим троеточие Мы разобрались с азами настроек для продуктивной и предсказуемой допечатной обработки, а следующих статьях внимательно посмотрим на инструменты проверки, редактирования и исправления PDF в Acrobat.

Автор: Олег Сидоренко.

Консультация по решению Adobe Acrobat: Полина Красикова, business development manager по Adobe Acrobat компании Softline, Polina.Krasikova@softline.com.

Adobe Acrobat на сайте Softline

Здравствуйте! Я Игорь Гальцев, с 2010 технический руководитель различных направления разработок Softline в области автоматизации управления и продаж облачных (подписочных) сервисов.

Сегодня хочу рассказать об инструменте, который переводит процедуры согласования и выдачи виртуальных машин на полное самообслуживание, сохраняя логику квот и добавляя возможность прогнозирования утилизации ресурсов.



Как некогда бывший инфраструктурный инженер, знаю, во что превращается использование нескольких частных или публичных облаков в большой команде. Обычно тут два пути. Либо процесс выделения ресурсов слишком бюрократизируется команды начинают ждать виртуальные машины неделю и сохранять их живыми максимально долго, лишь бы не повторять этот путь. Либо наступает настоящий хаос, когда никто не знает, какая команда и сколько ресурсов потребляет и на что уходят сотни и тысячи долларов ежемесячно на том же AWS. Один из возможных вариантов упрощения этой ситуации перевод разработчиков на самообслуживание в облаке с помощью продукта наших партнеров CloudMaster.

В чем проблема

Когда в компании работают сотни разработчиков и DevOps, у каждой команды собственный проект и потребности в экспериментах, на ответственность каждого отдельного человека за выделенные компанией мощности уже положиться нельзя. Чтобы понимать масштабы проблемы, вот статистика одного из клиентов CloudMaster, который использует публичные облака и собственная виртуализация на OpenStack.

Разрабатывая параллельно несколько сотен проектов, суммарно ресурсов AWS, Azure и GCP клиент потребляет ежемесячно на полмиллиона долларов. А за год создает и удаляет порядка 350 тыс. виртуальных машин.

Если в таких масштабах пустить процесс на самотек, наступит настоящая анархия. Сотни виртуальных машин будут подвисать неиспользуемыми. Не понимая, кто и зачем запустил конкретную ВМ, разобраться, нужна ли она в работе и потребуется ли в будущем, будет крайне сложно. Это тянет за собой лишние расходы на аренду облачных ресурсов, причем провести какой-то анализ происходящего или спрогнозировать загрузку в этих условиях в принципе невозможно.

Логичный способ этого избежать прописать бизнес-процесс согласования ресурсов. Конечно, это усложняет путь разработчика к получению виртуальной машины: надо заполнить заявку, отправить ее ответственному. Но, если правильно собирать отчетность, перед глазами менеджера будет полная картина: кто, когда и какие мощности запросил. С определенной задержкой он даже сможет анализировать потребности команд в виртуальных мощностях. Но и это не панацея. При достаточном объеме запросов команды со своими проектами подвисают в ожидании, пока ответственный посмотрит и оценит очередную заявку. И чем крупнее компания, тем длительнее это ожидание.

При этом все созданные виртуальные машины не имеют срока годности, т.е. потом кому-то необходимо будет контролировать, что все выделенные ресурсы в заявленное время свернули и это не отразилось на проектах.

Самообслуживание через платформы управления облаками (CMP)

Навести порядок в нескольких используемых облаках, частных или публичных, помогают решения класса Cloud Management Platform. Я хочу рассказать о российской альтернативе от наших партнеров платформе CloudMaster, ориентированной на подключение к Azure, AWS и Google Cloud, а также приватным регионам под vCloud Director, vSphere и OpenStack.

С точки зрения разработчика, CloudMaster это портал самообслуживания, где через единый интерфейс и без бюрократии (через UI в браузере, мобильном приложении и консольных командах (Python-скрипты)) можно получать ресурсы в корпоративном облаке или ЦОД. А для инфраструктуры это дополнительный уровень абстракции между облачными платформами и конечными пользователями, на котором сохраняется избирательный общий доступ к ресурсам, политики безопасности, стандартные конфигурации и прочие необходимые инструменты вроде образов машин и Terraform-шаблонов.

Основная часть CloudMaster сделана на Java и базируется на основе фреймворков Spring на сервер-сайде и Dagger в Android-приложении.

Архитектурно CloudMaster заточен на работу с большими командами и значительными объемами отправляемых сообщений: для обработки очередей использован RabbitMQ, для хранения данных MonogoDB, для балансировки Nginx.



Разрабатывался инструмент с 2012 года, а с 2014-го применяется у крупного разработчика софта.

Логика CloudMaster

С точки зрения разработчика, CloudMaster единое окно для быстрого запуска виртуальных машин во всех доступных облаках и регионах. Инструмент позволяет не ждать согласований, а получить ресурс здесь и сейчас.

Для доступа к этому единому окну достаточно регистрации на портале. А при наличии интеграции CloudMaster с корпоративным AD роли сотрудников в компании и в проекте будут загружены в этот инструмент, автоматически определяя доступные проекты и ресурсы.


Окно запуска виртуальной машины

При наличии соответствующих прав одной командой можно запустить до 10 виртуальных машин типовых форм. В терминах CloudMaster это стандартные конфигурации, которые сопоставляются с типовыми предложениями ресурсов каждого из облаков (и настраиваются под задачу).


Типовые шаблоны для разных облаков

Можно создавать образы из существующих машин, пользоваться готовыми шаблонами инфраструктура как код или загружать свои (Terraform и CloudFormation).


Шаблоны

При этом ВМ могут создаваться бессрочно или работать по заданному расписанию. Это дает определенную свободу в использовании ресурсов. К примеру, компания может разрешить разработчикам использовать корпоративное облако для личных экспериментов и сравнений, но только на один день. Так, кстати, поступил клиент этой платформы, занимающийся заказной разработкой. Все созданные таким образом виртуальные машины удаляются сами в установленный срок.

С точки зрения менеджеров самое полезное в CloudMaster то, что учитывается каждая запущенная виртуальная машина. Для них предусмотрены разделы с полной информацией о ВМ в выбранном облаке/регионе, в том числе созданных по конкретным шаблонам, с биллингом от облачных провайдеров, метриками по потреблению ресурсов отдельными проектами, где можно выявить неиспользуемые или малоиспользуемые мощности.


Список ресурсов


Список виртуальных машин

Помимо отображения информации в интерфейсе, CloudMaster генерирует порядка 60 типов уведомлений, в том числе касающиеся финансов.


Пришедшие уведомления


И текст одного из уведомлений

Логика сервиса такова, что у каждой ВМ есть владелец человек, создавший эту виртуальную машину, или тот, кому эти функции были переданы. Владелец получает все уведомления об утилизации ресурсов или изменениях состояния ВМ, а также несет ответственность за затраты. В этом смысле CloudMaster помогает привить культуру контроля используемых мощностей и ответственности за оставленные машины-зомби.

Ограничения на создание новых ВМ регулируются правами доступа и квотами. И тут возможна настройка любых рабочих процессов, вплоть до допуска в облако представителей клиента. Можно прописать квоты для команд и предусмотреть различные действия при их достижении или приближении к некому пороговому значению (допустим, 70% от квоты).


Биллинг от облачных провайдеров


Окно управления квотами

Для частных облаков (OpenStack и VMware) CloudMaster поддерживает своего рода биржу оценку стоимости запуска виртуальных машин, с помощью которых можно выбирать более выгодную схему утилизации ресурсов. Коллеги говорят, что в будущем такая функция может появиться и для публичных облаков.

В этой системе мне ближе всего роль инфраструктурного инженера, поэтому ее оставил напоследок. Для DevOps это, конечно, новый инструмент, но зато появляется возможность контролировать, что происходит с облачными ресурсами, используя только его. Можно быстрее и проще разворачивать популярные инструменты конфигурирования, мониторинга и разработки вроде Chef и Ansible.

При необходимости для администраторов и разработчиков есть Java SDK.
Самое главное, что CloudMaster, как и другие CMP, позволяет перейти от ручного рутинного выделения ресурсов к более интересным задачам: проработке автоматизаций на базе инфраструктура как код и т.п.

По моему опыту, появление подобных инструментов оправдано, если в компании задействовано как минимум полсотни виртуальных машин и есть не менее полутора десятков активных пользователей разных облаков. С одной стороны, это некоторое усложнение инфраструктуры, но с другой приведение разнородных облаков, каждое из которых имеет собственные инструменты управления, к общему знаменателю с гарантией, что при этом не нарушаются внутренние корпоративные стандарты. При этом инструмент спускает ответственность за утилизацию ресурсов и планирование бюджета на уровень проектных менеджеров, что идеологически правильнее.

Привет, Хабр! Сегодня мы расскажем, как решать с помощью Azure задачи, которые обычно требуют человеческого участия. Операторы тратят много времени, чтобы отвечать на одни и те же вопросы, обрабатывать телефонные звонки и текстовые сообщения. Чат-боты автоматизируют общение и распознавание и позволяют снизить нагрузку на людей. Также боты используются в Azure DevOps, где позволяют, например, утверждать релизы, управлять сборками просматривать, запускать и останавливать прямо из Slack или Microsoft Teams. По сути, чат-бот в чем-то напоминает CLI, только интерактивный, и позволяет разработчику не выходить из контекста обсуждения в чате.

В этой статье мы поговорим об инструментах для создания чат-ботов, покажем, как их можно улучшить с помощью когнитивных сервисов, и опишем, как ускорить разработку благодаря готовым сервисам в Azure.

Чат-боты и когнитивные сервисы: чем похожи и в чем различие

Для создания ботов в Microsoft Azure используются служба Azure Bot и платформа Bot Framework. Вместе они представляют собой набор ПО для сборки, тестирования, развертывания и администрирования ботов, который позволяет создавать из готовых модулей как простые, так и продвинутые системы общения с поддержкой речи, распознаванием естественного языка и другими возможностями.

Предположим, что вам необходимо реализовать простой бот на базе корпоративного сервиса вопросов и ответов или, наоборот, создать функциональный бот со сложной разветвленной системой общения. Для этого можно воспользоваться рядом инструментов, условно разделенных на три группы:

1. Сервисы быстрой разработки диалоговых интерфейсов (ботов).
   
2. Готовые когнитивные сервисы ИИ под разные сценарии использования (распознавание образов, речи, база знаний и поиск).
   
3. Сервисы создания и обучения моделей ИИ.
   

Обычно люди интуитивно смешивают ботов и когнитивные сервисы, потому что в основе обоих понятий лежит принцип общения, а в сценарии использования ботов и сервисов есть диалоги. Но чат-боты работают с ключевыми словами и триггерами, а когнитивные сервисы с произвольными запросами, которые обычно обрабатываются людьми:



Когнитивные сервисы это еще один из способов коммуникации с пользователем, помогающий конвертировать произвольный запрос в четкую команду и передать его далее боту.

Таким образом, чат-боты это приложения для работы с запросами, а когнитивные сервисы это инструменты умного анализа запросов, которые запускаются отдельно, но к которым может обращаться чат-бот, становясь интеллектуальным.

Создание чат-ботов

Рекомендуемая схема проектирования бота в Azure выглядит следующим образом:



Для проектирования и разработки ботов в Azure используется Bot Framework. На GitHub есть примеры ботов, возможности фреймворка меняются, поэтому необходимо учитывать версию SDK, которая используется в ботах.

Фреймворк подразумевает несколько вариантов создания ботов: с помощью классического кода, инструментов командной строки или блок-схем. Последний вариант визуализирует диалоги, для этого можно использовать менеджер Bot Framework Composer. Он создавался на базе Bot Framework SDK как наглядный инструмент разработки, который междисциплинарные команды могли бы использовать для создания ботов.



Bot Framework Composer позволяет с помощью блоков создать структуру диалога, с которой будет работать бот. Дополнительно можно создавать триггеры, то есть ключевые слова, на которые бот будет реагировать во время диалога. К примеру, на слова оператор, кража или стоп и хватит.

В Bot Framework Composer можно создать сложно разветвленную систему диалогов, используя Adaptive Dialogs. Диалоги могут использовать как когнитивные сервисы, так и карточки событий (Adaptive Cards):



После создания можно развернуть чат-бота в подписке, причем автоматически подготовленный скрипт создаст все необходимые ресурсы: когнитивные сервисы, Application plan, Application Insights, базу данных и так далее.

QnA Maker

Для создания простых ботов на основе корпоративных БД вопросов и ответов можно использовать когнитивный сервис QnA Maker. Реализованный в виде простого веб-визарда, он позволяет подать на вход ссылку на корпоративную базу знаний (FAQ Urls) или взять за основу базу документов в формате *.doc или *.pdf. После создания индекса бот будет сам подбирать наиболее подходящие ответы на вопросы пользователя.

С помощью QnAMaker можно также создавать цепочки уточняющих вопросов с автоматическим созданием кнопок, дополнять базу знаний метаданными и дообучать сервис в процессе использования.

Сервис может использоваться как чат-бот, реализующий только одну эту функцию, либо как часть сложного чат-бота, использующего, в зависимости от запроса, и другие сервисы ИИ или элементы Bot Framework.

Работа с другими когнитивными сервисами

На платформе Azure много разных когнитивных сервисов. Технически это самостоятельные веб-сервисы, которые можно вызывать из кода. В ответ сервис присылает json определенного формата, который можно использовать в чат-боте.


Чаще всего в чат-ботах могут использоваться следующие:

1. Распознавание текста.
   
2. Распознавание определяемых разработчиком категорий образов Custom Vision Service (производственный кейс: распознавание, надел ли сотрудник каску, защитные очки или маску).
   
3. Распознавание лиц (отличный кейс использования проверка, свое ли лицо разместил анкетируемый, или, скажем, фото собачки или фото человека другого пола).
   
4. Распознавание речи.
   
5. Анализ изображений.
   
6. Перевод (все мы помним, сколько шума наделал синхронный перевод в Skype).
   
7. Проверка орфографии и предложения по исправлению ошибок.
   

LUIS

Также для создания ботов может потребоваться LUIS (Language Understanding Intelligent Service). Задачи сервиса:

• Определять, имеет ли смысл высказывание пользователя и необходима ли реакция бота.
  
• Сокращать усилия по транскрипции речи (текста) пользователя в понятные боту команды.
  
• Прогнозировать истинные пользовательские цели/намерения и извлекать ключевые сведения из фраз в диалоге.
  
• Дать возможность разработчику осуществлять запуск бота с использованием всего нескольких примеров распознавания смысла и последующим дообучением бота в процессе работы.
  
• Дать возможность разработчику использовать визуализацию для оценки качества транскрипции команд.
  
• Помочь в поэтапных улучшениях распознавания истинных целей.
  

По сути, главная цель LUIS с определенной вероятностью понять, что имел в виду пользователь и конвертировать естественный запрос в стройную команду. Для распознавания значений запросов LUIS использует набор интентов (смыслов, намерений) и сущностей (либо предварительно настроенных разработчиками, либо взятых и заранее сформированных доменов некоторых готовых библиотек типовых фраз, подготовленных Microsoft).

Простой пример: у вас есть бот, выдающий прогноз погоды. Для него интентом будет перевод естественного запроса в действие запрос прогноза погоды, а сущностями время и место. Приведем схему работы интента CheckWeather для такого бота.



Для сочетания QnA Maker и LUIS можно использовать Dispatcher.



Когда вы работаете с QnA Maker и получаете запрос от пользователя, то система определяет, с каким процентом вероятности ответ из QnA подходит для запроса. Если вероятность высокая, пользователю просто выдается ответ из корпоративной базы знаний, если низкая запрос может быть отправлен в LUIS для уточнения. Использование Dispatcher позволяет не программировать эту логику, а автоматически определять эту грань разделения запросов и оперативно их распределять.

Тестирование и публикация бота

Для тестирования используется еще одно локальное приложение, Bot framework emulator. С помощью эмулятора можно общаться с ботом и проверять сообщения, которые он отправляет и получает. Эмулятор отображает сообщения так, как они будут выглядеть в интерфейсе веб-чата, и регистрирует запросы и ответы JSON при обмене сообщениями с ботом.

Пример использования эмулятора представлен в этой демонстрации, где показывается создание виртуального ассистента для BMW. Также в видео рассказывается о новых акселераторах для создания чат-ботов темплейтах:


https://youtu.be/u7Gql-ClcVA?t=564

Вы также можете использовать темплейты при создании своих чат-ботов.
Темплейты позволяют не писать типовые функции бота заново, а добавлять уже готовый код в качестве навыка. Примером может быть работа с календарем, назначение встреч и т. п. Код готовых навыков опубликован на github.

Тестирование прошло успешно, бот готов, и теперь его надо опубликовать и подключить каналы. Публикация осуществляется средствами Azure, а в качестве каналов можно использовать мессенджеры или социальные сети. Если нет нужного канала для входа данных, можно поискать его в соответствующем комьюнити на GitHab.

Также для создания полноценного чат-бота в качестве интерфейса общения с пользователем и когнитивными сервисами вам, конечно, понадобятся дополнительные сервисы Azure, такие как базы данных, serverless (Azure Functions), а также сервисы LogicApp и, возможно, Event Grid.

Оценка и аналитика

Для оценки взаимодействия с пользователями можно использовать как встроенную аналитику Azure Bot Service, так и специальный сервис Application Insights.

В результате можно собирать информацию по следующим критериям:

• Сколько пользователей получили доступ к боту из различных каналов за выбранный промежуток времени.
  
• Сколько пользователей, отправивших одно сообщение, вернулись позже и отправили еще одно.
  
• Сколько действий было отправлено и получено с помощью каждого канала за указанный интервал времени.
  

При помощи Application Insights можно мониторить любые приложения в Azure и, в частности, чат-боты, получая дополнительные данные о поведении пользователей, нагрузках и реакции чат-бота. Нужно отметить, что сервис Application Insights имеет свой интерфейс на портале Azure.

Также данные, собранные через этот сервис, можно использовать для создания дополнительных визуализаций и аналитических отчетов в PowerBI. Пример такого отчета и темплейт для PowerBI можно взять здесь.



Всем спасибо за внимание! В этой статье мы использовали материал из вебинара архитектора Microsoft Azure, Анна Фенюшиной Когда люди не успевают. Как на 100% использовать чат-боты и когнитивные сервисы для автоматизации рутинных процессов, на котором мы наглядно показывали, что такое чат-боты в Azure и каковы сценарии их применения, а также демонстрировали, как за 15 минут создать бота в QnA Maker и как расшифровывается структура запросов в LUIS.

Мы сделали этот вебинар в рамках онлайн-марафона для разработчиков Dev Bootcamp. На нем речь шла о продуктах, которые ускоряют разработку и снимают часть рутинной нагрузки с сотрудников компании с помощью инструментов автоматизации и готовых преднастроенных модулей Azure. Записи других вебинаров, которые вошли в марафон, доступны по ссылкам:

• Azure DevOps как средство организации полного цикла разработки на любом языке и для любой платформы, используя практики DevOps
  Рассказываем об эволюции и новых возможностях сервиса Azure DevOps. В деталях разбираем все пять основных его компонентов и то, как сервис помогает организации промышленной разработки программного обеспечения. Ведущий Владимир Гусаров Microsoft MVP.
• Организация CI/CD с использованием Azure Pipelines
  Рассматриваем, как реализовать подход сборка как код для любых языков программирования с использованием multi-staged YAML pipelines. Ведущий Владимир Гусаров Microsoft MVP.
• Практики одновременной поддержки нескольких версий продукта в промышленной разработки, используя Azure Repos
  Обсуждаем, как вырабатывать стратегии хранения исходного кода ПО, как использовать системы хранения версий с помощью Azure Repos. Ведущий Владимир Гусаров Microsoft MVP.
• WhiteSource. Мониторинг безопасных open source библиотек
  Знакомим с методиками управления open source при разработке и практическим применением инструмента WhiteSource. Рассказываем про поиск уязвимостей в компонентах с открытым исходным кодом и соблюдение лицензионной чистоты с помощью WhiteSource. Ведущие Диана Лисбарон, Director of Sales WhiteSource, и Орешкина Дарья, Web Control, официальный дистрибьютор WhiteSource в России.