Всем привет! Мы активно работаем над развитием нашей системы блокировки нежелательных IP-адресов и сегодня рады рассказать сообществу о нашей новой разработке плагине WordPress для упрощения жизни веб-мастеров и защиты администрируемых ими сайтов.

Как и многие другие наши решения, новый баунсер для WordPress опенсорсная разработка, которую мы распространяем под лицензией MIT. Распространяем мы его в виде официально подтвержденного WordPress-плагина. Ознакомиться со страницей нашей разработки и скачать его можно на официальном сайте WordPress.

Новый баунсер CrowdSec для WordPress решает сразу две задачи веб-мастера: отсекает нежелательные IP-адреса и имеет дополнительную функцию более мягкой блокировки показывает нежелательным или подозрительным IP-адресам капчу.

Для того, чтобы плагин работал, вам, как и в случае отдельно взятого сервера или сети, нужно будет установить серверную часть CrowdSec. Ранее мы уже публиковали небольшой туториал на эту тему, почитать можно тут. Наш плагин для WordPress совместим с версиями CrowdSec 1.0.х, то есть с последними актуальными релизами после нашего большого обновления, в котором мы провели рефакторинг архитектуры и перешли на использование API вместо прямых обращений элементов системы к БД.

Flex Mode

Сайты на WordPress это, очень часто, сайты малого и среднего бизнеса, который пользуется готовым решением вместо собственной длительной разработки. Таким ресурсам крайне важен каждый посетитель, который потенциально может стать клиентом или покупателем. Также у веб-мастеров часто просто нет бюджета, либо это самоучки, которые не знаю, как правильно настроить защиту.

CrowdSec достаточно мощный инструмент, как и любой другой проект в этой сфере, а перманентный бан по IP-адресу не шутка.

Именно для того, чтобы веб-мастер по незнанию или не внимательности не сделал непоправимое, мы создали Flex Mode для плагина WordPress.

Flex Mode это щадящий режим работы баунсера и сервера с сайтом. В этом режиме владелец подозрительного IP-адреса не может получить перманентный бан. Максимум ограничений доступа к сайту для такого посетителя заключается в необходимости пройти капчу.

Мы считаем, что капча достаточно эффективный инструмент, который поможет эффективно ограничить достаточно большую часть подозрительных посещений ресурса, а возможность подключить капчу обычной установкой плагина хороший способ быстро обезопасить свой сайт на WordPress. Да, нужно будет установить и серверную часть нашего продукта, но, на самом деле, там нет ничего сложно и справится даже начинающий пользователь, который хотя бы отдаленно знаком с консолью.

Специально для тех, кому не плевать на внешний вид их сайта, мы дополнительно ввели систему кастомизации внешнего вида окна капчи, которое выдает наш плагин подозрительным посетителям. Вот так выглядит дефолтная капча:

А вот так уже кастомизированная:

Мы знаем, что внешний вид не имеет отношения к функциям защиты, однако возможность органично вписать капчу в сайт не лишняя. Как минимум визуально посетитель поймет, что к сайту относятся серьезнее, чем во многих других местах, где он сталкивался с капчей.

Баланс защиты и производительности

У нашего плагина есть два режима поддержания связи с серверной частью CrowdSec.

Первый режим по умолчанию "Live mode". Это режим, в котором баунсер при обращении к сайту нового пользователя в режиме реального времени обращается к API сервера для получения информации. В том числе, в этом режиме, IP посетителя сайта проверяется и по общему бан-листу CrowdSec, который генерируется с нашей стороны как разработчиков. После этого сервер передает информацию обратно баунсеру в плагине и он уже банит/не банит пользователя, или показывает ему капчу.

Этот мод обеспечивает наибольшую защиту вашего сайта, но, как можно понять, влияет на производительность сайта и, при большом трафике, создает нагрузку на серверную часть CrowdSec, генерируя поток трафика.

Если подобные постоянные запросы к серверу для вас неприемлемы, то вам подойдет второй вариант работы плагина, на который его можно переключить.

Он называется "Stream Mode" и работает по обратному принципу, нежели "Live Mode". При включении режима поточной работы, главным инициатором выгрузки бан-листа становится серверная часть, которая с определенной периодичностью просто обновляет списки на стороне баунсера, позволяя тому работать с большей автономией.

Режим стриминга не только снижает нагрузку на все участки описываемой нами системы, но и исключает серьезное влияние на производительность сайта со стороны баунсера, а также почти не создает интернет-трафика. Такой мод подойдет для администраторов и веб-мастеров крупных ресурсов, либо же ресурсов, размещенных на не слишком мощном хостинге.

Если вы используете CDN, обратный прокси или балансировщик нагрузки, вы сможете указать в настройках баунсера диапазоны IP-адресов этих устройств. Это позволит вам проверять IP-адреса ваших пользователей. Для других IP-адресов баунсер не будет доверять заголовку X-Forwarded-For.

Что будет дальше

Мы не остановили работу над плагином после релиза и в ближайшем будущем он получил визуальную панель управления, через которую можно будет визуализировать активность баунсера. Это даст больше информации и понимания того, что происходит с вашим сайтом и насколько эффективен плагин CrowdSec. Также вскоре мы позволим напрямую подключаться к репутационной базе, которую мы собираем сами, так что вам не понадобится агент для проверки публичного бан-листа.

Новый плагин мы протестировали на большинстве версий WordPress, которые сейчас актуальны в мире. В общей сложности, тестами мы покрыли 90%, если верить статистике использования WP по миру. Также мы проводили тестирование на PHP версий 7.2, 7.3, 7.4 и 8, чтобы исключить конфликты на уровне языка, на котором написан WordPress. Само собой, с выходом новых версий как движка, так и языка программирование, мы продолжим работу в этом направлении.

Повторимся, что плагин выпущен под лицензией MIT самой свободной и широкой бесплатной лицензией в мире. Исходный код плагина полностью доступен на GitHub, как и исходный код CrowdSec.

Новые баунсеры можно найти на нашем хабе, там же мы в первую очередь публикуем новые версии и обновления.

Чтобы поймать преступника, ты должен думать, как преступник, ты должен чувствовать, как преступник, ты должен сам стать преступником!

Подобную фразу можно встретить во многих детективных фильмах или триллерах, где защитники правопорядка пытаются поймать неуловимого злодея. В эпоху Интернета теми самыми неуловимыми злодеями можно назвать киберпреступников (хакеров), которым для совершения преступлений не требуется показывать своего лица, и даже не обязательно находиться в одной стране с жертвой атаки, а все их действия могут остаться анонимными. Чтобы понять как действует злоумышленником, нужно самому стать им. Однако, у Уголовного Кодекса РФ на это другие взгляды. В частности, 28 глава УК РФ регулирует преступления в сфере компьютерной информации. Как быть в этом случае специалисту по информационной безопасности, если нарушать законодательство - плохая идея, а понять как мыслит злоумышленник все же необходимо? На помощь приходят бесплатные площадки тестирования на проникновение, где любой желающий может попробовать свои силы в пентесте, прокачать собственные навыки и использовать полученные знания для повышения уровня защищенности своей компании. Есть 2 типа площадок:

• онлайн;

• оффлайн.

К онлайн относят довольно популярные ресурсы: Test lab от Pentestit, hackthebox, pentesterlab, Root me и многие другие. Все эти площадки довольно популярные и останавливаться на них мы не будем. Сегодня мы поговорим про оффлайн площадку TWAPT.

Статья носит информационный характер. Не нарушайте законодательство.

TWAPT

Домашняя страница

Сам по себе проект задумывался как сборник нескольких оффлайн платформ для тестирования на проникновение.

Весь набор представлен в виде Docker-контейнеров, которые можно просто скачать и запустить за "пару кликов". Но перед этим необходимо установить (на примере Debian 10):

# apt update# apt install apt-transport-https ca-certificates curl gnupg lsb-release# curl -fsSL https://download.docker.com/linux/debian/gpg | gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg# echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | tee /etc/apt/sources.list.d/docker.list > /dev/null# apt update# apt install docker-ce docker-ce-cli containerd.io

# apt update# curl -L "https://github.com/docker/compose/releases/download/1.29.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose# chmod +x /usr/local/bin/docker-compose# docker-compose --version

Скачивание и запуск контейнеров происходит командами:

# git clone https://github.com/MoisesTapia/TWAPT# cd TWAPT# docker-compose up -d

Чтобы узнать какой порт заняло то или иное веб-приложение нужно выполнить команду:

# docker-compose ps

Вероятно, предполагалось, что от пользователя кроме запуска контейнера больше нчиего не потребуется, но в реальности некоторые контейнеры после запуска требуют дополнительных манипуляций. Например, после запуска контейнера с bWAPP требуется перейти по адресу localhost:8082/install.php и произвести установку БД для корректной работы, после этого можно продолжать пользоваться. А в случае с VulnWordpress нужно скрипт start.sh запустить самостоятельно внутри контейнера. Для этого необходимо:

• Узнать ID контейнера:

# docker ps -a

• Запустить оболочку контейнера:

# docker exec -ti /ID контейнера/ bash -c "/bin/bash"

• Самостоятельно выполнить script.sh.

После этого можно произвести установку WordPress.

Состав набора

Mutillidae

Mutillidae - язвимое веб-приложение, поддерживаемое организацией OWASP, которое включает в себя порядка 40 различных веб-уязвимостей, которые актуальны для OWASP Top Ten 2007, 2010, 2013 и 2017. На сайте присутствуют подсказки для прохождения заданий, а если приложение стало некорректно работать, то можно кнопкой "Reset DB" сбросить настройки БД и восстановить работоспособность веб-приложения. Такая же функция есть почти у всех ресурсов, которые представлены ниже.

bWAPP

bWAPP (buggy web application) - это бесплатное, намеренно небезопасное веб-приложение с открытым исходным кодом. Тоже охватывает все уязвимости, присутствующие в OWASP Top Ten.

Для каждой задачи можно установить уровни сложности, которые можно повышать. Например, выберем задачу с перебором пароля:

• уровень Low;

  На первом уровне для перебора требуется только ввести логин и пароль.

  

• уровень Medium;

  Уже сложнее, для каждого запроса используется собственный salt, который обновляется.

  

• уровень High.

  Самый сложный вариант, когда для входа необходимо пройти капчу.

  

WebGoat

WebGoat - это заведомо небезопасное приложение, которое позволяет тестировать уязвимости, обычно обнаруживаемые в приложениях, написанные на Java и использующих популярные компоненты с открытым исходным кодом.

DVWAP

DVWAP - уязвимое веб-приложение, написанное на PHP и использующее MySQL в качестве базы данных. Среди уязвимостей, которые представлены в веб-приложении, собраны множество типов инъекций, XSS, LFI/RFI, уязвимости капчи и т.д. Также присутствует 3 уровня сложности, но в отличие от того же bWAPP есть четвертый уровень - impossible, где невозможно проэксплуатировать уязвимость и разработчики дают краткое пояснение почему. После первого запуска контейнера необходимо нажать кнопку "Setup/Reset DB" для установки базы данных.

Bricks

Bricks - еще одно веб-приложение, написанное на PHP. Из набора уязвимостей, которые используются в составе платформы: различные уязвимости страницы аутентификации, формы загрузки файлов, а также SQL-инъекции. Из плюсов можно назвать подсказку по команде, которую для наглядности формирует и отправляет веб-приложение к базе данных. Поэтому можно смотреть какой запрос был отправлен, корректен ли он и как его можно изменить. В целом, набор заложенных уязвимостей немного уступает тем же bWAPP или DVWAP.

Juice-Shop

Juice-Shop - уязвимое веб-приложение, написанное на Node.js, Express и Angular и представляет из себя типичный пример интернет-магазина с 1-2 присущими ему уязвимостями, перечисленными в OWASP Top Ten, такими как Injection, XSS, Broken Authentication, Broken Access Control, Sensitive Data Exposure и т.д.

NinjaWeb

NinjaWeb, как и на всех предыдущих платформах, использует уязвимости, находщиеся в OWASP Top Ten. Приятным бонусом для данной платформы также стало наличие подсказок и полноценное прохождение задания в случае затруднений, не требующее от пользователя искать прохождение на сторонних ресурсах.

VulnWordPress

VulnWordPress - чистый CMS WordPress, где можно установить уязвимый компонент и проверить наличие уязвимости.

Тестирование WAF

Заведомо уязвимые веб-приложения хороши еще и тем, что на их примере можно оценить работу средств защиты, например, WAF. Достаточно на локальном сервере развернуть платформу, а в случае с Docker-контейнером это сделать достаточно просто, и настроить работу WAF на уязвимое веб-приложение. Теперь мы не просто изучаем как эксплуатируются веб-уязвимости, но и пробуем обойти средства защиты, чтобы еще больше приблизиться к реальным условиям, с которыми сталкивается злоумышленник при атаках.

Попробуем протестировать веб-приложение DVWAP, защитив его с помощью Nemesida WAF Free (бесплатная версия), который обеспечивает защиту на основе сигнатурного анализа. Для сегодняшнего тестирования этого будет достаточно. Но у сигнатурного анализа, несмотря на все его преимущества, есть недостатки, например, база сигнатур находится в открытомдоступеи злоумышленник, используя ее, может составить запрос, который позволит обойти защиту. Тем не менее, если база сигнатур составлена качественно, то и уровень защиты веб-приложения будет высоким.

Итак, протестируем один из самых популярных классов уязвимостей согласно OWASP Top Ten - инъекции.

Command injection

Пробуем подставить команду в поле для проверки доступности сервера:

127.0.0.1; ls /

От данной атаки Nemesida WAF Free не смог защитить. Тогда попробуем прочитать файл /etc/passwd.

2021/04/13 10:57:23 [error] 6261#6261: *11 Nemesida WAF: the request 8c137c6199bfdb63851c0c7b15468897 blocked by rule ID 1559 in zone BODY, client: 192.168.0.135, server: dvwa.site.lan, request: "POST /vulnerabilities/exec/ HTTP/1.1", host: "dvwa.site.lan", referrer: "http://dvwa.site.lan/vulnerabilities/exec/"

В error.log видим блокировку по правилу 1559. Обращаемся к базе сигнатур и смотрим сигнатуру, по которой был заблокирован запрос:

В первом случае запрос не был заблокирован, но это сделано для того, чтобы веб-приложение могло нормально функционировать т.к. в противном случае любой URL будет блокироваться из-за знака "/". Во втором случае на основе сигнатур запрос был заблокирован.

Попробуем обойти блокировку, для этого воспользуемся инструментом Commix.

# python commix.py -u http://dvwa.site.lan/vulnerabilities/exec/ -d "ip=127.0.0.1&Submit=Submit" -p "ip"

В результате все атаки были заблокированы.

SQLi

Теперь тестируем более известный вид инъекций, защитив уязвимое веб-приложение Nemesida WAF Free.

# sqlmap -u 'http://dvwa.site.lan/vulnerabilities/sqli/?id=1*&Submit=Submit'  --dbs --random-agent

Все попытки эксплуатации уязвимости заблокированы:

Попробуем добавить скрипты для обфускации пейлоадов, доступные в SQLmap. Но это не принесло результатов:

XSS

Последними в списке будут не менее популярные XSS. Для тестирования воспользуемся инструментом XSStrike:

# python3 xsstrike.py -u 'http://dvwa.site.lan/vulnerabilities/xss_r/?name='

В стандартной конфигурации Nemesida WAF Free заблокировал все атаки:

Вывод

TWAPT однозначно отличная площадка для проверки и оттачивания навыков в области практической информационной безопасности, которая позволяет специалисту тренироваться и развиваться не нарушая законодательство. К тому же, метод защиты заведомо уязвимых стендов для проверки работы WAF, пожалуй, один из лучших способов его тестирования и при грамотном составлении базы сигнатур вероятность эксплуатации уязвимостей заметно сокращается. Методы атак веб-приложений и обхода средств защиты с каждым днем развиваются. Так или иначе, когда-нибудь сигнатурный анализ уже будет не так эффективен как сейчас. Однако, в Nemesida WAF используется модуль машинного обучения Nemesida AI, который за счет использования поведенческих моделей, построенных на основе запросов к конкретному веб-приложению, позволяет значительно повысить точность выявления атак с минимальным количеством ложных срабатываний. Также реализован механизм выявления ботов, смс-флуда, защиты от атак методом пебора паролей

В первой части я поделился своим взглядом на то, какими могут быть переиспользуемые front-end блоки, получил конструктивную критику, доработал пакет и теперь хотел бы поделиться с вами новой версией. Она позволит легко организовать использование модульных блоков для любого проекта с бекендом на php.

Для тех кто не знаком с первой частью я буду оставлять спойлеры из нее, которые введут в курс дела. Тем кому интересен конечный результат - демонстрационный пример и ссылки на репозитории в конце статьи.

Структура пакета

1. Блок

   Каждый блок будет состоять из:

   1. Статических ресурсов (css/js/twig)

   2. Класса блока, который будет предоставлять данные для twig шаблона и управлять зависимостями.

2. Вспомогательные классы: Settings (пути к блокам и их пространства имен), TwigWrapper (обертка для Twig пакета), BlocksLoader (автозагрузка всех блоков, опционально), Helper (набор статических доп. функций)

3. Renderer класс - связующий класс, который будет объединять вспомогательные классы, предоставлять функцию рендера блока, содержать список использованных блоков и их ресурсы (css, js)

Требования к блокам

В отличии от первого пакета количество требований сократилось, теперь это:

• php 7.4

• Классы блоков должны иметь PSR-4 совместимое пространство имен с автозагрузчиком (PSR-4 де факто стандарт, если вы используете автозагрузчик от composer, т.е. указываете autoload/psr4 директиву в вашем composer.json то ваш проект уже соответствует этому требованию)

• Имена ресурсов должны совпадать с именем блока (например для Button.php будут Button.css и Button.twig)

Реализация

Ниже части реализации (классы) будут в формате : текстовое описание, код реализации и код тестов.

Block

Основной действующий класс, его потомки будут содержать данные для twig шаблона (в protected полях) и предоставлять список зависимостей, а также мы сможем получить путь к ресурсам (шаблону, стилям). Все наша магия при работе с полями будет строится на функции get_class_vars которая предоставит имена полей класса и на ReflectionProperty классе, который предоставит информацию об этих полях, такую как видимость поля (protected/public) и его тип. Мы будем собирать информацию только о protected полях.

Также упростим дальнейшую разработку, добавив автоинициализацию полей значением по умолчанию, это избавит нас от необходимости инициализировать их в конструкторе вручную, что при большом количестве блоков сэкономит наше время.

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks;use Exception;use ReflectionProperty;abstract class Block{    public const TEMPLATE_KEY_NAMESPACE = '_namespace';    public const TEMPLATE_KEY_TEMPLATE = '_template';    public const TEMPLATE_KEY_IS_LOADED = '_isLoaded';    public const RESOURCE_KEY_NAMESPACE = 'namespace';    public const RESOURCE_KEY_FOLDER = 'folder';    public const RESOURCE_KEY_RELATIVE_RESOURCE_PATH = 'relativeResourcePath';    public const RESOURCE_KEY_RELATIVE_BLOCK_PATH = 'relativeBlockPath';    public const RESOURCE_KEY_RESOURCE_NAME = 'resourceName';    private array $fieldsInfo;    private bool $isLoaded;    public function __construct()    {        $this->fieldsInfo = [];        $this->isLoaded   = false;        $this->readFieldsInfo();        $this->autoInitFields();    }    public static function onLoad()    {    }    public static function getResourceInfo(Settings $settings, string $blockClass = ''): ?array    {        // using static for child support        $blockClass = ! $blockClass ?            static::class :            $blockClass;        // e.g. $blockClass = Namespace/Example/Theme/Main/ExampleThemeMain        $resourceInfo = [            self::RESOURCE_KEY_NAMESPACE              => '',            self::RESOURCE_KEY_FOLDER                 => '',            self::RESOURCE_KEY_RELATIVE_RESOURCE_PATH => '',// e.g. Example/Theme/Main/ExampleThemeMain            self::RESOURCE_KEY_RELATIVE_BLOCK_PATH    => '',// e.g. Example/Theme/Main            self::RESOURCE_KEY_RESOURCE_NAME          => '',// e.g. ExampleThemeMain        ];        $blockFolderInfo = $settings->getBlockFolderInfoByBlockClass($blockClass);        if (! $blockFolderInfo) {            $settings->callErrorCallback(                [                    'error'      => 'Block has the non registered namespace',                    'blockClass' => $blockClass,                ]            );            return null;        }        $resourceInfo[self::RESOURCE_KEY_NAMESPACE] = $blockFolderInfo['namespace'];        $resourceInfo[self::RESOURCE_KEY_FOLDER]    = $blockFolderInfo['folder'];        //  e.g. Example/Theme/Main/ExampleThemeMain        $relativeBlockNamespace = str_replace($resourceInfo[self::RESOURCE_KEY_NAMESPACE] . '\\', '', $blockClass);        // e.g. ExampleThemeMain        $blockName = explode('\\', $relativeBlockNamespace);        $blockName = $blockName[count($blockName) - 1];        // e.g. Example/Theme/Main        $relativePath = explode('\\', $relativeBlockNamespace);        $relativePath = array_slice($relativePath, 0, count($relativePath) - 1);        $relativePath = implode(DIRECTORY_SEPARATOR, $relativePath);        $resourceInfo[self::RESOURCE_KEY_RELATIVE_RESOURCE_PATH] = $relativePath . DIRECTORY_SEPARATOR . $blockName;        $resourceInfo[self::RESOURCE_KEY_RELATIVE_BLOCK_PATH]    = $relativePath;        $resourceInfo[self::RESOURCE_KEY_RESOURCE_NAME]          = $blockName;        return $resourceInfo;    }    private static function getResourceInfoForTwigTemplate(Settings $settings, string $blockClass): ?array    {        $resourceInfo = self::getResourceInfo($settings, $blockClass);        if (! $resourceInfo) {            return null;        }        $absTwigPath = implode(            '',            [                $resourceInfo['folder'],                DIRECTORY_SEPARATOR,                $resourceInfo['relativeResourcePath'],                $settings->getTwigExtension(),            ]        );        if (! is_file($absTwigPath)) {            $parentClass = get_parent_class($blockClass);            if ($parentClass &&                is_subclass_of($parentClass, self::class) &&                self::class !== $parentClass) {                return self::getResourceInfoForTwigTemplate($settings, $parentClass);            } else {                return null;            }        }        return $resourceInfo;    }    final public function getFieldsInfo(): array    {        return $this->fieldsInfo;    }    final public function isLoaded(): bool    {        return $this->isLoaded;    }    private function getBlockField(string $fieldName): ?Block    {        $block      = null;        $fieldsInfo = $this->fieldsInfo;        if (key_exists($fieldName, $fieldsInfo)) {            $block = $this->{$fieldName};            // prevent possible recursion by a mistake (if someone will create a field with self)            // using static for children support            $block = ($block &&                      $block instanceof Block &&                      get_class($block) !== static::class) ?                $block :                null;        }        return $block;    }    public function getDependencies(string $sourceClass = ''): array    {        $dependencyClasses = [];        $fieldsInfo        = $this->fieldsInfo;        foreach ($fieldsInfo as $fieldName => $fieldType) {            $dependencyBlock = $this->getBlockField($fieldName);            if (! $dependencyBlock) {                continue;            }            $dependencyClass = get_class($dependencyBlock);            // 1. prevent the possible permanent recursion            // 2. add only unique elements, because several fields can have the same type            if (                ($sourceClass && $dependencyClass === $sourceClass) ||                in_array($dependencyClass, $dependencyClasses, true)            ) {                continue;            }            // used static for child support            $subDependencies = $dependencyBlock->getDependencies(static::class);            // only unique elements            $subDependencies = array_diff($subDependencies, $dependencyClasses);            // sub dependencies are before the main dependency            $dependencyClasses = array_merge($dependencyClasses, $subDependencies, [$dependencyClass,]);        }        return $dependencyClasses;    }    // can be overridden for add external arguments    public function getTemplateArgs(Settings $settings): array    {        // using static for child support        $resourceInfo = self::getResourceInfoForTwigTemplate($settings, static::class);        $pathToTemplate = $resourceInfo ?            $resourceInfo[self::RESOURCE_KEY_RELATIVE_RESOURCE_PATH] . $settings->getTwigExtension() :            '';        $namespace      = $resourceInfo[self::RESOURCE_KEY_NAMESPACE] ?? '';        $templateArgs = [            self::TEMPLATE_KEY_NAMESPACE => $namespace,            self::TEMPLATE_KEY_TEMPLATE  => $pathToTemplate,            self::TEMPLATE_KEY_IS_LOADED => $this->isLoaded,        ];        if (! $pathToTemplate) {            $settings->callErrorCallback(                [                    'error' => 'Twig template is missing for the block',                    // using static for child support                    'class' => static::class,                ]            );        }        foreach ($this->fieldsInfo as $fieldName => $fieldType) {            $value = $this->{$fieldName};            if ($value instanceof self) {                $value = $value->getTemplateArgs($settings);            }            $templateArgs[$fieldName] = $value;        }        return $templateArgs;    }    protected function getFieldType(string $fieldName): ?string    {        $fieldType = null;        try {            // used static for child support            $property = new ReflectionProperty(static::class, $fieldName);        } catch (Exception $ex) {            return $fieldType;        }        if (! $property->isProtected()) {            return $fieldType;        }        return $property->getType() ?            $property->getType()->getName() :            '';    }    private function readFieldsInfo(): void    {        $fieldNames = array_keys(get_class_vars(static::class));        foreach ($fieldNames as $fieldName) {            $fieldType = $this->getFieldType($fieldName);            // only protected fields            if (is_null($fieldType)) {                continue;            }            $this->fieldsInfo[$fieldName] = $fieldType;        }    }    private function autoInitFields(): void    {        foreach ($this->fieldsInfo as $fieldName => $fieldType) {            // ignore fields without a type            if (! $fieldType) {                continue;            }            $defaultValue = null;            switch ($fieldType) {                case 'int':                case 'float':                    $defaultValue = 0;                    break;                case 'bool':                    $defaultValue = false;                    break;                case 'string':                    $defaultValue = '';                    break;                case 'array':                    $defaultValue = [];                    break;            }            try {                if (is_subclass_of($fieldType, Block::class)) {                    $defaultValue = new $fieldType();                }            } catch (Exception $ex) {                $defaultValue = null;            }            // ignore fields with a custom type (null by default)            if (is_null($defaultValue)) {                continue;            }            $this->{$fieldName} = $defaultValue;        }    }    final protected function load(): void    {        $this->isLoaded = true;    }}

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks\Tests\unit;use Codeception\Test\Unit;use LightSource\FrontBlocks\Block;use LightSource\FrontBlocks\Settings;use org\bovigo\vfs\vfsStream;use UnitTester;class BlockTest extends Unit{    protected UnitTester $tester;    public function testReadProtectedFields()    {        $block = new class extends Block {            protected $loadedField;        };        $this->assertEquals(            ['loadedField',],            array_keys($block->getFieldsInfo())        );    }    public function testIgnoreReadPublicFields()    {        $block = new class extends Block {            public $ignoredField;        };        $this->assertEquals(            [],            array_keys($block->getFieldsInfo())        );    }    public function testReadFieldWithType()    {        $block = new class extends Block {            protected string $loadedField;        };        $this->assertEquals(            [                'loadedField' => 'string',            ],            $block->getFieldsInfo()        );    }    public function testReadFieldWithoutType()    {        $block = new class extends Block {            protected $loadedField;        };        $this->assertEquals(            [                'loadedField' => '',            ],            $block->getFieldsInfo()        );    }    public function testAutoInitIntField()    {        $block = new class extends Block {            protected int $int;            public function getInt()            {                return $this->int;            }        };        $this->assertTrue(0 === $block->getInt());    }    public function testAutoInitFloatField()    {        $block = new class extends Block {            protected float $float;            public function getFloat()            {                return $this->float;            }        };        $this->assertTrue(0.0 === $block->getFloat());    }    public function testAutoInitStringField()    {        $block = new class extends Block {            protected string $string;            public function getString()            {                return $this->string;            }        };        $this->assertTrue('' === $block->getString());    }    public function testAutoInitBoolField()    {        $block = new class extends Block {            protected bool $bool;            public function getBool()            {                return $this->bool;            }        };        $this->assertTrue(false === $block->getBool());    }    public function testAutoInitArrayField()    {        $block = new class extends Block {            protected array $array;            public function getArray()            {                return $this->array;            }        };        $this->assertTrue([] === $block->getArray());    }    public function testAutoInitBlockField()    {        $testBlock        = new class extends Block {        };        $testBlockClass   = get_class($testBlock);        $block            = new class ($testBlockClass) extends Block {            protected $block;            private $testClass;            public function __construct($testClass)            {                $this->testClass = $testClass;                parent::__construct();            }            public function getFieldType(string $fieldName): ?string            {                return ('block' === $fieldName ?                    $this->testClass :                    parent::getFieldType($fieldName));            }            public function getBlock()            {                return $this->block;            }        };        $actualBlockClass = $block->getBlock() ?            get_class($block->getBlock()) :            '';        $this->assertEquals($actualBlockClass, $testBlockClass);    }    public function testIgnoreAutoInitFieldWithoutType()    {        $block = new class extends Block {            protected $default;            public function getDefault()            {                return $this->default;            }        };        $this->assertTrue(null === $block->getDefault());    }    public function testGetResourceInfo()    {        $settings = new Settings();        $settings->addBlocksFolder('TestNamespace', 'test-folder');        $this->assertEquals(            [                Block::RESOURCE_KEY_NAMESPACE              => 'TestNamespace',                Block::RESOURCE_KEY_FOLDER                 => 'test-folder',                Block::RESOURCE_KEY_RELATIVE_RESOURCE_PATH => 'Button/Theme/Red/ButtonThemeRed',                Block::RESOURCE_KEY_RELATIVE_BLOCK_PATH    => 'Button/Theme/Red',                Block::RESOURCE_KEY_RESOURCE_NAME          => 'ButtonThemeRed',            ],            Block::getResourceInfo($settings, 'TestNamespace\\Button\\Theme\\Red\\ButtonThemeRed')        );    }    public function testGetDependenciesWithSubDependenciesRecursively()    {        $spanBlock   = new class extends Block {        };        $buttonBlock = new class ($spanBlock) extends Block {            protected $spanBlock;            public function __construct($spanBlock)            {                parent::__construct();                $this->spanBlock = $spanBlock;            }        };        $formBlock   = new class ($buttonBlock) extends Block {            protected $buttonBlock;            public function __construct($buttonBlock)            {                parent::__construct();                $this->buttonBlock = $buttonBlock;            }        };        $this->assertEquals(            [                get_class($spanBlock),                get_class($buttonBlock),            ],            $formBlock->getDependencies()        );    }    public function testGetDependenciesInRightOrder()    {        $spanBlock   = new class extends Block {        };        $buttonBlock = new class ($spanBlock) extends Block {            protected $spanBlock;            public function __construct($spanBlock)            {                parent::__construct();                $this->spanBlock = $spanBlock;            }        };        $formBlock   = new class ($buttonBlock) extends Block {            protected $buttonBlock;            public function __construct($buttonBlock)            {                parent::__construct();                $this->buttonBlock = $buttonBlock;            }        };        $this->assertEquals(            [                get_class($spanBlock),                get_class($buttonBlock),            ],            $formBlock->getDependencies()        );    }    public function testGetDependenciesWhenBlocksAreDependentFromEachOther()    {        $buttonBlock = new class extends Block {            protected $formBlock;            public function __construct()            {                parent::__construct();            }            public function setFormBlock($formBlock)            {                $this->formBlock = $formBlock;            }        };        $formBlock   = new class ($buttonBlock) extends Block {            protected $buttonBlock;            public function __construct($buttonBlock)            {                parent::__construct();                $this->buttonBlock = $buttonBlock;            }        };        $buttonBlock->setFormBlock($formBlock);        $this->assertEquals(            [                get_class($buttonBlock),            ],            $formBlock->getDependencies()        );    }    public function testGetDependenciesWithoutDuplicatesWhenSeveralWithOneType()    {        function getButtonBlock()        {            return new class extends Block {            };        }        $inputBlock = new class (getButtonBlock()) extends Block {            protected $buttonBlock;            public function __construct($buttonBlock)            {                parent::__construct();                $this->buttonBlock = $buttonBlock;            }        };        $formBlock = new class ($inputBlock) extends Block {            protected $inputBlock;            protected $firstButtonBlock;            protected $secondButtonBlock;            public function __construct($inputBlock)            {                parent::__construct();                $this->inputBlock        = $inputBlock;                $this->firstButtonBlock  = getButtonBlock();                $this->secondButtonBlock = getButtonBlock();            }        };        $this->assertEquals(            [                get_class(getButtonBlock()),                get_class($inputBlock),            ],            $formBlock->getDependencies()        );    }    public function testGetTemplateArgsWhenBlockContainsBuiltInTypes()    {        $settings    = new Settings();        $buttonBlock = new class extends Block {            protected string $name;            public function __construct()            {                parent::__construct();                $this->name = 'button';            }        };        $this->assertEquals(            [                Block::TEMPLATE_KEY_NAMESPACE => '',                Block::TEMPLATE_KEY_TEMPLATE  => '',                Block::TEMPLATE_KEY_IS_LOADED => false,                'name'                        => 'button',            ],            $buttonBlock->getTemplateArgs($settings)        );    }    public function testGetTemplateArgsWhenBlockContainsAnotherBlockRecursively()    {        $settings    = new Settings();        $spanBlock   = new class extends Block {            protected string $name;            public function __construct()            {                parent::__construct();                $this->name = 'span';            }        };        $buttonBlock = new class ($spanBlock) extends Block {            protected $spanBlock;            public function __construct($spanBlock)            {                parent::__construct();                $this->spanBlock = $spanBlock;            }        };        $formBlock   = new class ($buttonBlock) extends Block {            protected $buttonBlock;            public function __construct($buttonBlock)            {                parent::__construct();                $this->buttonBlock = $buttonBlock;            }        };        $this->assertEquals(            [                Block::TEMPLATE_KEY_NAMESPACE => '',                Block::TEMPLATE_KEY_TEMPLATE  => '',                Block::TEMPLATE_KEY_IS_LOADED => false,                'buttonBlock'                 => [                    Block::TEMPLATE_KEY_NAMESPACE => '',                    Block::TEMPLATE_KEY_TEMPLATE  => '',                    Block::TEMPLATE_KEY_IS_LOADED => false,                    'spanBlock'                   => [                        Block::TEMPLATE_KEY_NAMESPACE => '',                        Block::TEMPLATE_KEY_TEMPLATE  => '',                        Block::TEMPLATE_KEY_IS_LOADED => false,                        'name'                        => 'span',                    ],                ],            ],            $formBlock->getTemplateArgs($settings)        );    }    public function testGetTemplateArgsWhenTemplateIsInParent()    {        $rootDirectory = $this->tester->getUniqueDirectory(__METHOD__);        $namespace     = $this->tester->getUniqueControllerNamespaceWithAutoloader(__METHOD__, $rootDirectory->url());        $blocksFolder  = vfsStream::create(            [                'ButtonBase'  => [                    'ButtonBase.php'  => $this->tester->getBlockClassFile(                        $namespace . '\ButtonBase',                        'ButtonBase',                        '\\' . Block::class                    ),                    'ButtonBase.twig' => '',                ],                'ButtonChild' => [                    'ButtonChild.php' => $this->tester->getBlockClassFile(                        $namespace . '\ButtonChild',                        'ButtonChild',                        '\\' . $namespace . '\ButtonBase\ButtonBase'                    ),                ],            ],            $rootDirectory        );        $settings = new Settings();        $settings->addBlocksFolder($namespace, $blocksFolder->url());        $buttonChildClass = $namespace . '\ButtonChild\ButtonChild';        $buttonChild      = new $buttonChildClass();        if (! $buttonChild instanceof Block) {            $this->fail("Class doesn't child to Block");        }        $this->assertEquals(            [                Block::TEMPLATE_KEY_NAMESPACE => $namespace,                Block::TEMPLATE_KEY_TEMPLATE  => 'ButtonBase/ButtonBase.twig',                Block::TEMPLATE_KEY_IS_LOADED => false,            ],            $buttonChild->getTemplateArgs($settings)        );    }}

BlocksLoader

Предоставляет опциональную возможность автозагрузки всех блоков, при этом у каждого блока будет вызван статический метод ::onLoad, что может быть использовано для расширения, например поддержки ajax запросов и т.д.

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks;class BlocksLoader{    private array $loadedBlockClasses;    private Settings $settings;    public function __construct(Settings $settings)    {        $this->loadedBlockClasses = [];        $this->settings           = $settings;    }    final public function getLoadedBlockClasses(): array    {        return $this->loadedBlockClasses;    }    private function tryToLoadBlock(string $phpClass): bool    {        $isLoaded = false;        if (            ! class_exists($phpClass, true) ||            ! is_subclass_of($phpClass, Block::class)        ) {            // without any error, because php files can contain other things            return $isLoaded;        }        call_user_func([$phpClass, 'onLoad']);        return true;    }    private function loadBlocks(string $namespace, array $phpFileNames): void    {        foreach ($phpFileNames as $phpFileName) {            $phpClass = implode('\\', [$namespace, str_replace('.php', '', $phpFileName),]);            if (! $this->tryToLoadBlock($phpClass)) {                continue;            }            $this->loadedBlockClasses[] = $phpClass;        }    }    private function loadDirectory(string $directory, string $namespace): void    {        // exclude ., ..        $fs = array_diff(scandir($directory), ['.', '..']);        $phpFilePreg = '/.php$/';        $phpFileNames      = Helper::arrayFilter(            $fs,            function ($f) use ($phpFilePreg) {                return (1 === preg_match($phpFilePreg, $f));            },            false        );        $subDirectoryNames = Helper::arrayFilter(            $fs,            function ($f) {                return false === strpos($f, '.');            },            false        );        foreach ($subDirectoryNames as $subDirectoryName) {            $subDirectory = implode(DIRECTORY_SEPARATOR, [$directory, $subDirectoryName]);            $subNamespace = implode('\\', [$namespace, $subDirectoryName]);            $this->loadDirectory($subDirectory, $subNamespace);        }        $this->loadBlocks($namespace, $phpFileNames);    }    final public function loadAllBlocks(): void    {        $blockFoldersInfo = $this->settings->getBlockFoldersInfo();        foreach ($blockFoldersInfo as $namespace => $folder) {            $this->loadDirectory($folder, $namespace);        }    }}

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks\Tests\unit;use Codeception\Test\Unit;use LightSource\FrontBlocks\Block;use LightSource\FrontBlocks\BlocksLoader;use LightSource\FrontBlocks\Settings;use org\bovigo\vfs\vfsStream;use UnitTester;class BlocksLoaderTest extends Unit{    protected UnitTester $tester;    public function testLoadAllBlocksWhichChildToBlock()    {        $rootDirectory = $this->tester->getUniqueDirectory(__METHOD__);        $namespace     = $this->tester->getUniqueControllerNamespaceWithAutoloader(__METHOD__, $rootDirectory->url());        $blocksFolder  = vfsStream::create(            [                'ButtonBase'  => [                    'ButtonBase.php' => $this->tester->getBlockClassFile(                        $namespace . '\ButtonBase',                        'ButtonBase',                        '\\' . Block::class                    ),                ],                'ButtonChild' => [                    'ButtonChild.php' => $this->tester->getBlockClassFile(                        $namespace . '\ButtonChild',                        'ButtonChild',                        '\\' . $namespace . '\ButtonBase\ButtonBase'                    ),                ],            ],            $rootDirectory        );        $settings = new Settings();        $settings->addBlocksFolder($namespace, $blocksFolder->url());        $blocksLoader = new BlocksLoader($settings);        $blocksLoader->loadAllBlocks();        $this->assertEquals(            [                $namespace . '\ButtonBase\ButtonBase',                $namespace . '\ButtonChild\ButtonChild',            ],            $blocksLoader->getLoadedBlockClasses()        );    }    public function testLoadAllBlocksIgnoreNonChild()    {        $rootDirectory = $this->tester->getUniqueDirectory(__METHOD__);        $namespace     = $this->tester->getUniqueControllerNamespaceWithAutoloader(__METHOD__, $rootDirectory->url());        $blocksFolder  = vfsStream::create(            [                'ButtonBase' => [                    'ButtonBase.php' => '<?php use ' . $namespace . '; class ButtonBase{}',                ],            ],            $rootDirectory        );        $settings = new Settings();        $settings->addBlocksFolder($namespace, $blocksFolder->url());        $blocksLoader = new BlocksLoader($settings);        $blocksLoader->loadAllBlocks();        $this->assertEmpty($blocksLoader->getLoadedBlockClasses());    }    public function testLoadAllBlocksInSeveralFolders()    {        $rootDirectory   = $this->tester->getUniqueDirectory(__METHOD__);        $firstFolderUrl  = $rootDirectory->url() . '/First';        $secondFolderUrl = $rootDirectory->url() . '/Second';        $firstNamespace  = $this->tester->getUniqueControllerNamespaceWithAutoloader(            __METHOD__ . '_first',            $firstFolderUrl,        );        $secondNamespace = $this->tester->getUniqueControllerNamespaceWithAutoloader(            __METHOD__ . '_second',            $secondFolderUrl,        );        vfsStream::create(            [                'First'  => [                    'ButtonBase' => [                        'ButtonBase.php' => $this->tester->getBlockClassFile(                            $firstNamespace . '\ButtonBase',                            'ButtonBase',                            '\\' . Block::class                        ),                    ],                ],                'Second' => [                    'ButtonBase' => [                        'ButtonBase.php' => $this->tester->getBlockClassFile(                            $secondNamespace . '\ButtonBase',                            'ButtonBase',                            '\\' . Block::class                        ),                    ],                ],            ],            $rootDirectory        );        $settings = new Settings();        $settings->addBlocksFolder($firstNamespace, $firstFolderUrl);        $settings->addBlocksFolder($secondNamespace, $secondFolderUrl);        $blocksLoader = new BlocksLoader($settings);        $blocksLoader->loadAllBlocks();        $this->assertEquals(            [                $firstNamespace . '\ButtonBase\ButtonBase',                $secondNamespace . '\ButtonBase\ButtonBase',            ],            $blocksLoader->getLoadedBlockClasses()        );    }}

Renderer

Связующий класс, объединяет вспомогательные классы, предоставляет функцию рендера блока, содержит список использованных блоков и их ресурсы (css, js)

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks;class Renderer{    private Settings $settings;    private TwigWrapper $twigWrapper;    private BlocksLoader $blocksLoader;    private array $usedBlockClasses;    public function __construct(Settings $settings)    {        $this->settings         = $settings;        $this->twigWrapper             = new TwigWrapper($settings);        $this->blocksLoader     = new BlocksLoader($settings);        $this->usedBlockClasses = [];    }    final public function getSettings(): Settings    {        return $this->settings;    }    final public function getTwigWrapper(): TwigWrapper    {        return $this->twigWrapper;    }    final public function getBlocksLoader(): BlocksLoader    {        return $this->blocksLoader;    }    final public function getUsedBlockClasses(): array    {        return $this->usedBlockClasses;    }    final public function getUsedResources(string $extension, bool $isIncludeSource = false): string    {        $resourcesContent = '';        foreach ($this->usedBlockClasses as $usedBlockClass) {            $getResourcesInfoCallback = [$usedBlockClass, 'getResourceInfo'];            if (! is_callable($getResourcesInfoCallback)) {                $this->settings->callErrorCallback(                    [                        'message' => "Block class doesn't exist",                        'class'   => $usedBlockClass,                    ]                );                continue;            }            $resourceInfo = call_user_func_array(                $getResourcesInfoCallback,                [                    $this->settings,                ]            );            $pathToResourceFile = $resourceInfo['folder'] .                                  DIRECTORY_SEPARATOR . $resourceInfo['relativeResourcePath'] . $extension;            if (! is_file($pathToResourceFile)) {                continue;            }            $resourcesContent .= $isIncludeSource ?                "\n/* " . $resourceInfo['resourceName'] . " */\n" :                '';            $resourcesContent .= file_get_contents($pathToResourceFile);        }        return $resourcesContent;    }    final public function render(Block $block, array $args = [], bool $isPrint = false): string    {        $dependencies           = array_merge($block->getDependencies(), [get_class($block),]);        $newDependencies        = array_diff($dependencies, $this->usedBlockClasses);        $this->usedBlockClasses = array_merge($this->usedBlockClasses, $newDependencies);        $templateArgs           = $block->getTemplateArgs($this->settings);        $templateArgs           = Helper::arrayMergeRecursive($templateArgs, $args);        $namespace              = $templateArgs[Block::TEMPLATE_KEY_NAMESPACE];        $relativePathToTemplate = $templateArgs[Block::TEMPLATE_KEY_TEMPLATE];        // log already exists        if (! $relativePathToTemplate) {            return '';        }        return $this->twigWrapper->render($namespace, $relativePathToTemplate, $templateArgs, $isPrint);    }}

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks\Tests\unit;use Codeception\Test\Unit;use LightSource\FrontBlocks\Block;use LightSource\FrontBlocks\Renderer;use LightSource\FrontBlocks\Settings;use org\bovigo\vfs\vfsStream;use UnitTester;class RendererTest extends Unit{    protected UnitTester $tester;    public function testRenderAddsBlockToUsedList()    {        $settings = new Settings();        $renderer = new Renderer($settings);        $button = new class extends Block {        };        $renderer->render($button);        $this->assertEquals(            [                get_class($button),            ],            $renderer->getUsedBlockClasses()        );    }    public function testRenderAddsBlockDependenciesToUsedList()    {        $settings = new Settings();        $renderer = new Renderer($settings);        $button = new class extends Block {        };        $form   = new class ($button) extends Block {            protected $button;            public function __construct($button)            {                parent::__construct();                $this->button = $button;            }        };        $renderer->render($form);        $this->assertEquals(            [                get_class($button),                get_class($form),            ],            $renderer->getUsedBlockClasses()        );    }    public function testRenderAddsDependenciesBeforeBlockToUsedList()    {        $settings = new Settings();        $renderer = new Renderer($settings);        $button = new class extends Block {        };        $form   = new class ($button) extends Block {            protected $button;            public function __construct($button)            {                parent::__construct();                $this->button = $button;            }        };        $renderer->render($form);        $this->assertEquals(            [                get_class($button),                get_class($form),            ],            $renderer->getUsedBlockClasses()        );    }    public function testRenderAddsBlockToUsedListOnce()    {        $settings = new Settings();        $renderer = new Renderer($settings);        $button = new class extends Block {        };        $renderer->render($button);        $renderer->render($button);        $this->assertEquals(            [                get_class($button),            ],            $renderer->getUsedBlockClasses()        );    }    public function testRenderAddsBlockDependenciesToUsedListOnce()    {        $settings = new Settings();        $renderer = new Renderer($settings);        $button = new class extends Block {        };        $form   = new class ($button) extends Block {            protected $button;            public function __construct($button)            {                parent::__construct();                $this->button = $button;            }        };        $footer = new class ($button) extends Block {            protected $button;            public function __construct($button)            {                parent::__construct();                $this->button = $button;            }        };        $renderer->render($form);        $renderer->render($footer);        $this->assertEquals(            [                get_class($button),                get_class($form),                get_class($footer),            ],            $renderer->getUsedBlockClasses()        );    }    public function testGetUsedResources()    {        $rootDirectory = $this->tester->getUniqueDirectory(__METHOD__);        $namespace     = $this->tester->getUniqueControllerNamespaceWithAutoloader(__METHOD__, $rootDirectory->url());        $blocksFolder  = vfsStream::create(            [                'Button' => [                    'Button.php' => $this->tester->getBlockClassFile(                        $namespace . '\Button',                        'Button',                        '\\' . Block::class                    ),                    'Button.css' => '.button{}',                ],                'Form'   => [                    'Form.php' => $this->tester->getBlockClassFile(                        $namespace . '\Form',                        'Form',                        '\\' . Block::class                    ),                    'Form.css' => '.form{}',                ],            ],            $rootDirectory        );        $formClass   = $namespace . '\Form\Form';        $form        = new $formClass();        $buttonClass = $namespace . '\Button\Button';        $button      = new $buttonClass();        $settings = new Settings();        $settings->addBlocksFolder($namespace, $blocksFolder->url());        $renderer = new Renderer($settings);        $renderer->render($button);        $renderer->render($form);        $this->assertEquals('.button{}.form{}', $renderer->getUsedResources('.css'));    }    public function testGetUsedResourcesWithIncludedSource()    {        $rootDirectory = $this->tester->getUniqueDirectory(__METHOD__);        $namespace     = $this->tester->getUniqueControllerNamespaceWithAutoloader(__METHOD__, $rootDirectory->url());        $blocksFolder  = vfsStream::create(            [                'Button' => [                    'Button.php' => $this->tester->getBlockClassFile(                        $namespace . '\Button',                        'Button',                        '\\' . Block::class                    ),                    'Button.css' => '.button{}',                ],                'Form'   => [                    'Form.php' => $this->tester->getBlockClassFile(                        $namespace . '\Form',                        'Form',                        '\\' . Block::class                    ),                    'Form.css' => '.form{}',                ],            ],            $rootDirectory        );        $formClass   = $namespace . '\Form\Form';        $form        = new $formClass();        $buttonClass = $namespace . '\Button\Button';        $button      = new $buttonClass();        $settings = new Settings();        $settings->addBlocksFolder($namespace, $blocksFolder->url());        $renderer = new Renderer($settings);        $renderer->render($button);        $renderer->render($form);        $this->assertEquals(            "\n/* Button */\n.button{}\n/* Form */\n.form{}",            $renderer->getUsedResources('.css', true)        );    }}

Settings

Вспомогательный класс, основные данные это пути к блокам и их пространства имен

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks;class Settings{    private array $blockFoldersInfo;    private array $twigArgs;    private string $twigExtension;    private $errorCallback;    public function __construct()    {        $this->blockFoldersInfo = [];        $this->twigArgs         = [            // will generate exception if a var doesn't exist instead of replace to NULL            'strict_variables' => true,            // disable autoescape to prevent break data            'autoescape'       => false,        ];        $this->twigExtension    = '.twig';        $this->errorCallback    = null;    }    public function addBlocksFolder(string $namespace, string $folder): void    {        $this->blockFoldersInfo[$namespace] = $folder;    }    public function setTwigArgs(array $twigArgs): void    {        $this->twigArgs = array_merge($this->twigArgs, $twigArgs);    }    public function setErrorCallback(?callable $errorCallback): void    {        $this->errorCallback = $errorCallback;    }    public function setTwigExtension(string $twigExtension): void    {        $this->twigExtension = $twigExtension;    }    public function getBlockFoldersInfo(): array    {        return $this->blockFoldersInfo;    }    public function getBlockFolderInfoByBlockClass(string $blockClass): ?array    {        foreach ($this->blockFoldersInfo as $blockNamespace => $blockFolder) {            if (0 !== strpos($blockClass, $blockNamespace)) {                continue;            }            return [                'namespace' => $blockNamespace,                'folder'    => $blockFolder,            ];        }        return null;    }    public function getTwigArgs(): array    {        return $this->twigArgs;    }    public function getTwigExtension(): string    {        return $this->twigExtension;    }    public function callErrorCallback(array $errors): void    {        if (! is_callable($this->errorCallback)) {            return;        }        call_user_func_array($this->errorCallback, [$errors,]);    }}

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks\Tests\unit;use Codeception\Test\Unit;use LightSource\FrontBlocks\Settings;class SettingsTest extends Unit{    public function testGetBlockFolderInfoByBlockClass()    {        $settings = new Settings();        $settings->addBlocksFolder('TestNamespace', 'test-folder');        $this->assertEquals(            [                'namespace' => 'TestNamespace',                'folder'    => 'test-folder',            ],            $settings->getBlockFolderInfoByBlockClass('TestNamespace\Class')        );    }    public function testGetBlockFolderInfoByBlockClassWhenSeveral()    {        $settings = new Settings();        $settings->addBlocksFolder('FirstNamespace', 'first-namespace');        $settings->addBlocksFolder('SecondNamespace', 'second-namespace');        $this->assertEquals(            [                'namespace' => 'FirstNamespace',                'folder'    => 'first-namespace',            ],            $settings->getBlockFolderInfoByBlockClass('FirstNamespace\Class')        );    }    public function testGetBlockFolderInfoByBlockClassIgnoreWrong()    {        $settings = new Settings();        $settings->addBlocksFolder('TestNamespace', 'test-folder');        $this->assertEquals(            null,            $settings->getBlockFolderInfoByBlockClass('WrongNamespace\Class')        );    }}

TwigWrapper

Класс обертка для Twig пакета, обеспечиват работу с шаблонами. Также расширили twig своей функцией _include (которая является оберткой для встроенного include и использует наши поля _isLoaded и _template из метода Block->getTemplateArgs выше) и фильтром _merge (который отличается тем, что рекурсивно сливает массивы).

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks;use Exception;use Twig\Environment;use Twig\Loader\FilesystemLoader;use Twig\Loader\LoaderInterface;use Twig\TwigFilter;use Twig\TwigFunction;class TwigWrapper{    private ?LoaderInterface $twigLoader;    private ?Environment $twigEnvironment;    private Settings $settings;    public function __construct(Settings $settings, ?LoaderInterface $twigLoader = null)    {        $this->twigEnvironment = null;        $this->settings        = $settings;        $this->twigLoader      = $twigLoader;        $this->init();    }    private static function GetTwigNamespace(string $namespace)    {        return str_replace('\\', '_', $namespace);    }    // e.g for extend a twig with adding a new filter    public function getEnvironment(): ?Environment    {        return $this->twigEnvironment;    }    private function extendTwig(): void    {        $this->twigEnvironment->addFilter(            new TwigFilter(                '_merge',                function ($source, $additional) {                    return Helper::arrayMergeRecursive($source, $additional);                }            )        );        $this->twigEnvironment->addFunction(            new TwigFunction(                '_include',                function ($block, $args = []) {                    $block = Helper::arrayMergeRecursive($block, $args);                    return $block[Block::TEMPLATE_KEY_IS_LOADED] ?                        $this->render(                            $block[Block::TEMPLATE_KEY_NAMESPACE],                            $block[Block::TEMPLATE_KEY_TEMPLATE],                            $block                        ) :                        '';                }            )        );    }    private function init(): void    {        $blockFoldersInfo = $this->settings->getBlockFoldersInfo();        try {            // can be already init (in tests)            if (! $this->twigLoader) {                $this->twigLoader = new FilesystemLoader();                foreach ($blockFoldersInfo as $namespace => $folder) {                    $this->twigLoader->addPath($folder, self::GetTwigNamespace($namespace));                }            }            $this->twigEnvironment = new Environment($this->twigLoader, $this->settings->getTwigArgs());        } catch (Exception $ex) {            $this->twigEnvironment = null;            $this->settings->callErrorCallback(                [                    'message' => $ex->getMessage(),                    'file'    => $ex->getFile(),                    'line'    => $ex->getLine(),                    'trace'   => $ex->getTraceAsString(),                ]            );            return;        }        $this->extendTwig();    }    public function render(string $namespace, string $template, array $args = [], bool $isPrint = false): string    {        $html = '';        // twig isn't loaded        if (is_null($this->twigEnvironment)) {            return $html;        }        // can be empty, e.g. for tests        $twigNamespace = $namespace ?            '@' . self::GetTwigNamespace($namespace) . '/' :            '';        try {            // will generate ean exception if a template doesn't exist OR broken            // also if a var doesn't exist (if using a 'strict_variables' flag, see Twig_Environment->__construct)            $html .= $this->twigEnvironment->render($twigNamespace . $template, $args);        } catch (Exception $ex) {            $html = '';            $this->settings->callErrorCallback(                [                    'message'  => $ex->getMessage(),                    'file'     => $ex->getFile(),                    'line'     => $ex->getLine(),                    'trace'    => $ex->getTraceAsString(),                    'template' => $template,                ]            );        }        if ($isPrint) {            echo $html;        }        return $html;    }}

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks\Tests\unit;use Codeception\Test\Unit;use LightSource\FrontBlocks\Block;use LightSource\FrontBlocks\Settings;use LightSource\FrontBlocks\TwigWrapper;use Twig\Loader\ArrayLoader;class TwigWrapperTest extends Unit{    private function renderBlock(array $blocks, string $template, array $renderArgs = []): string    {        $twigLoader = new ArrayLoader($blocks);        $settings   = new Settings();        $twig       = new TwigWrapper($settings, $twigLoader);        return $twig->render('', $template, $renderArgs);    }    public function testExtendTwigIncludeFunctionWhenBlockIsLoaded()    {        $blocks     = [            'form.twig'   => '{{ _include(button) }}',            'button.twig' => 'button content',        ];        $template   = 'form.twig';        $renderArgs = [            'button' => [                Block::TEMPLATE_KEY_NAMESPACE => '',                Block::TEMPLATE_KEY_TEMPLATE  => 'button.twig',                Block::TEMPLATE_KEY_IS_LOADED => true,            ],        ];        $this->assertEquals('button content', $this->renderBlock($blocks, $template, $renderArgs));    }    public function testExtendTwigIncludeFunctionWhenBlockNotLoaded()    {        $blocks     = [            'form.twig'   => '{{ _include(button) }}',            'button.twig' => 'button content',        ];        $template   = 'form.twig';        $renderArgs = [            'button' => [                Block::TEMPLATE_KEY_NAMESPACE => '',                Block::TEMPLATE_KEY_TEMPLATE  => 'button.twig',                Block::TEMPLATE_KEY_IS_LOADED => false,            ],        ];        $this->assertEquals('', $this->renderBlock($blocks, $template, $renderArgs));    }    public function testExtendTwigIncludeFunctionWhenArgsPassed()    {        $blocks     = [            'form.twig'   => '{{ _include(button,{classes:["test-class",],}) }}',            'button.twig' => '{{ classes|join(" ") }}',        ];        $template   = 'form.twig';        $renderArgs = [            'button' => [                Block::TEMPLATE_KEY_NAMESPACE => '',                Block::TEMPLATE_KEY_TEMPLATE  => 'button.twig',                Block::TEMPLATE_KEY_IS_LOADED => true,                'classes'                     => ['own-class',],            ],        ];        $this->assertEquals('own-class test-class', $this->renderBlock($blocks, $template, $renderArgs));    }    public function testExtendTwigMergeFilter()    {        $blocks     = [            'button.twig' => '{{ {"array":["first",],}|_merge({"array":["second",],}).array|join(" ") }}',        ];        $template   = 'button.twig';        $renderArgs = [];        $this->assertEquals('first second', $this->renderBlock($blocks, $template, $renderArgs));    }}

Helper

Вспомогательный класс, содержит лишь пару функций, оставлю без комментариев.

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks;abstract class Helper{    final public static function arrayFilter(array $array, callable $callback, bool $isSaveKeys): array    {        $arrayResult = array_filter($array, $callback);        return $isSaveKeys ?            $arrayResult :            array_values($arrayResult);    }    final public static function arrayMergeRecursive(array $args1, array $args2): array    {        foreach ($args2 as $key => $value) {            if (intval($key) === $key) {                $args1[] = $value;                continue;            }            // recursive sub-merge for internal arrays            if (                is_array($value) &&                key_exists($key, $args1) &&                is_array($args1[$key])            ) {                $value = self::arrayMergeRecursive($args1[$key], $value);            }            $args1[$key] = $value;        }        return $args1;    }}

<?phpdeclare(strict_types=1);namespace LightSource\FrontBlocks\Tests\unit;use Codeception\Test\Unit;use LightSource\FrontBlocks\Helper;class HelperTest extends Unit{    public function testArrayFilterWithoutSaveKeys()    {        $this->assertEquals(            [                0 => '2',            ],            Helper::ArrayFilter(                ['1', '2'],                function ($value) {                    return '1' !== $value;                },                false            )        );    }    public function testArrayFilterWithSaveKeys()    {        $this->assertEquals(            [                1 => '2',            ],            Helper::ArrayFilter(                ['1', '2'],                function ($value) {                    return '1' !== $value;                },                true            )        );    }    public function testArrayMergeRecursive()    {        $this->assertEquals(            [                'classes' => [                    'first',                    'second',                ],                'value'   => 2,            ],            Helper::arrayMergeRecursive(                [                    'classes' => [                        'first',                    ],                    'value'   => 1,                ],                [                    'classes' => [                        'second',                    ],                    'value'   => 2,                ]            )        );    }}

Это был последний класс, теперь можно переходить к демонстрационному примеру.

Демонстрационный пример

Ниже приведу демонстрационный пример использования пакета, с одним чистым css для наглядности, если кому-то интересен пример с scss/webpack смотрите ссылки в конце статьи.

Создаем блоки для теста, пусть это будут Header, Article и Button. Header и Button будут независимыми блоками, Article будет содержкать Button.

Header

<?phpnamespace LightSource\FrontBlocksSample\Header;use LightSource\FrontBlocks\Block;class Header extends Block{    protected string $name;    public function loadByTest()    {        parent::load();        $this->name = 'I\'m Header';    }}

<div class="header">    {{ name }}</div>

.header {    color: green;    border:1px solid green;    padding: 10px;}

Button

<?phpnamespace LightSource\FrontBlocksSample\Button;use LightSource\FrontBlocks\Block;class Button extends Block{    protected string $name;    public function loadByTest()    {        parent::load();        $this->name = 'I\'m Button';    }}

<div class="button">    {{ name }}</div>

.button {    color: black;    border: 1px solid black;    padding: 10px;}

Article

<?phpnamespace LightSource\FrontBlocksSample\Article;use LightSource\FrontBlocks\Block;use LightSource\FrontBlocksSample\Button\Button;class Article extends Block{    protected string $name;    protected Button $button;    public function loadByTest()    {        parent::load();        $this->name = 'I\'m Article, I contain another block';        $this->button->loadByTest();    }}

<div class="article">    <p class="article__name">{{ name }}</p>    {{ _include(button) }}</div>

.article {    color: orange;    border: 1px solid orange;    padding: 10px;}.article__name {    margin: 0 0 10px;    line-height: 1.5;}

Далее подключаем пакет и рендерим блоки, результат вставляем в html код страницы, в шапке выводим использованный css код

<?phpuse LightSource\FrontBlocks\{    Renderer,    Settings};use LightSource\FrontBlocksSample\{    Article\Article,    Header\Header};require_once __DIR__ . '/vendors/vendor/autoload.php';//// settingsini_set('display_errors', 1);$settings = new Settings();$settings->addBlocksFolder('LightSource\FrontBlocksSample', __DIR__ . '/Blocks');$settings->setErrorCallback(    function (array $errors) {        // todo log or any other actions        echo '<pre>' . print_r($errors, true) . '</pre>';    });$renderer = new Renderer($settings);//// usage$header = new Header();$header->loadByTest();$article = new Article();$article->loadByTest();$content = $renderer->render($header);$content .= $renderer->render($article);$css     = $renderer->getUsedResources('.css', true);//// html?><html><head>    <title>Example</title>    <style>        <?= $css ?>    </style>    <style>        .article {            margin-top: 10px;        }    </style></head><body><?= $content ?></body></html>

в результате вывод будет таким

Послесловие

Данный пакет был создан для личных целей, он облегчает мне разработку, и я буду рад если он пригодится кому-то еще. Не стесняйтесь задавать вопросы и комментировать я буду рад ответить на ваши вопросы и услышать ваше мнение. Спасибо за внимание.

Понравилась статья? Не забудь проголосовать.

Ссылки:

репозиторий с данным пакетом

репозиторий с демонстрационным примером

репозиторий с примером использования scss и js в блоках (webpack сборщик)

репозиторий с примером использования в WordPress теме (здесь вы также можете увидеть пример расширения класса блока и использования автозагрузки, что добавляет поддержку ajax запросов для блоков)

P.S. Благодарю @alexmixaylov, @bombe и @rpsv за конструктивные комментарии к первой части.

Фокус внимания давно переместился с PHP на JavaScript и Python. Тем не менее у него выходят новые версии, а тесты производительности говорят о неплохом прогрессе. Насколько актуален PHP сегодня? Под катом размышления разработчика, который продолжает отдавать ему предпочтение.

Краткая история PHP

PHP разработал Расмус Лердорф в 1994 году. Лердорф создал набор скриптов, которые отслеживали посещения его онлайн-резюме, и назвал их Personal Home Page Tools (инструменты личной домашней страницы). Со временем название превратилось в PHP Tools. Он пополнял этот набор новыми инструментами, а потом решил переписать их: добавил взаимодействие с базами данных и многое другое. Так набор превратился во фреймворк.

Дальше эти инструменты продолжали эволюционировать в еще более сложные примитивы, а после публикации кода в open source в 1995 году число пользователей стало расти заметно быстрее. Если вас интересуют подробности этой истории, вы можете найти их на официальном сайте PHP.

Последняя версия языка сейчас PHP 8.0.

А что не так с PHP?

Уже долгие годы этот язык мишень для критики. Люди справедливо упрекают его за проблемы в работе, особенно старые версии. Лердорф разрабатывал PHP как язык шаблонизации, а не как полнофункциональный язык программирования. Поэтому у него есть ряд недостатков, которые сильно усложняют поддержку и разработку крупных приложений.

Слабая типизация

Лично мне в этом языке не нравится слабая типизация, позволяющая сочетать разные типы и выполнять их неявные преобразования. Рассмотрим такой пример:

echo "1" + 3;echo 1 + "3";echo "1" + "3";

Результатом этих операций будет число 4, то есть в контексте оператора сложения язык преобразует числа в строке в целочисленные значения. В некоторых случаях это может оказаться желательным или позволит сэкономить пару строк кода, но чем больше становится проект, тем сложнее будет поддержка.

В поздних версиях языка начали появляться предупреждения о подобных странных и недопустимых операциях, то есть они признаны устаревшими или скоро ими станут.

Отсутствие пространств имен

Поддержка пространств имен была добавлена в PHP в версии 5.3. В более старых проектах приходилось создавать собственные типы пространств имен, в основном при помощи добавления пространств имен к названиям классов и методов. Из-за этого приходилось использовать повсюду абсурдно длинные имена.

В проектах, разработанных в предыдущих версиях, часто можно встретить классы наподобие Payments_Provider_Processor_Provider_SomeExternalServiceProvider, хотя его можно было бы просто назвать SomeExternalServiceProvider. В большинстве случаев это приводит к созданию раздутого кода и усложняет его чтение и разбор.

В более поздних версиях языка таких проблем нет.

Противоречивые функции стандартной библиотеки

Не буду говорить, что стандартная библиотека языка плоха, но она могла бы быть и получше. Язык довольно сильно совершенствуется, однако первым версиям стандартной библиотеки, на которые до сих пор ссылаются и поддерживают для обратной совместимости, не хватает целостности. Хоть это и небольшая проблема, она означает, что многие функции стандартной библиотеки имеют разные правила наименования, имена и порядок аргументов. Все это усложняет выявление их значений по умолчанию и поведение.

Вот некоторые примеры противоречивости наименований в строковых методах из документации:

• strpos(string $haystack, string $needle, int $offset = 0): int|false: находит позицию первого вхождения подстроки в строке;

• strsplit(string $string, int $length = 1): array : преобразует строку в массив;

• explode(string $separator, string $string, int $limit = PHP_INT_MAX): array: разделяет строку по граничной строке.

Три разные функции: одна с префиксом str, вторая с префиксом str, а третья без префикса. Аргумент $string является первым для str_split, но вторым для explode. Вы можете изучить все строковые методы в документации этому паттерну следует множество функций, то есть среди них нет особого единообразия.

Суперглобальные переменные

Это больше относится к личным предпочтениям я ненавижу использовать глобальные переменные, а следовательно, и суперглобальные. Когда находишь какие-то старые самодельные проекты, особенно высока вероятность встретиться с печально известными переменными типа $SERVER или $REQUEST. Не поймите меня неправильно: иногда они очень полезны и время от времени их нужно использовать. Однако для безопасного использования этих значений первым делом нужно инкапсулировать их в многократно используемые классы. Если этого не сделать, то взаимодействие со значениями или внесение изменений в крупный проект будет очень сложной задачей, ведь с этими значениями связано множество скрытых зависимостей.

И что хорошего в PHP?

Язык на многих произвел плохое впечатление, но за последние годы он сильно улучшился. Благодаря релизу PHP7 язык модернизировался, в его основе появилось множество приятных особенностей, повысились скорость работы и удобство пользования.

Type hints

Это один из моих любимых способов модернизации старого кода на PHP: использование необязательных type hints, выполняющих преобразование типов, а также обеспечивающих документацию кода. Рассмотрим простую функцию:

function isValueSomething($value) {}

Если добавить type hints, код станет таким:

function isValueSomething(string $value): bool {}

Просто увидев сигнатуру функции, мы понимаем, что она ожидает строковое значение и вернет булев-результат. Можно добавить, что здесь полезно было бы применить правильное наименование, однако эти type hints гарантируют, что значения будут именно указанных типов и предоставляют IDE возможность автодополнения и статического анализа с предупреждениями и другими полезными вещами.

С версии 7.4 PHP позволяет задавать и типизированные свойства для классов:

class Person {    public string $firstName;    public string $lastName;    public int $age;    public ?string $job;}

Это означает, что у объектов Person будут строковые имя и фамилия, возраст в integer и допускающая пустое значение строка для должности. Чем больше классов тем полезнее эта возможность.

Улучшения синтаксиса

В поздних версиях PHP появилось много синтаксических улучшений:

• стрелочные функции: fn ($x, $y) => $x + $y;

• оператор объединения с неопределенным значением: $value = $array['key'] ?? 'default value';

• присваивание с неопределенным значением: return $cache['key'] ??= computeSomeValue('key');

• расширение массивов: $first = ['a', 'b']; $second = ['c', 'd']; $final= [$first, $second];

• именованные аргументы: array_fill(start_index: 0, num: 100, value: 50);

• разделитель числовых литералов: 299_792_458

Помимо синтаксических он содержит возможности для комплексных улучшений.

Constructor promotion

Взгляните на класс Person:

class Person {    private string $firstName;    private string $lastName;     protected int $age;    public ?string $job;    public function __construct(        string $firstName,        string $lastName,        int $age,        ?string $job    ){        $this->firstName = $firstName;        $this->lastName = $lastName;        $this->age = $age;        $this->job = $job;    }}

Вместо этого избыточно многословного кода PHP 8 поддерживает возможность написания такого кода:

class Person {    public function __construct(        private string $firstName,        private string $lastName,        protected int $age,        public ?string $job    ){}}

Удобно, не так ли?

Nullsafe-оператор

Этот оператор существовал в некоторых других языках наподобие JavaScript, но PHP его не поддерживал. Взгляните на код, который я взял из документации PHP:

<?if (is_null($repository)) {    $result = null;} else {    $user = $repository->getUser(5);    if (is_null($user)) {        $result = null;    } else {        $result = $user->name;    }}

Именно так писали логику в старых версиях PHP для учета проверок на null. Новый nullsafe-оператор позволяет свести это к такому коду:

$result = $repository?->getUser(5)?->name;

Разве не великолепно?

Объединенные типы

Хоть для меня это и не самая любимая штука, она все равно ценна в случаях, когда уже есть несколько возможных типов без type hints. Объединения позволяют определять в качестве вариантов несколько типов значений. Благодаря объединениям становится работающим вот такой код:

function doSomething(int|string $value): bool|array {}

Обычно наличие нескольких возвращаемых типов сигнализирует о возможности улучшения кода, однако предыдущие версии PHP вообще не позволяли задавать в таких случаях типы, поэтому это все равно усовершенствование.

Производительность

У меня нет четких данных для сопоставления производительности с другими языками, но по сравнению с предыдущими версиями скорость работы кода PHP заметно выросла. В дополнение к рывку, сделанному PHP 7 по сравнению с PHP5.6, все последующие релизы вносили улучшения, и эта тенденция продолжается. Проведенные Phoronix бенчмарки демонстрируют, что последняя версия PHP8 в три с лишним раза быстрее PHP5.6. В посте по ссылке выше есть подробные тесты, так что их стоит изучить.

В дополнение к этим бенчмаркам Kinsta также провела реальные испытания с WordPress. Вот результат для WordPress 5.3.

Точные цифры замеров таковы:

• Результаты бенчмарка WordPress 5.3 с PHP 5.6: 97,71 запросов/с

• Результаты бенчмарка WordPress 5.3 с PHP 7.0: 256,81 запросов/с

• Результаты бенчмарка WordPress 5.3 с PHP 7.1: 256,99 запросов/с

• Результаты бенчмарка WordPress 5.3 с PHP 7.2: 273,07 запросов/с

• Результаты бенчмарка WordPress 5.3 с PHP 7.3: 305,59 запросов/с

• Результаты бенчмарка WordPress 5.3 с PHP 7.4: 313,42 запросов/с

Пока в эти бенчмарки не включен PHP 8, однако видно, что даже версия 7.4 способна обрабатывать в три раза больше запросов по сравнению с 5.6, и это серьезное улучшение.

Вывод

В целом PHP за последние годы значительно улучшили, и с ним стало удобно работать. Я профессионально пишу на Golang, PHP и Python, но больше всего опыта у меня в PHP, поэтому я могу быть пристрастен. Однако, по моему мнению, PHP нашел идеальный баланс между гибкостью и поддерживаемостью.

В нем есть необходимые инструменты для реализации безумных вещей, гибкая система типов, позволяющая постепенно улучшать легаси-код, он достаточно быстр для большинства применений, его продолжают совершенствовать, а еще у него потрясающее сообщество open source.

Тем, кто разочаровался в PHP при работе с более старыми версиями, я рекомендую дать этому языку еще один шанс. Возможно, он вам все равно не понравится, но я считаю, что многие изменят свое мнение, беспристрастно взглянув на новую версию.

P. S. А еще хотел напомнить, что на нашей платформе каждую неделю проходят полтора-два десятка бесплатных мероприятий, связанных с IT и программированием. Не все они так же хардкорны, как доклады на конференциях Олега Бунина и JUG.ru, хотя попадаются темы и для продвинутых. Например, летом мы делали расшифровку доклада сообщества JUGNsk из новосибирской Точки кипения Project Panama: как сделать Java ближе к железу. И это был классный рассказ.

Понадобилось мне тут недавно фрилансера найти, чтобы вебсайт сделать. Казалось бы, и что тут такого? Уж кого-кого, а веб-девелоперов в стране хватает! За пару недель найду, - думал я, максимум за месяц. Как вы уже догадались, не нашел.

Этот лонгрид - о фрилансерах в частности, и немного о веб-разработке в целом, от лица заказчика. Я прекрасно понимаю, что большинство завсегдатаев Хабра - исполнители, а заказчикам тут периодически прилетает. И все же рискну высказаться. Надеюсь, будет весело.

Тут надо сделать небольшое лирическое отступление, чтобы вы смогли погрузиться в контекст. Итак, у нас с коллегами есть небольшой pet-проект в области образования. Если точнее - в области постановки произношения. Внутри этого pet-проекта есть еще один вложенный класс pet-проект, - YouTube канал, на котором мы тестируем разные идеи, собираем отзывы, и немного анализируем рынок.

Постепенно у нас накопилось приличное количество текстового материала - статьи, аналитика, разные тестовые задачки, и тому подобное. Параллельно YouTube канал набрал несколько сотен тысяч подписчиков. А еще мы стали замечать, что доля поискового и внешнего трафика на канале приближается к 50% (это много). Причем поисковые фразы хорошо коррелируют с "нужными" высокочастотными запросами.

В общем, мы дозрели до своего сайта.

Пишем техзадание

Адекватного заказчика отличает хорошее понимание того, что он хочет. Проблема в том, что нам-то был нужен самый что ни на есть обычный контентный сайт. Мы даже ненадолго впали в ступор, как это красиво расписать. По большому счету, техзадание могло быть примерно таким:

Сделать совершенно типичный сайт для публикации статей. Функциональные требования не выделяются чем-то уникальным. Дизайн - примитивный. Нагрузка - средняя. Pagespeed insights >= 90%.

Этот вариант имел право на жизнь, но выглядел несколько эксцентрично. Поэтому мы просто сели и записали в ТЗ все, что входит в обычный блог. Нарисовали основные мокапы. Перечислили референсы. Ну и, конечно, добавили несколько специфических требований:

Полнотекстовый [морфологический] поиск а-ля ElasticSearch или Sphinx.
Фильтрация списков статей по множеству тегов.
Сортировка списков статей по времени и/или категориям.
Кастомное меню с навигацией по ключевым статьям на главной странице.
И еще одна секретная фича на фронтенде.

Я еще расскажу об этих "специальных" требованиях ниже. Впрочем, даже с ними функциональная часть нашего ТЗ не выглядела как Rocket Surgery.

Осталось разобраться с нефункциональными требованиями.

Гугл не скрывает, что использует скорость загрузки страниц в качестве одного из критериев своих алгоритмов ранжирования. Поэтому мы включили в ТЗ оптимизацию сайта до зеленой зоны PageSpeed Insights. Кроме вполне очевидной пользы, это требование позволяло нам отсечь неопытных исполнителей (спойлер: это сработало, но не совсем так, как мы предполагали).

За отправную точку оценки нагрузки взяли наш YouTube трафик. В хороший день это 7-8 тысяч уникальных посетителей со средним количеством просмотренных видео 2,4. Берем полуторакратный запас и получаем порядка 30 тысяч хитов. Это примерно 12 тысяч посетителей в день.

В общем, у нас получилось вполне приличное техзадание на 15 страниц.

Публикуем заказ.

Рассуждая в том ключе, что "хорошие" исполнители ТЗ читают, а "плохие" нам не нужны, мы добавили в техзадание "капчу": просьбу начинать отклик со слов "Hello there!".

Сам текст публикации был максимально коротким. Примерно таким:

Cделать контентный сайт на базе вашей любимой CMS/фреймворка согласно ТЗ

Внимательно прочитать требования к проекту (!).
Выбрать оптимальную CMS/фреймворк, удовлетворяющие требованиям.
Оценить общую трудоемкость и стоимость проекта.
Согласовать приблизительный поэтапный план разработки.
Собственно, сделать сайт согласно плану.

Заказ опубликовали на пяти площадках, с разницей по времени от нескольких дней до недели. Там, где было возможно, мы старались "выделить" объявление:

На все про все было потрачено примерно 3500 рублей. Бюджетненько!

Разбираем отклики

Всего на заказ отозвались ровно 100 исполнителей:

Как видно из таблицы, с откликами проблем не было. Была проблема с их качеством. Признаюсь честно, уже на второй день нас начала охватывать паника: подавляющее большинство откликнувшихся не читали задание! Более того, некоторые не читали даже сам текст публикации.

Чтобы себя успокоить, мы сделали трекер исполнителей с классификатором их видов:

Вид первый, "автобот":

Здравствуйте, это как раз мой профиль, готов помочь!
Портфолио > https://***.**/portfolio/
Телефон/Viber/WhatsApp: ***

(здесь и далее приведены совершенно реальные отклики, орфография и пунктуация авторов сохранены)

Характерные признаки "автобота": присылает отклик практически сразу после публикации заказа. Где-то в интервале от минуты до пары часов. Как правило, в портфолио бота половина ссылок не работает. Причем это лучшая половина. Чаще всего боты водятся на freelancehunt.com и freelance.ru. Что бы вы ни делали, вступать с вами в переписку бот не будет.

Вид второй, "разработчик продающих сайтов":

--не бот--

***, добрый день! Меня зовут ***, я веб-разработчик с опытом более 10 лет. Самое главное - это продающая структура, а уж потом дизайн и верстка, я делаю именно "продающие" сайты, которые реально работают.

CMS на которых делаю сайты: 1. 1С Битрикс 2. Тильда 3. Wordpress

Характерные признаки: старательно дистанцируется от ботов. Вне зависимости от задачи, использует такие словосочетания как "повышение продаж", "продающая структура", "конверсия", "SEO", и другие. Средний опыт работы - более 10 лет. В списке регалий имеет Битрикс и Тильду.

Наконец, вид третий. Самый забавный. "эффективный project manager":

Добрый день, ***!

Бюджет вашего проекта 10 000$. Если вас устраивает такая стоимость, то давайте назначим звонок на конкретное время. Длительность звонка: 1 час. Наш CTO к тому времени ознакомится с вашим документом и подготовит ответы на ваши вопросы.

Характерные признаки: управляет вселенной, не привлекая внимания санитаров технических специалистов. Может за пару минут оценить любой проект, не открывая ТЗ. Всячески демонстрирует свою занятость, но при этом подчеркнуто избегает какой-либо конкретики. Очень любит круглые суммы.

В итоге, лучше всего себя показал freelance.habr.com (ура!), хуже всего - freelancehunt.com и freelance.ru. Как еще существует weblancer.net - непонятно.

Далее, из сотни откликнувшихся лишь 14 человек полностью прочитали наше задание. Еще шестеро капчу не прошли, но попали в short-list, потому что написали развернутый отклик.
Итого - 20.

Слава роботам!

Пытаемся планировать

Life is what happens to you while you're busy making other plans
John Lennon.

Нравится нам это или нет, но большинство разработчиков, - люди настроения. Сегодня они полны энтузиазма и готовы свернуть горы. Завтра все может поменяться. Нам нужно было как-то отобрать тех, кто способен продержаться до конца проекта.

Для этого мы попросили каждого из двадцати оставшихся кандидатов составить краткий план разработки. Казалось бы, совершенно тривиальная вещь: разбить свою работу на четыре-пять этапов, с примерными сроками и достаточной детализацией, чтобы мы могли заключить контракт.

Почти половина отвалилась сразу, даже не попрощавшись. Причем, что интересно, отвалились как раз те, чьи отклики производили наилучшее впечатление.

Несколько человек все же планы прислали, чем нас еще немного повеселили. Ниже - наш топ-3.

"Стандартный" план:

этапы разработки у нас стандартные ))
1. Разработка прототипа проекта (UX проектирование)
2. Разработка дизайна
3. Верстка
4. Посадка верстка и доработки серверной части
5. Тестирование

Еще вариант, со сроками:

1. Прототипирование и создание дизайна сайта 10 дней
2. Верстка сайта 7 дней
3. Программирование структуры сайта 30 дней
4. Создание уникальных модулей 10 дней

И, наконец, мой любимый, самый короткий:

Разработка фронтенда, админ-панель, бэкенд
По срокам примерно 2-3 недели, цену предлагайте сами.

В результате, этап планирования прошли шестеро. Трое - с Wordpress, и по одному с Laravel, October CMS, и Drupal.

Впереди нас ждет еще очень много всего интересного!

Wordpress - три попытки, от $2000 до $4000

Когда-то в начале двухтысячных Wordpress задумывался как простая система для self-hosting блога: удобная админка, таксономия, теги, антиспам фильтр, неплохой по меркам тех времен редактор, и так далее. Где-то начиная с 2011, стали появляться разнообразные плагины: e-commerce, booking, формы, галереи, и так далее.

Наверное, это был правильный вектор развития с точки зрения бизнеса. В конце концов, миллионы владельцев "лэндингов" и интернет-магазинов не могут ошибаться. Вот только как система для публикации контента Wordpress так и остался где-то в 2010-м. И даже, по-моему, немного откатился назад.

Камнем преткновения для Wordpress разработчиков стали наши требования по скорости загрузки страниц. Напомню, что нам очень хотелось получить сайт в зеленой зоне PageSpeed Insights. Так вот, по оценке наших кандидатов, оптимизация Wordpress съедала 40-50%% бюджета. Буквально каждый кандидат категорически настаивал на разработке кастомизированной темы "с нуля".

Вырисовывалась примерно такая логика: вы должны использовать Wordpress, потому что это самая популярная CMS, и там много классных тем и плагинов. Только вам эти темы использовать нельзя, потому что работают они медленно. А так как ядро CMS рассчитано на вот это вот все, то надо понимать. Поэтому, если хотите сделать хорошо, то надо делать кастомную тему, то есть доплатить за "оптимизацию" Wordpress.

Мы просто подсчитали, что только оптимизация обходилась нам где-то от $800 до $2000. Но это еще не самое страшное.

Другая проблема Wordpress, как ни странно, - это очень скромные "встроенные" средства управления контентом. Приведу такой пример: на Хабре можно посмотреть список статей в хабе фриланс, либо в хабе разработка веб-сайтов, но нельзя получить список статей, относящихся к обоим хабам одновременно.

У нас, конечно, гораздо меньше контента, чем на хабре. Зато время его жизни существенно больше. Чтобы помочь пользователям ориентироваться во всех наших статьях, мы решили добавить фильтры по множеству тегов.

Если вы хотя бы чуть-чуть знакомы с основами баз данных, то набросать запросы для фильтров many-to-many сможете за полчаса А вот стандартных плагинов для Wordpress с такой функциональностью - нет. Как нет и полнотекстового поиска из коробки, не говоря уже о морфологическом.

В общем, у нас были три Wordpress-кандидата. Все трое - хорошие специалисты с неплохими портфолио и впечатляющим опытом. Кстати, говоря о бюджете, даже с учетом Wordpress-оверхеда, он был вполне приемлемым: от $2000 до $4000.

Мы всячески пытались довести хотя бы одного из кандидатов до контракта. Но не сложилось: первый сошел с дистанции в процессе согласования деталей. Второй изначально особой активности не проявлял, как бы намекая, что не сильно заинтересован. Третий немного подумал, и сам предложил отказаться от Wordpress в пользу Laravel. За +20% к цене.

А ведь все так хорошо начиналось!

Laravel - $2000

Параллельно у нас появился еще один многообещающий кандидат:

Hello there! Я не могу предложить готовую CMS, но зато могу предложить потрясающий фреймворк Laravel. На нём могу реализовать весь необходимый вам функционал.

Вечер перестает быть томным, - подумали мы.

Буквально за выходные кандидат-ларавел развёл кипучую деятельность: написал весьма подробное техническое обоснование, включая примерный расчет VPS сервера под требуемую нагрузку, список необходимых сторонних библиотек, краткий план работ, mind map, и даже прислал несколько референсных тем. Несмотря на разницу во времени, кандидат отвечал на вопросы практически мгновенно, да и в целом производил самое что ни на есть благоприятное впечатление.

Вот только был один нюанс: у парня не было портфолио. Совсем не было. Ни единого сайта. Более того, он отказывался показать хоть какие-нибудь примеры своих работ, ссылаясь на NDA.

И тем не менее, мы решили рискнуть. Во-первых, кандидат-ларавел был самым коммуникабельным из всех, с кем мы на тот момент успели пообщаться. Во-вторых, сумма ($2000 за основную функциональность) и сроки (4 недели) выглядели вполне разумно. Поэтому мы предложили вариант с поэтапной оплатой через escrow. От него требовалось только подтвердить план на первые два этапа и заключить контракт

И тут вдруг коммуникационные навыки кандидата стали резко ухудшаться. Сначала ответы от него начали приходить с приличной задержкой, потом начали терять смысл, и, спустя неделю, он окончатально пропал.

А жаль, нормально же вроде общались.

Drupal - $8000

В любом pet-проекте есть несколько интересных идей "на вырост". У нас они тоже есть. Что гораздо важнее, мы знаем, чего мы делать не будем: не будем открывать интернет-магазин, запускать корпоративный портал, хостить форумы, и тому подобное.

Короче говоря, в свете наших более чем скромных планов, целесообразность использования монструозных CMS типа Drupal, выглядела несколько сомнительной.

Поэтому мы немного удивились, когда на наш заказ откликнулась целая web-студия с предложением сделать сайт на Drupal 9. Они оценили бюджета проекта в $8000.

Менеджер студии практически сразу переслал нам наше же техзадание, с комментариями их разработчика. Почти все было помечено как "доступно из коробки". Только в паре мест стояли пометки "нужны дополнительные настройки" или "нужна установка плагинов".

Как были обоснованы $8000? А никак! Все, что было хоть сколько-нибудь детально расписано, относилось к дополнительным опциям. Ну, вы понимаете, все эти , "структура сайта", "user story", "подготовка ТЗ" и "фиксация деталей по функциям". Где-то даже промелькнула фраза "наполнение контентом".

Кто его знает, - подумали мы, - может, ребята просто перфекционисты и берут премиальную цену за качество? Стали внимательно смотреть на их портфолио, но оно совершенно не впечатляло ни дизайном, ни техническим исполнением.

В общем, от этого предложения мы отказались сами: писать user story нам не хотелось, да и в целом выбор Drupal показался необоснованным.

А еще мы пожалели $8000.

October CMS - $2000

Нам изначально нравилась философия минимализма в October. К примеру, мы не планировали регистрацию внешних пользователей. Для простого контентного сайта в этом просто нет необходимости: контент будем добавлять только мы, а для комментариев все равно удобнее использовать что-то вроде commento.io. Зачем нам лишний код?

В October из коробки нет совершенно ничего лишнего. С другой стороны, почти все, что нужно, можно найти в виде плагинов. Включая ту же регистрацию пользователей. Сами мы, конечно, делать что-то на October вряд ли бы стали, но ведь поэтому мы и ищем веб-разработчика!

Мы хотели пообщаться с кем-нибудь с опытом в October, хотя статистически это и было маловероятно. И все же, иногда даже маловероятные события случаются.

В отличие от кандидата-ларавел, наш кандидат-october старался избегать телефонных разговоров. Зато он много писал. В частности, он написал самый детальный план из всех, что мы видели, включая целых два списка необходимых плагинов (основной, и "резервный"), расчет сервера, прикидку по "кастомной" функциональности, по доводке дизайна, оценку рисков, и еще много всего.

Также он честно признался, что не особо силен в верстке, но если мы выберем хорошую базовую тему, то сможет ее адаптировать.

Он был единственным из шести кандидатов, кто без лишних вопросов разбил проект на этапы, причем с очень глубокой детализацией и точностью до дня.

В общем, мы заключили контракт и закинули деньги за первые два этапа на escrow.

Первый этап был закончен точно в срок, мы даже удивились. Не то, чтобы это был сложный этап, - изначальная установка CMS, базовых плагинов и тем. Но к этому моменту мы уже так устали от всего происходящего, что радовались как маленькие дети. У нас, наконец, что-то заработало! Мы даже можем что-то опубликовать!

Увы, наша радость была недолгой. Второй этап был отложен на неделю, потом еще на неделю. Судя по коммитам на Github, второй этап даже не был начат. А потом исполнитель просто пропал.

Запил, наверное.

Бонус - профессиональные студии, до $18 000

Нам бы очень хотелось найти толкового исполнителя, в том числе и потому, что сайт, о котором идет речь в данной статье, - это только начало. У нас есть кое-какие планы и, при благоприятном стечении обстоятельств, было бы здорово заключить с хорошим веб-разработчиком постоянный контракт.

Конечно, мы были несколько разочарованы тем, что найти фрилансера никак не получается. Но время не ждет, и мы решили обратиться к профессионалам. То есть к веб-студиям, которые зарабатывают на разработке сайтов.

Если коротко, то там еще хуже.

Нам присылали "коммерческие предложения", скопированные с других проектов, не имеющих ничего общего с нашим. Нам предлагали сделать магазин, - "вам же когда-нибудь понадобится магазин?" Нам предлагали "зашифровать чувствительные данные". Нам предлагали увеличить трафик в два раза (серьезно?!?), а также "переделать сайт под SEO продвижение", и "протестить нишу". Да, еще нам предложили "написать адекватное ТЗ". Я уже рассказывал про use cases и user story?

Нам долго и обстоятельно рассказывали о преимуществах EditorJS над Tailwind, и TinyMCE над Bootstrap (и наоборот). Нам даже объяснили, почему монолитная архитектура нам подходит лучше, чем микросервисы. Ах да, ну и конечно, правильный PHP - это PHP 7, правильный Laravel - это 8, ну а правильный HTML - это 5! И никак иначе!

Зачастую все это сопровождалось огромным количеством грамматических ошибок и перемежалось фразами "я вас услышал", "наиболее оптимальный", и тому подобными. Не поймите меня неправильно, лично я спокойно отношусь к грамматическим ошибкам. Но когда в твоей команде большинство - лингвисты, им сложно объяснить, почему project-manager подрядчика пишет как третьеклассник, а разговаривает как пятиклассник.

И все это за каких нибудь $18 000 (восемнадцать тысяч долларов США). Ну хорошо, если мы "урежем" часть требований - $12 000. Но тогда работа аналитика оплачивается отдельно.

Вместо эпилога

За время поиска веб-разработчика наши контент-менеджеры и редактор подготовили 15 новых статей. Их по-прежнему негде публиковать.

Мы все любим ПО с открытым кодом. Журналисты и ученые визуализируют и обрабатывают данные с FOSS (Free and open-source software), государства переводят спонсируемые ими разработки на свободные лицензии, активисты приватности постоянно совершенствуют безопасность технологий потому, что в код смотрит много глаз. Базы данных, серверное обеспечение и прочая инфраструктура на открытом коде обеспечивает работу миллионам серверов по всему миру. На FOSS держится весь наш любимый интернет. И я не говорю о том, что на FOSS основана экосистемы крупнейших движков сайтов: WordPress, Joomla и Drupal. С помощью FOSS миллионы людей могут перевести ПО на самый редкий язык и не дать этому языку умереть под влиянием экспансии мировых языков. Наконец, идеология FOSS дает ответ и монополизации социальных сетей с помощью ActivePub/Fediverse.

Можно достаточно долго перечислять преимущества ПО с открытым кодом, но, по какой-то причине, мы видим, что FOSS повсеместно встречается с противодействием, часто откуда не ждали. В преддверии онлайн-конференции Админка, которая пройдет завтра и послезавтра, я постарался проанализировать нетехнические вызовы Open Source разработки.

Растущие требования пользователей к UX

В OS много программистов, но мало UX-еров. Из-за этого много OS-приложений выглядят совсем не так как их коммерческие аналоги? В какой момент OS-движение оттолкнуло дизайнеров и разработчиков? Или, может быть, их никогда не воспринимали всерьез, потому что мышка для слабых, командная строка и вот это все.

Но даже если UX-еров пригласили, то как поставить процесс так, чтобы UX-разработка не превратилась в мучительную долгоиграющую драму, как например, с Gutenberg в WordPress'e? Можем ли мы говорить о том, что человечество вообще достигло определенных ограничений того, что волонтерские самоорганизованные группы могут разработать? Т.е. есть ли какой-то физический когнитивно-организационный предел open Source разработки? Я верю, что нет, но вопрос, так или иначе, оставлю.

Высокий входной барьер для повсеместного использования

Многие платформенные решения глубоко внутри опираются на Open Source инфраструктуру, но постоянно бравируют тем, что мол "нас не надо устанавливать, зачем вам маяться с OS". И действительно, FOSS часто сложен в установке и поддержке.

Я не говорю тут о каких-то пользовательских FOSS-продуктах (например, Tor и VLC). А вот когда у вас предприятие малого или среднего бизнеса (МСБ), но нет тех.образования (и желания его получать тоже нет) в 90% вы не выберете Open Source.

И, наверное, можно сказать, что ну и на фиг представителей МСБ, не место им в наших достойных кругах. Но, FOSS это не только софт, это и практика создания, практика использования, практика взаимодействия. И, на мой взгляд, круг практикантов следует расширять.

В долгосрочной перспективе снобизм может сыграть злую шутку над всем FOSS-движением, т.к. вырастет пара поколений (а кто-то из них даже получит тех.образование), которые вообще не поймут, что делать с FOSS и куда его втыкать.

Программирование это новый алфавит и новый стандарт нормы грамотности или все-таки специализированное знание и дорога к преумножению скорби?

Финансовая устойчивость разработчиков OS-приложений

Наконец, вопрос денег. FOSS это не только ПО, не только практика создания и пользования, но и определенная идеология. И экономическая доступность FOSS как сила этой идеологии, в какой-то момент превращается в слабость в частности, в стигматизацию бизнес-моделей, основанных на FOSS.

Корпорация зла, пособники капитализма, продажные разработчики, негодяи, технология двойного назначения и т.д. каждый из этих эпитетов легко словить даже за намек на freemium или какой-то более креативный подход к заработку с использованием Open Source.

А те, кого сообщество готово превозносить, вынуждены согласиться на (или полностью принять) аскезу, чтобы не вызвать огонь критики. Вернер Кох, создатель GnuPG, должен сначала признаться о плачевном положении вещей, чтобы получить донаты со всего мира и сохранить место в пантеоне FOSS.

FOSS это только для гуру, аскетов и святых? Или для простых людей с семьями и долгами тоже?

Эпилог

Безусловно, эти вызовы не единственные. Их много. Но несмотря на все вызовы. Мы любим и верим в Open Source. И нам надо поговорить. Давайте встретимся на этих выходных онлайн и послушаем и поговорим про разные сюжеты из жизни Open Source разработчиков.

Модератор конференции Олег Северов, Computer Vision Developer, один из создателей проекта Lacmus.

Организатор блистательная Алиса Цветкова, Теплица социальных технологий.

Участники: Дмитрий Винокуров, координатор Linux сообщества города Пермь; Антон Булычев, создатель проекта Amnezia VPN; Олег Понфиленок, основатель Copter Express; Элина Ахманова, Associate Software Engineer в Red Hat; Ксения Ермошина, PhD (Mines ParisTech), сотрудница Центра Интернета и Общества (CNRS, Франция), UX-исследователь в Delta.Chat; Святослав Игуана, мейнтейнер проекта NewsViz; Дмитрий Якимчук, веб-разработчик; Ваш покорный слуга, Николай Лебедев, Ион Бурдианов (команда разработки Теплицы); Анна Ладошкина (Foralien Bureau); Dr. Quadragon, евангелист Mastodon; Георгий Перевозчиков, проект Lacmus; Ивана Бегтин, директор АНО Информационная культура; Вадим Мисбах-Соловьев, технический консультант РосКомСвободы и др.

"Invision Power Board" он же "Invision Community", я его назваю IPB.

Форум IPB хороший, функциональный во всех отношениях, даже больше того. Даже больше того - это практически полноценный CMS движок для сайта, взамен WP и подобным.

Но я давно использую для нескольких проектов CMS WP, хотя и люблю когда сайт написан с нуля без лишнего мусора. Примеры моих проектов для сравнения:

• lagonaki.ru - CMS WP + серьезная букинг тема, дописанная-переписанная, симбиоз CRM с Bitrix24. Постоянно обновляемая + множество плагинов, которые так же обновляются. Обслуживается самостоятельно, нужная информация вносится без привлечения внешних разработчиков.

• nik38.ru - написанный с нуля сайт, ничего лишнего. Много лет назад создан, чуть-чуть морально устарел, но работает исправно, доволен. Но единственный минус, чтобы что-то изменить, нужно привлекать отдельного программиста.

CMS WP как раз удобен тем, что он замечательно модернизируется, обновляется и поддерживается большинством плагинов. Например, нужен вам интерфейс для интернет коммерции - пожалуйста. Нужен плагин для SEO - пожалуйста. Нужен плагин для оптимизации - пожалуйста - несколько сот вариантов, и т.д. и т.п. В общем, лирика, теперь по делу.

Назрела пора реанимировать замороженный туристическо-альтруистический проект fisht.ru, у которого один из разделов "Форум" forum.fisht.ru, но жил он своей жизнью от основной части сайта. Закрыл форум вынуждено на регистрацию новых пользователей 3 года назад из-за обилия спамеров и отсутствия решения по борьбе со спамом. Предлагалось только обновить движок и заплатить за это 700$ + русификация...

Сейчас, начал изучать как можно объединить проект под WP и перенести форум с IPB платформы.

Наткнулся на cms2cms.com - проект, который конвертирует много форумов в другие форумы. Автоматизация процесса и техподдержка. Интересно, но очень дорого... Тем более автоматизация неважно сработала на первом этапе.

Свои прогеры по горло загружены, решил поискать исполнителя на "Фрилансер". Нашел толкового парня, но он специалист в IPB, решает вопросы с модернизацией, дизайном, обновлением и т.д. Если нужно - обращайтесь к нему, зовут Олег. Ему огромное спасибо, за то что решил оперативно помочь, но я все же хотел не на IPB остаться, а именно с него "съехать". Много причин, но две основные "Лицензия" дорогая и разделение сайта на форум и сайт. Олег и подсказал, что оказывается есть возможность съехать стандартными средствами bbPress. Вот та самая статья: Invision IPB v3.1x, v3.2x, v3.3x & v3.4x Importer for bbPress. За что ему отдельное спасибо, люблю когда не навязывают свою услугу, а показывают как в действительности обстоят дела.

Установка bbPress и перенос данных из IPB

Работающая версия на 02.10.2020. Если хотите сэкономить себе часы, а может даже и дни свободного времени, то рекомендую воспользоваться работающей связкой версий WP и bbPress:

• Установите версию Wordpress 5.3.3

• Установите версию bbPress 2.6.5

Долго мне пришлось разбираться, чтобы понять, что последняя версия Wordpress 5.5.1 и предыдущие версии 5.4 не идут с модулем bbPress 2.6.5, который обновлялся 2 месяца назад. В общем, это основная сложность, которая съела уйму времени.

Далее, активируем плагин bbPress, заходим в "Инструменты" - "Форумы" - "Импорт форумов" и выбираем платформу "Invision", далее по вашим настройкам. Там все дальше просто.

Если сервер с которого вы будете переносить форум находится на одной площадке, то указываем localhost, если же другой, то, соответственно, тот, с которого переносим.

Если у вас идет вот такая картинка, значит, перенос производится правильно!

Если заметили, что все повисло там, где не должно было виснуть - нажмите паузу и потом запустите далее. Сразу в phpMyAdmin в вашей базе увидите, что цифра начала увеличиваться, значит процесс переноса идет.

Для кого вообще эта статья?

Этот статью написал для тех, кто будет искать выход переноса форума IPB на платформу WP. Я выбрал bbPress, т.к. это по сути создатели WP - оригинальная интеграция всегда лучше. Хотя отсутствие обновлений, у меня "съело" очень много времени...

Если используете nginx

Рекомендую сразу внести правки в конфигурационном файле nginx
Требуется установить в location @fallback - для http и для https

    proxy_connect_timeout       600;    proxy_send_timeout          600;    proxy_read_timeout          600;    send_timeout                600;

В противном случае, на определенных операциях настройки форума будет выдаваться ошибка. В частности у меня постоянно выдавалась ошибка, если я в bbPress "Инструменты" - "Форум" - "Восстановление форума" запускал процесс "Пересчет темы для меток тем", то операция уходила и заканчивалась "504 Gateway Time-outnginx/1.14.1".

Также огромное спасибо Никите Максименко и Егору Шалаев из службы тех поддержки TimeWeb, которая поучаствовала в запуске новой жизни проекта.

Буду признателен комментариям от тех, кто сталкивался детально с настройкой bbPress, т.к. один вопрос еще не решил. В частности это ошибочно считает темы и посты, нужно пересчитать, все никак не получается.

Что интересно, если создать ФОРУМ, в него потом добавить другой подфорум и потом его вывести из-под него, то в новом созданном форме остается тоже самое количество из подфорума. Пример, я создал форум "Горы", в него перенес "Общие обсуждения", после "Общие обсуждения" вывел из "Горы" итог - равное количество Тем и сообщений. В общем, все, кроме этого, уже нормально и разобрался. Помогите, если кто-то сталкивался с этой проблемой.

Или лучше "Значительная часть SEO-плагинов под WordPress пишется шарлатанами?", если формулировать вопрос с доскональной точностью.

По ряду причин в последнее время я занимаюсь перебором SEO-плагинов на своем собственном сайте. Включаю то один, то другой от флагманов к малоизвестным. Смотрю, что как работает. И вот что увидела.

1. Ключевые запросы

Главное, что бросилось в глаза, это работа плагинов с классическими SEO-ключами. Ходят слухи, что те НЕ нужны ни Яндексу, ни Гуглу в последние несколько лет. Что поисковые системы успешно научились распознавать синонимы и вообще отлично улавливают общий смысл текста.

Соответственно, прямые вхождения SEO-ключей уже не актуальны они особо не помогают, а иногда наоборот вредят. Потому что наводят на подозрения, даже если вписаны аккуратно и не смотрятся чужеродными.

Косвенным подтверждением этой теории выступает тот факт, что в новейших стандартных темах Вордпресс строка keywords в принципе отсутствует в блоке header. Это несложно увидеть в исходном коде. Причем и плагины, о которых я сейчас пишу, такую строку никуда не добавляют. Однако продолжают требовать ключи в своих вебмастерских внутренних интерфейсах.

Если не заполнять соответствующие графы или заполнить их не точными словами-фразами, то начинают ругаться и выдавать советы типа "этот ваш материал надо бы улучшить", "вы в красной зоне, а не в зеленой", "страница нормальная всего на 58%", "в тексте не обнаружено", "плотность не та"...

Создается впечатление, что разработчики решили просто не убирать рудиментарные куски из своих продуктов. Вместо чего сделать вид, будто эти куски продолжают давать прежний вклад в совокупную оптимизацию сайта.

Они фактически вводят пользователей в заблуждение. Спасибо, если приписывают в каком-нибудь неприметном месте, что эти рекомендации по запросам, мол, наша собственная внутренняя оценка. Но ведь все эти грозные фразы (двумя абзацами выше) явно сигнализируют иное: "вам светят проблемы с поисковиками"; "оптимизация никуда не годится". А сигнал ведь ложный.

Про то, что часть плагинов до сих пор не умеет идентифицировать падежи или множественное число, я даже молчу. И это не какие-то аутсайдеры, наоборот из популярных, лидеры по количеству активных установок. Видимо, у всех проблемы с локализацией?

Плюс есть момент с платными версиями. Покупайте, мол, наши платные пакеты и работайте с большим количеством ключевых запросов (помимо другого дополнительного функционала). Однако что значит "работайте"? В контексте происходящего?.. Количество ключей увеличится, окей а качество анализа и рекомендаций?

1.1. Качество контента

Это уже сто лет известно, но все-таки продолжает раздражать. Странные алгоритмы оценки статей. Длина абзацев еще ладно. Но "читаемость"? "Водность"? "Бессмысленность и тленность"?

Условный Главред или Орфограммка потому и прославились, что не каждый суслик агроном. В смысле, не так уж здорово машинам удается оценивать тексты, нормальный сервис надо еще поискать. И даже обнаруженному нормальному не стоит верить огульно. Но нет, плагинщики "я сделялъ" настаивают.

Фе.

2. Мета-описания description

Наблюдение номер два: разработчики любят включать в пакеты такой функционал, как автоматическую генерацию мета-описаний. Реализуется это как вырезание кусков текста с вашей веб-страницы.

Но ведь выбирать цитаты для сниппета умеют и Яндекс, и Гугл. Причем делают это на вполне приличном уровне. Можно усомниться в том, что они возьмут наиболее удачный кусок статьи в качестве цитаты. Однако откровенного мусора, как минимум, не насыплют.

А некоторые плагины именно насыпают мусор например, принудительно втыкают в начало "автоматически сгенерированного description" метки и рубрики записи. В самых тяжелых случаях не разделяя их ни пробелами, ни знаками (*да, правда было). Причем далеко не всегда предусмотрена техническая возможность настраивать "состав автосниппета" или достаточно гибко корректировать процесс вручную.

То есть поисковики очевидно справятся с этой работой лучше. Если не лезть.

А разработчики плагинов, простите, имитируют_функциональность.

3. И полное игнорирование моего мнения

Творят что хотят, даже не ставя меня в известность. Иногда полное ощущение, будто некий гамадрил с дубинкой хозяйничает по всему сайту. На вскидку:

1. Мне тишком хлопали noindex на все страницы пагинации. Скромно замечу, что пагинация не обязательно делается автоматически в самом Вордпрессе, в Гутенберге, в числе базовых блоков есть "разрыв страницы".

   А у меня есть статья на 3000+ слов, которую я посчитала уместным разбить на несколько страниц потому что мне так видится логичным. И да, я прекрасно знаю, что листать поперек удобно на мониторах и не удобно на телефонах; на телефонах сподручнее прокручивать вниз. Но это мое дело, n'est-ce pas?

   Логика работы плагина явно противоречит логике работы CMS.

2. Мне переписывали роботс. Причем спрашивали, "вам сохранить существующий роботс, скопировать все оттуда?" а положительный ответ сначала принимали, а потом... Потом все-таки пытались вываливать в выдачу пачку легендарных мусорных страниц wp-json. Потому что запрещающая строка в итоге куда-то самопроизвольно пропадала из файла.

3. Карту сайта тоже переписывали кто во что горазд. Например, умудрялись поместить в нее ссылку на удаленный черновик записи. WTF?

У каждого разработчика свой взгляд на запрет/разрешение индексации, как я поняла. И каждый норовит скрутить настройки незаметно, открыть/закрыть очередные разделы по своему усмотрению. Каждый позиционирует свой плагин, как инструмент для "правильного" настраивания вашего сайта. У всех версии настроек разные и все "правильные".

Ни_разу никто не вывел сообщение-предупреждение "такие-то настройки я сейчас изменю". Какого черта?

***

Предвижу советы про наем профессионала. Который все отладит как мне надо, в крайнем случае вставит-сотрет куски кода и вообще... Разрешите возразить.

Это нормально и довольно широко распространено, когда имярек сам себе вебмастер, и сисадмин, и контент-менеджер, и копирайтер, и все остальные члены команды в одном лице. И в код такие люди благополучно суются, только это ведь не правильно.

Обратите внимание, как плагины позиционируются и рекламируются. Их представляют "инструментами для простой удобной настройки" и бла-бла-бла. А фактически заявленный функционал не обеспечивается. Зачастую имеет место имитация в комплекте с искусственным усложнением жизни вебмастера, чтобы тот видел активность (и оставался в тонусе). Спасибо.

унылый_котик.жпг

Такие дела.