Небольшой Disclaimer
Автор статьи не является экспертом по языку Rust и соответственно любые улучшения, и конкретные рекомендации от гуру приветствуются. Статья не является рекламой Vector и автор никак не связан с компанией Timber и ее контрибуторами. Все ниже описанное является чистым DIY экспериментом с целью показать, что нет непреодолимых барьеров, если очень хочется.
Итак, начнем
Речь пойдет о Vector версии 0.10.0, хотя модный и хайповый лог коллектор только недавно обновился до версии 0.11.0, возможно этот способ подойдет и для него.
Нам в компании X5 нравится Vector и мы хотели его попробовать на архитектуре x86_32. Тогда как из коробки он доступен для почти любых операционок в двух архитектурах x86_64 и ARM7.
Собирать будем в Docker на основе рекомендаций, изложенных тут.
Описание по ссылке выше подходит только частично, так как нам нужна некая i686-unknown-linux-gnu конфигурация для Rust, как показывает великий Гугл. Собирать будем в докере целевой системы (x86_32 Debian 9.5) потому что я понял, что компиляция 32bit Rust в 64bit окружении мне не под силу.
FYI: Да, до этого я попробовал i686-unknown-linux-musl и мне не удалось заставить ее работать.
Магия Docker
Копируем файлы из репозитория на github:
mkdir -p vector && \ curl -sSfL --proto '=https' --tlsv1.2 https://api.github.com/repos/timberio/vector/tarball/v0.10.0 | \ tar xzf - -C vector --strip-components=1
В директории vector/scripts/ci-docker-images создаем папку builder-i686-unknown-linux-gnu, базовый Dockerfile берем из vector/scripts/ci-docker-images/builder-x86_64-unknown-linux-gnu и начинаем править.
После нескольких часов экспериментов, гугления и мук выбора, получилось следующее:
FROM i386/debian:9.5 as builder# This is formatted "$UID:$GID" by the docker-compose/scripts.ARG USERRUN apt-get update && \ apt-get -y upgradeRUN apt-get install -y \ make libssl-dev cmake git \ build-essential sudo curl RUN curl -L https://cpanmin.us | perl - App::cpanminusRUN cpanm File::Rename \ && rename --versionRUN cd /tmp && \ git clone https://github.com/github/cmark-gfm && \ cd cmark-gfm && \ git checkout 0.29.0.gfm.0 && \ make install INSTALL_PREFIX=/usr && \ ldconfig && \ cd .. && \ rm -rf cmark-gfm && \ cmark-gfm --versionRUN sudo adduser runnerRUN sudo usermod -aG sudo runnerUSER runnerRUN curl https://sh.rustup.rs -sSf | sh -s -- --no-modify-path --default-host i686-unknown-linux-gnu -yENV PATH=/home/runner/.cargo/bin:$PATHRUN echo "export PATH=/home/runner/.cargo/bin:$PATH" >> ~/bashrcENV LIBRARY_PATH /usr/local/lib:$LIBRARY_PATHENV LD_LIBRARY_PATH /usr/local/lib:$LD_LIBRARY_PATHRUN rustup update stableRUN rustup run stable cargo install cargo-deb --target=i686-unknown-linux-gnu --version '^1.24.0'CMD ["bash"]
Также пришлось поправить файл vector/Makefile.
Добавив и описав build-i686-unknown-linux-gnu в нескольких местах и сделав ее единственным вариантом сборки.
Кусочек файла vector/Makefile для примера:
#build-all: build-x86_64-unknown-linux-musl build-armv7-unknown-linux-musleabihf build-aarch64-unknown-linux-musl ## Build the project in release mode for all supported platformsbuild-all: build-i686-unknown-linux-gnu.package-archive-i686-unknown-linux-gnu: build-i686-unknown-linux-gnu ## Build the x86_32 archive$(RUN) package-archive-i686-unknown-linux-gnu
Конфигурация зависимостей Rust лежит в файле vector/Cargo.toml. Туда была добавлена секция profile.release:
[profile.release]opt-level = 'z' # Optimize for size.debug = falsedebug-assertions = falselto = truecodegen-units = 1
Это было сделано из соображений оптимизации, т.к. первые собранные бинарники были размером с чугунный мост ~ 60Мб, что не приемлемо. Размер оригинальных бинарников с сайта примерно 7Мб.
Вдохновение навеяно на мой взгляд великолепным описанием методик уменьшения размеров бинарников Rust от @johnthagen тут: https://github.com/johnthagen/min-sized-rust
В стремлении сэкономить на размере в секциях sources, transforms закомментированы
logplex|splunk_hec и aws_ec2_metadata|lua соответсвенно, что позволило без секции profile.release сэкономить примерно 10Мб в собранном состоянии.
# Sourcessources = [ "sources-docker", "sources-file", "sources-generator", "sources-http", "sources-internal_metrics", "sources-journald", "sources-kafka", #"sources-logplex", "sources-prometheus", "sources-socket", #"sources-splunk_hec", "sources-statsd", "sources-stdin", "sources-syslog", "sources-tls", "sources-vector",]# Transformstransforms = [ "transforms-add_fields", "transforms-add_tags", "transforms-ansi_stripper", #"transforms-aws_ec2_metadata", "transforms-coercer", "transforms-concat", "transforms-dedupe", "transforms-field_filter", "transforms-filter", "transforms-geoip", "transforms-grok_parser", "transforms-json_parser", "transforms-log_to_metric", "transforms-logfmt_parser", #"transforms-lua", "transforms-merge", "transforms-regex_parser", "transforms-remove_fields", "transforms-remove_tags", "transforms-rename_fields", "transforms-sampler", "transforms-split", "transforms-swimlanes", "transforms-tag_cardinality_limit", "transforms-tokenizer", "transforms-reduce",]
Сборка
Запускаем все это дело командой:
PASS_FEATURES=default-cmake ./scripts/docker-run.sh builder-i686-unknown-linux-gnu make build
В процессе сборки могут вываливаться ошибки вроде этой:
error: Input/output error (os error 5)warning: build failed, waiting for other jobs to finish... Building [===> ] 40/537: regex-syntax error: build failedMakefile:156: recipe for target 'build' failedmake: *** [build] Error 101
Унывать не советую, перезапускаем make и после бесконечного cargo downloading component, Updating crates.io index и Updating git repository сборка продолжается с того места, на котором прервалась. Кстати если кто-то знает, как это прекратить и заставить cargo и crates использовать локальный кэш было бы супер)
На macbook pro i5 8gb этот процесс длится примерно 2 часа, из них сама сборка минут 50.
После сборки файлик можно сжать UPXом:
upx --best --lzma target/release/vector
На этом все.
Репозиторий github с исправленными файлами и Vector 0.10.0 тут
Собранный бинарник 8,7Мб, сжатый UPX тут
