Какими бывают подходы к идентификации данных

Генерация идентификаторов

• уникальность в рамках области применения не должно быть повторяющихся идентификаторов,
• скорость генерации высоконагруженные системы могут быть чувствительны к таких расходам,
• монотонность / хронология значений для отладки и тестирования удобнее иметь короткие, идущие по порядку значения, для безопасности более привлекательными выглядят случайные значения,
• тип и размер значений чаще всего это либо число, либо строка.

• последовательность в БД (Sequence / Identity),
• глобальный идентификатор (UUID / Snowflake ID).

• UUID Versions Explained
• Primary Keys: IDs versus GUIDs
• UUID or GUID as Primary Keys?

Вычисление идентификаторов

• отсутствие коллизий вероятность получения одинакового хеша для объектов с разными данными должна быть низкой (насколько низкой определяется областью применения),
• детерминированность повторные вычисления хеша для объекта должны давать то же самое значение,
• криптостойкость развёртывание хеша обратно в объект, подбор двух объектов с коллизией хеша и другие атаки должны иметь высокую вычислительную сложность.

• FNV,
• CRC,
• MurmurHash.

• MD6,
• SHA-2 / SHA-3,
• ГОСТ Р 34.11-94 / ГОСТ Р 34.11-2012.

Сценарии

Репликация сущностей между БД

Дедупликация событий

Быстрый поиск объектов

• Откуда растут ноги у hashCode
• Best implementation for hashCode method
• Подробный разбор класса HashMap

Контроль целостности файлов

Безопасное хранение паролей

Компактный производный идентификатор

Объект электронной подписи

Заключение

Связь с коллегами

Skype

Teams

Zoom Cloud Meetings

• интерактивную доску,
• функцию размытого фона,
• заметки.

Slack

• Разграничивает рабочие вопросы и личное общение (для личных переписок остаются соцсети и мессенджеры, доступ к которым можно и закрыть).
• Интегрируется с онлайн-сервисами (например, Google Docs, MailChimp, Trello, Twitter).

WhatsApp, Telegram, Discord etc.

Офисные дела

Google Docs

Evernote

Dropbox

Joxi

Управление проектами

Trello

Todoist

Asana

Notion

• Через браузер. Потребуется завести учетную запись на официальном сайте.
• С desktop. Необходимо бесплатно скачать Notion с официального сайта. Есть версии для Mac и Windows.
• Через мобильное приложение. Есть для iOS и Android.

• вести заметки и работать с документами,
• собирать базы знаний,
• управлять задачами и проектами,
• хранить базы данных и вести таблицы,
• сохранять ссылки из браузера.

Timely

• десктопная программа (Windows, macOS),
• мобильное приложение (iOS, Android),
• приложение для Apple Watch.

Мозговой штурм

Miro

MindMeister

Удаленная работа

TeamViewer

Терминальный сервер

VDI

VDI или RDP что лучше

Вывод

В заключение

1. Действуйте без сожалений

2: Будьте виртуозом виртуального пространства

3: Играйте на опережение

4. Думайте нестандартно

5. Поддерживайте идеи нейроразнообразия

6. Внедряйте принципы устойчивого развития

7. Будьте осознанным лидером

8. Смотрите глубоко

9. Будьте добры к себе

10: Найдите время, чтобы тестировать новые технологии

* * *

• Из хороших идей нужно всегда быть уверенным, что у тебя отключены камера и звук. Виртуальное общение требует определенного контроля, поскольку ты всегда можешь оказаться в прямом эфире и попасть в нелепую ситуацию.
• В этом году стремитесь пройти обучение, так как, возможно, вас ждет следующий карьерный шаг. Будьте готовы к росту.
• Коронавирус научил нас нестандартному мышлению. Мы не знаем, что будет завтра. Поэтому запускайте как можно больше пилотных проектов, возможно, какой-то из них выстрелит в это непредсказуемое время. Но, конечно, не нужно слепо следовать вообще всем идеям. Отказывайтесь только от тех, в которые вы совсем не верите.
• ИТ-директора в силу своего статуса могут поддерживать многие модные тренды, в том числе принцип разнообразия. Но главным остается умение специалиста качественно выполнять задачи, которые перед ним поставлены.
• Вообще полезно задаться вопросом что было бы, если бы не пришла пандемия?, обсудить с коллегами, какие есть еще зоны роста в компании и что улучшить на случай третьей волны.
• Следите за эмоциональным состоянием сотрудников, оказавшимся на удаленке: нужно чаще встречаться онлайн, разговаривать на отвлеченные темы. Как показали опросы, для многих сотрудников переход на удаленку стал сильным испытанием.

Коротко о трендах

Как изменилась работа data-специалистов

1. Ускорение изменений в данных и аналитике: использование инноваций в области искусственного интеллекта, улучшенная возможность по компоновке, а также более гибкая и эффективная интеграция разнообразных источников данных.
2. Операционализация ценности бизнеса посредством более эффективного использования XOps: позволяет лучше принимать решения и превращать данные и аналитику в неотъемлемую часть бизнеса.
3. Принцип все распределено: предполагает гибкое соотнесение данных и идей для расширения возможностей более широкой аудитории людей и объектов.

Тренд 1. Продвинутый, ответственный, масштабируемый ИИ

Тренд 2. Составные данные и аналитика

Тренд 3. Фабрика данных как основа

Тренд 4. От больших данных к малым и широким данным

Тренд 5. XOps

Тренд 6. Проектирование интеллекта принятия решений

Тренд 7. Данные и аналитика как ключевая бизнес-функция

Тренд 8. Графы в основе всего

Тренд 9. Расширение пользовательского опыта

Тренд 10. Данные и аналитика впереди планеты всей

В заключение

Чему учат солдат в виртуальной и дополненной реальности

• тренировка навыков управления техникой, например, авиационные тренажеры;
• отработка навыков обслуживания техники;
• отработка первичных боевых навыков у новобранцев;
• обучение действиям в боевых условиях;
• тренировка медиков в стрессовых ситуациях и удаленная медицинская поддержка.

Тренировка навыков управления техникой

Отработка навыков обслуживания техники

Отработка первичных боевых навыков у новобранцев

• виртуальные тиры стационарные стрелковые тренажеры для отработки базовых навыков стрельбы из различных типов оружия;

• тренажеры для отработки прыжков с парашюта;

Обучение действиям в боевых условиях

Симуляторы боевых действий

Тактические симуляторы

• планировании боевых операций;
• отслеживании ситуации на поле боя (при наличии соответствующей техники и датчиков на бойцах, позволяющих накладывать их местоположение на виртуальную карту боя);
• проведении брифингов перед началом спецопераций, при этом карта формируется в дополненной реальности.

Симуляторы группового взаимодействия

Полномасштабные симуляторы (Virtual WAR)

Тренировка медиков в стрессовых ситуациях и удаленная медицинская поддержка

Энергетический потенциал и экологические мотивы

• 1 тонна подсолнечной лузги замещает 428 м³ газа,
• снижение выбросов углекислого газа составит 807,6 кг.

Энергетическая утилизация агротоплива. Экономические причины

• снижения затрат, связанных с захоронением отходов и платой за негативное воздействие на окружающую среду (НВОС), создающих сегодня существенную финансовую нагрузку на сельхозпроизводителей. Например, малоэкстракционный завод с мощностью переработки 1000 тонн семян в сутки в связи с утилизацией основного отхода лузги подсолнечника в среднем тратит:
  на транспортировку и размещение отходов на полигоне 102 млн рублей в год (сумма может варьироваться в зависимости от тарифов региональных операторов),
  на платежи НВОС, рассчитываемые, исходя из массы и класса опасности отходов (лузга относится к V классу), 72 млн рублей.
• выработки более дешевой по сравнению с приобретаемой у внешних поставщиков энергии. Наша практика расчетов рентабельности проектов показывает, что целесообразно рассматривать собственную генерацию, если электроэнергия обходится дороже, чем 3,7 рублей за кВтч. В большинстве регионов с развитым сельским хозяйством и агропромышленным производством электроэнергия дорогая, и действующие тарифы существенно превышают этот показатель.
• исключения затрат на присоединение дополнительной сетевой мощности. Стоимость подключения по разным регионам различна и зависит от существующей инфраструктуры. Если подстанция находится рядом, и она недозагружена, то стоимость подключения будет относительно невысока; если до предприятия нужно будет тянуть ЛЭП, то потребитель должен будет её оплатить, и она будет включена в стоимость присоединения мощности. В среднем диапазон затрат в расчете на 1 МВт составляет 3080 млн рублей (единовременный платеж), но в отдельных случаях, упомянутых выше, может и превышать эту сумму.

• теплогенерация (котельные на биомассе);
• когенерация (ТЭЦ и мини-ТЭЦ на биомассе).

Типы энергоисточников на отходах агросектора

• наличие собственных отходов в количестве, достаточном для покрытия собственных нужд в тепловой энергии и для выработки электрической энергии;
• высокая стоимость энергии в регионе;
• потребность в тепловой энергии у потребителей предприятия, отбор которой можно организовать непосредственно с турбины (более выгодный режим когенерации).

Производство и затраты

Baselines

Представление изображений

Краткое демо

import torchfrom torch import nnimport torch.nn.functional as Ffrom torch.utils.data import DataLoader, Datasetimport osfrom PIL import Imagefrom torchvision.transforms import Resize, Compose, ToTensor, Normalizeimport numpy as npimport skimageimport matplotlib.pyplot as pltimport timedef get_mgrid(sidelen, dim=2):'''Generates a flattened grid of (x,y,...) coordinates in a range of -1 to 1.sidelen: intdim: int'''tensors = tuple(dim * [torch.linspace(-1, 1, steps=sidelen)])mgrid = torch.stack(torch.meshgrid(*tensors), dim=-1)mgrid = mgrid.reshape(-1, dim)return mgrid

class SineLayer(nn.Module):# See paper sec. 3.2, final paragraph, and supplement Sec. 1.5 for discussion of omega_0.# If is_first=True, omega_0 is a frequency factor which simply multiplies the activations before the# nonlinearity. Different signals may require different omega_0 in the first layer - this is a# hyperparameter.# If is_first=False, then the weights will be divided by omega_0 so as to keep the magnitude of# activations constant, but boost gradients to the weight matrix (see supplement Sec. 1.5)def __init__(self, in_features, out_features, bias=True,is_first=False, omega_0=30):super().__init__()self.omega_0 = omega_0self.is_first = is_firstself.in_features = in_featuresself.linear = nn.Linear(in_features, out_features, bias=bias)self.init_weights()def init_weights(self):with torch.no_grad():if self.is_first:self.linear.weight.uniform_(-1 / self.in_features,1 / self.in_features)else:self.linear.weight.uniform_(-np.sqrt(6 / self.in_features) / self.omega_0,np.sqrt(6 / self.in_features) / self.omega_0)def forward(self, input):return torch.sin(self.omega_0 * self.linear(input))def forward_with_intermediate(self, input):# For visualization of activation distributionsintermediate = self.omega_0 * self.linear(input)return torch.sin(intermediate), intermediateclass Siren(nn.Module):def __init__(self, in_features, hidden_features, hidden_layers, out_features, outermost_linear=False,first_omega_0=30, hidden_omega_0=30.):super().__init__()self.net = []self.net.append(SineLayer(in_features, hidden_features,is_first=True, omega_0=first_omega_0))for i in range(hidden_layers):self.net.append(SineLayer(hidden_features, hidden_features,is_first=False, omega_0=hidden_omega_0))if outermost_linear:final_linear = nn.Linear(hidden_features, out_features)with torch.no_grad():final_linear.weight.uniform_(-np.sqrt(6 / hidden_features) / hidden_omega_0,np.sqrt(6 / hidden_features) / hidden_omega_0)self.net.append(final_linear)else:self.net.append(SineLayer(hidden_features, out_features,is_first=False, omega_0=hidden_omega_0))self.net = nn.Sequential(*self.net)def forward(self, coords):coords = coords.clone().detach().requires_grad_(True) # allows to take derivative w.r.t. inputoutput = self.net(coords)return output, coordsdef forward_with_activations(self, coords, retain_grad=False):'''Returns not only model output, but also intermediate activations.Only used for visualizing activations later!'''activations = OrderedDict()activation_count = 0x = coords.clone().detach().requires_grad_(True)activations['input'] = xfor i, layer in enumerate(self.net):if isinstance(layer, SineLayer):x, intermed = layer.forward_with_intermediate(x)if retain_grad:x.retain_grad()intermed.retain_grad()activations['_'.join((str(layer.__class__), "%d" % activation_count))] = intermedactivation_count += 1else:x = layer(x)if retain_grad:x.retain_grad()activations['_'.join((str(layer.__class__), "%d" % activation_count))] = xactivation_count += 1return activations

def laplace(y, x):grad = gradient(y, x)return divergence(grad, x)def divergence(y, x):div = 0.for i in range(y.shape[-1]):div += torch.autograd.grad(y[..., i], x, torch.ones_like(y[..., i]), create_graph=True)[0][..., i:i+1]return divdef gradient(y, x, grad_outputs=None):if grad_outputs is None:grad_outputs = torch.ones_like(y)grad = torch.autograd.grad(y, [x], grad_outputs=grad_outputs, create_graph=True)[0]return grad

def get_cameraman_tensor(sidelength):img = Image.fromarray(skimage.data.camera())transform = Compose([Resize(sidelength),ToTensor(),Normalize(torch.Tensor([0.5]), torch.Tensor([0.5]))])img = transform(img)return img

class ImageFitting(Dataset):def __init__(self, sidelength):super().__init__()img = get_cameraman_tensor(sidelength)self.pixels = img.permute(1, 2, 0).view(-1, 1)self.coords = get_mgrid(sidelength, 2)def __len__(self):return 1def __getitem__(self, idx):if idx > 0: raise IndexErrorreturn self.coords, self.pixels

cameraman = ImageFitting(256)dataloader = DataLoader(cameraman, batch_size=1, pin_memory=True, num_workers=0)img_siren = Siren(in_features=2, out_features=1, hidden_features=256,hidden_layers=3, outermost_linear=True)img_siren.cuda()

total_steps = 500 # Since the whole image is our dataset, this just means 500 gradient descent steps.steps_til_summary = 10optim = torch.optim.Adam(lr=1e-4, params=img_siren.parameters())model_input, ground_truth = next(iter(dataloader))model_input, ground_truth = model_input.cuda(), ground_truth.cuda()for step in range(total_steps):model_output, coords = img_siren(model_input)loss = ((model_output - ground_truth)**2).mean()if not step % steps_til_summary:print("Step %d, Total loss %0.6f" % (step, loss))img_grad = gradient(model_output, coords)img_laplacian = laplace(model_output, coords)fig, axes = plt.subplots(1,3, figsize=(18,6))axes[0].imshow(model_output.cpu().view(256,256).detach().numpy())axes[1].imshow(img_grad.norm(dim=-1).cpu().view(256,256).detach().numpy())axes[2].imshow(img_laplacian.cpu().view(256,256).detach().numpy())plt.show()optim.zero_grad()loss.backward()optim.step()

Представление аудио

import scipy.io.wavfile as wavfileimport iofrom IPython.display import Audioif not os.path.exists('gt_bach.wav'):!wget https://vsitzmann.github.io/siren/img/audio/gt_bach.wav

class AudioFile(torch.utils.data.Dataset):def __init__(self, filename):self.rate, self.data = wavfile.read(filename)self.data = self.data.astype(np.float32)self.timepoints = get_mgrid(len(self.data), 1)def get_num_samples(self):return self.timepoints.shape[0]def __len__(self):return 1def __getitem__(self, idx):amplitude = self.datascale = np.max(np.abs(amplitude))amplitude = (amplitude / scale)amplitude = torch.Tensor(amplitude).view(-1, 1)return self.timepoints, amplitude

bach_audio = AudioFile('gt_bach.wav')dataloader = DataLoader(bach_audio, shuffle=True, batch_size=1, pin_memory=True, num_workers=0)# Note that we increase the frequency of the first layer to match the higher frequencies of the# audio signal. Equivalently, we could also increase the range of the input coordinates.audio_siren = Siren(in_features=1, out_features=1, hidden_features=256,hidden_layers=3, first_omega_0=3000, outermost_linear=True)audio_siren.cuda()

rate, _ = wavfile.read('gt_bach.wav')model_input, ground_truth = next(iter(dataloader))Audio(ground_truth.squeeze().numpy(),rate=rate)

total_steps = 1000steps_til_summary = 100optim = torch.optim.Adam(lr=1e-4, params=audio_siren.parameters())model_input, ground_truth = next(iter(dataloader))model_input, ground_truth = model_input.cuda(), ground_truth.cuda()for step in range(total_steps):model_output, coords = audio_siren(model_input)loss = F.mse_loss(model_output, ground_truth)if not step % steps_til_summary:print("Step %d, Total loss %0.6f" % (step, loss))fig, axes = plt.subplots(1,2)axes[0].plot(coords.squeeze().detach().cpu().numpy(),model_output.squeeze().detach().cpu().numpy())axes[1].plot(coords.squeeze().detach().cpu().numpy(),ground_truth.squeeze().detach().cpu().numpy())plt.show()optim.zero_grad()loss.backward()optim.step()

final_model_output, coords = audio_siren(model_input)Audio(final_model_output.cpu().detach().squeeze().numpy(),rate=rate)

Представление видео

Решение уравнения Пуассона

Представление фигур путем решения уравнения Эйконала Interactive 3D SDF Viewer используйте мышь для навигации по сценам

Решение уравнения Гельмгольца

Решение волнового уравнения

* * *

• есть история снятия/приема наличности в банкоматах (в нашем случае это были данные за полтора года);
• стоимость потерь от нахождения денег в банкоматах (от простаивающих запасов) зависит от ставки рефинансирования (параметр q); стоимость можно оценить как , где S сумма, X количество дней;
• стоимость поездки инкассаторов, si (меняется со временем и зависит от местоположения банкомата и маршрута инкассаторов).

• система рекомендаций по количеству купюр и времени, на которое их нужно заложить;
• экономический эффект от предлагаемого решения.

• S сумма снятий, руб./день,
• X количество дней между инкассациями,
• n рассматриваемый период в днях,
• q ставка рефинансирования,
• si стоимость инкассации.

• Самое главное, сложное, и интересное в момент инкассации мы не знаем, какие это будут суммы, их нужно прогнозировать (об этом ниже).
• Банкоматы бывают следующих типов:
  
  только на внос/вынос,
  на внос и вынос одновременно,
  на внос и вынос одновременно + ресайклинг (за счёт ресайклинга у банкомата есть возможность выдавать купюры, которые в него вносят другие клиенты).
• Описанная функция также зависит от n количества рассматриваемых дней. Если подробнее рассмотреть эту зависимость на реальных примерах, то получится следующая картинка:

• x максимальное количество дней между инкассациями
• n количество дней, которые отслеживаем, то есть мы смотрим последние n значений подаваемых на вход временных рядов (как написано выше, функция не зависит от n, этот параметр добавлен, чтобы можно было экспериментировать с длиной подаваемого временного ряда)
• incr_sums ряд спрогнозированных сумм по купюрам только на внос,
• decr_sums ряд спрогнозированных сумм по купюрам только на вынос,
• withdrawal_sums ряд спрогнозированных сумм выдач банкомата (т.е. здесь сумма по купюрам in минус сумма по out), заполняется 0 для всех банкоматов кроме ресайклинговых,
• si стоимость инкассации.

def process_intervals(n, x, incr_sums, decr_sums, withdrawal_sums):# генератор количества сумм, которые# остаются в банкомате на каждый день# incr_sums  ряд возрастающих сумм# decr_sums  ряд убывающих сумм# withdrawal_sums  ряд сумм выдач банкомата (там присутствуют купюры, которые идут только на выдачу)# заполняется 0 для всех банкоматов кроме ресайклинговых# x  количество дней между инкассациями# n  количество дней, которые отслеживаемif x>n: returnfor i in range(n//x):decr_interval = decr_sums[i*x:i*x+x]incr_interval = incr_sums[i*x:i*x+x]withdrawal_interval = withdrawal_sums[i*x:i*x+x]interval_sum = np.sum(decr_interval)interval_sum += np.sum(withdrawal_interval[:3])for i, day_sum in enumerate(decr_interval):interval_sum -= day_suminterval_sum += incr_interval[i]interval_sum += withdrawal_interval[i]yield interval_sum# остаток сумм. Берется целый интервал.# но yield только для остатка рядаdecr_interval = decr_sums[(n//x)*x:(n//x)*x+x]incr_interval = incr_sums[(n//x)*x:(n//x)*x+x]withdrawal_interval = withdrawal_sums[(n//x)*x:(n//x)*x+x]interval_sum = np.sum(decr_interval)interval_sum += np.sum(withdrawal_sums[:3])for i, day_sum in enumerate(decr_interval[:n-(n//x)*x]):interval_sum -= day_suminterval_sum += incr_interval[i]interval_sum += withdrawal_sums[i]yield interval_sumdef waiting_cost(n, x, incr_sums, decr_sums, withdrawal_sums, si):# incr_sums  ряд возрастающих сумм# decr_sums  ряд убывающих сумм# withdrawal_sums  ряд сумм выдач банкомата (там присутствуют купюры, которые идут только на выдачу)# заполняется 0 для всех банкоматов кроме ресайклинговых# si  стоимость инкассации# x  количество дней между инкассациями# n  количество дней, которое отслеживаемassert len(incr_sums)==len(decr_sums)q = 4.25/100/365processed_sums = list(process_intervals(n, x, incr_sums, decr_sums, withdrawal_sums))# waiting_cost = np.sum(processed_sums)*q + si*(x+1)*n//xwaiting_cost = np.sum(processed_sums)*q + si*(n//x) + si# делим на n, чтобы получить среднюю сумму в день (не зависящее от количества дней)return waiting_cost/ndef TotalCost (incr_sums, decr_sums, withdrawal_sums, x_max=14, n=None, si=2500):# x  количество дней между инкассациями# n  количество дней, которое отслеживаемassert len(incr_sums)==len(decr_sums) and len(decr_sums)==len(withdrawal_sums)X = np.arange(1, x_max)if n is None: n=len(incr_sums)incr_sums = incr_sums[-n:]decr_sums = decr_sums[-n:]        withdrawal_sums = withdrawal_sums[-n:]waiting_cost_sums = np.zeros(len(X))for i, x in enumerate(X):waiting_cost_sums[i] = waiting_cost(n, x, incr_sums, decr_sums, withdrawal_sums, si)return waiting_cost_sums

• Временные лаги целевых значений переменной, lag_* (их количество можно варьировать, но мы остановились на 31. К тому же, если мы хотим прогнозировать не на день вперед, а на неделю, то и первый лаг смотрится не за вчерашний день, а за неделю назад. Таким образом, максимально далеко мы смотрели на 31+14=45 дней назад).
• Дельты между лагами, delta_lag*-lag*.
• Полиномиальные признаки от лагов и их дельт, lag_*^* (использовались только первые 5 лагов и их дельт, обозначались).
• День недели, месяца, номер месяца, weekday, day, month (категориальные переменные).
• Тригонометрические функции от временных значений из пункта выше, weekday_cos и т.д.
• Статистика (max, var, mean, median) для этого же дня недели, месяца, weekday_max, weekday_mean, (брались только дни, находящиеся раньше рассматриваемого в обучающей выборке).
• Бинарные признаки выходных дней, когда банкоматы не работают, is_weekend
• Значения целевой переменной за этот же день предыдущей недели/месяца, y_prev_week, y_prev_month.
• Двойное экспоненциальное сглаживание + сглаживание по значениям целевой функции за те же дни предыдущих недели/месяца, weekday_exp_pred, monthday_exp_pred.
• Попробовали tsfresh, tsfresh+PCA, но потом отказались от этого, поскольку этих признаков очень много, а объектов в обучающей выборке у нас было мало.

1. Для каждой купюры каждого atm на каждый прогнозируемый день своя модель (поскольку прогнозировать на день вперед и на неделю вперед разные вещи и снятия по различным купюрам также сильно разнятся), поэтому на каждый банкомат приходится около 100 моделей.
2. По историческим данным банкомата при помощи функции TotalCost находится оптимальное количество дней до инкассации.
3. Если найденное значение меньше 14 дней, то следующий день инкассации и закладываемая сумма подбираются по прогнозу, который кладется в функцию TotalCost, иначе по историческим данным.
4. На основе прогноза либо исторических данных снятий/внесений наличности рассчитывается сумма, которую нужно заложить (т.е. количество закладываемых купюр).
5. В банкомат закладывается сумма + ошибка.
6. Ошибка: при закладывании денег в банкомат необходимо заложить больше денег, оставив подушку безопасности, на случай, если вдруг люди дружно захотят обналичить свои сбережения (чтобы перевести их во что-то более ценное). В качестве такой суммы можно брать средние снятия за последние 2-3 дня. В усложнённом варианте можно прогнозировать снятия за следующие 2-3 дня и дополнительно класть эту сумму (выбор варианта зависит от качества прогноза на конкретном банкомате)
7. Теперь с каждым новым днём приходят значения реальных снятий, и оптимальный день инкассации пересчитывается. Чем ближе день инкассации, полученный по предварительному прогнозу, тем больше реальных данных мы кладём в TotalCost вместо прогноза, и точность работы увеличивается.

• использовать нейронные сети для прогноза, возможно даже RL агента,
• использовать одну модель, просто подавая в неё дополнительный признак, отвечающий за горизонт прогнозирования в днях.
• построить эмбеддинги для банкоматов, в которых сагрегировать информацию о географии, посещаемости места, близости к магазинам/торговым центрам и т. д.
• если оптимальный день инкассации (на втором шаге пайплайна) превышает 14 дней, рассчитывать оптимальный день инкассации по прогнозу другой модели, например, Prophet, SARIMA, или брать для этого не исторические данные, а исторические данные за прогнозируемый период с прошлого года/усредненный за последние несколько лет.
• для банкоматов, у которых отрицательный профит, можно пробовать настраивать различные триггеры, при срабатывании которых работа с банкоматами ведется в старом режиме, либо инкассаторские поездки совершаются чаще/реже.

О проекте

• настройка SIP-транков (каналов связи между двумя системами) напрямую между IP-АТС и SfB;
• настройка взаимодействия между системами через SBC (Session Border Controller).

1. На площадках заказчика большое количество IP-АТС различных производителей с различными версиями прошивок. Не со всеми из них была техническая возможность установки прямого SIP-транка со SfB.
2. Решение должно быть типовым на всех площадках.
3. Одно из требований минимизация изменений в конфигурациях IP-АТС.

Планирование

• в дальнейшем возможно использование SBC для интеграции с местными операторами связи;
• сбой на одной площадке никак не должен отражаться на работе остальных;
• администраторы площадки должны полностью управлять своими SBC, не влияя на остальные площадки.

Тестирование

• найти рабочую конфигурацию оборудования для построения SIP-транка с каждым типом и версией прошивки IP-АТС заказчика;
• проверить работу требуемых сценариев звонков с каждым типом и версией прошивки IP-АТС;
• описать требуемые изменения.

1. IP-АТС ищет абонента с номером 202 и находит его. В настройках этого абонента стоит одновременный звонок на номер 5202.
2. Звонок уходит на телефон 202 и срабатывает маршрутизация звонка в SIP-транк с SBC.
3. SBC направляет звонок в SfB.
4. SfB находит пользователь с номером 5202 и направляет звонок на клиент SfB этого пользователя.

Подводные камни

1. пользователь снимает трубку на телефоне;
2. пользователь отвечает в SfB;
3. пользователь нигде не снимает трубку и звонок сбрасывается по таймауту;
4. звонящий кладёт трубку до того, как будет принят вызов или звонок сбросится по таймауту.

Пользователь снимает трубку на телефоне

Пользователь отвечает в SfB

Пользователь нигде не снимает трубку звонок сбрасывается по таймауту

Звонящий кладёт трубку до того, как будет принят вызов или звонок сбросится по таймауту.

В итоге

Зачем мы это делали

1. При просмотре видеоряда глаза сталевара не должны уставать.
2. Мы должны были контролировать свободный борт, т.е. нам нужно было измерять расстояние от поверхности металла до края сталь-ковша.
3. Мониторинг должен осуществляться на всем протяжении внепечной обработки: 30-40 минут под куполом и температурой от 1000-1500С.

Как мы решали задачу

Можно ли обойтись без защитного корпуса?

Что мы узнали

Что в итоге

Кстати, в прошлом году я уже писал об этой книге но не удержался и решил поделиться еще несколькими важными мыслями из нее и еще раз порекомендовать ее всем-всем.

Не менее интересная книга на похожую тему Сначала нарушьте все правила: Что лучшие в мире менеджеры делают по-другому. Её написали Маркус Бакингемм и Курт Коффман. Мой обзор можно прочитать тут.

Техническим гикам в области разработки высоконагруженных приложений рекомендую мой обзор по книге с кабанчиком Мартина Клеппмана и небольшой тест по некоторым темам.

Кто ваш руководитель?

1. Откуда он взялся? Происхождение вашего начальника определяет не только то, как он с вами общается, но и то, чего от него можно будет ожидать, если дело запахнет керосином.
2. Как он закрывает свои слабые места? Работа руководителя состоит в том, чтобы превращать свои пороки в силу, выбирая правильных людей, способных компенсировать эти недостатки, и полностью доверять своей команде.
3. На каком языке разговаривает ваш руководитель? Вы с начальником разговариваете не на том же языке, что и с коллегой. Между собой начальники тоже используют особый начальничий язык. Его предназначение в максимально быстром и эффективном распространении информации в организации. У всех профессий есть свои жаргоны, у начальников тоже. Важно чтобы ваш руководитель хорошо владел обоими языками.
4. Как ваш руководитель разговаривает с вами? Главный совет назначить всем вашим сотрудникам тет-а-тет на определенное время и никогда их не отменять. Руководители, которые не проводят регулярных совещаний тет-а-тет с каждым членом своей команды, сами вводят себя в заблуждение. Они считают, что информация о том, что в данный момент происходит в их подразделении, волшебным образом придет к ним из космоса. Но она не придет! Не возникнет новых идей, таланты будут зарыты в землю, а команда постепенно начнет думать, что их мнение никого не волнует. А команда это компания!
5. Действует или только решает? Делегирование это скользкая дорожка. Да, вы хотите знать, как не стать бутылочным горлышком в своей организации. Да, вы хотите знать, как мыслить масштабно. Но вы должны продолжать марать руки. Настоящая работа руководителя это реальные действия с целью реализации своих планов относительно компании. Итак, вопрос, на который вы должны ответить, предельно прост: Делает ли ваш начальник то, что обещал? Совершает ли он конкретные действия или только решает?
6. Каково место вашего руководителя в пищевой цепочке? То, как организация смотрит на вашего начальника, равно тому, как она смотрит на вас. Вы рок-звезда С++! Я очень рад, и все же у вас возникнут серьезные проблемы, если ваш начальник пассивный тип с плохими коммуникационными навыками, не желающий вникать в политические интриги, в которые вовлечены большие группы людей.
7. Что происходит когда у него рвет крышу? Гордость это конечный результат упорного труда плюс капля удачи. Что вы можете узнать о своем руководителе на этом этапе? Как он справляется со своим непомерно выросшим самомнением? Не забыл ли он о тех, кто помог ему добиться успеха? Строит ли он планы на будущее? Это всё очень интересные моменты, но они не расскажут вам и половины из того, о чем может рассказать его поведение на этапе корпоративной паники. А большей корпоративной паники, чем массовые сокращения, не существует. Паника загоняет человека в угол, и единственный способ выбраться оттуда воспользоваться стратегиями, которые срабатывали в прошлом. Именно поэтому, когда дело доходит до сокращения, наш старый добрый руководитель превращается в подлого засранца. Тут нужно понять одно: он и раньше был засранцем, вы просто этого не замечали.

Как принимать решения

Как разруливать катастрофы

1. Нужно узнать абсолютно все о текущем статусе катастрофы. Сделайте командный пункт, зовите туда всех, кто обладает какой-либо информацией, рисуйте и перерисовывайте схему произошедшего и т.д. Если этот шаг пропустить, то очень вероятно, что вы примете неверные решения и заставите свою команду бегать по кругу.
2. Нужно перепроверить свое видение проблемы и план. Автор предлагает перепроверить его как минимум на трех квалифицированных специалистах, которые имеют незамыленный взгляд и могут под другим углом посмотреть на проблему и последствия вашего решения. После этого автор предлагает еще раз посмотреть на все решение и на все схемы. Далее вы должны распределить задачи по ответственным. Предпочтительно, если вы сами не будете отвечать за конкретные задачи, а оставите себе задачу общей координации.
3. Постоянно всех информировать о статусе ситуации. Сначала часто, потом реже. Информировать нужно всех-всех, кто оказался в орбите вашего внимания. Основная суть чем больше людей будут в курсе ситуации, тем вероятнее, что если вы что-то упустили, то вам об этом скажут. Даже если вы пока еще не имеете большого прогресса все равно нужно писать сообщения в духе мы прикладываем постоянные и устойчивые усилия с целью установить рухнувший мир на место.

Почему увольняются люди

1. Отслеживать изменения в ежедневной рутинной деятельности.
2. Просто спросить: Тебе скучно?
3. Слушать то, что рассказывает вам сотрудник.

1. К чему он стремится?
2. Что вы в данный момент делаете для того, чтобы он этого достиг?

Заключение

Какие бывают теплицы

1. Производственные (промышленные теплицы по площади от 3 га и более, предназначенные для выращивания овощей, цветов и прочего) и фермерские (теплицы, площадь которых варьируется в диапазоне от 0,2 до 2 га).
2. Есть теплицы для проведения селекционных работ и под репродукционные работы.
3. К группе специализированных теплиц можно отнести зимние сады, оранжереи, вегетарии и даже торговые центры (Greenshop), например, садовые отделы магазинов OBI или подобные.
4. В последнюю группу выделяются теплицы, работу которых разберем подробнее, фитотронно-тепличные комплексы или тепличные комплексы, работающие по методу малообъемной гидропоники или промгидропоники.

• административное здание,
• сервисная зона,
• склады средств защиты растений (СЗР) и удобрений,
• энергоцентр,
• производственные блоки, состоящие из отдела водоподготовки, растворного узла, рассадного отделения,
• тепличный блок (основная и самая большая часть).

Микроклимат теплицы

• подлотковый расположен под самой крышей и обеспечивает снеготаяние при интенсивном выпадении осадков;
• контур верхнего обогрева регулирует температуру в верхней части теплицы для исключения проникновения холодного воздуха при резких понижениях наружной температуры и открывании системы проветривания (фрамуг);
• зональный регулирует температуру и влажность в зоне роста растений;
• контур нижнего обогрева основной регулирующий контур, который формирует заданный тепловой режим в теплице. Еще он используется как рельсы для перемещения тележек для ухода за растениями и сбора урожая.

• досвечивание (дополнительный источник света к естественному освещению),
• светокультура, когда лампы являются единственным источником света. В качестве источников света применяются светильники с натриевыми лампами высокого давления (ДНаТ, ДНаЗ) мощностью от 400 Вт, а также светодиодные светильники LED сине-красного или белого спектра.

• узел для приготовления питательных растворов с дозатором и насосами капельного полива, а также емкость для приготовления и хранения маточного раствора (маточный раствор в сельском хозяйстве концентрированный, малообъемный раствор, заготавливаемый для последующего разведения в большем количестве воды и применения в работе);
• распределительная сеть капельного полива, состоящая из магистральных каналов, микротрубок и капельниц с заданным пропускающим объёмом;
• емкости для подготовки и хранения воды;
• установки очистки дренажной воды для повторного использования;
• емкости для сбора и хранения дренажной воды перед повторным использованием.

• теплица поддерживает в любой период времени года идеальный микроклимат;
• теплица позволяет экономить затраты на отопление;
• теплица в любой период времени может поддерживать оптимальный уровень СО2;
• теплица защищена от проникновения вредителей;
• в теплице Ultra Clima не происходит застоя воздуха. Это препятствует развитию заболеваний благодаря пленочным рукавам, расположенным под каждой грядкой. Более подробно про теплицы пятого поколения и технологию Ultra Clima можно узнать из видео, подготовленного компанией Лаборатория инженерных систем, которая с начала 2017 года является правопреемницей НПФ ФИТО и входит в состав группы компаний ФИТО.

• Агрегатопоника вышеописанный метод выращивания растений на твердых субстратах (в нашем случае минеральная вата), обладающих небольшой влагоемкостью с периодической подачей минеральных удобрений.
• Водная культура при которой корни растения постоянно или периодически погружены в питательный раствор (широко применяется для выращивания салата).
• Хемопоника метод близок к выращиванию растений на почвосмесях. В качестве субстрата при данном типе выращивания используют сфагновый мох, древесную кору, опилки, рисовую шелуху, отходы хлопчатника, кокосовую стружку и др.
• Ионитопоника совершенно новый метод. Растения выращиваются на субстрате, состоящем из двух типов ионообменных смол: катионита КУ-2 и анионита ЭДЭ 10П. Оба ионита не разлагаются при воздействии кислорода, света и при обычной температуре. В отличие от агрегатопоники питательные вещества находятся в субстрате, поэтому поливают только водой. По факту данный субстрат является искусственной почвой.
• Аэропоника более развитая модификация гидропоники (в данной классификации водной культуры), при котором корни растения находятся не в водной среде, а в воздушно-капельной среде и имеют постоянный доступ к кислороду, что фактически исключает удушье растений.

Как вырастить томаты в защищенном грунте: основные шаги

Цифровые решения для растениеводства

• системы отопления;
• систему форточной вентиляции;
• систему циркуляционных вентиляторов;
• системы горизонтального и вертикального зашторивания;
• систему увлажнения и охлаждения;
• систему подачи СО2;
• система искусственного досвечивания.

• Отсутствуют качественные Open source решения, наподобие Selenium для Web, а те, что есть, либо сильно устарели, либо неудобны в использовании. Иными словами, воспитывают в автоматизаторах смирение и обреченность.
• Коммерческие продукты хоть и обладают широким функционалом и удобством в использовании, стоят зачастую дороже, чем вся автоматизация и используют vendor lock-in бизнес-модель, которая также накладывает дополнительные затраты и ограничения (переобучение персонала, отсутствие возможности использовать существующие наработки и решения, полная зависимость от поставщика ПО и т.п.).
• Ввиду стремительного развития web-технологий, Desktop понемногу отмирает, что сильно сказывается на развитии и поддержке инструментов тестирования и наличии квалифицированных специалистов в этой области.

Анализ готовых инструментов

• поддержка WinForms и WPF приложений;
• REST-протокол взаимодействия между тестами и тестируемым приложением;
• возможность взаимодействия с Selenium (а конкретно Java + Selenium).

Что представляет из себя FlaNium

Рассмотрим пример работы с FlaNium драйвером на базе Selenium Java

...<dependency>  <groupId>com.github.lanit-exp</groupId>  <artifactId>FlaNium.WinAPI</artifactId>  <version>LATEST</version></dependency><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.141.59</version></dependency>...

String DRIVER_PATH = "src/main/resources/driver/FlaNium.Desktop.Driver/FlaNium.Driver.exe";String APP_PATH = "С:/Test_app.exe";int driverPort = 9999;// Инициализация драйвера:FlaNiumDriverService service = new FlaNiumDriverService.Builder()    // Указание пути до драйвера    .usingDriverExecutable(new File(DRIVER_PATH).getAbsoluteFile())    // Установка порта (по умолчанию 9999)    .usingPort(driverPort)    // Включение режима отладки (вывод логов в консоль)    .withVerbose(true)    // Отключение логирования    .withSilent(false)    .buildDesktopService();// Инициализация приложения:DesktopOptions options = new DesktopOptions();// Указание пути до тестируемого приложенияoptions.setApplicationPath(new File(APP_PATH));// Задержка после запуска приложения (сек)options.setLaunchDelay(5);// Подключение к ранее запущенному экземпляру приложенияoptions.setDebugConnectToRunningApp(false);// Получение экземпляра драйвера приложенияFlaNiumDriver driver = new FlaNiumDriver(service, options);

WebElement edit = driver.findElement(By.xpath("//*[(@ControlType = 'Edit')   and contains(@Name,'Text')]"));edit.sendKeys("Test text");

driver.findElement(By.xpath("//*[(@AutomationId = '')]"));driver.findElement(By.xpath("//*[(@Name = '')]"));driver.findElement(By.xpath("//*[(@ClassName = '')]"));driver.findElement(By.xpath("//*[(@HelpText = '')]"));driver.findElement(By.xpath("//*[(@ControlType = '')]"));driver.findElement(By.name("Checkbox1"));driver.findElement(By.id("Form1"));driver.findElement(By.className("MenuItem"));

TextBox textBox = new TextBox(edit);// где edit  WebElement полученный ранееtextBox.setText("Test text2");

// Находим элемент комбобокса по id элементаWebElement comboBox = driver.findElement(By.xpath("//*[@AutomationId =      'NonEditableCombo']"));// Находим кнопку раскрытия списка и кликаем по нейcomboBox.findElement(By.xpath(".//*[@ControlType = 'Button']")).click();// После раскрытия списка, нам становятся доступны варианты выбораList<WebElement> items = comboBox.findElements(By.xpath(".//*[@ControlType = 'ListItem']"));// Далее пробегаемся по всему списку элементов и сравниваем имена с нужным нам значениемitems.stream().filter(webElement -> webElement.getAttribute("Name").equals("Item 3")).findFirst().get().click();// И в конце кликаем на найденном элементе

// Находим элемент комбобокса по id элементаComboBox comboBox = new ComboBox(driver.findElement(By.xpath("//*[@AutomationId = 'NonEditableCombo']")));// Выбираем необходимое значениеcomboBox.select("Item 3");

Итог

Программа Let IT DOK 2021

• импорт плана и его калибровка (установка масштаба);
• отрисовка стен и препятствий;
• расстановка и настройка точек доступа Wi-Fi.

Импорт плана

Отрисовка стен и препятствий

Расстановка и настройка точек доступа Wi-Fi

• тип и высота установки;
• номер и ширина радиоканала;
• стандарт работы радиомодуля (802.11 n/ac/ax).

Выводы

О заказчике

Еще не ветер

Текущее состояние проекта

• Отечественный офисный пакет Р7-Офис Профессиональный установлен на 1400 персональных компьютерах АО ДГК в дополнение к офису от Microsoft. Это позволяет пользователям постепенно знакомиться с продуктом.
• Проведено обучение специалистов поддержки пользователей по продуктам Р7.
• Р7 установлен как основной и единственный офисный пакет на более чем 300 машинах с операционной системой РЕД ОС. Некоторым пользователям предоставляется терминальный доступ к офисным продуктам Microsoft.
• Установлен и проходит опытную эксплуатацию Р7-Офис Сервер, предназначенный для совместной работы с документами в офисном пакете Р7-Офис Профессиональный, также предоставляющий возможность доступа к общим документам с мобильных устройств и через веб-браузеры.
• Давайте поговорим об опыте, который мы получили в процессе внедрения Р7-Офис, и о тех подводных камнях, с которыми, возможно, и вам придется столкнуться, если тема перехода на российское ПО для вас тоже актуальна.

Называть вещи своими именами

Все говорят, что пользуются макросами, и ты говори

Как быть со шрифтами

Привычка свыше нам дана

Ты же программист Скажи, какой офис поставить на мобильный?

Не бросай одного его

Под лежачий камень вода не течет

Используйте ресурсы интегратора

Говорим СЭД, подразумеваем ECM и наоборот

ECM приказал долго жить? Отнюдь

Предпосылки появления CSP

Почему ECM разонравился клиентам

Микросервисы наше все

• Web-scale масштабируемость. Больше, чем самая крупная корпорация. CSP должны уметь работать с миллиардами документов и сотнями миллионов пользователей.
• Cloud-Native. Пусть прямо сегодня клиенты еще поглядывают на облака с подозрением, однако лед уже тронулся, и доля облачных сервисов в корпоративном ИТ-ландшафте будет прирастать, в том числе и за счет сервисов контента.
• Low-code. Это свойство обеспечивает скорость разработки, тот самый time-to-market. Если вести разработку по старинке, то в нынешние сроки не уложишься.
• Способность к интеграции. Это нечто большее, чем наличие API. Это свойство должно быть присуще CSP на генетическом уровне, ибо каждый отдельный микросервис сам по себе бесполезен, все компоненты должны взаимодействовать между собой и с любыми внешними источниками данных или функциональными блоками.
• Всеядность относительно типов контента.CSP должна принимать любой контент, а не только офисные файлы и PDF. Причем не просто хранить и снабжать метаданными, но и уметь заглядывать внутрь, работать с содержащейся в документе информацией.
• Обучаемый ИИ. Искусственный интеллект (ИИ) становится все более и более распространенным в нашей повседневной жизни. Логично ожидать, что интеллектуальные сервисы будут встроены в CSP изначально и будут применяться для широкого круга задач, а не только для автоматического заполнения регистрационных карточек.

User Experience: все для блага человека

Open Source спешит на помощь

Электронный архив абонентских договоров для Tele2

Телемедицина в тренде

ИТ-стратегии и инвестиции в сфере здравоохранения в 2021 году

* * *

Культурный код: секреты чрезвычайно успешных групп. Дэниел Койл

Десять уроков для постпандемического мира. Фарид Закария

Запутанная жизнь: как грибы создают наш мир, изменяют наше сознание и формируют наше будущее. Мерлин Шелдрейк

5 дисциплин инклюзивных лидеров: высвобождение силы всех нас. Андрес Т. Тапиа и Алина Полонская

Технологическая ловушка: капитал, труд и власть в эпоху автоматизации. Карл Бенедикт Фрей

Тирания заслуг: что сталось с общим благом. Майкл Сандел

Откуда приходят хорошие идеи: естественная история инноваций. Стивен Джонсон

Настоящий бизнес блокчейна. Дэвид Фарлонгер и Кристоф Узюро

Случайный президент: Гарри С. Трумэн и четыре месяца, которые изменили мир. Эй-Джей Байме

План: 6 практических шагов, как поднять ваше лидерство до новых высот. Дуглас Конант

Река сознания. Оливер Сакс

Менеджер-коннектор: почему одни лидеры развивают исключительные таланты, а другие нет. Хайме Рока и Сари Уайлд