Содержание
Второй пост из серии. Первая часть доступна по ссылке
Многие из Вас слышали это название и ассоциируют его в первую очередь с биткоином и криптовалютами.
Но это лишь один частный случай его применения.
Блокчейн - способ хранения и обработки информации, при котором вся информация хранится у всех участников сети и при любых изменениях также перезаписывается у всех участников. А каждый новый блок данных связывается с предыдущим.
Зачем такая сложность?
Для гарантии достоверности. Этот подход исключает возможность корректировать информацию и вносить правки "задним" числом.
Эта технология нужна, если мы не доверяем администратору базы. Или чтобы исключить риски недобросовестного исполнения контрактов между компаниями.
Но у данной технологии есть и минусы. Они обусловлены самим принципом технологии (касаемо массовых блокчейн сетей) - миллионы ПК обрабатывают одни те же данные:
1. Это очень энергонеэффективная история. Со временем 1 транзакция будет потреблять неприличное количество энергии.
2. Эта технология будет требовать все большее количество памяти для хранения и производительности для обработки.
3. Низкая производительность системы + сложность транзакций = ограниченность применения.
Где могут применяться технологии блокчейн:
Организация голосований и выборов
Ведение реестров, например, недвижимости. Государственное управление
Создание смарт-контрактов, где необходимо исключить риски ведения судебных споров
Цифровая идентичность, проверка подлинности и подтверждение прав доступа
Защита авторского права
Интернет вещей
Казино, компьютерные игры
Управление биржей и торговлей
Ссылки:
Видео:
Машинное зрение - еще одно ответвление компьютерного зрения.
Если компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть, то машинное зрение - это компьютерное зрение для производства.
Здесь используется сочетание цифрового видеосигнала и нейросети.
Машинное зрение может решать такие задачи как:
Распознавание
Идентификация
Обнаружение
Распознавание текста
Восстановление 3D формы по 2D изображениям
Оценка движения
Восстановление сцены
Восстановление изображений
Выделение на изображениях структур определенного вида, сегментация изображений
Анализ оптического потока
Применение машинного зрения охватывает различные области деятельности, например:
Крупное промышленное производство
Ускоренное производство уникальных продуктов
Системы безопасности, в том числе промышленной на производствах
Контроль предварительно изготовленных объектов (например, контроль качества, исследование допущенных ошибок)
Системы визуального контроля и управления (учет, считывание штрихкодов)
Контроль автоматизированных транспортных средств
Контроль качества и инспекция продуктов питания
Контроль и предотвращение развития аварийных событий.
Один из реальных примеров применения машинного зрения - контроль качества на заводе ПАО "Камаз". Алгоритм точно, объективно и без усталости определяет геометрические показатели.
Еще больше примеров из жизни можно посмотреть тут
Ограничения тут как обычно - цена и люди.
Цена постепенно снижается, а люди продолжают сопротивляться.
Перспективы у технологии отличные, так как внедрение становится все более дешевым, а практический результат можно увидеть и почувствовать быстро, сценариев применения бесчисленное множество.
Ссылки:
Видео:
RPA (robotic process automation) - это форма технологии автоматизации бизнес-процессов с помощью роботов, которые могут использовать пользовательский интерфейс для сбора данных и управления приложениями.
В традиционных системах разработчик создает список действий для автоматизации задачи с использованием программных интерфейсов (API) или языка сценариев. RPA-системы разрабатывают список действий, наблюдая за тем, как пользователь выполняет эту задачу в графическом пользовательском интерфейсе приложения.
Например, робот может отсканировать электронное письмо, понять о чем запрос, подготовить и направить ответственным сотрудникам уже необходимый пакет документов.
Какие виды процессов могут быть автоматизированы с RPA:
Повторяемые, простые и стандартизируемые действия
Процесс выполняется множеством сотрудников
Монотонный процесс, для которого уже существует инструкция
Относительно высокая стандартизация входящих данных
Возможность автономного исполнения
Что это дает для бизнеса:
Снижение затрат на выполнение рутинных операций
Меньше ошибок в процессах, выше качество и скорость их выполнения
Возможность экономного масштабирования бизнеса
Снижение рисков для бизнеса
Смещение фокуса сотрудников на выполнение интеллектуальных задач
Ниже пример эффекта по "разгрузке" сотруднике в течение 30 дней на конкретном бизнес-процессе, по оцифровке и внесению в базу PDF документов
Ну и еще немного об эффектах
А также о самых популярных направлениях деятельности для внедрения RPA
У роботизации есть 2 основных конкурента:
Ручной труд.
Если процесс имеет большое число ветвлений и исключений, или часто требуется принятие интеллектуальных решений человеком — лучше оставить этот процесс на ручном исполнении.
Использовать классическую автоматизацию бизнес-процессов.
Классическая автоматизация может выигрывать тогда, когда требуется автоматизация работы в одной системе. Однако, когда в процессе задействовано более одной системы, роботизация значительно обходит по эффективности классическую автоматизацию.
Преимущества RPA перед классической автоматизацией:
Простота реализации: роботизация одного процесса занимает 2 месяца, а если роботизация поставлена на поток — то этот процесс можно сократить до 2 недель. А есть примеры, когда простых роботов разрабатывают за рабочих 3 дня. Предлагаемый RPA подход — работать с пользовательским интерфейсом, не требует высокой квалификации от разработчика. Ему достаточно просто увидеть, как с несколькими системами работает профильный специалист — и он повторит это в короткие сроки не погружаясь в особенности работы API. Что касается того, что в пользовательском интерфейсе отображаются не все данные — встает вопрос «А нужны ли они»? Если сегодня ваши сотрудники объединяют информацию между несколькими системами без доступа к скрытой технической информации, значит она им и не нужна.
Быстрый эффект — 6 месяцев до возврата инвестиций, ROI.
Роботы требуют минимум изменений в действующих IТ-системах, поскольку работают с пользовательским интерфейсом
Важно учитывать тот факт, что при автоматизации каждая система имеет свои правила работы с API: существуют тонкости с авторизацией, токенами, секретными ключами, порядком вызова нескольких функций для достижения нужного результата. А когда вам нужно «подружить» две, три или даже больше систем — тут не обойтись без действительно очень дорогого разработчика, который будет писать и отлаживать интеграцию между этими системами несколько месяцев.
Также принято считать, что есть 4 поколения RPA инструментов:
RPA 1.0 – Требует участия человека
Цель: помогает повысить производительность конкретного сотрудника
Как работает: фактически сама программа устанавливается на ПК или ноутбук сотрудника
Ограничения: это частичная автоматизация ручных операций, которую сложно масштабировать
RPA 2.0 – Не требует участие человека
Цель: полная автоматизация целого процесса, эмуляция участия человека в процессе (например робот, вместо человека ставит его подпись)
Как работает: выделяется сервер, на который устанавливается платформа для организации работы роботов. Там настраивается процесс и роли роботов в процессе, то есть каждому роботу назначается задача, что он будет делать в процессе. Настраивается расписание запуска процесса, появляется набор аналитических экранов (дашбордов) и отчетности для контроля эффективности процесса.
Ограничения: нужно вручную следить, за тем, чтобы все роботы запускались и не ломались. Вручную вносить коррективы в их сценарии и расписание. Это нудно, кропотливо и не очень интересно.
RPA 3.0 – Автономный робот
Цель: устранить работу человека по настройке и сопровождению роботов. Робот следит за роботом. Можно уже автоматизировать целый цех или отдел.
Как работает: чаще всего поставляется в составе комплексного облачного решения со всей необходимой инфраструктурой. ИТ решение, которое не требует людей и может самостоятельно вести учет и анализ отклонений.
Ограничения: всё-таки риск поломок нельзя исключить полностью. Не все можно предусмотреть и заранее анализировать. Увы. Например, поступление данных без структуры и явного формата. Это может быть рукописный или слабо структурированный текст. Или данные из Вашего браузера о поиске в интернете. Данные с интернет-страницы, на которых Вы проводите время, они называются “cookie”. Вот их система класса RPA 3.0 не сможет распознать.
RPA 4.0 – Когнитивный (Умный) RPA
Цель: полностью исключить влияние человека. Чтобы робот сам учился и развивался,
Как работает: фактически это улучшенная версия RPA 3.0, но главное отличие, что внутри есть нейронная сеть, которая имитирует мышление человека.
Ограничения: сложности начинаются с разработки и настройки. Мало уметь анализировать бизнес-процессы. Нужно разбираться в математике и уметь строить модели. Это или время на обучение, или увеличение издержек на привлечение дорогих специалистов.
Основные преимущества роботизации:
1. Смещение фокуса сотрудников на выполнение интеллектуальных задач
Сотрудники могут сосредоточиться на более интеллектуальной работе, которая формирует добавленную стоимость, а не на повторяющихся рутинных задачах. Избавившись от необходимости выполнять повторяющиеся механические задачи, у людей появляется время максимально использовать свой потенциал, то есть устраняются потери в терминах бережливого производства. Они вдохновляются решением сложных нетривиальных задач. Производительность труда в таком коллективе возрастает, а компания начинает заниматься "полезной" работой.
2. Меньше ошибок в процессах
Роботы не ошибаются — возможность ошибки полностью исключена. Человек может некорректно вводить текстовые и цифровые данные, робот же всегда действует по указанной инструкции и никогда не опечатывается.
3. Снижение внутренних издержек на типовые операции
Робот — цифровой сотрудник, который справится с работой, которую можно делать по инструкции. Он выполняет такие операции, как:
Кликать на кнопки.
Копировать и распознавать текст.
Вставлять скопированный текст в другие системы и формы.
Строить отчеты.
Выполнять действия в приложениях.
Работать со сканами документов. Роботы могут использовать сторонние движки для распознавания текста, чтобы потом работать с текстом.
Работать с базами данных и гос. системами.
Отправлять сообщения в мессенджерах.
Выполнять другие простые и рутинные операции.
При этом робот:
Выполняет операции в 10–20 раз быстрее человека.
Работает 24/7.
Помогает бизнесу расти без увеличения персонала.
4. Бизнес-аналитика более надежна и легкодоступна.
Каждая транзакция, совершенная с помощью RPA, записывается в журнал. С помощью этих данных можно всесторонне анализировать любые завершенные процессы.
5. Остается доступ к человеку для нетиповых запросов.
Если необходимо, робот может спрашивать у человека помощи и ждать его ответа.
6. Снижение стоимости входа в цифровизацию.
RPA-алгоритмы позволяют автоматизировать взаимодействие с устаревшими системами, участвующими в бизнес-процессе, что, в свою очередь, устраняет необходимость в немедленной замене автоматизированных систем или программ.
Ограничения:
1. Для работы надо оцифровать Ваши процессы и данные, чтобы на бумаге было как можно меньше информации. Необходимо проработать структуру данных.
2. Необходимо убедить Ваших людей, что это приведет не к их сокращению, а к занятию ими более полезной и интересной работой, которая позволит компании стать более устойчивой, а значит их будущее будет более безопасным.
3. Так как RPA просто копирует действия пользователя и взаимодействует непосредственно с интерфейсом систем, то робот напрямую зависит от быстродействия и стабильности целевой системы.
Наше мнение, что для малого и среднего бизнеса это одна из наиболее перспективных технологий уже сейчас. Он сможет за относительно небольшие деньги обеспечить себе возможность расти, без необходимости увеличивать затраты на ФОТ, увеличение офиса и т.д.
Материалы:
Ссылки:
Видео:
3D-печать - подвид аддитивных технологий.
Аддитивные технологии - технологии послойного наращивания и синтеза объектов.
То есть 3D-печать имеет очень много общего с литьем, лепкой и т.д.
Для того чтобы технология классифицировалась как «3D-печать», необходимо построение конечного продукта из сырья, а не заготовок, например порошка. А формирование объектов должно быть произвольным – то есть без использования форм. Последнее означает, что аддитивное производство требует программной составляющей.
Какие преимущества дает эта технология:
Экономия. Изготовление уникальных деталей без необходимости сложной перенастройки или обновления оборудования, изменения технологий. То есть это кастомизация деталей под каждого заказчика практически без ограничений по сложности. Единственное что Вам надо - создать цифровую модель
Скорость. Вам не надо заниматься переналадкой оборудования.
Качество. Ваше изделие будет практически со 100% вероятностью иметь необходимые габариты и без скрытых дефектов.
Области применения:
Для быстрого прототипирования, то есть быстрого изготовления прототипов моделей и объектов для дальнейшей доводки. Уже на этапе проектирования можно кардинальным образом изменить конструкцию узла или объекта в целом. В инженерии такой подход способен существенно снизить затраты в производстве и освоении новой продукции.
Для быстрого производства — изготовление готовых деталей из материалов, поддерживаемых 3D-принтерами. Это отличное решение для мелкосерийного производства.
Изготовление моделей и форм для литейного производства.
Конструкция из прозрачного материала позволяет увидеть работу механизма «изнутри», что в частности было использовано инженерами Porsche при изучении тока масла в трансмиссии автомобиля ещё при разработке.
Производство различных мелочей в домашних условиях.
Производство сложных, массивных, прочных и недорогих систем. Например, беспилотный самолёт Polecat[en] компании Lockheed, большая часть деталей которого была изготовлена методом скоростной трёхмерной печати.
Изготовление лекарств, протезов и органов.
Для строительства зданий и сооружений
Для создания компонентов оружия (Defense Distributed). Существуют эксперименты по печати оружия целиком
Производства корпусов экспериментальной техники (автомобили, телефоны, радиоэлектронное оборудование)
Говоря о преимуществах, нельзя не сказать о недостатках:
относительно низкая точность 100-200 микрон - варьируется высота печатного слоя. Если вам необходимы изделия с очень высокими допусками, то такой способ изготовления не лучший.
недостаточная геометрия изделий в связи с проблемами с усадкой;
невозможность удаления после печати внутренних опорных структур после создания некоторых геометрий.
неравномерность материала (неизотропность). Т.к. материал склеивается послойно, структура материала отличается от литья, возникает возможность расслоения, снижаются механические показатели. Изделие становится более хрупким и при одинаковых геометрических размерах детали, изготовленные на 3D принтере, не смогут держать такую же нагрузку, как детали, изготовленные традиционными способами. Это является основным недостатком данной технологии.
малый выбор различных материалов. Хоть в 3D печати уже и используется достаточно широкий спектр материалов, все же литейных и модельных пластиков пока гораздо больше, и свойства их находятся в более широком диапазоне.
при большой серии — высокая стоимость производства. Пресс-форма дорогая, но если необходимы тысячи одинаковых изделий, то каждое будет дешевле изготавливать литьем.
при серийном производстве – медленное производство. Отливка происходит гораздо быстрей, чем 3D печать.
Наше мнение, что это достаточно нишевая технология, в первую очередь для применения в опытно-конструкторских работах, или для изготовления индивидуальных заказов.
Ссылки:
Видео:
Мы много технологий с Вами рассмотрели, и уже понимаем, что ключевой критерий в цифровизации и цифровой трансформации - работа с данными, сквозная аналитика, помощь и поддержка в принятии решений.
Но мы не рассмотрели самого главного - где все данные должны хранится, как с ними работать?
Условно, существует 2 подхода к хранению и обработке данных - хранилище или озеро данных.
Хранилище данных
Хранилище данных (data warehouse) представляет собой данные, агрегированные из разных источников в единое центральное хранилище, которое унифицирует их по качеству и формату.
Специалисты по работе с данными могут использовать данные из хранилища в таких сферах, как data mining, искусственный интеллект (ИИ), машинное обучение и, конечно, в бизнес-аналитике.
Хранилища данных можно использовать в больших городах для сбора информации об электронных транзакциях, поступающей от различных департаментов, включая данные о штрафах за превышение скорости, уплате акцизов и т. д.
Хранилища также могут использовать разработчики для сбора терабайтов данных, генерируемых автомобильными датчиками. Это поможет им принимать правильные решения при разработке технологий для автономного вождения.
В данной технологии используется ETL подход к обработке данных. Подробнее ниже.
Также, стоить отметить частный случай хранилища данных - витрину данных.
Витрина данных
Витрина данных (data mart) — это срез хранилища данных по определённой тематике, предназначенный для определенного круга пользователей в компании или ее подразделении.
Витрина данных может использоваться отделом маркетинга производственной компании для определения целевой аудитории при разработке маркетинговых планов. Также производственный отдел может применять ее для анализа производительности и количества ошибок, чтобы создать условия для непрерывного совершенствования процессов. Наборы данных в витрине данных часто используются в режиме реального времени для аналитики и получения практических результатов.
Озеро данных
Озеро данных (data lake) — это большое хранилище необработанных исходных данных, как неструктурированных, так и частично структурированных. Данные собираются из различных источников и просто хранятся. Они не модифицируются под определенную цель и не преобразуются в какой-либо формат. Для анализа этих данных требуется длительная предварительная подготовка, очистка и форматирование для придания им однородности. Озера данных — отличные ресурсы для городских администраций и прочих организаций, которые хранят информацию, связанную с перебоями в работе инфраструктуры, дорожным движением, преступностью или демографией. Данные можно использовать в дальнейшем для внесения изменений в бюджет или пересмотра ресурсов, выделенных коммунальным или экстренным службам.
Используется ELT (извлечение, загрузка, трансформация) подход к обработке данных.
Если собирать слишком много данных «просто так» и никак с ними не работать, озеро может стать бесполезным болотом. Поэтому важно заранее определить, для чего именно вы собираете данные, и не накапливать их просто так, периодически проводить их инвентаризацию и пересмотр.
Ключевое отличие озер данных от обычных баз данных — структура. В базах данных хранятся только четко структурированные данные, а в озерах — неструктурированные, никак не систематизированные и неупорядоченные.
Подходы к обработке данных
3 ключевых этапа E, T, L:
Извлечение (E – extraction): получение необработанных данных из пула неструктурированных данных и их перенос во временное промежуточное хранилище данных.
Преобразование (T – transformation): структурирование, обогащение и преобразование необработанных данных, чтобы они соответствовали целевому источнику.
Загрузка (L – loading): загрузка структурированных данных в хранилище данных для анализа и использования инструментами бизнес-аналитики (BI).
ETL — в этом процессе инструмент ETL извлекает данные из разных исходных систем, затем преобразует данные, например, применяет вычисления, конкатенации и т. д., а затем загружает данные в систему хранилища данных.
В ETL данные поступают из источника в цель. В ETL механизм преобразования процессов заботится о любых изменениях данных.
При ELT после завершения извлечения данных вы сразу же начинаете этап загрузки – перемещение всех источников данных в единое централизованное хранилище данных.
Сравнение ETL и ELT по 10 критериям:
1. Время – Загрузка
ETL: использует промежуточную область и систему, дополнительное время для загрузки данных
ELT: все в одной системе, загрузка только один раз
2. Время – Преобразование
ETL: нужно подождать, особенно для больших объемов данных – по мере роста данных время преобразования увеличивается
ELT: все в одной системе, скорость не зависит от размера данных
3. Время – Обслуживание
ETL: высокий уровень обслуживания – выбор данных для загрузки и преобразования; необходимо сделать все снова, если данные удалены или вы хотите улучшить основное хранилище данных.
ELT: низкие эксплуатационные расходы – все данные всегда доступны
4. Сложность реализации
ETL: на ранней стадии требует меньше места, и результат будет чистый
ELT: требует глубоких знаний инструментов и экспертного проектирования основного большого хранилища.
5. Поддержка хранилищ данных
ETL: преобладающая устаревшая модель, используемая для локальных и реляционных структурированных данных.
ELT: адаптировано для использования в масштабируемой облачной инфраструктуре для поддержки структурированных и неструктурированных источников больших данных.
6. Поддержка озера данных
ETL: не является частью подхода
ELT: позволяет использовать озеро с поддержкой неструктурированных данных
7. Удобство использования
ETL: фиксированные таблицы, фиксированная временная шкала, используется в основном ИТ
ELT: ситуативность, гибкость, доступность для всех, от разработчика до гражданского интегратора
8. Рентабельность
ETL: нерентабельно для малого и среднего бизнеса
ELT: масштабируемость и доступность для бизнеса любого размера с использованием онлайн-решений SaaS
Заключительные мысли об ETL и ELT
ETL устарел. Он помог справиться с ограничениями традиционных жестких инфраструктур центров обработки данных, но сегодня это больше не является проблемой. В организациях с большими наборами данных, в масштабе нескольких терабайт, время загрузки может занять часы, в зависимости от сложности правил преобразования.
ELT – важная часть будущего хранилищ данных. С ELT компании любого размера могут извлечь выгоду из современных технологий. Анализируя большие пулы данных с большей гибкостью и меньшими затратами на обслуживание, компании получают ключевые идеи для создания реальных конкурентных преимуществ в своем бизнесе.
ИТОГИ
Data Lake хранит все данные независимо от источника и его структуры, тогда как Data Warehouse хранит данные в количественных показателях с их атрибутами.
Data Lake — это хранилище, в котором хранятся огромные структурированные, полуструктурированные и неструктурированные данные, в то время как Data Warehouse сочетает в себе технологии и компоненты, которые позволяют стратегически использовать данные.
Data Lake определяет схему после сохранения данных, тогда как Data Warehouse определяет схему до сохранения данных.
Data Lake использует процесс ELT (извлечение - загрузка - преобразования), в то время как хранилище данных использует процесс ETL (извлечение - преобразования - загрузка).
Data Lake идеально подходит для тех, кто хочет провести углубленный анализ, а Data Warehouse — для действующих пользователей.
Для тех, кто хочет глубже погрузится в это направление, рекомендуем пройти этот курс. Ниже приведены конспекты с данного курса.
Наше мнение, что озера данных актуальны в том случае, если компания не может или ей слишком сложно собирать и преобразовывать данные в единый формат и высокая доля неопределенности в том, что будете искать и анализировать, какие решение нужно будет принимать. Если компания промышленная, все четко, определенно, структурированно, то легче работать с хранилищем данных.
Для озера данных также критична постоянная работа с данными, пересмотр источников, иначе это озеро может превратиться в болото.
Ну и для самых продвинутых, можно рекомендовать создание гибридной базы данных - озеро и хранилище. Технически это вполне реализуемо.
Ссылки:
Видео:
Вычислительное хранилище - относительно новая технология, призванная повысить производительность приложений и снизить нагрузку на серверное оборудование.
Суть технологии - обработка данных непосредственно там, где они хранятся, например на жестком диске компьютера. То есть вычислительные ресурсы и хранилище объединяются для локального запуска приложений с данными, что в свою очередь снижает нагрузку на центральный процессор или "главный" компьютер, например в хранилище данных или на удаленном сервере, который может работать над более приоритетными задачами. Также это снижает объем перемещаемых данных. В итоге это позволяет снизить задержки в обработке данных, разгрузить каналы передачи данных, повысить безопасность и снизить энергопотребление.
Как это работает? Благодаря развитию микроэлектроники теперь можно в каждом жестком диске размещать небольшой процессор для обработки данных непосредственно на этом диске, В традиционной вычислительной системе вычислительная система хочет выполнить некоторую обработку данных и поэтому запрашивает данные из хранилища. В новом схеме запрашиваются не данные диска, а отдается команда на выполнение определенной операции с данными на самом жестком диске. Это будущее для облачных вычислений и хранилищ данных, центров обработки данных.
***
Мы разрабатываем собственное цифровое решение для ваших проектов. Ознакомиться с ним можно по ссылке: