ХРАНИЛИЩЕ ДАННЫХ. НАЧАЛО.
23 октября 2010, 23:35
НЕОБХОДИМОСТЬ
Вопрос о необходимости внедрения в банках хранилищ данных для обеспечения работы большого числа пользователей обсуждался уже многократно. Большинство авторов иучастников дискуссий сходятся натом, что хранилище данных втом или ином виде необходимо современному российскому банку. При этом можно обобщить большую часть предпосылок внедрения и увидеть, что основной причиной являются требования бизнес-заказчиков к информационной системе, которые сначала подталкивают, апотом ивынуждают IT-службу прийти к использованию подходов, исоставляющих всовокупности концепцию хранилища данных.
ЗАЩИТНАЯ РЕАКЦИЯ
Обычно сначала возникающие требования пытаются удовлетворить «малой кровью», отвечая, например, нанеобходимость построения все более сложных аналитических отчетов покредитному портфелю последовательно следующими действиями: оптимизацией отчета вкредитном модуле АБС, наращиванием аппаратных мощностей, выделением сервера отчетности, накоторый производится репликация данных транзакционной системы, и, наконец, венцом этой ветви эволюции – созданием специализированной базы данных, куда скриптами из тысяч строк кода загружаются ипреобразовываются данные. Все эти действия естественны ипозволяют решить текущие задачи, не затормозить развитие банка, вовремя отреагировать нановые требования регуляторов. Однако со временем обнаруживается, что, например, специалисты поуправлению рисками работают содной версией кредитного портфеля, при подготовке управленческой отчетности используется другая, адо подразделения, отвечающего за разработку новых продуктов, необходимые данные внужных разрезах вообще не доходят из-за того, что заявки наразработку новых отчетов уже несколько месяцев «висят» вочередь надоработку учетной системы. При этом ибизнес-подразделения иIT крайне загружены текущей работой, одни ите же данные многократно выгружаются иобрабатываются для различных подразделений, пользователи, страдающие отхронической нехватки данных, поддерживают собственные электронные таблицы огромных объемов итолько им ведомых форматов.
По наблюдениям консультантов нашей компании, такая картина характерна для большинства банков России иСНГ, иеще хорошо, когда подобное происходит не вмасштабе всего банка, атолько поотдельным направлениям бизнеса. Если описанных проблем нет, то либо соответствующее направление еще не выросло до критических размеров, либо грамотные совместные действия бизнеса иIT уже дали нужный эффект.
В целом же естественным развитием является создание такой системы как хранилище данных (в широком понимании термина) ивнедрение набора аналитических приложений для работы с данными. При этом необходимо рассмотреть возможность использования промышленного подля задач хранения (СУБД) ипреобразования (ETL) данных в качестве технологической основы решения. Для аналитических приложений особое внимание нужно уделить возможности предоставления максимального доступа к функциональности бизнес-пользователям, что содной стороны снизит вбудущем нагрузку наIT, а с другой – обеспечит оперативное развитие систем самим бизнесом. Естественно, если приложение подразумевает необходимость программирования, возможность работы сней бизнес-пользователей всерьез рассматривать нельзя.
МЫСЛИТЬ ГЛОБАЛЬНО, ДЕЙСТВОВАТЬ ЛОКАЛЬНО
Иногда реакцией наописанные симптомы является желание одним усилием за несколько месяцев внедрить хранилище данных банка «полностью» – загрузить внего все имеющиеся данные ипредоставить инструмент для построения нерегламентированных запросов бизнес-пользователям и, таким образом, быстро ипросто решить вопрос.
Недостаток у такого подхода всего один – он не работает.
На то, какие данные должны находиться вхранилище данных, ввитринах, как они должны обрабатываться при загрузке, из каких источников поступать, оказывают огромное влияние бизнес-требования, особенности хранения данных висточниках. Отладка итестирование бизнесом данных вхранилище, обеспечение требуемого качества данных – важнейший итрудоемкий процесс иединовременно провести эти работы для «полностью» разработанного хранилища данных – задача, требующая нереального объема работ и сроков.
С другой стороны, перевести всю работу банка напостроение нерегламентированных отчетов – задача также невыполнимая. Влюбом случае будет необходимо построение большого количества отчетов фиксированной формы с жесткими требованиями к производительности. Надеяться же нато, что любой произвольный отчет, втом числе аналитические отчеты поогромным объемам данных, будут сами собой строиться снеобходимым уровнем производительности, нельзя. То есть внастоящее время, даже при использовании самого современного программного обеспечения ивысокопроизводительной аппаратной платформы, при работе сбольшими объемами данных некоторые отчеты будут выполняться достаточно долго. Таким образом, необходимо учитывать требования к производительности таких отчетов при проектировании модели хранилища данных ипроцедур преобразования данных.
Каким же образом можно построить хранилище данных для всех направлений деятельности банка? Решением является использование итерационного подхода к внедрению хранилища данных. То есть хранилище данных внедряется поэтапно, спривязкой результатов этапов к бизнес-задачам. Бонусом, подпитывающим интерес к проекту, иподтверждающим правильность выбранного подхода, является получение значимых для бизнеса промежуточных результатов до «полного» внедрения хранилища данных.
Этот подход не ограничивает возможные варианты архитектуры хранилища. Не противоречит он иподходу сиспользованием промышленной модели хранилища данных банка, такой как врешении IBM BDW. Напротив, поэтапное задействование единой, гарантированно согласованной модели данных вхранилище позволяет, держа вголове необходимость внедрения единого хранилища данных банка, решать напервых этапах наиболее «горячие», важные для бизнеса задачи, тщательно тестируя алгоритмы загрузки данных вхранилище поданным каждого отдельного этапа.
В случае же, когда не используется промышленная модель хранилища, отлично зарекомендовал себя подход построения хранилища данных сиспользованием схемы «звезда», при которой хранилище данных представляет собой совокупность таблиц фактических данных (например, задолженность, вознаграждения покредитам, депозитам) и согласованных измерений (таких как подразделения, клиенты). Именно согласованные измерения будут обеспечивать согласованность хранилища данных вцелом ивозможность получения данных из различных областей. Например, соединяя фактические данные покредитам идепозитам через общее измерение клиентов, пользователь получит сводные данные подепозитам икредитам клиента водном отчете.
Необходимо отметить, что как кастомзация промышленной модели, так и самостоятельное проектирование модели хранилища данных требует достаточно высокой квалификации специалиста иследования ряду правил, обеспечивающих расширяемость системы в будущем. Хорошей практикой является выделение архитектора хранилища, отвечающего за строгое следование установленным правилам при внедрении хранилища данных. Так как подходы ко внедрению аналитических систем серьезно отличаются отразработки транзакционных приложений, привлечение напроект повнедрению хранилища данных специалистов, обладающих специализированными знаниями ипрактический опыт работы сподобными системами позволит избежать ненужных ошибок исдвигов сроков работ. Такие специалисты должны передавать свои знания ираспространять экспертизу повсей проектной команде, давая импульс новому направлению вбанке.
ВЫБОР ОБЛАСТИ
С какой же области лучше начать внедрение хранилища вбанке сразвитым розничным направлением? Вопрос, с одной стороны, достаточно индивидуален, так как нужно понять самые проблемные моменты втекущий мо-мент времени исостояние систем-источников, сдругой же –возможно дать несколько общих рекомендаций, основываясь наопыте проектов нашей компании вРоссии иСНГ.
Как правило, самой востребованной исамой проблемной, сточки зрения обработки порозничному направлению, является информация покредитной деятельности банка. Информацию покредитному портфелю, «развернутую» повремени, использует большое количество подразделений банка для задач внутренней ивнешней отчетности, анализа, управления рисками. Обычно уже есть решения почастичной автоматизации анализа иобработки кредитного портфеля, однако перенеся решение нановую внедряемую платформу, учтя при этом самые актуальные требования, можно решить сразу несколько задач:
• дать бизнес-пользователям единую версию правды иединый механизм доступа к данным снеобходимыми показателями ианалитиками;
• вовлечь большое количество бизнес-пользователей виспользование новой системы, заинтересовать, дать понимание возможностей системы, побудить, таким образом, более активно участвовать вразвитии хранилища данных ианалитической системы;
• использовать их экспертизу для решения задач производительности, скоторыми поопыту часто приходится сталкиваться при работе с кредитным портфелем из-за больших объемов обрабатываемых данных, предложенные подходы ирешения специалисты банка смогут самостоятельно использовать для решения новых задач, возникающих при сопровождении иразвитии системы.
Также хорошим решением может стать помещение вхранилище данных информации об остатках иоборотах в разрезе плана счетов. Эти данные будут востребованы как непосредственно для анализа ипостроения отчетов, так идля сверки сагрегатами повсем областям деятельности (кредиты, депозиты, ценные бумаги), необходимой для обеспечения контроля качества используемых данных.
Далее, естественно, одной из первых автоматизировать область депозитов, для которой также характерны достаточно большие объемы обрабатываемых данных исложность преобразований.
Последующие автоматизируемые области, как правило, меньше пообъемам работ имогут быть достаточно быстро реализованы командой, получившей опыт повнедрению наиболее сложных областей хранилища данных.
Отмечу, что изложенные подходы неоднократно проходили проверку практикой напроектах Columbus IT вбанках России иСНГ. Вовлечение, развитие команды специалистов со стороны банков, максимальная передача экспертизы входе совместной работы позволила не только решить текущие задачи банков, но иподготовить врезультате команду, способную самостоятельно развивать инаращивать построенное решение.
ИНСТРУМЕНТЫ И КОМАНДА
Важно, чтобы выбранная платформа иподходы не стали уже напервых шагах узким местом вразвитии аналитической системы банка. Исходя из опыта Columbus IT, можно порекомендовать обратить внимание наследующие основные компоненты решения вчасти хранилища данных и бизнес-анализа:
• СУБД – рекомендуется рассмотреть промышленные базы данных, такие как решения от IBM, Oracle, Teradata;
• средства извлечения, преобразования, загрузки данных (ETL) – решения Informatica, IBM;
• средства бизнес-анализа (BI) – решения IBM, SAP, Oracle.
Как уже было указано выше, всоставе команды внедрения должны быть специалисты, имеющие хороший опыт как внедрения аналитических систем, так иработы сиспользуемым программным обеспечением. Более того, есть смысл сначала сформировать костяк команды внедрения и, уже используя экспертизу этой команды, выбрать набор инструментов, наиболее подходящих для реализации задач конкретного проекта.
РАЗВИТИЕ
В тексте статьи слово «полное» поотношению к степени внедрения хранилища данных употреблялось только в кавычках. Аналитическая система,
воснове которой лежит хранилище данных, является живой иразвивающейся системой. После внедрения намеченных напервом этапе областей появляются новые требования к данным, которые должны предоставлять хранилище. Бизнес, почувствовав возможность использования игромадную ценность накапливаемых данных, начинает применять более сложные механизмы обработки данных – средства статистической обработки, инструменты data mining. Такие средства имогут начать полноценно функционировать только имея под собой основу ввиде больших объемов выверенных, качественных данных в хранилище.
Одной из важных для розничного бизнеса задач является управление кредитными рисками. Внедрение хранилища данных, содержащего данные, необходимые для построения моделей для управления рисками транзакционного ипортфельного уровней, позволяет качественно повысить уровень управления рисками. Кстати, эту задачу можно использовать икак одну из первых, реализуемых наоснове хранилища данных.
Важнейшими также являются задача формирования портрета клиента изадачи поуправлению оттоком клиентов, увеличению продаж клиенту уже используемых продуктов ипродажи новых продуктов. Дополнительное формирование наоснове этих же данных пакета отчетности поклиентам позволит решить задачу поформированию действительно эффективных инструментов управления взаимоотношениями склиентами – CRM. Получающаяся врезультате система – аналитический CRM – позволит добиться того, что действительно требуется иожидается отвнедрения CRM-систем – не просто регистрации контактов склиентами, аповышения качества обслуживания иадресной работы ссамым ценным ресурсом бан-ка — его клиентской базой.
Таким образом, внедрение хранилища данных исвязанных сним аналитических приложений является критически важным для развития любого банка, позволяет реализовать большое количество важнейших бизнес-инициатив.
Источник: RFinance
Материал просмотрен: 3714 раз
Комментарии (1)добавить комментарий
Ваш комментарий