项目案例 | 中国邮政储蓄银行总行智能推荐系统

来源 | 金科创新社

一、项目背景及目标

随着互联网金融快速发展,银行线上平台产品功能、活动形式同质化严重,为提升中国邮政储蓄银行总行产品竞争力及用户体验,改进传统营销中自动化、智能化程度不高、推送渠道单一、交互体验不佳等问题,拟开展智能推荐系统运用,实现手机银行营销信息精准推送、千人千面等功能,提升手机银行运营质量和客户体验。

二、项目/策略方案

(一)采用总体系统架构

项目案例 | 中国邮政储蓄银行总行智能推荐系统

架构分层简述:

(1)运营管理层:涵盖智能推荐系统中基础管理功能,包括用户管理、机构管理、角色管理、权限管理、日志管理、审批管理等基础功能。

(2)基础服务层:主要划分为三个中心,分别是应用中心、数据中心和算法中心。其中应用中心包括应用所用的基础中间件服务,比如缓存中心、注册中心等;数据中心主要对接行内大数据平台、线上运营分析系统、第三方数据源等进行采集归集;算法中心将用户属性、产品信息、活动信息、信息流及交互信息等数据通过关联、排序、转换、填充等方式加工成评分矩阵(词向量),通过协同过滤、矩阵分解、embedding(或word2vec词向量方法)解析计算得到相似度矩阵(词向量),从相似度矩阵(词向量)中寻找相同特征的用户可能存在的推荐关系,经过数据清洗和特征工程后进入排序模型(可配置选项)得到更精准的推荐信息。

(3)业务服务层:该层可直面业务操作人员,包括活动管理功能、信息触达功能、素材管理及千人千面功能等。

(4)接入层:智能推荐系统可根据行内需求对接行内手机银行、微信银行等渠道,统一通过API网关层进行统一分配。

(5)应用渠道层:统筹行内的应用渠道。

总体架构简述:

(1)总体架构设计使用微服务架构设计,分层清晰,职责明确,满足安全性、高可靠性、高扩展性、可行性、开放性、可移植性、兼容性、架构合理性、稳定性、成熟性、完整性、高容错性、低成本等的要求。

(2)系统遵循“高内聚、低耦合”的设计原则,支持业务组件封装,并采用开放的标准接口或者SOA标准;支持灵活快速的二次开发、应用模板开发、应用并行开发。

(3)系统提供用户友好的集成开发环境。

(4)支持跨平台部署,各模块独立部署。

(5)系统支持参数化配置和管理。

(6)采用前后端技术分离,前端的Web视图由H5+VUE实现,托拉拽效果由Echarts实现;后端应用采用SpringCloud微服务架构实现;千人千面模型算法层由python/R软件及SQL进行处理。

(7)整体的部署方案采用网络分层部署:应用服务器、数据库服务器不直接开通互联网接入,通过数据中转服务器发布服务,支撑各类移动应用集成。

(8)系统采用应用服务器、与数据库服务器分离的部署方案。应用服务器支持负载均衡,支持横向扩展;数据库服务器,采用热备方式部署。

(9)数据库支持PostGreSQL9.x及以上版本(也支持MySql、Oracle等关系型数据库),中间件支持Weblogic11g及以上版本,操作系统支持Red Hat Enterprise Linux Server6及以上版本。

(10)底层封装公共组件:包括数据库接入、消息中心、缓存中心、文件服务、行内外对接服务等基础功能。

(二)技术架构

项目案例 | 中国邮政储蓄银行总行智能推荐系统

本产品主要面向推荐业务;针对客户面广、客户量多,产品结合业务特性包括:高并发、高可用、安全性、鲁棒性等。

产品根据以上特性采用前后分离架构,前端的Web视图由H5+Vue.js,托拉拽效果由Echarts实现,后端采用了spring cloud作为微服务底层架构;采用了redis作为缓存技术;采用rabbitMQ作为消息中间件进行消息推送、广播、最重要一点是分摊服务的运行压力;采用apollo作为配置中心,有利产品可视化配置;千人千面模型算法由现有普遍采用的逻辑回归、随机森林、梯度提升树、轻度提升树、深度神经网络等算法或配置用户属性、群组、标签、业务行为等SQL条件组合查询得到。

以上产品组件都具备成熟的开源社区、提供开源支持,让产品不会有知识产权纠纷。

采用spring系列作为产品底层框架主要是:

成熟的开源先进框架,spring更有价值的是他是一个强大的生态系统、该系统不断发展强大,让开发人员只需专注业务核心代码、不必考虑产品的一些架构问题;

非常成熟的开源社区,在开发过程中,如遇问题,能及时得到解决以及还有完善的源码学习,是产品提升不可或缺的架构之选。

采用redis作为缓存技术主要有:高并发场景下不宜与数据库多次交易会影响并发量,采用缓存技术是解决高并发最好选择;同能力下的缓存技术中选择redis原因是性能、稳定性、原子性;并且可持久化。

采用rabbitMQ作为消息中间件,在产品中起到消息广播、发送消息、业务能力分摊作用。RabbitMQ最初起源于金融系统,其稳定性、性能、和消息处理能力已是被越来越多人认可。

采用apollo作为配置中心,主要是该组件已经有过多数大企业的项目实践,再加上后续eureka还可以做为注册中心,对后产品兼容性做铺垫。

产品中还应用的框架包括:zipkin用于对产品中各服务的信息追踪、信息存储、信息查询;eureka用于微服务间的注册中心;feign技术用于微服务简的服务调用;ribbon用于服务的负载均衡;hystrix用于服务调用时根据业务要求进行熔断。

采用python作为算法处理,Python是解释语言,更方便于写程序,机器学习、推荐算法这种需要大量迭代的研究方向使用python能够提高工作效率的。Python的开发生态成熟,如NumPy、SciPy、pandas、scikit-learn,TensorFlow,keras,os等,其中numpy、pandas库处理数据更加方便快捷。

采用算法作为推荐处理,将用户属性、群组、标签信息、业务行为等作为筛选条件进行排序组合,加工成评分矩阵(词向量),通过算法进行加工计算,更客观更精准的提供推荐信息,达到智能推荐的效果。

(三)软件结构

项目案例 | 中国邮政储蓄银行总行智能推荐系统

每一个服务就是一个独立的部署单元(separately deployed unit)。这些单元都是分布式的,互相解耦,通过远程通信协议(比如REST、SOAP)联系。

软件结构分为五层:

第一层,渠道及渠道适配层:各个业务对接系统通过业务接入层与智能推荐管理系统联系,包括手机银行接口、微信接口、个人网银接入接口、客服接口以及其他管理系统接口等;

第二层,网关接入:业务接入层统一通过网关接入到后端对应微服务;

第三层,业务微服务层:智能推荐系统的业务微服务群,包括客户服务、活动服务、监控服务、消息服务、报表服务、底层算法服务以及批量服务等;

第四层:模型应用层:嫁接微服务层和数据层的桥梁,经过采集的数据信息进行模型搭建、特征向量、模型训练、择优算法等一系列操作,获取最优结果并将推荐信息反馈至业务微服务层进行展示;

第五层,基础公共层:基础服务支撑,包括数据库服务、缓存服务、消息中心、注册中心、配置中心、监控中心、调度服务、审批服务等;

项目案例 | 中国邮政储蓄银行总行智能推荐系统

微服务架构优点:

扩展性好,各个服务之间低耦合;

容易部署,软件从单一可部署单元,被拆成了多个服务,每个服务都是可部署单元;

容易开发,每个组件都可以进行持续集成式的开发,可以做到实时部署,不间断地升级;

易于测试,可以单独测试每一个服务;

微服务架构缺点:

每个微服务都有自己的数据库,这就是所谓的去中心化的数据管理。这种模式的优点在于不同的服务,可以选择适合自身业务的数据,但却带来了分布式事务的问题,导致在微服务架构下的交易回滚比较困难。

服务和服务之间通过接口来交互,微服务间的调用关系负责, 当服务接口有改变的时候,对所有的调用方都是有影响的,靠人工来维护 API 文档的管理工作就变得非常困难。

补救措施:在微服务间尽量避免分布式事务带来的复杂问题及性能问题,如只能通过分布式事务则通过引入TCC模式来解决在按照业务横向扩展资源时,解决微服务间调用的一致性问题。

(四)系统应用功能架构图

项目案例 | 中国邮政储蓄银行总行智能推荐系统

通过研究分析业务整合结果、需求基线和需求点,对智能推荐管理系统的功能架构进行了细化。智能推荐系统可基于不同用户的属性、行为等信息特征,通过推荐规则配置、算法模型计算等方式,实现线上平台(APP、小程序、网页等)资源位千人千面展示,主要功能包含六大模块:千人千面推荐、活动管理、触达管理、工作台、系统管理以及训练模型算法的用户交易数据和行为等数据的运维管理。

千人千面推荐包含的功能有:资源位管理、千人千面推荐创建与管理、推荐所用到的模型或规则的发布与管理、千人千面推荐创建上线和审批、推荐模型或推荐规则任务执行、推荐数据分析及效果评估。

活动管理包含的功能有:活动创建与管理、活动审批、活动发布、活动监控、活动测试(A/B测试)、活动效果分析与活动结果评估。

触达管理包含的功能有:触达通道管理、触达模板管理、模板参数管理、触达规则管理、触达任务管理、触达任务监控。

系统管理包含的功能有:机构管理、用户管理、角色管理、权限管理、流程管理(含审批流程)、系统日志。

工作台包含的功能有:千人千面推荐整体看板、营销活动整体看板、信息触达整体看板、我的任务栏、我的消息栏。

智能推荐系统前端可通过接口等方式支撑手机银行、微信银行、网银等渠道个资源位的精准推荐。

(五)智能推荐系统特点

(1)私有化部署

系统支持部署在甲方的生产系统当中,确保数据资产安全。

(2)敏捷开发

采用多次迭代、循序渐进的敏捷开发方法,关注来自业务侧的反馈,随着业务量的增长,能支持冗余和负载均衡,满足未来业务发展的需要,实现功能、界面、模型等能力的不断优化。

(3)先进性

本系统采用先进符合信息技术发展趋势和中国邮政金融IT总体规划要求的体系架构,利用符合国际、国内标准的软硬件技术规范,适时引进成熟稳定的新的技术和IT产品,软件设计思想成熟稳定。

(4)扩展性

本系统软件架构能方便的支持业务功能的扩展,随着业务量的增长,能灵活部署主机设备,以支持冗余和负载均衡,满足未来业务发展的需要。

(5)前瞻性

本系统在保持前瞻性的同时,还会考虑需求增加和业务拓展带来的与其他平台和系统的交互问题,因此同步满足与IT规划中其他平台和系统有效衔接,满足未来邮政储蓄银行发展。

(6)安全性

系统采用完善的身份认证机制、分级权限管理机制保证业务操作的合法性;可对用户敏感数据进行安全存储;制定可行的数据备份恢复策略、安全控制机制、运行管理监控和故障处理手段,保证系统稳定、安全运行。

(7)可操作性

系统为用户提供方便、友好的人机界面,菜单清晰、简洁,对于固定的输入项应提供列表选择或快捷输入方式。

(8)可维护性

系统发生故障后能够排除(或抑制)故障予以修复,并返回到原来正常的运行状态。

(9)灵活性

系统采用的是模块化设计,提供的是全面、丰富的参数设置,能够及时满足业务规则中各种模型、规则的更改要求。

三、创新点

(1)运用在邮储银行的智能推荐系统,具备千人千面推荐能力,可基于不同用户的属性、行为等特征,通过推荐规则配置、算法模型计算等方式,实现线上平台(APP、小程序、网页等)资源位功能、产品、活动、信息流等千人千面展示。

(2)具备运营活动管理能力,帮助业务人员快速创建运营活动,选定特定触达方式(短信、APP Push等)对满足一定条件的目标用户进行触达,达到拉新、促活等营销目的。

四、项目过程管理

本项目整体使用的软件过程模型为瀑布模型,每个阶段中采用敏捷迭代模式,从系统分析到项目投产成功,在3.5个月内完成。

进度安排如下:

(1)需求分析及服务器部署阶段

此阶段时间段为2020年12月1日至2020年12月11日,其间主要完成了业务需求分析、业务功能和技术构架的设计。提交了现状需求分析报告、各功能模块的高层设计,并完成了服务器部署及接口的设计文档。

(2)设计及系统部署阶段

此阶段起始时间为2020年12月10日至2020年1月15日,其间主要完成了数据库及接口的详细设计,并完成了主要功能代码设计和系统部署

(3)集成与部分功能测试阶段

此阶段起始时间为2020年1月15日至2020年2月23日,其间主要完成了规则配置及算法模型配置,并完成了代码评审和基础功能测试

(4)系统对接与联调阶段

此阶段起始时间为2020年2月23日至2020年3月3日,其间完成了联调测试和执行测试以及试点行上线准备工作,提交了智能推荐系统测试报告、上线方案、系统设置等文档。

(5)试运行上线阶段

此阶段起始时间为2021年3月3日至2021年3月17日,其间完成了系统上线和基础培训,并根据试上线运行的情况,为推广实施提出了优化需求。

五、运营情况

(1)强化科技赋能支撑。持续加大科技投入,扩容计算能力,从生态合作层、开放互联层、数字化中台、基础服务层和技术革新层,五大层面探索金融服务的业务数字化和数字业务化,将科技赋能贯穿业务发展、合规风控、后台支撑各个方面,推动金融服务从“集中运营”向“精益运营”和“智慧运营”升级,提升运营效率,优化客户整体体验。

(2)加快智慧建设。积极推进互联网银行智慧渠道建设,引入大数据算法,实现信用卡APP、手机银行内邮储生活弹窗、站内资源位的功能点布局,同步实现千人千面DIY页面定制、智能推荐及A/B测试的全程智能化测算推荐系统,进一步优化服务、提升效率,增强客户体验感。

(3)提升智能服务品质。丰富跨行资金汇划渠道,为拓宽电子银行业务和线上服务提供支持。实现全流程网上直连,大幅提高运营效率和交易效率。加强直销银行APP、微信银行线上自营综合服务体系建设,打造客户共享平台,实现了1小时解决系统问题和1个工作日内完成业务处理。

六、项目成效

(1)实现智能营销推荐系统的多维度、全方位数据分析和可视化管理

通过营销智能系统的建设,实现端到端数据采集和监测能力,对采集上报的移动设备信息、安全风险信息、用户行为信息、程序运行信息进行多维度的挖掘和统计分析,并以报表、图表的方式实现多形式的数据展示和可视化管理。

统计用户所在城市、地理分布、行为事件等信息,进一步确认用户身份,评估推广效果等作用。统计新增用户、活跃用户、用户留存、人均使用时长等信息准确反映用户增长与使用的情况,用于优化产品菜单和功能、评估产品效果、优化产品运营推广策略。

(2)全面提升营销业务运营管理水平

智能营销系统结合多种先进的分布式部署系统,将机构信息、角色信息、权限信息、菜单信息存储在系统管理数据库,商户信息、门店信息等数据存在商户管理库,系统核心数据如智能推荐信息、智能推荐账户信息等存储于智能推荐管理数据库,消息模版和消息配置等存在触达管理数据库中,报表数据由各个库通过批量的方式同步到报表数据库中实现报表功能。建立了营销态势感知能力,掌控前中后台应用运行过程和运行状况,助力小程序、微信银行、手机银行的渠道端管理。有效识别用户行为,分析用户偏好,实现精准营销,推动业务更符合用户预期。

(3)满足银行行业政策法令监管要求

智能推荐系统作为银行营销业务系统中非常重要的一部分,正面临着来自移动端平台的各种安全威胁,在人民银行、行业监管部门也在诸多技术规范文件中提出了对营销业务安全性的监管要求。通过智能营销系统的建设,将行业政策要求与业务需求结合落地,符合相关监管文件的要求。

七、经验总结

通过邮储银行的智能推荐系统的建设,实现端到端数据采集和监测预测能力,对采集上报的移动设备信息、安全风险信息、用户行为信息、程序运行信息等客户信息进行多维度的挖掘和统计分析,并以报表、图表的方式实现多形式的数据展示和可视化管理,通过对传统思维的自我颠覆,在系统、人才、技术方面进行了大规模的投入,且依靠背后强大的算法支持,才能在零售智能转型的过程中取得较好成绩。

版权声明及安全提醒:本文转自网络平台,文章仅代表作者观点,不代表「金融文库」立场。相关版权归原作者所有,「金融文库」仅提供免费交流与学习,相关内容与材料请勿用于商业。我们感谢每一位原创作者的辛苦付出与创作,如本转载内容涉及版权及侵权问题,请及时联系我们客服处理(微信号:JRwenku8),谢谢!