近期,DataPipeline收到一封来自山东省城市商业银行合作联盟有限公司(以下简称:山东城商行联盟)的感谢信。客户对DataPipeline全力以赴、恪尽职守的工作态度及做出的积极贡献给予高度肯定和感谢,并对后续工作提出了殷切期望。收到这封信,相关项目组成员都备受鼓舞。

　　信里这样写到:

　　“贵司按照联盟项目要求,积极响应、主动工作、密切配合,顺利完成了2021年项目计划工作,确保了联盟金融云数据中心建设项目工作的平稳顺利推进。在此期间,贵司委派参加联盟项目实施工作的王鑫同志,严格执行联盟项目工作的各项计划和要求,认真负责、恪尽职守、不辞辛苦,为保障工作的顺利完成做出了积极的贡献。

　　在此,对贵司给予联盟金融云数据中心建设项目的高度重视和全力以赴表示衷心感谢,并希望贵司按照项目工作计划和要求再接再厉,为联盟金融云数据中心建设及迁移项目的开展继续提供有力支持。”

　　业务当先理念契合，拥抱实时数据管理

　　早在2020年,山东城商行联盟就开启了与DataPipeline的合作之路。

　　山东城商行联盟经原中国银监会批准成立,是目前全国唯一持有金融牌照的中小银行金融科技服务公司。公司为各成员行提供集核心业务系统、互联网金融系统、外联业务平台、大数据服务及运营、风控支持等全方位的信息科技解决方案以及培训、咨询、合作创新等多元服务,引领成员行通过科技创新推动业务发展和转型升级,是山东省大数据重点骨干企业。公司致力于打造赋能中小银行、开放共享的金融科技生态平台。

　　在云计算、大数据、人工智能快速发展背景下,金融行业适应客户需要的多样化和个性化场景不断涌现。经过10多年的电子化发展、信息化建设,山东城商行联盟积累了海量的数据,如何利用好这些数据成为了联盟应对新形势挑战、谋求转型发展的重要课题。相对于大型商业银行,降低运营成本、提升客户体验、提高营销能力等转型工作对于以山东城商行联盟为代表的的城市商业银行在科技创新发展上更为关键。

　　随着数据应用的深入,成员行业务部门不断提出更复杂的实时数据加工需求,新需求的加工复杂度持续升高、使用场景持续扩展、交付效率持续加快、运营质量要求持续提升。为提升实时数据支撑能力,山东城商行联盟开始启动实时数据体系建设,在不影响核心业务的情况下,将核心业务的数据准实时进行数据分发,全面推动“业务监测与风险预警、智慧APP6.0、智慧营销平台”等业务的能力。

　　山东城商行联盟通过产品调研、可行性分析、POC验证,选择DataPipeline数见科技作为合作伙伴共同完成数据库实时数据采集系统项目的实施。该方案三大核心能力与联盟实时数据管理体系整体策略高度契合:

　　01 多元异构

　　Oracle、IBM DB2、MySQL、Kafka等多种数据库进行近实时的数据采集功能,并对数据源建立高效的管理功能,实现对数据源、目的地的数据连接统一管理管理,通过界面进行数据源与目的地注册,删除数据源,同时根据需求不断迭代支持新的数据库。

　　02 实时同步

　　利用解析数据库归档日志的方式,实现秒级的数据变更捕获,将解析的变更记录传送到数据目的地中,包括日志中提取数据变更的增、删、改等DML操作记录,以及新增表、删除表、添加字段、删除字段等自动同步到目的地中。

　　03 标准管理

　　统一的可视化管理页面,提供平台级别的数据管理功能,包括产品权限、数据时效管理和安全管控等方面功能,为数据工程师、运维人员提供直观的数据任务地图,随时可以洞悉数据的最新动态,极大提升运维工作效率和效益。

　　精诚协作顺利上线，构建坚实底座

项目现场

　　自系统建设启动以来,多研发测试任务齐头并进,山东城商行联盟生产运维部及DataPipeline项目组全体成员高度重视、上下一心通力协作,顺利完成上线测试。针对割接方案,项目组成员进行多轮评审,精心准备、考虑周全,最终确保割接工作准确有序进行,数据及业务系统万无一失,项目圆满完成。该系统已于2021年正式投入使用。

　　山东省城商行联盟核心运维组技术专家倪俊甜在DataPipeline2021数据管理与创新大会的演讲中表示:

　　“DataPipeline助力山东省城商行联盟构建的企业级数据库准实时数据采集系统对于推动其实现数字化转型、数据规范化和集约化管理、赋能企业经营及增强其持久核心竞争力具有重要意义。DataPipeline可实现数据的秒级实时采集,产品具备统一易用的人性化操作界面,丰富的配置策略可实现对资源的高效充分利用,产品同时具有标准化遵循与前瞻性判断前提下的开放可扩展性,当然最重要的是其金融级的稳定高容错能力。”

　　全域数据实时融合的价值愈发重要,是加速数据流通、从而提升经营效率构建差异性竞争优势的重要手段。该项目平台实现各系统的打通与关联,覆盖多层次客户服务体系,强化了线上业务服务和资产配置等综合实力。该项目的实施提升了成员行的获客能力和精准个性化服务水平,助力成员行运营与管理数智化再升级。同时,简单易用的数据同步机制可以降低应对各种实时数据应用场景的成本,提高数据的复用度,高效释放数据价值。

　　因此,同年12月,「DataPipeline助力山东城商行联盟构建企业级数据库准实时数据采集系统」案例成功入选由中国信息协会发布的“2021中国大数据应用样板100例”,获得来自多方的好评,起到行业示范引领效应。

　　在该项目后续阶段,DataPipeline也将会继续发挥产品技术与服务优势,以高水平、高要求的标准完成接下来的工作任务。

　　“客户成功”是DataPipeline企业文化理念中的重点。DataPipeline向所有信任和支持公司的客户表示衷心感谢,同时也向身体力行地践行着公司愿景与使命的DataPipeline人致以敬意。未来,DataPipeline将充分发挥在实时数据管理领域的领先优势,持续深耕金融等行业,推动产业高质量发展。