恒生电子推出投研数据标准化服务“投研数据集市”

近日,恒生电子旗下iBrain恒生数据中台推出统一的投研数据标准化服务——投研数据集市,通过对金融数据的加工能力、金融数据产品化的能力,解决投研数据的一致性、及时性、准确性、时效性、权威性等问题。

统一管理复杂的数据资产

数据资产是系统所产生的所有数据,包含数据表、指标以及API,“集市”就可以把这些众多且复杂的数据资产进行统一的展示、搜索与管理。

恒生电子打造的投研数据集市建立在大数据技术的基础上,运用大数据计算、NLP、知识图谱等大数据技术构建可视化资产地图,用户在查阅资产地图的同时,还可以查阅数据质量报告,同时自动构建清晰的上下游数据血缘关系,方便用户追溯。

此外还提供资产搜索功能,用户可自定义输入关键字搜索,通过组合搜索与高级搜索的联合功能完成用户100%的搜索目标。

实时完成数据流的加工清洗

没有合格的数据,再好的工程师也挖掘不出其中的价值。为了方便使用,数据得规整,所以需要清洗。

投研数据集市的模型加工模块定位于整个数据流的清洗加工,贯穿了从数据源到资讯接口整个过程,涵盖的功能有数据源管理、ODS管理、EDW分析、合成管理、资讯集市、数据采集、数据开发、任务调度,并支持白屏化加工方式与代码开发方式两种开发方式,保证整个模型加工过程的完整性,且整个过程实时完成。

其中,恒生统一资讯模型按照SDOM规范和CFI国家编码构建。资讯数据模型整个设计思路参照贴源层、模型层及应用层的模型设计原则,对金融机构资讯数据设计统一投研数据模型、投研应用数据模型,并对核心主题数据进行清洗。

高效实现数据质量的管控

数据也会出现“不听话”的情况,这就需要监控数据模型落地的整个ETL过程,及时发现数据质量问题,并对排查出来的问题进行处理。数据“不听话行为”主要包括:数据延迟问题、无效数据问题、数据缺失问题、重复数据问题以及数据一致性问题。

为提供高质量的投研数据服务,恒生电子建立起投研数据治理体系:提供可视化监控平台,提高监控预警效率;建立数据大屏,可视化地实时展示当前的数据质量问题及数据使用情况;建立数据质量校验及提醒反馈机制;支持系统自动化监控及用户自主反馈数据质量问题;实现多种方式的数据质量校验机制;形成投研数据使用效率的量化指标,自动化生成供应商整体质量评价结果;提供敏感数据可视化判断及处理平台,支持数据管理团队快速响应处理。

经过多年业务积累,恒生电子总结了上千条质量检验规则,涵盖深度规则和一般规则,包括一致性校验、完整性校验、勾稽校验等。校验完成后,可生成数据质量校验报告且以数据大屏的形式出现,有清晰的质量问题预警与质量反馈机制,数据处理性能达到S级响应。

基于OneService理念的数据服务平台

沟通往往成本是最大的。因此,恒生电子搭建起统一的数据服务总线,统一管理对内和对外的API服务,解决前端与三方系统取数用数的问题。恒生数据服务引擎模块设计的理念为OneService的理念,数据复用而非复制,提供服务统一管理、统一授权、统一分发的职能。

数据服务不仅支持将现有的API快速注册到数据服务平台以实现统一管理和发布,还能借力恒生HSIAR网关,支持将API服务一键发布至API网关。用户只需关注API本身的查询逻辑,无需关心运行环境等基础设施。数据服务会准备好数据资源,并支持弹性扩展,降低运维成本。

未来,恒生投研数据集市将进一步满足金融机构在股票研究、债券研究、基金研究、产品研究、策略研究、宏观研究、行业研究及市场研究等方面的发展需要,还可提升金融机构在研究报告撰写、个股点评、基金评价、投资池、模拟组合、量化筛选、信用评级、估值定价、事前风控及绩效归因等多个业务场景的专业能力。

除了投研数据集市,iBrain恒生数据中台还建设了全生态核心产品体系,覆盖数据采集、存储、加工、分析、服务等专业化产品和服务,在保障数据安全的前提下,为金融机构提供一站式的大数据处理全流程解决方案。

 

为您推荐

联系我们

联系我们

工作时间:周一至周五,9:00-17:30,节假日休息

返回顶部