海聚（数据整合系统）

TRS海聚数据融合平台（TRS ETL）是一款由TRS自主设计研发，具有强盛数据集成能力的流批一体数据融合平台。TRS ETL接纳漫衍式架构，以flink作为数据处置惩罚引擎，可拖拽式数据流程开发，提供几百种常用功效组件，支持对使命的进度实时监控和多维度统计剖析，并提供了全功效RESTfulAPI。TRS ETL能资助企业突破数据孤岛、修正数据质量、搜集大都据源、转换数据形态，提升数据的使用价值。4

产品功效产品优势应用场景用户价值最佳实践

产品功效

使命治理

调理妄想治理

资源治理

集群治理和引擎治理

统计监控剖析

操作历史审计

海聚支持多种使命类型，包括批使命、流使命、SQL使命、JAR使命。对数据融合来说，SQL使命是一个全新的处置惩罚形态，它能把数据的融合逻辑，转为一个简朴的SQL语句来完成。

调理妄想用于设置使命的准时运行战略，合理的给使命分派调理妄想可以使得多个使命协同运行并且合理使用效劳器资源，阻止泛起过多使命争抢线程和数据库等资源以及大宗使命排队期待等征象，为效劳器稳固运行提供包管。

海聚支持集中治理使命中使用的所有外部毗连的资源，并天生响应的血缘图谱。

海聚支持漫衍式架构安排，以及flink执行引擎的热插拔和自动分派，包括flink standalone模式和yarn session模式。

海聚支持使命的执行统计剖析、资源的统计剖析、过失剖析等多维度运行剖析。

海聚还支持对全息操作行为举行审计剖析功效，包括使命的增删改运行、资源的增删改、用户治理行为等等。

使命治理

调理妄想治理

资源治理

海聚支持集中治理使命中使用的所有外部毗连的资源，并天生响应的血缘图谱。

集群治理和引擎治理

海聚支持漫衍式架构安排，以及flink执行引擎的热插拔和自动分派，包括flink standalone模式和yarn session模式。

统计监控剖析

海聚支持使命的执行统计剖析、资源的统计剖析、过失剖析等多维度运行剖析。

操作历史审计

海聚还支持对全息操作行为举行审计剖析功效，包括使命的增删改运行、资源的增删改、用户治理行为等等。

产品优势

易用性

1.纯B/S架构，前后端疏散，提供全功效RESTful API。
2.基于图形化的数据流程界说，通过简朴拖拽相关系统组件举行组合即可设计指定的ETL规则。
3.客户端内置了常用的使命界说模板，用户可选择指定的模板快速建设使命；
4.把常用的设置信息界说为资源，从而在多个流程中复用该设置信息，减轻了设置事情量。
5.系统提供了多种监控视图，可以利便的监控流程的运行状态以及统计信息，资助剖析性能瓶颈。

漫衍式架构

1.效劳器接纳漫衍式集群架构，增添了系统的稳固性，阻止了系统的单点故障。
2.集群支持弹性扩展，使命可破碎为多个子使命，划分调理运行到差别的集群节点，从而提升系统数据处置惩罚能力。
3.与k8s、Yarn、Mesos细麋集成，快速故障恢复，动态扩缩容作业。

处置惩罚功效强盛

1.系统提供了富厚的ETL组件，以支持常见的ETL数据处置惩罚需求：支持企业内部常见数据源的抽；提供了富厚的数据加工转换功效。
2.支持if-else、switch-case、while等多种处置惩罚逻辑。
3.使命之间支持相互挪用，以及依赖等多种关联方法，以实现重大的ETL处置惩罚逻辑。
4.高度无邪的窗口机制，支持对乱序事务的处置惩罚。

高性能

1.多线程运行和多机漫衍式运行，能大大提升数据处置惩罚性能。
2.与主流大数据盘算框架的集成，可以将重大的营业逻辑提交到盘算平台举行处置惩罚。
3.接纳Apache Flink作为数据处置惩罚内核，支持流批处置惩罚，具有高吞吐、低延迟的特点。

扩展性

1.统一的数据处置惩罚框架和插件框架，通过插件接口的二次开发，可以顺应多种数据集成配景。
2.提供常用功效的API，利便的与营业应用集成。

清静性

1.自主可控，分级权限清静战略，支持差别权限的操作职员对系统的控制。
2.数据处置惩罚使命的审计功效，增添了数据处置惩罚使命的可溯性。
3.异常数据的集中审查和治理功效。
4.自动识别背压点，利便快速定位使命性能瓶颈。

应用场景

全文检索场景

数据治理场景

数据迁徙场景

数据整合场景

据共享交流场景

抽取、洗濯、整合海量信息数据，为全文检索功效的主要组成部分——全文数据库提供优质数据。

资助组织建设数据质量治理系统，提升数据的完整性、规范性、实时性、一致性、逻辑性。

实现新旧系统与数据库切换的数据接入与数据名堂匹配，确保应用系统顺遂割接。

实现多源异构数据整合，增强数据管控能力，消除信息孤岛，更好的为上层应用提供效劳。

用于构建、运行和治理漫衍式应用系统间、云情形下应用系统之间等数据交流共享使命，以知足种种大型应用、种种重大的网络情形下的营业需求，尤其适用于跨部分、跨地区、跨层级的数据交流共享应用

用户价值

高度清静

自主可控，分级权限清静战略。

零编程

零代码编程快速建设使命降低用户使用门槛。

图形化

简朴拖拽组合图形举行设计，5分钟建设一条数据通道。

大规模处置惩罚

接纳漫衍式架构，使命并发调理降低80%本钱，效率提升5倍。

N种数据源

支持几十种数据源，设置轻盈快捷。

实时融合

7*24小时快速抽取，让延迟不再是问题。

轻量安排

一键装置安排，开箱即用。

最佳实践

生态环保部-二污普数据洗濯项目

本项目通过获取国家统计局、国家工商总局、国家质检总局、国家税务总局、国家电网和南方电网等部分提供的数据，团结情形；げ肯喙赜挡糠值那樾斡凳，凭证第二次天下污染源普查工具和规模要求，通过TRS海聚对部外和部内数据举行前期预处置惩罚，最终建设了一套标准的切合第二次天下污染源普查需求的基本单位名录库数据荟萃。

中国石油-网站群全文检索项目

中石油站点众多，外部网站群包括集团公司主站及特色子站、专业公司、油气田企业、炼化企业、销售企业、自然气与管道储运企业及外洋营业企业；内网安排了上千个子站点，在数据同步时，子站点的数据通过TRS海聚自动化整合到搜索引擎系统中。最终，能够实现网站群数据统一检索与展示，有用地提高网站效劳质量。

中国标准出书社-数字内容盘算平台

中国标准出书社以自身数据的权威性为基础，为增强知识生产和效劳能力，推动古板出书与数字出书融合生长，通过TRS海聚对标准、规则数据的分类、标签、关联、指标、属性等数据加工、知识抽取和知识融合，实现了数据加工到知识生产的转变，为社会公众和海内外企业提供标准盘问和知识效劳。通过TRS海聚对非结构化数据的加工处置惩罚、建设相关标准、规则知识库，实现了基于知识图谱的关联检索和图谱检索。