项目作者: thestyleofme

项目描述 :
数据血缘,Hive/Sqoop/HBase/Spark等,发送到kafka后,解析处理使用neo4j生成血缘
高级语言: Java
项目地址: git://github.com/thestyleofme/data-lineage-parent.git
创建时间: 2020-09-08T11:53:59Z
项目社区:https://github.com/thestyleofme/data-lineage-parent

开源协议:

下载


data-lineage-parent

数据血缘,使用各种hook或sql解析,统一将血缘信息存到kafka后,在neo4j中进行储存展现

1. lineage-hooks

里面有各种hook,实现血缘采集

1.1 lineage-hive-hook

通过hive hook将血缘信息写入kafka

hive血缘neo4j示例

image