该移动公司业务支撑中心大数据平台使用华为FusionInsight 的Hive数仓存储海量数据,使用南大通用的GBase 8a 存储分析数据用于前台报表分析。针对该公司大数据平台数据表多和数据量非常大的特点,采用将大表导出到接口机分拆成多个文件,然后通过FTP传输方式从源接口机下载文件,高并发对文件进行脱敏处理,再将脱敏后文件上传到目标接口机上的方式。

该方案不仅效率高(500GB数据量仅用20分钟),而且实现了数据使用人员与生产数据的完全隔离,安全上得到极大的保障。




近期项目

以下是我们服务项目