地址: 广东省广州市科学城科学大道247号A7栋神州数码
联系人: 杨勇Phone: 020-38118244
Email: yangyongp@digitalchina.com
该移动公司业务支撑中心大数据平台使用华为FusionInsight 的Hive数仓存储海量数据,使用南大通用的GBase 8a 存储分析数据用于前台报表分析。针对该公司大数据平台数据表多和数据量非常大的特点,采用将大表导出到接口机分拆成多个文件,然后通过FTP传输方式从源接口机下载文件,高并发对文件进行脱敏处理,再将脱敏后文件上传到目标接口机上的方式。
该方案不仅效率高(500GB数据量仅用20分钟),而且实现了数据使用人员与生产数据的完全隔离,安全上得到极大的保障。