数据中台(-让数据用起来)-读书笔记15

  • 时间:
  • 来源:互联网
  • 文章标签:

(2020.12.23)-数据安全管理

一、数据安全3大市场挑战

1、企业内部挑战

  • 大数据平台的安全管控能力缺失,使得平台在数据存储、处理及使用等各环节造成数据泄露的风险较大,安全风险面广,且缺乏有效的处理机制;
  • 企业敏感数据的所有权和使用权缺乏明确界定和管理,可能造成用户隐私信息和企业内部数据的泄露。

2、对发数据服务商的挑战:针对支撑公有云或私有云各类技术服务商。

3、数据权限问题:在进行大数据收集、处理和应用过程中,必须做到权责分明,厘清数据权属关系,防止数据流通过程中的非法使用,保障数据安全使用。


二、贯穿数据全生命周期的数据安全管理体系

1、数据生命周期

   大数据时代,数据具有高流通性、高价值、高衍生性等特点,数据安全管理需针对数据流通的每一个环节,必须贯穿数据的整个生命周期。

  • 数据产生:指新的数据产生或现有数据内容发生显著改变或更新的阶段;
  • 数据存储:指非动态数据以任何数字格式进行物理存储的阶段;
  • 数据传输:指数据在组织内部从一个实体通过网络流动到另外一个实体的过程;
  • 数据使用:指组织在内部针对动态数据进行的一系列活动;
  • 数据共享:指数据经由组织与外部组织及个人产生 交互的阶段;
  • 数据销毁:指利用物理或者技术手段使数据永久或临时不可用的过程。

2、数据安全管理体系:安全战略层面、安全组织管理层面、安全过程管理层面、安全技术保障层面、数据生命周期安全保障层面、数据运行能力保障层面,详情如下图:

 


三、大数据平台安全管理技术手段

1、统一安全认证和权限管理

  • Hadoop集群安全,解决方案:Kerberos网络认证协议;
  • 数据传输安全:SSL证书,对传输中的敏感数据进行加密;
  • 数据操作与应用:通过权限管理,控制不同角色

        a. 控制粒度,控制到字段权级;

        b. 控制动作,dml及ddl权限控制。

2、资源隔离

      按照隔离程度从高到底,分别是

  • 独立数据库;
  • 共享数据库,隔离数据架构;
  • 共享数据库,共享数据架构。

3、数据加密

  • 根据数据是否流动的特点,数据加密分为存储加密和传输加密

        a. 数据存储加密会根据数据的安全分级采用不同的加密方式,一般数据可以直接采用明文存储或者明文加上验证码存储;对于重要数据和关键数据则除了附加验证码之外,还要先加密后存储以防止数据被非法窃取或篡改;

        b. 数据传输加密在数据流转过程中,通过端对端的专用加密通道,使数据以密文形式在网络上进行传输,防止数据别截取;

  • 根据秘钥类型,将现代密码技术分为两类:对称加密算法(秘密钥匙加密)和非对称加密(公开秘钥加密);

        a. 对称钥匙加密系统是加密和解密均采用同一把秘密钥匙 ,而且通信双方必须获得这把钥匙,并保持钥匙的秘密;当用户需要加密大量数据时,建议采用对称加密,提高加解密速度

        b. 非对称钥匙加密系统采用加密钥匙(公钥)和解密钥匙(私钥)是不同的;比对称加密算法慢,当数据量很小时,可以考虑采用非对称加密算法。

4、数据脱敏

  • 敏感数据识别

        a. 建立敏感数据规则,同时为了方便扩展,用户敏感信息规则应支持用户自定义各类敏感信息规则;

        b. 敏感数据监测,支持对大数据平台存储的结构化和半结构化数据表库、表进行敏感数据扫描监测,并对数据表进行抽样数据匹配,基于敏感信息库来监测存储在大数据平台的敏感数据。

  • 敏感数据脱敏

        a. 数据替换:以虚构数据代替数据的真实值;

        b. 截断、机密、隐藏或使之无效:以“无效”或“********”等代替数据的真实值

        c. 随机化:以随机数据代替数据的真实值;

        d. 偏移:通过随机移位改变数字型的数据。

5、数据共享安全

  • 共享方式:接口和文件
  • 接口方式包括接口数据(Json、XML)、流式数据(Kafka)等多种数据访问方式
  • 文件方式主要指通过FTP、SFTP、邮件等对外共享数据。

6、数据的容灾备份

      用户可以根据恢复目标将业务的关键等级划分为核心业务系统、一般性重要业务系统和一般业务系统三个级别,并根据不同级别分别有针对性定制容灾备份方案。

  • 核心业务系统:采用存储数据双活的方式来实现业务系统的持续可用;
  • 一般性重要业务系统:采用主流成熟的备份系统进行定时备份保护;
  • 一般业务系统:采用定时备份和不备份策略。

7、数据安全的其他技术

  • 数据发布匿名保护技术:使用K-anonymization 技术,使攻击者不能判别出隐私信息所属具体个体;
  • 数字水印技术:将识别信息以难以察觉的方式嵌入数据载体内部且不影响其使用方法;
  • 数据溯源技术:标记法,通过对数据进行标记来记录数据在大数据平台中的查询、流动和传播历史;
  • 角色挖掘技术:根据现有“用户-对象”授权情况,设计算法自动实现角色的提取和优化。有效的角色挖掘可以为用户权限角色最有分配,鉴别在正常数据模式外进行操作的用户,检测并删除冗余或过量的角色或用户权限,使角色定义及用户权限保持最新。

本文链接http://www.taodudu.cc/news/show-1944758.html