数据脱敏
1.充分定义级能力描述
· 组织建设1）组织机构设立统一的数据安全岗位和人员，负责制定数据脱敏的原则和方法，并提供相关技术能力。2）在数据权限的申请阶段，由相关人员评估使用真实数据的必要性，以及确定该场景下适用的数据脱敏规则及方法。· 制度流程1）应明确组织机构的数据脱敏规范，明确数据脱敏的规则、脱敏方法和使用限制等。2）应明确需要脱敏处理的应用场景、脱敏处理流程、涉及部门及人员的职责分工。· 技术工具1）组织机构提供统一的数据脱敏工具，实现数据脱敏工具与数据权限管理平台的联动，以及数据使用前的静态脱敏。2）应提供面向使用者的数据脱敏定制化功能，可基于场景需求自定义脱敏规则。3）数据脱敏后应保留原始数据格式和特定属性，满足开发与测试需求。4）应对数据脱敏处理过程相应的操作进行记录，以满足数据脱敏处理安全审计要求。 · 人员能力1）应熟悉常规的数据脱敏技术，能够分析数据脱敏过程中存在的安全风险，基于数据脱敏的具体场景保证业务和安全之间的需求平衡。2）应具备对数据脱敏的技术方案定制化的能力，能够基于组织机构内部各级别的数据建立有效的数据脱敏方案。2.标准解读数据脱敏技术通过对脱敏数据执行数据变形操作，为用户提供虚假数据而非真实数据，从而实现对敏感数据的可靠保护，在开发，测试和其他非生产环境及外包环境中安全地使用脱敏后的真实数据集，这样就可以既不会泄露组织的敏感信息，又能达到挖掘数据价值的目的。过程域要求组织根据相关法律法规、标准的要求，以及组织自身业务的需求，明确需要脱敏的业务场景、规范要求及使用的脱敏工具。 3.组织建设和制度流程要求组织建立统一的数据脱敏制度规范和流程，明确数据脱缴的业务场景，以及在不同业务应用场景下数据脱敏的规则和方法，这里重点强调的是组织需要统一策略，统一规范。脱敏应跟使用者的业务权限和数据的使用场景来动态调整，用户申请对敏感数据的访问处理时，应根据使用者的岗位职责、业务范围等， 来评估其使用真实数据的必要性，并根据其业务职责来选择不同的数据脱敏规则及方法。《xxxx公司数据脱敏管理规范》，重点包括以下几点：· 脱敏的政策、必要性和范围· 定义敏感数据的分类和级别· 制定数据脱敏的具体操作规则，包括脱敏方法（动态、静态）、脱敏键管理、数据脱敏的流程等· 数据脱敏策略和方案制定，满足行业合规、小够用原则和脱敏规则等· 脱敏工具和技术选择· 脱敏过程的流程和控制· 脱敏操作审计和监控· 定义好应脱敏的数据常见敏感数据： 个人信息:能够单独或者与其他信息结合识别特定自然人身份或者反映特定自然人活动情况 的各种信息。包 括 个人基本资料、个人身份信息、个人生物识别信 息、 网络身份标识信息、个人健康生理信息、个人教育工作信息、个人财产信息、个人通信信息、联系人信息、个人上网记录、个人常用设备信息、个人位置信息等。具体可参考gb/t35273《信息安全技术个人信息安全规范》组织敏感信息：是指涉及组织的商业秘密，经营状况和核心技术的重要信息，组织敏感信息包括但不限于客户信息，供应商信息，产品开发信息，关键人事信息和财务信息等国家重要数据：是指组织在境内收集，产生和控制的不涉及国家秘密，但与国家安全，经济发展，社会稳定及企业和公共利益密切相关的数据。国家重要数据包括上述这些数据的原始数据和衍生数据。技术工具数据脱敏的核心是实现数据可用性和安全性的之间的平衡， 既要考虑系统开销满足业务系统需求又要兼顾小可用原则，大限度的防止敏感信息泄露。一个有效的数据脱敏工具应包含两部分，可靠的数据脱敏技术和合理的脱敏规则。数据脱敏方法可分为静态数据脱敏和动态数据脱敏两种方案。静态脱敏和动态脱敏大的区别就是在使用时是否需要与原数据进行连接。1.静态数据脱敏方法是指原始数据进行一次脱敏操作后，脱敏后的结果数据可以多次使用，该方法非常适用于使用场景比较单一的场合。静态脱敏是将原数据源按照脱敏规则生成一个脱敏后的数据源，使用的时候是从脱敏后的数据源获取数据，静态脱敏一般用于开发，测试，分析等需要完整数据的场景。 2.动态数据脱敏方法是指在显示敏感数据时，针对不同的用户需求，对显示数据进行不同的屏蔽处理的数据脱敏方式。动态脱敏不会涉及对原数据的处理，动态脱敏改变的只是sql语句。它要求系统提供相应的安全措施，以确保用户不能绕过数据脱敏层而直接接触敏感数据，动态数据脱敏方法比较适合于用户需求不确定，使用场景比较复杂的情形。
1）静态脱敏静态脱敏是指利用截断，偏移，规整，替换，重写，加密等算法，对原数据进行脱敏操作，并将脱敏后的数据导入到脱敏后的数据源中。静态脱敏工具一般都支持文件到文件脱敏，文件到数据库脱敏，数据库到文件脱敏，原库脱敏，异库脱敏等脱敏方式。常见流程如下：1.需求分析：首先，明确为何需要进行数据脱敏以及需要脱敏哪些数据。这可能涉及敏感数据的识别和分类。2.数据获取：静态脱敏的第一步，是从原数据源中获取数据，目前，静态脱敏工具一般是通过以下几种方式来获取数据。1）代理软件2）数据库开发接口3）etl技术-抽取，转换，加载。 · 代理软件： 代理软件是一种用于访问网络资源的工具。静态脱敏工具可以配置代理，使其模拟浏览器或其他客户端的请求，然后从目标网站或数据源中获取数据。代理软件通常用于网页抓取和数据挖掘任务。它们可以模拟用户的请求，访问需要身份验证的网站或应用程序，以获取数据。代理软件的一个示例是scrapy，它是一个python框架，用于构建网络爬虫。 · 数据库开发接口： 数据库开发接口是连接到数据库系统的工具或库，使用户可以执行查询和检索数据。静态脱敏工具可以使用数据库连接来从关系数据库中提取数据。这种方法适用于那些将敏感数据存储在数据库中的情况。工具可以执行sql查询来检索数据，并将结果导出到脱敏处理的过程中。· etl技术（抽取、转换、加载）： etl工具（抽取、转换、加载）是用于从不同数据源抽取、转换和加载数据的工具。静态脱敏工具可以使用etl技术来获取数据。在这个过程中，数据首先从原始数据源中抽取出来，然后进行必要的转换和清理，后加载到目标位置进行进一步处理。etl工具通常用于数据仓库、数据湖和数据集成任务，但它们也可以用于静态脱敏工具中。3. 敏感数据识别：标识和分类敏感数据，确定哪些数据需要脱敏。这通常包括个人身份信息、财务数据、医疗记录等。4. 数据备份：在进行脱敏操作之前，务必对原始数据进行备份，以便在需要时能够恢复原始数据。5. 选择脱敏方法：根据需求选择合适的脱敏方法。常见的脱敏方法包括： · 数据替换：用虚拟数据替换真实敏感数据，如将真实姓名替换为随机生成的名称，zuihao是可逆替换。· · 数据泛化：缩减或抽象数据以减少详细信息，如将年龄jingque到天数的数据泛化为年龄段。· 数据隐藏：隐藏部分数据，如隐藏信用卡号的中间数字。· 数据噪声：向数据中添加随机噪声，以防止通过统计分析恢复原始数据。· 数据删除：完全删除敏感数据，如果不再需要。· 数据截断：直接在原数据的基础上截掉业务使用时不需要的部分· 数据重写：按照原数据的数据格式重新生成数据，生成的数据是随机的· 数据加密：数据加密包括使用加密算法，散列算法，重排算法等进行的数据转换，如常见的秘密一般都是通过散列算法+盐值进行加密从而实现数据脱敏的。6.脱敏策略定义：基于选择的脱敏方法，制定脱敏策略，包括脱敏算法的具体实现和参数设置。7.脱敏操作：对数据执行脱敏操作，按照定义的脱敏策略进行修改。确保数据脱敏操作不会改变数据的整 体结构和一致性。 8.验证和测试：对脱敏后的数据进行验证和测试，以确保脱敏操作的有效性和合规性。9.审计和监控：建立数据脱敏操作的审计机制，记录每次脱敏操作的详细信息，以及实施监控措施，以检 测未经授权或异常的脱敏活动。10.存储和传输：存储脱敏后的数据，并在需要时安全地传输。确保在存储和传输过程中仍然保持数据的 脱敏状态。11.合规性和法规遵循：确保数据脱敏操作符合适用的法规和合规性要求，如iso&iec27038_2014《数字 脱敏规范》、db51t3058-2023《政务数据数据脱敏规范》、gdpr等。12.文档和记录：记录每次数据脱敏操作的详细信息，包括执行者、时间、数据类型等。13.风险管理和改进：建立风险评估和管理机制，定期评估数据脱敏操作的风险。根据发现的问题或改进的 机会，进行持续改进。14.恢复原始数据：如果需要访问原始数据，确保有合适的流程和权限来恢复原始数据。2）动态脱敏动态脱敏技术在工作时并不会改变原数据，而是通过解析业务sql语句匹配出脱敏规则对应的条件和数据，当匹配到对应的数据和条件时，就会对业务sql语句进行改写，改写后的sql语句在查询数据时实际输出的数据即为脱敏后的数据。可以根据不同的授权对象，进行不同级别的脱敏操作，动态数据脱敏是指在用户层对数据进行独特的屏蔽，加密，隐藏，审计或封锁等操作来进行脱敏的技术。 整体流程是和静态脱敏差不多的，动态脱敏进一步解释：1. 不改变原数据：动态数据脱敏技术确保不会在数据库中实际修改原始数据。原始数据保持不变，只有在数据被查询时才会应用脱敏规则。2. 解析业务sql语句：这种技术通过解析业务sql查询语句来确定何时应该应用脱敏规则。sql语句包含了关于要检索哪些数据以及以何种条件进行检索的信息。3. 匹配脱敏规则：一旦解析了sql语句，系统会匹配脱敏规则。这些规则指定了在哪些条件下以及如何脱敏数据。例如，可能规定了在某些用户或角色的查询中脱敏特定字段的方式。4. 改写sql语句：如果匹配到了脱敏规则，系统会修改原始的业务sql语句，以便在查询时应用脱敏操作。这意味着脱敏规则会在查询过程中实际输出经过脱敏处理的数据，而不是原始数据。5. 不同级别的脱敏：根据不同的授权对象，可以应用不同级别的脱敏操作。这意味着不同的用户或角色可以看到不同程度的数据脱敏，以确保敏感数据只在必要的情况下可见。6. 动态数据脱敏的目的：动态数据脱敏的目的是确保敏感数据的隐私和安全，同时允许授权用户访问必要的数据。这可以通过屏蔽、加密、隐藏、审计或封锁等操作来实现，具体操作取决于脱敏规则和授权对象的需求。动态脱敏工具现在市面上已经很成熟了，评估主要是实现以下功能即可： 敏感数据自动识别：· 使用敏感数据识别工具或算法来扫描数据源以自动检测和标识敏感数据。这可以包括个人身份信息、财务数据、医疗记录等。不同场景的脱敏规则：· 根据数据类型和业务需求，建立一系列不同的脱敏规则。例如，对于电子邮件地址，可以使用掩盖部分字符的规则；对于信用卡号，可以使用替换为虚假数据的规则。脱敏规则自动配置：· 创建一个规则管理系统，使管理员能够定义、编辑和配置脱敏规则。这个系统可以包括一个用户友好的界面，允许管理员指定哪些规则应该应用于哪些字段和场景。无损同构脱敏作业：· 在脱敏之前对数据进行备份，以防止不良脱敏导致数据丢失。· 开发脱敏算法和规则，以确保脱敏后的数据类型、格式和结构与原始数据保持一致。· 实施严格的测试和验证流程，包括自动化测试用例，以验证脱敏操作的准确性和一致性脱敏全流程审计： · 使用日志记录和审计系统来记录整个脱敏流程。这些日志应该包括哪些规则被应用于哪些数据、何时应用的以及由谁执行的信息。这可以帮助追踪数据的处理历史，满足合规性要求，并检测潜在的安全问题。合规性考虑：· 确保您的系统遵循适用的数据隐私和合规性法规，如gdpr、hipaa等。这包括确保数据访问受到适当的控制、数据脱敏是必要的，并且存在合规性审计功能。自动化和智能化：· 考虑将人工干预降至低，实现自动化的脱敏操作，使用机器学习和自然语言处理来进一步提高敏感数据的自动识别和脱敏规则的自动配置。性能优化：· 对于大规模的数据集，要考虑系统的性能和扩展性。优化脱敏操作，确保它们能够处理大量数据而不影响性能。终，实现这些功能需要一个综合性的数据脱敏平台或系统，可能需要开发定制化的解决方案或使用市场上已有的脱敏工具，并根据具体需求进行定制。同时，需要不断监测和更新脱敏规则以适应不断变化的数据和业务环境。