Dwh 简明教程

Data Warehousing - System Managers

系统管理对于数据仓库的成功实施至关重要。最重要的系统管理器包括 −

  1. System configuration manager

  2. System scheduling manager

  3. System event manager

  4. System database manager

  5. System backup recovery manager

System Configuration Manager

  1. 系统配置管理器负责数据仓库的设置和配置管理。

  2. 配置管理器的结构因操作系统而异。

  3. 在 Unix 配置结构中,配置管理器因供应商而异。

  4. 配置管理器具有单一的 用户界面。

  5. 配置管理器界面允许我们控制系统的各个方面。

Note − 最重要的配置工具是 I/O 管理器。

System Scheduling Manager

系统调度管理器负责数据仓库的成功实施。其目的是调度临时查询。每个操作系统都有自己 的调度器,并采用某种形式的批处理控制机制。系统调度管理器必须具备的功能列表如下 −

  1. 跨群集或 MPP 边界工作

  2. 处理时差

  3. Handle job failure

  4. Handle multiple queries

  5. Support job priorities

  6. 重新启动或重新排队处理失败的任务

  7. 在任务完成时通知用户或流程

  8. 在系统中断期间维护任务计划

  9. 重新将任务排队到其他队列

  10. 支持队列的停止和启动

  11. Log Queued jobs

  12. Deal with inter-queue processing

Note − 上述列表可用作评估良好调度器的评估参数。

调度器必须能够处理的一些重要任务包括 −

  1. 每日和临时查询调度

  2. 执行常规报告要求

  3. Data load

  4. Data processing

  5. Index creation

  6. Backup

  7. Aggregation creation

  8. Data transformation

Note −如果数据仓库在一个群集或 MPP 体系结构上运行,那么系统调度管理器一定要能够跨体系结构运行。

System Event Manager

事件管理器是一种软件。事件管理器管理数据仓库系统上所定义的事件。我们无法手动管理数据仓库,因为数据仓库的结构非常复杂。因此,我们需要一种无需用户干预就能自动处理所有事件的工具。

Note −事件管理器监视事件发生并处理它们。事件管理器还会追踪这个复杂的数据仓库系统中可能出现的大量问题。

Events

事件是由用户或系统本身生成的活动。可以注意到,事件是一个定义活动的可度量、可观察的发生。

下面是一个需要追踪的常见事件列表。

  1. Hardware failure

  2. 某些关键磁盘空间不足

  3. A process dying

  4. 一个进程返回一个错误

  5. CPU 使用率超出 805 阈值

  6. 数据库序列化点上的内部争用

  7. 缓冲区高速缓存命中率超出或低于阈值

  8. 一个表达到其最大尺寸

  9. Excessive memory swapping

  10. 一个表因缺乏空间而无法扩展

  11. Disk exhibiting I/O bottlenecks

  12. 临时或排序区域使用率达到某个阈值

  13. 其他任何数据库共享内存使用情况

事件最重要的事情是,它们应该能够自己执行。事件包定义预定义事件的过程。与每个事件关联的代码称为事件处理程序。此代码在发生事件时执行。

System and Database Manager

系统和数据库管理器可能是两个独立的软件,但它们执行相同的工作。这些工具的目标是自动化某些过程并简化其他过程的执行。选择系统和数据库管理器的标准如下 −

  1. increase user’s quota.

  2. 向用户分配和解除角色

  3. 向用户分配和解除配置文件

  4. perform database space management

  5. 监视和报告空间使用情况

  6. 整理碎片化和未使用的空间

  7. 添加并扩展空间

  8. add and remove users

  9. manage user password

  10. 管理汇总或临时表

  11. 将临时空间从用户分配或反分配

  12. 从旧的或过时的临时表回收空间

  13. 管理错误和跟踪日志

  14. 浏览日志和跟踪文件

  15. 重定向错误或跟踪信息

  16. 开启和关闭错误和跟踪记录

  17. perform system space management

  18. 监视和报告空间使用情况

  19. 清理旧的和未使用的文件目录

  20. add or expand space.

System Backup Recovery Manager

备份和恢复工具使用户操作和管理人员可以轻松备份数据。注意,系统备份管理器必须与正在使用的计划管理器软件集成。备份管理所需的重要功能如下:

  1. Scheduling

  2. Backup data tracking

  3. Database awareness

仅进行备份以防止数据丢失。以下是要记住的重要事项:

  1. 备份软件将保留某种形式的数据库,其中记录了备份数据的时间和位置。

  2. 备份恢复管理器必须具有用于该数据库的良好前端。

  3. 备份恢复软件应识别数据库。

  4. 软件识别数据库后,便可通过数据库术语进行寻址,并且不会执行不可行的备份。