SSIS典型应用场景分析
SSIS 提供一系列支持业务应用程序开发的内置任务、容器、转换和数据适配器,方便我们创建解决方案来解决复杂的业务问题,除了可以管理 SQL Server
数据库以及在 SQL Server
实例之间复制 SQL Server
对象,我们还可以对Oracle、MySql、Excel等不同的异构数据源进行抽取和加载。下面我们将简单的说明一下其典型的应用场景。
合并来自异构数据存储区的数据
很多单位数据通常存储在很多个不同的数据存储系统中,很多时候需要从这些源中提取数据并将其合并到单个一致的数据集中。这个过程面临早期系统繁多、数据存储格式复杂多样、合并可能需要复杂多样的预处理等问题。
SSIS可以使用 .NET
和 OLE DB
访问接口连接到关系数据库,还可以使用 ODBC
驱动程序连接到多个早期数据库,还可以连接到平面文件、Excel
文件和 Analysis Services
项目。同时SSIS也包含一些源组件,可以从不同的数据源中提取数据。
SSIS提供的转换功能对数据进行转换。数据转换为兼容格式后,就可以将其物理合并到一个数据集中。
数据在合并成功且应用转换后,SSIS可以将数据加载到平面文件、原始文件和关系数据库。数据也可以加载到内存中的记录集中,供其他包元素访问。
填充数据仓库和数据集市
数据仓库和数据集市中不仅需要抽取的数据量很大而且通常需要频繁更新。
可以用 SSIS
包加载数据库中的维度表和事实数据表。如果维度表的源数据存储在多个数据源中,包可以将该数据合并到一个数据集中,并在单个进程中加载维度表,而不是为每个数据源使用单独的进程。
更新数据仓库和数据集市中的数据可能很复杂,因为这两种类型的数据存储区通常都包含可能难以通过数据转换过程管理的渐变维度。由于能够动态创建用于插入和更新记录、更新相关记录以及向表添加新列的 SQL
语句,因此,渐变维度向导可自动支持渐变维度。
清除数据和将数据标准化
由于众多的数据源使用不同的约定和标准、加载中需要执行不同的业务处理,无论数据是加载到联机事务处理 (OLTP)、联机分析处理 (OLAP)
数据库、Excel
电子表格还是加载到文件,都需要在加载前将数据进行清理和标准化。
SSIS 包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。例如,包可将姓列和名列连接成单个全名列,然后将字符更改为大写。
数据转换过程支持复杂商业逻辑处理
数据转换过程需要内置逻辑来动态响应其访问和处理的数据。可能需要根据数据值对数据进行汇总、转换和分发。根据对列值的评估,该过程甚至可能需要拒绝数据。
SSIS 提供了很多相关类型的任务:
· 合并来自多个数据源的数据。
· 计算数据并应用数据转换。
· 根据数据值将一个数据集拆分为多个数据集。
· 将不同的聚合应用到一个数据集的不同子集。
· 将数据的子集加载到不同目标或多个目标。
支持管理功能和数据加载自动化
SSIS提供了相关的组件实现管理的自动化,例如备份和还原数据库、复制 SQL Server
数据库及其包含的对象、复制 SQL Server
对象和加载数据等。同时还可以使用 SQL Server
代理作业来安排 SSIS
包。
分享到:
相关推荐
SSIS 实例一个SSIS 实例一个(SSIS 基本应用)
-SSIS基本知识和应用,-SSIS基本知识和应用基础版
无论你是否计划将SQL Server数据库转换服务(DTS)包迁移到SQL Server集成服务(SSIS)或在SQL Server 2005里运行DTS包,都需要专家的一些建议。这一指南主要是包括SSIS的相关基础知识、技巧帮助你进行SSIS调整,还...
SSIS在异构数据库间数据迁移的应用研究的核心论文
这个方法是执行SSIS包最常见的方法。在Management Studio下连接数据引擎,然后在Agent下找到Jobs建立作业。 借助作业里的Schedule,可以让SSIS包在一个指定的周期里进行运行。 在作业的步骤里,可以指定步骤为SSIS包...
本文档仅描述了从MS Sql 到Mysql导数据时,SSIS包搭建的过程,不具体阐述SSIS的使用。
SSIS使用手册包括时间戳应用、SSIS中VB代码使用及方法、SSIS脚本使用,包配置使用及SSIS基础知识讲解(数据流,控制流,容器,表达式等概念讲解)和SSIS控件的讲解,最后附带一个SSIS实例
一个SSIS版的Hello World,很好的说明了如何使用这几种编程结构 SSIS除了提供了顺序,循环,选择编程结构,同时也提供了并行处理的能力,这点需要特别注意。包 Parallelizing1.dtsx和包Parallelizing2.dtsx说明...
推荐给想学习SSIS入门级同学!!! 1.如何创建SSIS project 2.SSIS基本控件介绍 3.两个示例 1)发送邮件 2)数据流任务(数据库->文本文档)
数据库认证上机实验报告 集成服务的应用 SSIS 包括操作步骤 截图
SSIS传数据到Oracle
ssis,ssrs,ssas-6年使用笔记近期整理成册,适合新-初级BI技术和数据分析人员。全实战经验记录从技术选型到如何搭建企业数据平台bi。内容见目录: 开发方案选择 九大数据仓库方案特点 数据仓库方案选择 开发环境...
整理了常见的一些SSIS资料,本着共同学习的目的,贡献给大家,里面包括一些实例和PPT以及部分pdf资料
SSIS 数据仓库 sqlserver2005 集成服务
SSIS Package Execution Methods
Introduction to SSIS and Migration of DTS to SSIS
SSIS详解性能调整
SQL SERVER2005的SSIS最全整合教材
Microsft SQL SERVER BI Package,一步一步部署SSIS包图解教程
1、“01 参考资料列表”文件夹——该文件夹包含一个名为“参考资料列表.doc”的文档,文档列出了本次考核所涉及到的五部分内容(SQL管理及T-SQL、SSIS及SSAS、网络及硬件、Oracle及DB2,其他)的知识点和考查点,...