SQL Server 2008 复制 分区SWITCH清理数据
SQL Server 2008 复制 分区SWITCH清理数据
场景:
某种特定业务下,我们的部分业务数据可能只会保留比较短的时间,用来做临时处理。因为考虑高可用的特性,可能会利用
SQL Server的复制组件复制这种数据到另外的 类似前端,查询中心等数据库服务器,创建一个冗余副本。复制组件标记事务日志,追踪所有的Update,Insert,Delete操作。可是如果不定期清理这种表,那么在一个快速增长的环境下,表变的臃肿不堪,不仅仅浪费磁盘空间,而且给性能带来了负面影响。
如:
A临时数据中心 ---同步-->B 查询/其他业务中心,副本
保证A不可用的时候,B的业务不依赖于A服务器,利用A同步过来的数据B自己直接处理。
常见的解决方案:
一、很简单的,我们可以想到,建立一个清理Job
,根据日期标识,确定删除的范围不出一点错误,比如我每天的晚上12:00以后清理昨天的数据,那么可能会构建这样的查询(朋友们,也许会说使用TRUNCATE
,准时的12:00来TRUNCATE掉,不过很不幸的是,SQL
Server 复制是利用日志标记的方式来同步数据,而TRUNCATE语句不会被日志标记,所以TRUNCATE语句在复制表中是被禁用的)
DELETE from dbo.t WHERE complete_time >=
'2010-05-04' AND
complete_time < '2010-05-05'
来删除5月4号的所有数据,可能上亿也可能更多。
优化方案:因为考虑到存在带量的更新 删除 和插入操作,所以首先讲数据库设置成SIMPLE恢复模式,以最小化日志方式。
由于DELETE单个语句是一个事务性的语句,要么全部成功,要么全部失败。那么可想如果删除的是亿级别的数据,那么日志增长,IO负荷非常的大。
所以 可能优化DELETE
操作:
WHILE 1=1
BEGIN
DELETE TOP(5000) from dbo.t
WHERE complete_time >= '2010-05-04' AND complete_time <
'2010-05-05'
IF @@ROWCOUNT<5000
BREAK;
END
将删除操作,缩短成每5000行一批的数据来处理。
缺点:因为存在复制,那么很显然,浪费了极多的带宽,特别在Internet这种环境下,利用VPN的连接,尤其浪费。VPN带宽十分的渺小。再者,在进行亿级的DELETE,时间耗费也是非常恐怖的,而且DELETE过程中,由于存在Range-X
范围排他锁,许多开发人员
相关文档:
1、实现行列动态转换,常用于主从表关联时的特殊需求
select rwbm,psqh,
max(decode(xh1,1,yy))JKYL1,
max(decode(xh1,2,yy))JKYL2,
&n ......
由于网站是别人的
sql server 2000 不能导入2005 的数据库文件 我只好按照书上重新建立的数据库文件
然后在visual studio 2005中一个一个的复制存储过程到sql server 2000
这样就不用下载 sql server 2005 了
如果有sql server 2005 的话之际生成 脚本就一致性导入就ok了 ......
在Essbase中使用MDX只能用于查询,尚不能来操作Cube(MS SSAS中可以使用MDX来操作Cube的),所以这里只学习MDX的Select语句。
在学习的过程中,我觉得最有难度的地方有两个。
一是,对OLAP多维的理解。如同学习SQL一样,SQL作用的对象是表,表的结构都是二维的,标识行列即可;但是MDX作用的对象是多维数据库,那 ......
exists (sql 返回结果集为真)
not exists (sql 不返回结果集为真)
如下:
表A
ID NAME
1 A1
2 A2
3 A3
表B
ID AID NAME
1 1 B1
2 2 B2
3 2 B3
表A和表B是1对多的关系 A.ID => B.AID
......
需求:有excel文件,含多个sheet,每个sheet的内容对应插入到一张表,sheet的名称就是对应的表名称。
每一行为列名,例如:
达成:将每个sheet输出成一个以sheet名称命名的sql文件,内容为每行内容的insert语句。
以上图为例会生成三个sql文件,分别是TF_R_TERMINAL_ARCH.sql, TF_R_STOCK_TRADE.sql 和 TF_R_STOC ......