基于MySQL和Infobright的数据仓库技术
基于MySQL和Infobright的数据仓库技术
数据仓库/分析/商务智能( BI )领域正在飞速发展。在激烈的经济竞争中所有行业和智能企业需要利用其内部的数据来做出重要的商业决策，包括战术和战略两方面，以保持行业的领先地位。
数据仓库(如对MySQL的一次重大社会和客户调查)目前是MySQL的第五种最常见的应用。现在用于MySQL数据仓库最流行的存储引擎是MyISAM (第二个是InnoDB的) ，当数据达到1TB左右是他的性能依然很优越。在此之后，大量的用户往往将数据仓库分布在多个服务器，以提高性能。现在，从分析公司IDC统计资料来看，大多数的数据仓库是6TB下(据IDC称只有4 %超过25TB)，因此这意味着大多数人成天都只在管理数百GB和6TB之间的数据仓库。
MySQL的数据仓库引擎InfoBright, infobright，一个基于mysql的数据仓库系统实现，它已经是很多开源或商用BI系统的底层存储引擎。
不同于一般的数据库，ICE的MySQL引擎是列式存储，一般的数据库是行式存储，这样的好处是，按某字段内容做查询条件，查询相当于取这个表中某一列，效率可见一斑。
由于是分析型OLAP数据库， 不支持insert、update、delete等操作，也没有主键，数据只能load infile进去. 压缩比高达1/4
最后最关心的还是ICE的查询速度，对单列数据精确定位，基本在2秒之内能出来，对数据按条件范围查询，如like手机号查询，3.9秒出来，至于之前用MySQL的myisam引擎，同样一个查询要18秒！
小结一下，用Infobright的MySQL数据引擎，查询效率高，压缩比高，不过需要更新或删除操作的，就比较麻烦了，不过面向OLAP数据仓库，更新和删除是大忌就是了，Infobright从根本上杜绝了这样的一些损害查询效率的操作。
几大优点：
1、高压缩比率，平均压缩比可达10：1，甚至可以达到40:1，我用infobright把3.1G的数据存成不足300M。
2、列存储，即使数据量十分巨大，查询速度也很快。用于数据仓库，处理海量数据没一套可不行。
3、不需要建索引，就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放，每块有知识网格节点记录块内的统计信息，代替索引，加速搜索。
4、单一台服务器可以高效地读写30T数据。具有可扩展性，这里是指对于同样的查询，当数据量是10T时，它耗费的时间不应该比1T数据量时慢太多，基本是一个数量级内。
与mysql对比：
1、infobright适用于数据仓库场合，即非事务、非实时、非多并发；分析为主；存放既定的事实（基本不会再变
相关文档：
在选择存储引擎时，应根据应用特点选择合适的存储引擎，对于复杂的应用系统可以根据实际情况选择多种存储引擎进行组合。
下面是常用存储引擎的适用环境。
●MyISAM:默认的Mysql插件式存储引擎。如果应用是以读写和插入操作为主，只有很少更新和删除操作，并且对事务完整性，并发性要求不是很高，那么� ......
php教程 mysql教程_connect 与mysql_pconnect函数与实例教程
mysql_connect
mysql_connect($this->root,$this->user,$this->pass)
/*
mysql_connect ,单个反问用户不会频繁的调用数据库教程，没必要保持连接，而且mysql的连接数也是有限制的， 使用 及时访问比较频繁，也最好使用mysql_connect，这样使� ......
package com.wxpn.tutorial.db;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.SQLWarning;
import java.sql.Statement;
import java.util.Date;
/**
* 描述: 数据库连接池类
*
*
&n ......
我本机测试是安装的 mysql 5.1 , 但 centos 服务器上确是使用的 mysql 5.0 , 平时没发现差别, 但最近sql 文件导入导出时发现了, 一点小小差别.
主要是在处理到索引语句时出现了不兼容的情况, 比如下面语句是在 mysql 5.1 导出的:
KEY `index_2` (`datatype`,`stime`,`line`,`mcode`) USING BTREE
如果想导入到 mysql 5 ......
第一种:查Slow query的SQL语法:
log_slow_queries = /var/log/mysql/mysql-slow.log
long_query_time = 2 (超过2秒的SQL语法记录起来,设短一点来记录除错也是一种方法.)
第二种:设MySQL Replication用binlog:
log_bin = /var/log/mysql/mysql-bin.log (此档要用mysqlbinlog解来看，
mysqlbinl ......
