中科院分词工具imdict chinese analyzer学习 java分词
下载链接http://ictclas.org/Down_OpenSrc.asp
简单介绍：
imdict-chinese-analyzer是 imdict智能词典的智能中文分词模块，作者高小平，算法基于隐马
尔科夫模型(Hidden Markov Model, HMM)，是中国科学院计算技术研究所的ictclas中文分词程序
的重新实现（基于Java），可以直接为lucene搜索引擎提供中文分词支持。
应用：
下到的压缩包解压后就是一个java工程，eclipse直接导入即可，但由于其开发的环境是UTF8所以
要将eclipse的工作空间的编码也设置为utf8，test包里面的AnalyzerTest就是其用法，看了以后
就可以直接用了
功能：中文分词、停止词过滤
优点：开源，分词速度快，效率高
缺点：不支持自己添加词库，不支持词性标注（开发人员自己说是为了提高速度），data文件夹仅
自带了两个字典coredict核心字典、bigramdict词关系字典，这是两个最重要的词典，没有地名和
人名的词典，所以要识别人名地名比较麻烦，据说要用层次hmm，先粗分在细分。
深入学习：主类是net.imdict.analysis.chinese中的ChineseAnalyzer.java它继承了lucene的
Analyzer类，有两个构造方法：public ChineseAnalyzer()、public ChineseAnalyzer
(Set<String> stopWords)第二个构造方法支持停用词，最重要的是tokenStream函数，它用了
SentenceTokenizer和new WordTokenizer，前一个是将文章分成句子，后一个是将句子分成单词，
单词和句子都是用Lucene的Token（词）的类存储的，（Token是一个抽象类，TokenStream是Token
类的子类，但也是一个抽象类，Tokenizer和TokenFilter则是TokenStream的具体实现，他们实现
了TokenStream的next()方法，Tokenizer的next方法返回的是原始的、切分出来的词，而
TokenFilter方法返回的是一个经过过滤的词条，他们结合起来形成Lucene分析器的核心结构）如
Token token = new Token()，然后通过token.reinit(buffer.toString(), tokenStart,
tokenEnd, "sentence");中间两个参数是Token存储的字符串的起止位置，以0开始计数，引用
token中字符串的函数是token.term()，真正调用分词核心算法的WordSegmenter的
segmentSentence方法对句子进行分词，在WordTokenizer类中调用它得到分词结果。在往下层的代
码我就没看了。
两个改动：
（1）ChineseAnalyzer只能对文件进行分词，如何对一个字符串进行分词，改动如下
/* TokenStream ts = ca.tokenStream("sentence", new InputStreamRe
相关文档：
1、FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory
工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向� ......
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
/**
* @author dengshaohua
*/
public class ReadPhone {
/**
* 读取数据
*/
public void ReadData(){
try {
FileReader read = new File ......
最近要用jsp在网页上显示图表曲线，网查来查去居然没有我想要的东西，唉！可能关注这方面应用的人太少了吧。不过有幸让我下载了TeeChart for java，那个叫高兴呀，真象是遇到了十几年没见的老友。但网上相关中文文档、资料太少（都是asp的），没办法，只好用自己”二把刀“的英语水平翻译控件包中自带的资料，搞� ......
本文从http://www.blogjava.net/breezedancer/archive/2007/07/19/131264.html转载
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
//断点续� ......
