自从有了计算机以后，人类开始用计算机保存信息，有保存，就有查找，于是检索技术诞生了。文本检索技术的发展从最初的SMART文档检索系统[1]到Altavista搜索引擎，到现在的搜索巨头Google[2]，其发展可谓日新月异、与时具进，人们开始习惯互联网的搜索时代，站内检索的需求也逐渐显露出来。下面列举需要站内检索的五大理由：
一、所寻即所得。
信息量总在不断增长，而访问者的耐心却逐渐下降。据统计，每需要多点击一次鼠标，就有三分之一的用户选择放弃。这意味着100个访问者进入我们的网站，如果需要点击三次鼠标才能找到所需要的东西，那么就只剩下不到4个人了。根据第十一次中国互联网信息调查表明，53.1%的人上网是为了获取信息[3]，大部分网站的目的是让外界了解自己，了解的人越多，效果就越好。把访问者最想要的返回给用户，就可让更多的用户了解自己，这样站内检索成为必然选择。
二、了解访问者的意图。
管理大师彼得.德鲁克说：“一定要知道你的客户想要什么？”客户的需求永远都是最重要的，因此我们总在分析我们的客户在哪里及他们需要什么。所有访问我们网站的人都可能是我们的潜在客户，了解他们的意图对于我们做决策很重要。站内检索技术可以实现这个功能，站内检索的日志功能可以记录每个访问者的检索词和检索结果，这是访问者意图的最直接的表现。通过分析这些信息，我们还可以调整网站结构，把访问者最想要的放在明显的位置（了解我们的人就多啦）。这个理由经常被人忽视，我在这里放在第二位也是希望引起大家重视，特别是那些已经使用站内检索的网站所有者。
三、 符合网民习惯。
根据调查表明，68.3％的上网者经常使用搜索引擎[3]。大部分人已经习惯通过检索来找到他们想要的东西，而不是按照某个栏目一级一级往下找(我就很少用yahoo的分类目录）。在网站内访问者要是没看见那熟悉的按钮会多少有些不习惯（我们千万不要让上帝感到不习惯）。在心理学角度讲，人们如果对某个事物不习惯很容易产生厌烦情绪，这也就是为什么你第一次去某个地方会觉得特别远，要是路熟了这种感觉就消失了。看来，为了上帝我们也需要使用站内检索。
四、 提升网站信息价值。
我们经常会发生这样的事情：明明记得有一篇写关于吃香辣虾的文件，就是想不起存放在什么地方了。访问者也有类似困扰，只记得某个网站上说了关于张国荣跳楼的消息，但不知道具体的链接在哪里。另外，要是隐藏在目录很深的html文档可能自从网站建立到整个网站关闭也没有一个人看过，这些都不是我们所想要的。站内检索毫无疑问可以解决上述问题。同时，按照一个主题把所有相关文档提供给访问者，可以让访问者更全面的了解他所想要的东西，这增加了网站信息间的组织性和逻辑性，方便了访问者的使用，提升用户体验度（用户体验度：一个让我们忐忑不安的名词）。
五、 身份的象征。
有没有站内检索其实已经不只是用户体验度的问题了，还是一个网站专业身份的象征。浏览国外公司的网站，会发现几乎所有网站都在首页最明显的区域放置了一个搜索框，这传达的信息是：专业的网站都有站内检索（呵呵，我没说国外网站就是专业网站）。网民的心态是：我用不用，你管不着，你要是没有就说明你不够专业。为了树立形象，也需要使用站内检索。
最后还得解释一个问题：为什么有了搜索引擎还需要站内检索？用网际搜索引擎不是直接可以查到吗？这其中有两个问题：1 搜索羽毛球，你会搜索到235,000个网页[4]，也不知道我公司的排在第10,000页还是10,001页，搜索者可能永远也不会去看。2 搜索引擎通过网络Spider收集网页，对于网站内隐藏很深的网页很难索引到的。
]]>
有很多网站都在网页上加个“站内搜索引擎”、“搜索引擎”、“全文检索”等等相关字样。
用户一用，结果发现，既不能多关键组合查询，也不能支持国际语法，甚至不能支持全文检索，就更别谈不支持相关性排序等真正的搜索引擎具备的功能了。这些搜索和真正的站内搜索引擎有和区别呢？
真正的全文检索应具备 相关性排序技术 和 分词索引功能。 如果需要进行互联网的信息抓取和采集那么还需要网络蜘蛛模块。 分词、索引、排序这是全文检索的基本和核心，缺一不可。全文检索至少需要具备中文分词、索引、相关性排序功能。
所以简单考查一个站内搜索引擎的真伪只需要知道：能否实现相关性排序、国际标准的搜索语法、动态摘要、飘红、支持海量数据多并快速发查询、搜索耗时极短。
（当然这只是全文检索的基本内容，一个全文检索的搜索引擎的品质好坏还和相关的技术水平、各种技术的结合、产品的管理有很大关系。 评价全文检索的标准是用户体验度，今后我们会提供相关方面的内容）
常用的站内搜索技术比较：
| 基于数据库的搜索 | 基于spider抓取的站内搜索 | 全文检索者站内搜索软件系统 | |
| 原理 | 数据库搜索 | 通过Spider抓取网页，经html解析，分词，索引实现网页式站内搜索。 | 对数据库数据进行html解析、图片缩略，分词，索引，实现站内搜索。 |
| 检索效率 | 非常低下 消耗大量硬件资源 | 高效 | 高效 |
| 检索范围 | 无法完成全文检索（可以用sql的单字索引功能最简单的完成索引功能实现最低级的全文检索），只能进行标题检索。 数据库效率太低，无法开展各种附加功能。 | 网页检索 优点：不需要做各种工作，直接即可使用 缺点： 1.有大量的不必要的信息影响搜索结果的排序和显示的效果。严重影响精确度。 2.部分页面无法抓取到。 3.用户对搜索范围和内容以及体现的结果无法精确控制 | 标题＋内容 基于内容分析的排序方法。基于内容分析排序是最佳的排序方法。 标题和内容可控制，搜索结果准确到位。 内容可控，用户可对搜索的内容范围和体现的结果进行精确的控制 |
| 检索语法 | 无 | 支持标准的国际搜索语法。 | 支持标准的国际搜索语法。 |
| 动态摘要 | 无 | 摘要内容不清晰各种垃圾信息过多 | 提供动态摘要，摘要清晰精确，便于用户快速寻找到需要的信息。 |
| 关键词飘红 | 无 | 有 | 有 |
| 内容的范围 | 可控制 | 不可有效控制，动态网页抓取效果不佳，没有链接的网页无法抓取，页面出现杂乱信息影响搜索结果。对于时间控制也无法做到精准，对于栏目的归属无法做到准确。 | 可有效控制，您可以把多个字段拆分合并，可以确定那些需要，哪些不需要。所有动态网页和没有链接的网页均可有效收入。 栏目控制精准。 |
| 图片缩略 | 无 | 无 | 有 |
| 同义词 | 无 | 无 | 有 |
| 相关性排序 | 无 | 有 | 有 |
| 其他 | 低效率低质量的平台无法开展增值服务 | 二次研发成本高 | 具有持续不断的升级能力和良好的售后服务。 |
| 成本 | 低 | 价格高 | 以产品形式运作，多家客户分摊成本，成本相对低廉。运维成本低。 |
| 维护成本 | 不大 | 维护量不大。 | 程序维护无须投入，但是需要进行一定量的内容维护。 经过简单培训即可胜任。 |
private String[] getExecString() {
return new String[] {"df","-k", dirPath};
}
把这个命令改掉后编译打包就OK了
@echo off
set JAVA_HEAP_MAX="-Xmx1000m"
set JAVA=$JAVA_HOME/bin/java
if not "%1"=="" goto INIT else goto echoMSG
:echoMSG
echo Title:欢迎使用北京线点科技 Hadoop 运行脚本
echo Author:jaddy0302 mail:jaddy0302@126.com QQ:5622928
echo Site:http://www.xd-tech.com.cn 线点科技 专业垂直搜索引擎产品
echo Usage: hadoop [--config confdir] COMMAND
echo where COMMAND is one of:
echo namenode -format format the DFS filesystem
echo secondarynamenode run the DFS secondary namenode
echo namenode run the DFS namenode
echo datanode run a DFS datanode
echo dfsadmin run a DFS admin client
echo fsck run a DFS filesystem checking utility
echo fs run a generic filesystem user client
echo jobtracker run the MapReduce job Tracker node
echo pipes run a Pipes job
echo tasktracker run a MapReduce task Tracker node
echo job manipulate MapReduce jobs
echo version print the version
echo jar jar run a jar file
echo distcp srcurl desturl copy file or directories recursively
echo or
echo CLASSNAME run the class named CLASSNAME
echo Most commands print help when invoked w/o parameters.
goto end;
:INIT
set HADOOP_HOME=C:\work\hadoop
if "%HADOOP_HOME%"=="" set HADOOP_HOME=..
set CLASSPATH=%HADOOP_HOME%;%HADOOP_HOME%\conf;%JAVA_HOME%/lib/tools.jar;
set HADOOP_LOG_DIR=%HADOOP_HOME%/logs
set HADOOP_LOGFILE=hadoop.log
@echo @echo off>setclasspath.bat
for %%i in (%HADOOP_HOME%\hadoop-*.jar) do @echo set CLASSPATH=%%CLASSPATH%%%%i>>setclasspath.bat;
for %%i in (%HADOOP_HOME%\lib\*.jar) do @echo set CLASSPATH=%%CLASSPATH%%%%i>>setclasspath.bat;
for %%i in (%HADOOP_HOME%\lib\jetty-ext\*.jar) do @echo set CLASSPATH=%%CLASSPATH%%%%i>>setclasspath.bat;
goto EXEC
:EXEC
call setclasspath.bat
if "%1" == "namenode" set CLASS=org.apache.hadoop.dfs.NameNode
if "%1" == "secondarynamenode" set CLASS=org.apache.hadoop.dfs.SecondaryNameNode
if "%1" == "datanode" set CLASS=org.apache.hadoop.dfs.DataNode
if "%1" == "fs" set CLASS=org.apache.hadoop.fs.FsShell
if "%1" == "dfs" set CLASS=org.apache.hadoop.fs.FsShell
if "%1" == "dfsadmin" set CLASS=org.apache.hadoop.dfs.DFSAdmin
if "%1" == "fsck" set CLASS=org.apache.hadoop.dfs.DFSck
if "%1" == "jobtracker" set CLASS=org.apache.hadoop.mapred.JobTracker
if "%1" == "tasktracker" set CLASS=org.apache.hadoop.mapred.TaskTracker
if "%1" == "job" set CLASS=org.apache.hadoop.mapred.JobClient
if "%1" == "pipes" set CLASS=org.apache.hadoop.mapred.pipes.Submitter
if "%1" == "version" set CLASS=org.apache.hadoop.util.VersionInfo
if "%1" == "jar" set CLASS=org.apache.hadoop.util.RunJar
if "%1" == "distcp" set CLASS=org.apache.hadoop.util.CopyFiles
goto SPLI
:SPLI
set HADOOP_OPTS=
set HADOOP_OPTS=%HADOOP_OPTS% -Dhadoop.log.dir=%HADOOP_LOG_DIR%
set HADOOP_OPTS=%HADOOP_OPTS% -Dhadoop.log.file=%HADOOP_LOGFILE%
set HADOOP_OPTS=%HADOOP_OPTS% -Dhadoop.home.dir=%HADOOP_HOME%
set HADOOP_OPTS=%HADOOP_OPTS% -Dhadoop.id.str=%HADOOP_IDENT_STRING%
call "%JAVA_HOME%\bin\java" %JAVA_HEAP_MAX% %HADOOP_OPTS% -classpath "%CLASSPATH%" %CLASS% %2 %3 %4 %5 %6 %7 %8 %9
rem if "%ERRORLEVEL%" == "1" goto SPLI else goto end
:end