yuhai.china

使用watij和xpath实现自动spider(完善中)

yuhai.china — Tue, 29 Jul 2008 11:24:46 +0800

作者: yuhai.china 链接：http://yuhai-china.javaeye.com/blog/220998 发表时间: 2008年07月29日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

watij本来是用于web测试的，但是我发现利用它来做垂直爬虫，效果也很好
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

volecity使用入门

yuhai.china — Tue, 29 Jul 2008 11:19:37 +0800

作者: yuhai.china 链接：http://yuhai-china.javaeye.com/blog/220994 发表时间: 2008年07月29日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

$对象.属性
就可以把值取出来

普通的html文件加入
#foreach

#end
就可以完成很多功能了，

volecity支持arraylist
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

java和mysql日期技巧

yuhai.china — Tue, 29 Jul 2008 11:16:44 +0800

作者: yuhai.china 链接：http://yuhai-china.javaeye.com/blog/220991 发表时间: 2008年07月29日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

DateFormat format = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss");
format.format(new Date(format.parse(str).getTime()))

mysql
convert( s as datetime)
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

使用FileUpload上传文件

yuhai.china — Fri, 23 May 2008 17:58:44 +0800

作者: yuhai.china 链接：http://yuhai-china.javaeye.com/blog/196208 发表时间: 2008年05月23日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

<%

%>
<%@ page language="java" contentType="text/html;charset=UTF-8"%>
<%@ page import="com.qunar.dataservice.quartz.*,com.qunar.dataservice.common.*,com.qunar.dataservice.util.*,java.util.*,java.io.File,com.qunar.dataservice.extract.ImageTool"%>
<%@ page import="org.apache.commons.fileupload.*,org.apache.commons.fileupload.disk.*"%>


保存上传文件

<%
String hotelseq = null;
FileItemFactory factory = new DiskFileItemFactory();
FileUpload fu = new FileUpload(factory);
// 设置允许用户上传文件大小,单位:字节
fu.setSizeMax(100000000);
// maximum size that will be stored in memory?
// 设置最多只允许在内存中存储的数据,单位:字节
//fu.setSizeThreshold(4096);
// 设置一旦文件大小超过getSizeThreshold()的值时数据存放在硬盘的目录
//fu.setRepositoryPath("C:\\TEMP");
//开始读取上传信息
List fileItems = fu.parseRequest(request);
%>

文件列表：


<%
// 依次处理每个上传的文件
ArrayList> list = new ArrayList> ();
Iterator iter = fileItems.iterator();
while (iter.hasNext()) {
  FileItem item = (FileItem) iter.next();
  //忽略其他不是文件域的所有表单信息
  
  if(item.isFormField()){
  		if(item.getFieldName().equals("hotelseq")){
  			hotelseq = item.getString();
  			System.out.println(hotelseq);
  		}
  
  }
  if (!item.isFormField()) {
   String name = item.getName();
   long size = item.getSize();
   if((name==null||name.equals("")) && size==0)
   continue;

   //保存上传的文件到指定的目录
   int loc = name.lastIndexOf(".");
   long curTime = System.currentTimeMillis();
   name = "" + curTime +  name.substring(loc);
   File f = new File(DataServiceWebConfig.RootPath + "spider/upload" +name);
   item.write(f);

  } 
}
	
%>


文件名
URL





返回上传页面











 
 
 
 
 
 

 
 


  
 
 
 
 hotelseq:

本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

我把lucene2.2的源代码整理到一个文件里了，对阅读代码有点用处

yuhai.china — Thu, 12 Jul 2007 22:10:10 +0800

作者: yuhai.china 链接：http://yuhai-china.javaeye.com/blog/100497 发表时间: 2007年07月12日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

简单的用一个10行左右的递归程序实现此功能的，
如果有人愿意打印源代码，还是挺有用的
本文的讨论也很精彩，浏览讨论>>

JavaEye推荐

使用开源组件搭建搜索引擎

yuhai.china — Fri, 22 Jun 2007 13:00:40 +0800

作者: yuhai.china 链接：http://yuhai-china.javaeye.com/blog/93119 发表时间: 2007年06月22日

声明：本文系JavaEye网站发布的原创博客文章，未经作者书面许可，严禁任何网站转载本文，否则必将追究法律责任！

在开发中小型搜索引擎的过程中，我使用由Java开发的开源软件：jspider,htmlparser,lucence,IKAnalyzer，下面我一一道来。

lucence很著名啦，不必多说，我写的这个引擎就是在它自带的demo基础上重构的。

jspider顾名思义，是一个用Java开发的爬虫。

htmlparser是解析html页面的，因为lucene自带的html解析器不够健壮，所以用了这个。

IKAnalyzer是为lucence定做的中文分词组件，在使用中我发现效果不错。

具体的编码下次再说吧，呵呵

本文的讨论也很精彩，浏览讨论>>

JavaEye推荐