http://john2007.javaeye.com/
john2007 · 共 34 篇文章
[置顶] Classic quotes of science
Indulge your passion for science, says Nature, but let your science be human, and such as may have a direct reference to action and society. Abstruse thought and profound researches I prohibit, and will severely punish, by the pensive melancholy which they introduce, by the endless uncertainty in w…
2008-11-01 11:23 · 基础 · 评论(3)
架设Wikipedia的本地镜像
本文试图总结架设Wikipedia镜像的过程。 准备工作 首先需要安装Mediawiki软件,以及Mediawiki所依赖的软件,Apache,Php5,Mysql等,这里就不详细讲解了。对于懒人,有两个选择: 第一是安装Debian[1],这样apt-get install mediawiki就可以完成软件的安装。 第二是下载VMWare Player[2]和一个预安装Mediawiki的虚拟机[3]。 其次需要安装Java[4],因为导入数据的工具[5]是用Java实现的。 然后是硬盘,如果是英文wikipedia[6],需要准备大概10G的空间,如果是中文[7],需要1G左右的空间。注…
2011-04-07 10:14 · 基础 · 评论(0)
利用wikipedia 的API实现对其内容的查询
wikipedia提供了api可以供我们对其内容进行操作。其API文档地址为: http://en.wikipedia.org/w/api.php 列举一些常见用法: 1、全文搜索 http://en.wikipedia.org/w/api.php?action=query&list=search&srsearch=fluoxetine srsearch为要检索的内容 结果: <?xml version="1.0"?> <api> <query> <searchinfo totalhits="224" /> <search> <p ns="0" title="Fluoxetine" snip…
2010-11-02 11:37 · 基础 · 评论(0)
python解析HTML的工具总结
做HTML解析工作也有好多次了,每次总是面临着选择不同工具的困惑。刚刚开始时正则表达式,之后用beautifulsoup,还用过python自带的htmlparser,sgmlparser。在前几篇博客中还提到了其自身的一些bug. http://john2007.iteye.com/blog/559840 做数据提取的时候,越来越感觉到美丽的汤功能的有限,最终还是选择了Xpath。在用xpath做HTML解析的库,也是比较多的。 现在回首总结一下,推荐用lxml, elementtree,libxml2. Both lxml and Scrapy Selectors are built o…
2010-10-04 11:24 · python · 评论(0)
用于虚拟筛选的小分子化合物库使用专业导读
药物设计是随着药物化学学科的诞生相应出现的。早在20世纪20年代以前,就开始进行天然有效成分的结构改造。而目前药物设计的方向主要集中在小分子方面,尤其是在里宾斯基五原则、RO3原则等药物设计的经典原则出现后,人们对化合物的选择方向也发生了变化。目前市场热点主要集中在:小分子杂环化合物、天然产物、肽类、糖类等等。世界上也随之出现了很多商业公司专门为药物设计和发现提供各类用于筛选的化合物以提高工作效率(算是一种社会劳动分工)。现在随着计算机辅助设计和化合物推广的需要,几乎所有的这类公司都推出自己的SDF,DB等格式的筛选化合物电子库。而且还有一些专业网站收集这些产品库做成一个更大的库。下面就一一…
2010-06-15 17:45 · 评论(0)
分子对接软件大比拼
文献报道过的或者没报道过的分子对接软件有很多,很多最初都是由实验室开发,免费发布。当软件很完善,没有什么缺陷时,可能会被专门的商业软件公司购买,就变成了某个大型软件包中的模块。 其实不止分子对接软件,其他还有药效团软件、定量构效关系软件、数据库筛选软件等,都是这样的发展历程。不过,其中还是有一些实验室,在商品化大潮的影响下屹立不倒,依旧免费给我们提供免费的强大的软件,甚至是源代码(source code)。 很多软件我手中都有,如果那位朋友想要,可以给我发邮件。当然,要在版权要求的范围内使用。 1、这里首先提到的是AutoDock,据官方数据显示,autodock是引用文献最多的软件(Sou…
2010-06-15 17:13 · 数据挖掘 · 评论(0)
基于python的crawler
考虑到垂直爬虫及站内搜索的重要性,重新思考一下项目爬虫的技术架构及实现方案。以前的垂直爬虫曾经使用过heritrix、htmlparser、nutch等,各有优缺点。尤其是要做垂直网站的定向爬取时候,并没有太好的方案,只能够做指定页面的定向解析,因此以前主要还是使用 htmlparser 的方案。 考察垂直爬虫的几个原则: 性能较高:较好支持多线程并发处理;支持异步、非阻塞socket;支持分布式爬取;爬取调度算法性能较高;内存使用效率较高,不要老是出现out of memory问题; 架构优美:组件式设计式架构,扩展方便;架构设计精巧。至少值得花时间去学习架构设计思想。 扩展方便:能够与现…
2010-06-14 09:38 · 搜索 · 评论(1)
更正一个GAE SDK的bug
当我们在gae的数据存储中存储了数据后,可以利用SDK提供的 sdk console ( http://localhost:8081/_ah/admin/datastore )方便的进行数据的浏览和修改。 但是如果字段中有中文数据记录,就会出错。一个stack就猜到是中文编码的问题。(部署在服务器上好像没有此现象。) 具体更正方法就是对字符进行正确的编码。 1、所有的py文件用utf8编码; 2、对 D:\Program Files\G-o-o-g-l-e\g-o-o-g-l-e_appengine\g-o-o-g-l-e\appengine\ext\admin\__init__.py 的修…
2010-01-20 15:03 · 评论(0)
自动检测文件编码
对于抓取的网页处理时,我们往往要判断它的字符编码,今天发现了python的一个自动判断编码的lib,特与众分享. 名称:chardet 介绍:Character encoding auto-detection in Python 2 and 3. As smart as your browser. Open source. 下载地址: http://pypi.python.org/pypi/chardet/1.0.1 文档地址: http://chardet.feedparser.org/docs/index.html 文档目录: Frequently asked questions Wha…
2009-12-31 11:19 · 评论(0)
有关字符编码的问题收集
http://blog.minidx.com/2008/10/22/1570.html http://blog.minidx.com/2008/11/06/1607.html http://blog.minidx.com/2008/12/06/1689.html http://blog.minidx.com/2008/12/09/1700.html 摘录1: GBK范围: 1st byte | 2nd byte 0×81~0xfe | 0×40~0×7e and 0×80~0xfe BIG5范围: 1st byte | 2nd byte 0×81~0xfe | 0×40~0×7e and 0…
2009-12-31 09:43 · 评论(0)
htmlparser 解析html标签中文属性且未加标签 bug解决办法
bug: 利用HTMLParser解析 带有中文属性的标签,例如:"<img alt=周润发 src="/html"/>" 会出现如下错误: raise HTMLParseError(message, self.getpos()) HTMLParser.HTMLParseError: junk characters in start tag: u'\u5468\u6da6\u53d1 src="/html"/>', at line 1, column 1 错误原因还是正则表达式惹的祸。 attrfind = re.compile( r'\s*([a-zA-Z_][-.:a-zA-Z_0-9]…
2009-12-30 16:25 · 评论(0)
htmlparser vs sgmlparser 解析html的单个标签br img
上一次发现了SGMLParser的bug,(见 Python sgmlparser bug )于是就想到了利用HTMLParser,于是对其利用同样的HTML代码做了测试: 测试代码如下: class postparser(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.pieces=[] def handle_starttag(self, tag, attrs): print "start tag name: " + tag for k,v in attrs: print "\t"+k+" : "+v def …
2009-12-30 10:57 · 评论(0)
Python sgmlparser bug
无法正确解析<br/><img src=""/>等单个标签: 测试代码如下: class TestSGMLParser(SGMLParser): def __init__(self, verbose=0): self.testdata = "" SGMLParser.__init__(self, verbose) def handle_data(self, data): self.testdata = self.testdata + data if len(repr(self.testdata)) >= 70: self.flush() def flush(self): data = sel…
2009-12-29 19:19 · 评论(0)
Some of the Best Open Source Project's in VC++ & MFC
Introduction This article lists of some of the best Open Source projects written in VC++/MFC. Background CodeProject has the best source code repository for VC++ developers. But another site Sourceforge.net also has some of the best quality projects available for VC++. Here I list some of the best …
2009-10-11 11:11 · 基础 · 评论(0)
最常见的20种VC++编译错误信息
1、 fatal error C1010: unexpected end of file while looking for precompiled header directive。 寻找预编译头文件路径时遇到了不该遇到的文件尾。(一般是没有#include "stdafx.h") 2、 fatal error C1083: Cannot open include file: 'R…….h': No such file or directory 不能打开包含文件“R…….h”:没有这样的文件或目录。 3、 error C2011: 'C……': 'class' type redefinit…
2009-04-06 09:26 · 基础 · 评论(0)