利用perl来提取 生物数据库NCBI 的pubmed数据

各位，早上好利用google搜索时，输入关键词以后可能会出现很多结果，例如输入“医学email @ .com” 以后，会有43000个结果，我的目的就是要得到这么多结果中的邮箱信息。

只要每个结果中含有邮箱格式的内容就提取出来。

利用perl来实现这一过程该怎么弄呢，我之前只用过利用perl来提取生物数据库NCBI 的pubmed数据库中的pubmed id，如下所示#!/usr/bin/perluse strict;#use warnings;die "Usage : perl $0 <KEY.list> <key_word> <count.txt>\n"unless(@ARGV==3);open(IN,$ARGV[0])or die $!;my $key_word=$ARGV[1];open(OUT1,">$ARGV[2]") or die "could not open file!";open(OUT,">result_abstract.tmp.v2") or die "could not open file!";#perl **.pl KEY.list count.txtmy %has;my @key;my %notkey;while(<IN>){chomp (my $tmp=$_);my ($key,$notkey,$a2)=split(/\s+/,$tmp);$key=[ DISCUZ_CODE_0 ] if($key=~/\w+.*\w+/);$notkey=[ DISCUZ_CODE_0 ] if($notkey=~/\w+.*\w+/);$has{$key}=$tmp;$notkey{$key}=$notkey;push @key,$key;}sub ask_user {print "$_[0] [$_[1]]: ";my $rc = <>;chomp $rc;if($rc eq "") { $rc = $_[1]; }return $rc;}# ---------------------------------------------------------------------------# Define library for the 'get' function used in the next section.# $utils contains route for the utilities.# $db, $query, and $report may be supplied by the user when prompted;# if not answered, default values, will be assigned as shown below.use LWP::Simple;my $utils = "/entrez/eutils";my $num;# ---------------------------------------------------------------------------# $esearch cont羒ns the PATH & parameters for the ESearch call# $esearch_result containts the result of the ESearch call# the results are displayed 羘d parsed into variables# $Count, $QueryKey, and $WebEnv for later use and then displayed.foreach my $key (@key){my $db="Pubmed";my $report="abstract";my $query ="($key NOT $notkey{$key})AND $key_word";my $esearch = "$utils/esearch.fcgi?" ."db=$db&retmax=1&usehistory=y&term=";$num++;#print "$key\t$num\n";print "$query\t$num\n";my $esearch_result = get($esearch . $query);$esearch_result =~m|<Count>(\d+)</Count>.*<QueryKey>(\d+)</QueryKey>.*<WebEnv>(\S+)</WebEnv>|s;my $Count = $1;my $QueryKey = $2;my $WebEnv = $3;$has{$key}=[ DISCUZ_CODE_0 ] if($has{$key}=~/\w+.*\w+/);print OUT1 "$has{$key}\tQuery \: $query \tpubmed_count\t$Count\n";# ---------------------------------------------------------------------------# this area defines a loop which will display $retmax citation results from# Efetch each time the the Enter Key is pressed, after a prompt.my $retstart;my $retmax=$Count;for($retstart = 0; $retstart < $retmax; $retstart += $retmax) {my $efetch = "$utils/efetch.fcgi?" ."rettype=$report&retmode=text&retstart=$retstart&retmax=$retmax&" ."db=$db&query_key=$QueryKey&WebEnv=$WebEnv";my $efetch_result = get($efetch);print OUT "---------\nQuery\: $key\t$Count\t$query\nEFETCH RESULT(".($retstart + 1) . ".." . ($retstart + $retmax) . "): "."[$efetch_result]\n-----PRESS ENTER!!!-------\n";;}}close OUT;应用到google上面就不一样了该怎么写呢？用lwp或者curl先把网页抓下来然后就很简单吧用关键字/正则匹配含@的字符串就可以了注意一下前后的分界就行了吧你可以先cpan一下lwp的例子看看啊试试看有什么地方不明白的再问my $url = '/dayFA.cfm?todayDate=current';# Just an example: the URL for the most recent /Fresh Air/ showuse L WP::Simple;my $content = get $url;die "Couldn't get $url" unless defined $content;# Then go do things with $content, like this:if($content =~ m/jazz/i) {print "They're talking about jazz today on Fresh Air!\n";} else {print "Fresh Air is apparently jazzless today.\n";}LZ的意思大概是不知道怎么翻页遍历结果？这个在下面的页码上有每一页的连接,可以用程序拼接循环取直到最后一页和你那个生物网页的fcgi翻页原理其实也差不多。

我用google搜索了一下“医学email @ .com”搜索获得约206,000,000 条结果，以下是第23 页（用时0.24 秒）。

页数好多。

有这样需求的多半是要做坏事。

做坏事就要有做坏事的本事，得有基本的技术能力和钻研精神。

就这么个问题都解决不了，趁早放弃。

LZ做这件事，后面可能出现的问题还多着呢。

想做成你就必须能自己解决这些问题。

这个例子我是能看明白的，可是google搜索中我直接引用网页my $ulr = "/scholar?start=0&q=%E5%8C%BB%E5%AD% A6+email+%40+.com&hl=zh-CN&as_sdt=1,5&as_vis=1"是得不到结果的，并且没有自动翻页的功能。