[Bio] / FigKernelPackages / P2P.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/P2P.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.5 - (view) (download) (as text)

1 : olson 1.1 #
2 :     # This module contains the code for the P2P update protocol.
3 :     #
4 :     # Package P2P contains the namespace declarations, and possibly toplevel utility
5 :     # routines. (get_relay ?)
6 :     #
7 :     # Package P2P::Relay contains methods for contacting the P2P relay service. The actual
8 :     # implementation of the relay service is not contained here - it is a standalone module
9 :     # that can be installed on a web server that does not have a full SEED installed.
10 :     #
11 :     # Package P2P::Requestor contains the requestor-side code for the update protocol.
12 :     #
13 :     # Package P2P::Service contains the web service implementation routines for the
14 :     # protocol.
15 :     #
16 :    
17 :     package P2P;
18 :    
19 :     use FIG_Config;
20 :    
21 :     use strict;
22 :     use Exporter;
23 :     use base qw(Exporter);
24 :    
25 :     use Data::Dumper;
26 :    
27 :     use vars qw(@EXPORT @EXPORT_OK);
28 :     @EXPORT = ();
29 :     @EXPORT_OK = qw($ns_p2p $ns_relay);
30 :    
31 :     our $ns_p2p = "http://thefig.info/schemas/p2p_update";
32 :     our $ns_relay = "http://thefig.info/schemas/p2p_relay";
33 :    
34 :     =pod
35 :    
36 :     =head1 perform_update($peer)
37 :    
38 :     Perform a peer-to-peer update with the given peer. $peer is an instance of
39 :     P2P::Requestor which can connect to the peer. It is expected that the
40 :     SEED infrastructure will create this requestor appropriately for the
41 :     particular circumstance (direct connection, thru relay, etc).
42 :    
43 :     This code executes the high-level protocol, maintaining state between
44 :     calls to the peer to exchange the actual information.
45 :    
46 :     =cut
47 :    
48 :     sub perform_update
49 :     {
50 :     my($fig, $peer, $last_update) = @_;
51 :    
52 :     my $ret = $peer->request_update($last_update);
53 :    
54 :     if (!$ret or ref($ret) ne "ARRAY")
55 :     {
56 :     die "perform_update: request_updated failed\n";
57 :     }
58 :    
59 :     my($session, $target_release, $num_annos, $num_pegs, $num_genomes,
60 :     $target_time, $compatible) = @$ret;
61 :    
62 :     print "perform_update: session=$session target=$target_release num_annos=$num_annos\n";
63 :     print " num_pegs=$num_pegs num_genomes=$num_genomes target_time=$target_time compat=$compatible\n";
64 :    
65 :     #
66 :     # We have the information now to begin the update process. Retrieve the pegs.
67 :     #
68 :    
69 :     $ret = $peer->get_pegs($session, 0, $num_pegs);
70 :    
71 :     if (!$ret or ref($ret) ne "ARRAY")
72 :     {
73 :     die "perform_update: get_pegs failed\n";
74 :     }
75 :    
76 :     my($peg_list, $genome_list) = @$ret;
77 :    
78 :     #
79 :     # Walk the peg-list to and generate @pegs_to_finalize.
80 :     #
81 :    
82 :     my(%peg_mapping, %genome_map );
83 :    
84 :     for my $peg_info (@$peg_list)
85 :     {
86 :     my($key, $peg, @rest) = @$peg_info;
87 :    
88 :     if ($key eq 'peg')
89 :     {
90 :     #
91 :     # Peg id is directly usable.
92 :     #
93 :     }
94 :     elsif ($key eq 'peg_info')
95 :     {
96 :     #
97 :     # Peg id not directly usable.
98 :     #
99 :    
100 :     my($alias_list, $genome_id) = @rest;
101 :    
102 :     for my $alias (@$alias_list)
103 :     {
104 :     my $mapped = $fig->by_alias($alias);
105 : olson 1.3 if ($mapped)
106 : olson 1.1 {
107 :     print "$peg maps to $mapped via $alias\n";
108 :     $peg_mapping{$peg}= $mapped;
109 :     last;
110 :     }
111 :     }
112 :    
113 :     #
114 :     # If we didn't succeed in mapping by alias,
115 :     # stash this in the list of pegs to be mapped by
116 :     # genome.
117 :     #
118 :    
119 :     if (!defined($peg_mapping{$peg}))
120 :     {
121 :     push(@{$genome_map{$genome_id}}, $peg);
122 : olson 1.4 print "$peg did not map\n";
123 : olson 1.1 }
124 :     }
125 :     }
126 :    
127 :     #
128 :     # finished first pass. Now go over the per-genome mappings that need to be made.
129 :     #
130 :    
131 :     for my $genome_info (@$genome_list)
132 :     {
133 :     my($genome, $n_contigs, $n_nucs, $cksum) = @$genome_info;
134 :    
135 : olson 1.5 next unless defined($genome_map{$genome});
136 : olson 1.1
137 :     my $my_genome = $fig->find_genome_by_content($genome, $n_contigs, $n_nucs, $cksum);
138 :    
139 :     if ($my_genome)
140 :     {
141 :     #
142 :     # Found a match.
143 :     #
144 :     print "Genome $genome maps to $my_genome locally\n";
145 :    
146 :     }
147 : olson 1.2 else
148 :     {
149 :     print "No mapping for $genome\n";
150 :     }
151 : olson 1.1 }
152 :     }
153 :    
154 :    
155 :     #############
156 :     #
157 :     # P2P Relay
158 :     #
159 :     #############
160 :    
161 :    
162 :     package P2P::Relay;
163 :     use strict;
164 :    
165 :     use Data::Dumper;
166 :     use SOAP::Lite;
167 :    
168 :     use P2P;
169 :    
170 :     sub new
171 :     {
172 :     my($class, $url) = @_;
173 :    
174 :     my $proxy = SOAP::Lite->uri($P2P::ns_relay)->proxy($url);
175 :    
176 :     my $self = {
177 :     url => $url,
178 :     proxy => $proxy,
179 :     };
180 :     return bless($self, $class);
181 :     }
182 :    
183 :     sub enumerate_annotation_systems
184 :     {
185 :     my($self) = @_;
186 :    
187 :     return $self->{proxy}->enumerate_annotation_systems()->result;
188 :     }
189 :    
190 :     sub fetch_queries
191 :     {
192 :     my($self, $id) = @_;
193 :    
194 :     my $reply = $self->{proxy}->fetch_queries($id);
195 :    
196 :     if ($reply->fault)
197 :     {
198 :     print "Failed to fetch queries: ", $reply->faultcode, " ", $reply->faultstring, "\n";
199 :     return undef;
200 :     }
201 :    
202 :     return $reply->result;
203 :     }
204 :    
205 :     sub deposit_answer
206 :     {
207 :     my($self, $id, $key, $answer) = @_;
208 :    
209 :     my $reply = $self->{proxy}->deposit_answer($id, $key,
210 :     SOAP::Data->type('base64')->value($answer));
211 :    
212 :     if ($reply->fault)
213 :     {
214 :     print "deposit_answer got fault: ", $reply->faultcode, " ", $reply->faultstring, "\n";
215 :     return undef;
216 :     }
217 :    
218 :     return $reply;
219 :     }
220 :    
221 :     =pod
222 :    
223 :     =head1 await_result
224 :    
225 :     Await the result from a possibly-asynchronous soap request.
226 :    
227 :     Look at the reply that we have. If it's a deferred reply, loop polling
228 :     the relay for the actual result.
229 :    
230 :     We determine if the reply is a deferred reply by examining the namespace
231 :     URI of the response. A response will be generated from the relay's namespace,
232 :     rather than that of the application itself.
233 :    
234 :     =cut
235 :    
236 :     sub await_result
237 :     {
238 :     my($self, $reply) = @_;
239 :    
240 :     while (1)
241 :     {
242 :     #
243 :     # Retrieve the namespace of the response, which is the first
244 :     # element in the body of the message.
245 :     #
246 :     my $ns = $reply->namespaceuriof('/Envelope/Body/[1]');
247 :     print "Reply ns=$ns want $P2P::ns_relay\n";
248 :    
249 :     if ($ns eq $P2P::ns_relay)
250 :     {
251 :     my $val = $reply->result;
252 :     print "got val=", Dumper($val);
253 :     if ($val->[0] eq 'deferred')
254 :     {
255 :     #
256 :     # Sleep a little, then try to retrieve the response.
257 :     #
258 :    
259 :     sleep(1);
260 :     my $id = $val->[1];
261 :    
262 :     print "Retrieving reply\n";
263 :     $reply = $self->{proxy}->call_completed($id);
264 :     }
265 :     else
266 :     {
267 :     #
268 :     # We're not sure what to do here..
269 :     #
270 :     return undef;
271 :     }
272 :     }
273 :     else
274 :     {
275 :     #
276 :     # We got an actual response. Return it.
277 :     #
278 :    
279 :     return $reply;
280 :     }
281 :     }
282 :     }
283 :    
284 :     #############
285 :     #
286 :     # P2P Requestor
287 :     #
288 :     #############
289 :    
290 :     package P2P::Requestor;
291 :     use strict;
292 :    
293 :     use Data::Dumper;
294 :    
295 :     use SOAP::Lite;
296 :     use P2P;
297 :    
298 :     #
299 :     # Create a new Requestor. It contains a reference to the FIG instance
300 :     # so that we can run the protocol completely from in here.
301 :     #
302 :    
303 :     sub new
304 :     {
305 :     my($class, $fig, $url, $peer_id, $relay) = @_;
306 :    
307 :     my $proxy = SOAP::Lite->uri($ns_p2p)->proxy($url);
308 :    
309 :     my $self = {
310 :     fig => $fig,
311 :     url => $url,
312 :     peer_id => $peer_id,
313 :     proxy => $proxy,
314 :     relay => $relay,
315 :     };
316 :     return bless($self, $class);
317 :     }
318 :    
319 :     #
320 :     # First step: Request an update.
321 :     #
322 :     # We need to determine some notion of what our release is, since we are not
323 :     # currently tagging them explicitly. Until we delve into this more,
324 :     # I am going to return a null release, which means the same-release
325 :     # optimization won't be able to kick in.
326 :     #
327 :     # We also need to determine the last time we got an update from this
328 :     # system.
329 :     #
330 :    
331 :     sub request_update
332 :     {
333 :     my($self, $last_update) = @_;
334 :    
335 :     my $rel = $self->{fig}->get_release_info();
336 :    
337 :     if (!defined($last_update))
338 :     {
339 :     $last_update = $self->{fig}->get_peer_last_update($self->{peer_id});
340 :     }
341 :    
342 :     my $reply = $self->{proxy}->request_update($rel, $last_update);
343 :    
344 :     if ($self->{relay})
345 :     {
346 :     $reply = $self->{relay}->await_result($reply);
347 :     }
348 :    
349 :     if ($reply->fault)
350 :     {
351 :     print "request_update triggered fault: ", $reply->faultcode, " ", $reply->faultstring, "\n";
352 :     return undef;
353 :     }
354 :    
355 :     return $reply->result;
356 :     }
357 :    
358 :     =pod
359 :    
360 :     =head1 get_pegs($session_id, $start, $length)
361 :    
362 :    
363 :     =cut
364 :    
365 :     sub get_pegs
366 :     {
367 :     my($self, $session_id, $start, $length) = @_;
368 :    
369 :     return $self->call("get_pegs", $session_id, $start, $length);
370 :     }
371 :    
372 :     sub call
373 :     {
374 :     my($self, $func, @args) = @_;
375 :    
376 :     my $reply = $self->{proxy}->$func(@args);
377 :    
378 :     if ($self->{relay})
379 :     {
380 :     $reply = $self->{relay}->await_result($reply);
381 :     }
382 :    
383 :     if ($reply->fault)
384 :     {
385 :     print "$func triggered fault: ", $reply->faultcode, " ", $reply->faultstring, "\n";
386 :     return undef;
387 :     }
388 :    
389 :     return $reply->result;
390 :     }
391 :    
392 :    
393 :     #############
394 :     #
395 :     # P2P Service
396 :     #
397 :     # Code in this module is invoked on the target on behalf of a requestor.
398 :     #
399 :     #############
400 :    
401 :     package P2P::Service;
402 :    
403 :     use Data::Dumper;
404 :    
405 :     use FIG;
406 :     use FIG_Config;
407 :     use strict;
408 :    
409 :     use File::Temp qw(tempdir);
410 :     use File::Basename;
411 :    
412 :     sub request_update
413 :     {
414 :     my($class, $his_release, $last_update)= @_;
415 :    
416 :     #
417 :     # Verify input.
418 :     #
419 :    
420 :     if ($last_update !~ /^\d+$/)
421 :     {
422 :     die "request_update: last_update must be a number (not '$last_update')\n";
423 :     }
424 :    
425 :     #
426 :     # Create a new session id and a spool directory to use for storage
427 :     # of information about it. This can go in the tempdir since it is
428 :     # not persistent.
429 :     #
430 :    
431 :     &FIG::verify_dir("$FIG_Config::temp/p2p_spool");
432 :     #my $spool_dir = tempdir(DIR => "$FIG_Config::temp/p2p_spool");
433 :    
434 :     my $spool_dir = "$FIG_Config::temp/p2p_spool/test";
435 :     &FIG::verify_dir($spool_dir);
436 :    
437 :     my $session_id = basename($spool_dir);
438 :     my $now = time;
439 :    
440 :     #
441 :     # Gather the list of pegs and annotations for the update.
442 :     #
443 :    
444 :     my $fig = new FIG;
445 :    
446 :     my $all_genomes = [$fig->genomes];
447 :    
448 :     my %all_genomes = map { $_ => 1 } @$all_genomes;
449 :    
450 :     my %pegs;
451 :    
452 :     my $num_annos = 0;
453 :     my $num_genomes = 0;
454 :     my $num_pegs = 0;
455 :    
456 :     my $anno_fh;
457 :     open($anno_fh, ">$spool_dir/annos");
458 :    
459 :     my $peg_fh;
460 :     open($peg_fh, ">$spool_dir/pegs");
461 :    
462 :     my $genome_fh;
463 :     open($genome_fh, ">$spool_dir/genomes");
464 :    
465 :     for my $genome (@$all_genomes)
466 :     {
467 :     my $num_annos_for_genome = 0;
468 :    
469 :     my $genome_dir = "$FIG_Config::organisms/$genome";
470 :     next unless -d $genome_dir;
471 :    
472 :     my $afh;
473 :     if (open($afh, "$genome_dir/annotations"))
474 :     {
475 :     my($fid, $anno_time, $who, $anno_text);
476 :     local($/);
477 :     $/ = "//\n";
478 :     while (my $ann = <$afh>)
479 :     {
480 :     chomp $ann;
481 :    
482 :     if ((($fid, $anno_time, $who, $anno_text) =
483 :     ($ann =~ /^(fig\|\d+\.\d+\.peg\.\d+)\n(\d+)\n(\S+)\n(.*\S)/s)) and
484 :     $anno_time > $last_update)
485 :    
486 :     {
487 :     #
488 :     # Look up aliases if we haven't seen this fid before.
489 :     #
490 :    
491 :     if (!defined($pegs{$fid}))
492 :     {
493 :     my @aliases = $fig->feature_aliases($fid);
494 :    
495 :     print $peg_fh join("\t", $fid, $genome, @aliases), "\n";
496 :     $num_pegs++;
497 :     }
498 :    
499 :     print $anno_fh "$ann//\n";
500 :    
501 :     $pegs{$fid}++;
502 :    
503 :     $num_annos_for_genome++;
504 :     $num_annos++;
505 :     }
506 :     }
507 :     close($afh);
508 :     }
509 :    
510 :     #
511 :     # Determine genome information if we have annotations for this one.
512 :     #
513 :    
514 :     if ($num_annos_for_genome > 0)
515 :     {
516 :     $num_genomes++;
517 :     if (open(my $cfh, "<$genome_dir/COUNTS"))
518 :     {
519 :     if ($_ = <$cfh>)
520 :     {
521 :     chomp;
522 :     my($cgenome, $n_contigs, $total_nucs, $cksum) = split(/\t/, $_);
523 :     if ($cgenome ne $genome)
524 :     {
525 :     warn "Hm, $genome has a COUNTS file with genome=$cgenome that does not match\n";
526 :     }
527 :     else
528 :     {
529 :     print $genome_fh join("\t",
530 :     $genome, $num_annos_for_genome, $n_contigs,
531 :     $total_nucs, $cksum), "\n";
532 :     }
533 :     }
534 :     }
535 :     }
536 :    
537 :     }
538 :     close($anno_fh);
539 :     close($peg_fh);
540 :     close($genome_fh);
541 :    
542 :     print "Pegs: $num_pegs\n";
543 :     print "Genomes: $num_genomes\n";
544 :     print "Annos: $num_annos\n";
545 :    
546 :     #
547 :     # Check compatibility.
548 :     #
549 :    
550 :     my $my_release = $fig->get_release_info();
551 :     my $compatible = (defined($my_release) && ($my_release == $his_release)) ? 1 : 0;
552 :    
553 :     open(my $fh, ">$spool_dir/INFO");
554 :     print $fh "requestor_release\t$his_release\n";
555 :     print $fh "last_update\t$last_update\n";
556 :     print $fh "cur_update\t$now\n";
557 :     print $fh "target_release\t$my_release\n";
558 :     print $fh "compatible\t$compatible\n";
559 :     print $fh "num_pegs\t$num_pegs\n";
560 :     print $fh "num_genomes\t$num_genomes\n";
561 :     print $fh "num_annos\t$num_annos\n";
562 :     close($fh);
563 :    
564 :     return [$session_id, $my_release, $num_annos, $num_pegs, $num_genomes, $now, $compatible];
565 :     }
566 :    
567 :    
568 :     sub get_pegs
569 :     {
570 :     my($self, $session_id, $start, $len) = @_;
571 :     my(%session_info);
572 :    
573 :     my $spool_dir = "$FIG_Config::temp/p2p_spool/$session_id";
574 :    
575 :     -d $spool_dir or die "Invalid session id $session_id";
576 :    
577 :     #
578 :     # Read in the cached information for this session.
579 :     #
580 :    
581 :     open(my $info_fh, "<$spool_dir/INFO") or die "Cannot open INFO file: $!";
582 :     while (<$info_fh>)
583 :     {
584 :     chomp;
585 :     my($var, $val) = split(/\t/, $_, 2);
586 :     $session_info{$var} = $val;
587 :     }
588 :     close($info_fh);
589 :    
590 :     #
591 :     # Sanity check start and length.
592 :     #
593 :    
594 :     if ($start < 0 or $start >= $session_info{num_pegs})
595 :     {
596 :     die "Invalid start position $start";
597 :     }
598 :    
599 :     if ($len < 0 or ($start + $len - 1) >= $session_info{num_pegs})
600 :     {
601 :     die "Invalid length $len";
602 :     }
603 :    
604 :     #
605 :     # Open file, spin to the starting line, then start reading.
606 :     #
607 :    
608 :     open(my $peg_fh, "<$spool_dir/pegs") or die "Cannot open pegs file: $!";
609 :    
610 :     my $peg_output = [];
611 :     my $genome_output = [];
612 :    
613 :     my $peg_num = 0;
614 :     my $genomes_to_show = [];
615 :     my %genomes_to_show;
616 :    
617 :     my($fid, $genome, @aliases);
618 :    
619 :     while (<$peg_fh>)
620 :     {
621 :     next if ($peg_num < $start);
622 :    
623 :     last if ($peg_num > ($start + $len));
624 :    
625 :     chomp;
626 :    
627 :     #
628 :     # OK, this is a peg to process.
629 :     # It's easy if we're compatible.
630 :     #
631 :    
632 :     ($fid, $genome, @aliases) = split(/\t/, $_);
633 :    
634 :     if ($session_info{compatible})
635 :     {
636 :     push(@$peg_output, ['peg', $fid]);
637 :     }
638 :     else
639 :     {
640 :     if (!$genomes_to_show{$genome})
641 :     {
642 :     push(@$genomes_to_show, $genome);
643 :     $genomes_to_show{$genome}++;
644 :     }
645 :     push(@$peg_output, ['peg_info', $fid, [@aliases], $genome]);
646 :     }
647 :     }
648 :     continue
649 :     {
650 :     $peg_num++;
651 :     }
652 :    
653 :     #
654 :     # Read the genomes file, returning information about genomes referenced
655 :     # in the pegs returned.
656 :     #
657 :    
658 :     my $n_left = @$genomes_to_show;
659 :    
660 :     open(my $gfh, "<$spool_dir/genomes") or die "Cannot open genomes file: $!";
661 :     while ($n_left > 0 and $_ = <$gfh>)
662 :     {
663 :     chomp;
664 :    
665 :     my($genome, $n_annos, $n_contigs, $n_nucs, $cksum) = split(/\t/);
666 :    
667 :     if ($genomes_to_show{$genome})
668 :     {
669 :     push(@$genome_output, [$genome, $n_contigs, $n_nucs, $cksum]);
670 :     $n_left--;
671 :     }
672 :     }
673 :     close($gfh);
674 :    
675 :     return [$peg_output, $genome_output];
676 :     }

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3