[Bio] / FigKernelPackages / P2P.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/P2P.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.1 - (view) (download) (as text)

1 : olson 1.1 #
2 :     # This module contains the code for the P2P update protocol.
3 :     #
4 :     # Package P2P contains the namespace declarations, and possibly toplevel utility
5 :     # routines. (get_relay ?)
6 :     #
7 :     # Package P2P::Relay contains methods for contacting the P2P relay service. The actual
8 :     # implementation of the relay service is not contained here - it is a standalone module
9 :     # that can be installed on a web server that does not have a full SEED installed.
10 :     #
11 :     # Package P2P::Requestor contains the requestor-side code for the update protocol.
12 :     #
13 :     # Package P2P::Service contains the web service implementation routines for the
14 :     # protocol.
15 :     #
16 :    
17 :     package P2P;
18 :    
19 :     use FIG_Config;
20 :    
21 :     use strict;
22 :     use Exporter;
23 :     use base qw(Exporter);
24 :    
25 :     use Data::Dumper;
26 :    
27 :     use vars qw(@EXPORT @EXPORT_OK);
28 :     @EXPORT = ();
29 :     @EXPORT_OK = qw($ns_p2p $ns_relay);
30 :    
31 :     our $ns_p2p = "http://thefig.info/schemas/p2p_update";
32 :     our $ns_relay = "http://thefig.info/schemas/p2p_relay";
33 :    
34 :     =pod
35 :    
36 :     =head1 perform_update($peer)
37 :    
38 :     Perform a peer-to-peer update with the given peer. $peer is an instance of
39 :     P2P::Requestor which can connect to the peer. It is expected that the
40 :     SEED infrastructure will create this requestor appropriately for the
41 :     particular circumstance (direct connection, thru relay, etc).
42 :    
43 :     This code executes the high-level protocol, maintaining state between
44 :     calls to the peer to exchange the actual information.
45 :    
46 :     =cut
47 :    
48 :     sub perform_update
49 :     {
50 :     my($fig, $peer, $last_update) = @_;
51 :    
52 :     my $ret = $peer->request_update($last_update);
53 :    
54 :     if (!$ret or ref($ret) ne "ARRAY")
55 :     {
56 :     die "perform_update: request_updated failed\n";
57 :     }
58 :    
59 :     my($session, $target_release, $num_annos, $num_pegs, $num_genomes,
60 :     $target_time, $compatible) = @$ret;
61 :    
62 :     print "perform_update: session=$session target=$target_release num_annos=$num_annos\n";
63 :     print " num_pegs=$num_pegs num_genomes=$num_genomes target_time=$target_time compat=$compatible\n";
64 :    
65 :     #
66 :     # We have the information now to begin the update process. Retrieve the pegs.
67 :     #
68 :    
69 :     $ret = $peer->get_pegs($session, 0, $num_pegs);
70 :    
71 :     if (!$ret or ref($ret) ne "ARRAY")
72 :     {
73 :     die "perform_update: get_pegs failed\n";
74 :     }
75 :    
76 :     my($peg_list, $genome_list) = @$ret;
77 :    
78 :     #
79 :     # Walk the peg-list to and generate @pegs_to_finalize.
80 :     #
81 :    
82 :     my(%peg_mapping, %genome_map );
83 :    
84 :     for my $peg_info (@$peg_list)
85 :     {
86 :     my($key, $peg, @rest) = @$peg_info;
87 :    
88 :     if ($key eq 'peg')
89 :     {
90 :     #
91 :     # Peg id is directly usable.
92 :     #
93 :     }
94 :     elsif ($key eq 'peg_info')
95 :     {
96 :     #
97 :     # Peg id not directly usable.
98 :     #
99 :    
100 :     my($alias_list, $genome_id) = @rest;
101 :    
102 :     for my $alias (@$alias_list)
103 :     {
104 :     my $mapped = $fig->by_alias($alias);
105 :     if ($mapped && $peg !~ /5$/)
106 :     {
107 :     print "$peg maps to $mapped via $alias\n";
108 :     $peg_mapping{$peg}= $mapped;
109 :     last;
110 :     }
111 :     }
112 :    
113 :     #
114 :     # If we didn't succeed in mapping by alias,
115 :     # stash this in the list of pegs to be mapped by
116 :     # genome.
117 :     #
118 :    
119 :     if (!defined($peg_mapping{$peg}))
120 :     {
121 :     push(@{$genome_map{$genome_id}}, $peg);
122 :     }
123 :     }
124 :     }
125 :    
126 :     #
127 :     # finished first pass. Now go over the per-genome mappings that need to be made.
128 :     #
129 :    
130 :     for my $genome_info (@$genome_list)
131 :     {
132 :     my($genome, $n_contigs, $n_nucs, $cksum) = @$genome_info;
133 :    
134 :     next unless $genome_map{$genome};
135 :    
136 :     my $my_genome = $fig->find_genome_by_content($genome, $n_contigs, $n_nucs, $cksum);
137 :    
138 :     if ($my_genome)
139 :     {
140 :     #
141 :     # Found a match.
142 :     #
143 :     print "Genome $genome maps to $my_genome locally\n";
144 :    
145 :     }
146 :     }
147 :     }
148 :    
149 :    
150 :     #############
151 :     #
152 :     # P2P Relay
153 :     #
154 :     #############
155 :    
156 :    
157 :     package P2P::Relay;
158 :     use strict;
159 :    
160 :     use Data::Dumper;
161 :     use SOAP::Lite;
162 :    
163 :     use P2P;
164 :    
165 :     sub new
166 :     {
167 :     my($class, $url) = @_;
168 :    
169 :     my $proxy = SOAP::Lite->uri($P2P::ns_relay)->proxy($url);
170 :    
171 :     my $self = {
172 :     url => $url,
173 :     proxy => $proxy,
174 :     };
175 :     return bless($self, $class);
176 :     }
177 :    
178 :     sub enumerate_annotation_systems
179 :     {
180 :     my($self) = @_;
181 :    
182 :     return $self->{proxy}->enumerate_annotation_systems()->result;
183 :     }
184 :    
185 :     sub fetch_queries
186 :     {
187 :     my($self, $id) = @_;
188 :    
189 :     my $reply = $self->{proxy}->fetch_queries($id);
190 :    
191 :     if ($reply->fault)
192 :     {
193 :     print "Failed to fetch queries: ", $reply->faultcode, " ", $reply->faultstring, "\n";
194 :     return undef;
195 :     }
196 :    
197 :     return $reply->result;
198 :     }
199 :    
200 :     sub deposit_answer
201 :     {
202 :     my($self, $id, $key, $answer) = @_;
203 :    
204 :     my $reply = $self->{proxy}->deposit_answer($id, $key,
205 :     SOAP::Data->type('base64')->value($answer));
206 :    
207 :     if ($reply->fault)
208 :     {
209 :     print "deposit_answer got fault: ", $reply->faultcode, " ", $reply->faultstring, "\n";
210 :     return undef;
211 :     }
212 :    
213 :     return $reply;
214 :     }
215 :    
216 :     =pod
217 :    
218 :     =head1 await_result
219 :    
220 :     Await the result from a possibly-asynchronous soap request.
221 :    
222 :     Look at the reply that we have. If it's a deferred reply, loop polling
223 :     the relay for the actual result.
224 :    
225 :     We determine if the reply is a deferred reply by examining the namespace
226 :     URI of the response. A response will be generated from the relay's namespace,
227 :     rather than that of the application itself.
228 :    
229 :     =cut
230 :    
231 :     sub await_result
232 :     {
233 :     my($self, $reply) = @_;
234 :    
235 :     while (1)
236 :     {
237 :     #
238 :     # Retrieve the namespace of the response, which is the first
239 :     # element in the body of the message.
240 :     #
241 :     my $ns = $reply->namespaceuriof('/Envelope/Body/[1]');
242 :     print "Reply ns=$ns want $P2P::ns_relay\n";
243 :    
244 :     if ($ns eq $P2P::ns_relay)
245 :     {
246 :     my $val = $reply->result;
247 :     print "got val=", Dumper($val);
248 :     if ($val->[0] eq 'deferred')
249 :     {
250 :     #
251 :     # Sleep a little, then try to retrieve the response.
252 :     #
253 :    
254 :     sleep(1);
255 :     my $id = $val->[1];
256 :    
257 :     print "Retrieving reply\n";
258 :     $reply = $self->{proxy}->call_completed($id);
259 :     }
260 :     else
261 :     {
262 :     #
263 :     # We're not sure what to do here..
264 :     #
265 :     return undef;
266 :     }
267 :     }
268 :     else
269 :     {
270 :     #
271 :     # We got an actual response. Return it.
272 :     #
273 :    
274 :     return $reply;
275 :     }
276 :     }
277 :     }
278 :    
279 :     #############
280 :     #
281 :     # P2P Requestor
282 :     #
283 :     #############
284 :    
285 :     package P2P::Requestor;
286 :     use strict;
287 :    
288 :     use Data::Dumper;
289 :    
290 :     use SOAP::Lite;
291 :     use P2P;
292 :    
293 :     #
294 :     # Create a new Requestor. It contains a reference to the FIG instance
295 :     # so that we can run the protocol completely from in here.
296 :     #
297 :    
298 :     sub new
299 :     {
300 :     my($class, $fig, $url, $peer_id, $relay) = @_;
301 :    
302 :     my $proxy = SOAP::Lite->uri($ns_p2p)->proxy($url);
303 :    
304 :     my $self = {
305 :     fig => $fig,
306 :     url => $url,
307 :     peer_id => $peer_id,
308 :     proxy => $proxy,
309 :     relay => $relay,
310 :     };
311 :     return bless($self, $class);
312 :     }
313 :    
314 :     #
315 :     # First step: Request an update.
316 :     #
317 :     # We need to determine some notion of what our release is, since we are not
318 :     # currently tagging them explicitly. Until we delve into this more,
319 :     # I am going to return a null release, which means the same-release
320 :     # optimization won't be able to kick in.
321 :     #
322 :     # We also need to determine the last time we got an update from this
323 :     # system.
324 :     #
325 :    
326 :     sub request_update
327 :     {
328 :     my($self, $last_update) = @_;
329 :    
330 :     my $rel = $self->{fig}->get_release_info();
331 :    
332 :     if (!defined($last_update))
333 :     {
334 :     $last_update = $self->{fig}->get_peer_last_update($self->{peer_id});
335 :     }
336 :    
337 :     my $reply = $self->{proxy}->request_update($rel, $last_update);
338 :    
339 :     if ($self->{relay})
340 :     {
341 :     $reply = $self->{relay}->await_result($reply);
342 :     }
343 :    
344 :     if ($reply->fault)
345 :     {
346 :     print "request_update triggered fault: ", $reply->faultcode, " ", $reply->faultstring, "\n";
347 :     return undef;
348 :     }
349 :    
350 :     return $reply->result;
351 :     }
352 :    
353 :     =pod
354 :    
355 :     =head1 get_pegs($session_id, $start, $length)
356 :    
357 :    
358 :     =cut
359 :    
360 :     sub get_pegs
361 :     {
362 :     my($self, $session_id, $start, $length) = @_;
363 :    
364 :     return $self->call("get_pegs", $session_id, $start, $length);
365 :     }
366 :    
367 :     sub call
368 :     {
369 :     my($self, $func, @args) = @_;
370 :    
371 :     my $reply = $self->{proxy}->$func(@args);
372 :    
373 :     if ($self->{relay})
374 :     {
375 :     $reply = $self->{relay}->await_result($reply);
376 :     }
377 :    
378 :     if ($reply->fault)
379 :     {
380 :     print "$func triggered fault: ", $reply->faultcode, " ", $reply->faultstring, "\n";
381 :     return undef;
382 :     }
383 :    
384 :     return $reply->result;
385 :     }
386 :    
387 :    
388 :     #############
389 :     #
390 :     # P2P Service
391 :     #
392 :     # Code in this module is invoked on the target on behalf of a requestor.
393 :     #
394 :     #############
395 :    
396 :     package P2P::Service;
397 :    
398 :     use Data::Dumper;
399 :    
400 :     use FIG;
401 :     use FIG_Config;
402 :     use strict;
403 :    
404 :     use File::Temp qw(tempdir);
405 :     use File::Basename;
406 :    
407 :     sub request_update
408 :     {
409 :     my($class, $his_release, $last_update)= @_;
410 :    
411 :     #
412 :     # Verify input.
413 :     #
414 :    
415 :     if ($last_update !~ /^\d+$/)
416 :     {
417 :     die "request_update: last_update must be a number (not '$last_update')\n";
418 :     }
419 :    
420 :     #
421 :     # Create a new session id and a spool directory to use for storage
422 :     # of information about it. This can go in the tempdir since it is
423 :     # not persistent.
424 :     #
425 :    
426 :     &FIG::verify_dir("$FIG_Config::temp/p2p_spool");
427 :     #my $spool_dir = tempdir(DIR => "$FIG_Config::temp/p2p_spool");
428 :    
429 :     my $spool_dir = "$FIG_Config::temp/p2p_spool/test";
430 :     &FIG::verify_dir($spool_dir);
431 :    
432 :     my $session_id = basename($spool_dir);
433 :     my $now = time;
434 :    
435 :     #
436 :     # Gather the list of pegs and annotations for the update.
437 :     #
438 :    
439 :     my $fig = new FIG;
440 :    
441 :     my $all_genomes = [$fig->genomes];
442 :    
443 :     my %all_genomes = map { $_ => 1 } @$all_genomes;
444 :    
445 :     my %pegs;
446 :    
447 :     my $num_annos = 0;
448 :     my $num_genomes = 0;
449 :     my $num_pegs = 0;
450 :    
451 :     my $anno_fh;
452 :     open($anno_fh, ">$spool_dir/annos");
453 :    
454 :     my $peg_fh;
455 :     open($peg_fh, ">$spool_dir/pegs");
456 :    
457 :     my $genome_fh;
458 :     open($genome_fh, ">$spool_dir/genomes");
459 :    
460 :     for my $genome (@$all_genomes)
461 :     {
462 :     my $num_annos_for_genome = 0;
463 :    
464 :     my $genome_dir = "$FIG_Config::organisms/$genome";
465 :     next unless -d $genome_dir;
466 :    
467 :     my $afh;
468 :     if (open($afh, "$genome_dir/annotations"))
469 :     {
470 :     my($fid, $anno_time, $who, $anno_text);
471 :     local($/);
472 :     $/ = "//\n";
473 :     while (my $ann = <$afh>)
474 :     {
475 :     chomp $ann;
476 :    
477 :     if ((($fid, $anno_time, $who, $anno_text) =
478 :     ($ann =~ /^(fig\|\d+\.\d+\.peg\.\d+)\n(\d+)\n(\S+)\n(.*\S)/s)) and
479 :     $anno_time > $last_update)
480 :    
481 :     {
482 :     #
483 :     # Look up aliases if we haven't seen this fid before.
484 :     #
485 :    
486 :     if (!defined($pegs{$fid}))
487 :     {
488 :     my @aliases = $fig->feature_aliases($fid);
489 :    
490 :     print $peg_fh join("\t", $fid, $genome, @aliases), "\n";
491 :     $num_pegs++;
492 :     }
493 :    
494 :     print $anno_fh "$ann//\n";
495 :    
496 :     $pegs{$fid}++;
497 :    
498 :     $num_annos_for_genome++;
499 :     $num_annos++;
500 :     }
501 :     }
502 :     close($afh);
503 :     }
504 :    
505 :     #
506 :     # Determine genome information if we have annotations for this one.
507 :     #
508 :    
509 :     if ($num_annos_for_genome > 0)
510 :     {
511 :     $num_genomes++;
512 :     if (open(my $cfh, "<$genome_dir/COUNTS"))
513 :     {
514 :     if ($_ = <$cfh>)
515 :     {
516 :     chomp;
517 :     my($cgenome, $n_contigs, $total_nucs, $cksum) = split(/\t/, $_);
518 :     if ($cgenome ne $genome)
519 :     {
520 :     warn "Hm, $genome has a COUNTS file with genome=$cgenome that does not match\n";
521 :     }
522 :     else
523 :     {
524 :     print $genome_fh join("\t",
525 :     $genome, $num_annos_for_genome, $n_contigs,
526 :     $total_nucs, $cksum), "\n";
527 :     }
528 :     }
529 :     }
530 :     }
531 :    
532 :     }
533 :     close($anno_fh);
534 :     close($peg_fh);
535 :     close($genome_fh);
536 :    
537 :     print "Pegs: $num_pegs\n";
538 :     print "Genomes: $num_genomes\n";
539 :     print "Annos: $num_annos\n";
540 :    
541 :     #
542 :     # Check compatibility.
543 :     #
544 :    
545 :     my $my_release = $fig->get_release_info();
546 :     my $compatible = (defined($my_release) && ($my_release == $his_release)) ? 1 : 0;
547 :    
548 :     open(my $fh, ">$spool_dir/INFO");
549 :     print $fh "requestor_release\t$his_release\n";
550 :     print $fh "last_update\t$last_update\n";
551 :     print $fh "cur_update\t$now\n";
552 :     print $fh "target_release\t$my_release\n";
553 :     print $fh "compatible\t$compatible\n";
554 :     print $fh "num_pegs\t$num_pegs\n";
555 :     print $fh "num_genomes\t$num_genomes\n";
556 :     print $fh "num_annos\t$num_annos\n";
557 :     close($fh);
558 :    
559 :     return [$session_id, $my_release, $num_annos, $num_pegs, $num_genomes, $now, $compatible];
560 :     }
561 :    
562 :    
563 :     sub get_pegs
564 :     {
565 :     my($self, $session_id, $start, $len) = @_;
566 :     my(%session_info);
567 :    
568 :     my $spool_dir = "$FIG_Config::temp/p2p_spool/$session_id";
569 :    
570 :     -d $spool_dir or die "Invalid session id $session_id";
571 :    
572 :     #
573 :     # Read in the cached information for this session.
574 :     #
575 :    
576 :     open(my $info_fh, "<$spool_dir/INFO") or die "Cannot open INFO file: $!";
577 :     while (<$info_fh>)
578 :     {
579 :     chomp;
580 :     my($var, $val) = split(/\t/, $_, 2);
581 :     $session_info{$var} = $val;
582 :     }
583 :     close($info_fh);
584 :    
585 :     #
586 :     # Sanity check start and length.
587 :     #
588 :    
589 :     if ($start < 0 or $start >= $session_info{num_pegs})
590 :     {
591 :     die "Invalid start position $start";
592 :     }
593 :    
594 :     if ($len < 0 or ($start + $len - 1) >= $session_info{num_pegs})
595 :     {
596 :     die "Invalid length $len";
597 :     }
598 :    
599 :     #
600 :     # Open file, spin to the starting line, then start reading.
601 :     #
602 :    
603 :     open(my $peg_fh, "<$spool_dir/pegs") or die "Cannot open pegs file: $!";
604 :    
605 :     my $peg_output = [];
606 :     my $genome_output = [];
607 :    
608 :     my $peg_num = 0;
609 :     my $genomes_to_show = [];
610 :     my %genomes_to_show;
611 :    
612 :     my($fid, $genome, @aliases);
613 :    
614 :     while (<$peg_fh>)
615 :     {
616 :     next if ($peg_num < $start);
617 :    
618 :     last if ($peg_num > ($start + $len));
619 :    
620 :     chomp;
621 :    
622 :     #
623 :     # OK, this is a peg to process.
624 :     # It's easy if we're compatible.
625 :     #
626 :    
627 :     ($fid, $genome, @aliases) = split(/\t/, $_);
628 :    
629 :     if ($session_info{compatible})
630 :     {
631 :     push(@$peg_output, ['peg', $fid]);
632 :     }
633 :     else
634 :     {
635 :     if (!$genomes_to_show{$genome})
636 :     {
637 :     push(@$genomes_to_show, $genome);
638 :     $genomes_to_show{$genome}++;
639 :     }
640 :     push(@$peg_output, ['peg_info', $fid, [@aliases], $genome]);
641 :     }
642 :     }
643 :     continue
644 :     {
645 :     $peg_num++;
646 :     }
647 :    
648 :     #
649 :     # Read the genomes file, returning information about genomes referenced
650 :     # in the pegs returned.
651 :     #
652 :    
653 :     my $n_left = @$genomes_to_show;
654 :    
655 :     open(my $gfh, "<$spool_dir/genomes") or die "Cannot open genomes file: $!";
656 :     while ($n_left > 0 and $_ = <$gfh>)
657 :     {
658 :     chomp;
659 :    
660 :     my($genome, $n_annos, $n_contigs, $n_nucs, $cksum) = split(/\t/);
661 :    
662 :     if ($genomes_to_show{$genome})
663 :     {
664 :     push(@$genome_output, [$genome, $n_contigs, $n_nucs, $cksum]);
665 :     $n_left--;
666 :     }
667 :     }
668 :     close($gfh);
669 :    
670 :     return [$peg_output, $genome_output];
671 :     }

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3