[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.26 - (view) (download) (as text)

1 : olson 1.1
2 :     package Subsystem;
3 :    
4 : olson 1.25 use Carp;
5 : olson 1.1 use FIG;
6 :    
7 : olson 1.10 use FIGAttributes;
8 :     use base 'FIGAttributes';
9 :    
10 : olson 1.12 use POSIX;
11 : olson 1.7 use DirHandle;
12 : olson 1.1 use Data::Dumper;
13 : olson 1.14 use File::Copy;
14 : olson 1.1 use File::Spec;
15 : olson 1.12 use IPC::Open2;
16 : olson 1.1
17 :     use strict;
18 :    
19 : olson 1.2 =pod
20 :    
21 :     =head1 Subsystem manipulation.
22 :    
23 :     Any manipulation of subsystem data should happen through this interface.
24 :     This allows us to assure ourselves that the relational tables that
25 :     mirror and index the subsystem data are kept up to date with the
26 :     canonical version of the subsystem information in the flat-files
27 :     kept in $FIG_Config::data/Subsystems.
28 :    
29 : olson 1.25 =head2 Objects.
30 :    
31 :     We define the following perl objects:
32 :    
33 :     Subsystem: represents a subsystem. It can be read from disk and
34 :     written to disk, and manipulated via its methods when in memory.
35 :    
36 :     If we were completely on the OO side of the world, we would also
37 :     define the following set of objects. However, we are not, so they are
38 :     only objects in a conceptual sense. They are implemented using the
39 :     basic perl datatypes.
40 :    
41 :     Role: represents a single role. A role has a name and an abbreviation.
42 :    
43 :     RoleSubset: represents a subset of available roles. A subset has a
44 :     name and a list of role names that comprise the subset.
45 :    
46 : olson 1.2 =head2 Thoughts on locking
47 :    
48 :     It is currently dangerous for multiple users to modify spreadsheets at once.
49 :     It will likely remain dangerous while the subsystem backend is fairly
50 :     stateless, as it is with the CGI mechanism.
51 :    
52 :     We'd like to make this a little safer. One mechanism might be to allow
53 :     a user to open a subsystem for modification, and others for readonly access.
54 :     For this to work we have to be able to tell which users is allowed; current
55 :     implementation uses the curator of the subsystem for this purpose.
56 :    
57 :     NB: This module does not currently attempt to handle locking or exclusion.
58 :     It is up to the caller (user application, CGI script, etc) to do so.
59 :     It does attempt to use locking internally where appropriate.
60 :    
61 :     =head2 Data structures
62 :    
63 :     We maintain the following data structures (all members of %$self).
64 :    
65 :     =over 4
66 :    
67 :     =item dir
68 :    
69 :     Directory in which the subsystem is stored.
70 :    
71 :     =item notes
72 :    
73 :     The current notes contents for the subsystem
74 :    
75 :     =item version
76 :    
77 :     Current subsystem version.
78 :    
79 :     =item exchangable
80 :    
81 :     1 if subsystem is exchangable, 0 otherwise.
82 :    
83 :     =item roles
84 :    
85 : olson 1.25 List of role names.
86 : olson 1.2
87 :     =item role_index
88 :    
89 :     hash that maps from role name to index
90 :    
91 :     =item role_abbrs
92 :    
93 :     list of role abbreviations
94 :    
95 :     =item abbr
96 :    
97 :     hash mapping from role abbreviation to role name
98 :    
99 :     =item col_subsets
100 :    
101 :     list of column subset names
102 :    
103 :     =item col_subset_members
104 :    
105 :     hash that maps from column subset name to subset members
106 :    
107 :     =item col_active_subset
108 :    
109 :     currently-active column subset
110 :    
111 :     =item row_active_subset
112 :    
113 :     currently-active row subset
114 :    
115 :     =item genome
116 :    
117 : olson 1.25 List of genome IDs.
118 : olson 1.2
119 :     =item variant_code
120 :    
121 : olson 1.25 List of variant codes.
122 : olson 1.2
123 :     =item genome_index
124 :    
125 :     Hash mapping from genome ID to genome index.
126 :    
127 :     =item spreadsheet
128 :    
129 :     Spreadsheet data. Structured as a list of rows, each of which
130 :     is a list of entries. An entry is a list of PEG numbers.
131 :    
132 :     =item spreadsheet_inv
133 :    
134 :     Inverted structure of spreadsheet - list of columns, each of which is a list
135 :     of rows.
136 :    
137 :     =back
138 :    
139 : olson 1.25 =head2 Methods
140 :    
141 :     =over 4
142 :    
143 :     =item index_cell
144 :    
145 :     Create the subsystem_index entries for the given cell.
146 :     (NEW).
147 :    
148 :     =item delete_role(name)
149 :    
150 :     Delete the given role.
151 :    
152 :     =item add_role(name, abbr)
153 :    
154 :     Add a new role.
155 :    
156 :     =item get_subset(name)
157 :    
158 :     Returns a given subset. A subset is an object, implemented as a blessed array
159 :     of roles.
160 :    
161 :     =item add_genome(genome_id, variant_code)
162 :    
163 :     =item remove_genome(genome_id)
164 :    
165 :     =back
166 :    
167 : olson 1.2 =cut
168 : olson 1.1
169 :     =pod
170 :    
171 :     =head1 Subsystem constructor
172 :    
173 :     usage: $sub = Subsystem->new("subsystem name", $fig, $createFlag)
174 :    
175 :     Load the subsystem. If it does not exist, and $createFlag is true, create
176 :     a new empty subsystem.
177 :    
178 :     =cut
179 :    
180 :     sub new
181 :     {
182 :     my($class, $name, $fig, $create) = @_;
183 :    
184 :     my $ssa_dir = get_dir_from_name($name);
185 :    
186 :     #
187 :     # For loading, the subsystem directory must already exist.
188 :     #
189 :    
190 : olson 1.25 if (! -d $ssa_dir and not $create)
191 : olson 1.1 {
192 : olson 1.25 # warn "Subsystem $name does not exist\n";
193 :     return undef;
194 : olson 1.1 }
195 :    
196 :     my $self = {
197 :     dir => $ssa_dir,
198 :     name => $name,
199 :     fig => $fig,
200 :     };
201 :    
202 :     bless($self, $class);
203 :    
204 : olson 1.25 if ($create)
205 :     {
206 :     $self->create_subsystem();
207 :     }
208 :     else
209 :     {
210 :     $self->load();
211 :     }
212 : olson 1.1
213 :     return $self;
214 :     }
215 :    
216 : olson 1.19 sub new_from_dir
217 :     {
218 :     my($class, $dir, $fig) = @_;
219 :    
220 :     my $ssa_dir = $dir;
221 :     my $name;
222 :    
223 :     #
224 :     # For loading, the subsystem directory must already exist.
225 :     #
226 :    
227 :     my $self = {
228 :     dir => $ssa_dir,
229 :     name => $name,
230 :     fig => $fig,
231 :     };
232 :    
233 :     bless($self, $class);
234 :    
235 :     $self->load();
236 :    
237 :     return $self;
238 :     }
239 :    
240 : olson 1.25 =pod
241 :    
242 :     =head2 create_subsystem()
243 :    
244 :     Create a new subsystem. This creates the subsystem directory in the
245 :     correct place ($FIG_Config::data/Subsystems), and populates it with
246 :     the correct initial data.
247 :    
248 :     =cut
249 :    
250 : olson 1.1 sub create_subsystem
251 :     {
252 : olson 1.25 my($self) = @_;
253 :    
254 :     my $dir = $self->{dir};
255 :     my $fig = $self->{fig};
256 :    
257 :     if (-d $dir)
258 :     {
259 :     warn "Not creating: Subsystem directory $dir already exists";
260 :     return;
261 :     }
262 :    
263 :     $fig->verify_dir($dir);
264 :    
265 :     #
266 :     # Initialize empty data structures.
267 :     #
268 :    
269 :     $self->{genome} = [];
270 :     $self->{genome_index} = {};
271 :     $self->{variant_code} = [];
272 :    
273 :     $self->{abbr} = {};
274 :     $self->{role_index} = {};
275 :     $self->{roles} = [];
276 :     $self->{role_abbrs} = [];
277 : olson 1.1
278 : olson 1.25 $self->{spreadsheet} = [];
279 :     $self->{spreadsheet_inv} = [];
280 :    
281 :     $self->{col_subsets} = [];
282 :     $self->{col_subset_members} = {};
283 :    
284 :     $self->{row_active_subset} = "All";
285 :     $self->{col_active_subset} = "All";
286 :    
287 :     $self->{version} = 0;
288 :     $self->{exchangable} = 0;
289 :    
290 :     $self->write_subsystem();
291 : olson 1.1 }
292 :    
293 : olson 1.5 #
294 : olson 1.7 # Retrieve the diagrams associated with this subsystem.
295 :     #
296 :     # This is done via a lookup into FIG/Data/SubsystemDiagrams/<ssaname>/<diagram-name>.
297 :     #
298 :     # Returned is a list of names.
299 :     #
300 :    
301 :     sub get_diagrams
302 :     {
303 :     my($self) = @_;
304 :    
305 :     my $b = $self->{name};
306 :     $b =~ s/ /_/g;
307 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b);
308 :    
309 :     my $dh = new DirHandle($dir);
310 :    
311 :     my @names = grep(/^[^.]/, $dh->read());
312 :    
313 :     return @names;
314 :     }
315 :    
316 :     #
317 :     # Return a Subsystem::Diagram object for this diagram.
318 :     #
319 :     sub get_diagram
320 :     {
321 :     my($self, $name) = @_;
322 :    
323 :     my $b = $self->{name};
324 :     $b =~ s/ /_/g;
325 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b, $name);
326 :    
327 :     if (-d $dir)
328 :     {
329 :     return Subsystem::Diagram->new($self, $self->{fig}, $name, $dir);
330 :     }
331 :     else
332 :     {
333 :     return undef;
334 :     }
335 :     }
336 :    
337 :     #
338 : olson 1.5 # Synchronize the database index for this subsystem to the
339 :     # subsystem data.
340 :     #
341 :     # We assume the table already exists.
342 :     #
343 :    
344 :     sub db_sync
345 :     {
346 :     my($self, $skip_delete) = @_;
347 :    
348 :     my $rdbH = $self->{fig}->db_handle();
349 :    
350 :     if (!$skip_delete)
351 :     {
352 : olson 1.25 $self->delete_indices();
353 : olson 1.5 }
354 :    
355 :     #
356 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
357 :     #
358 :    
359 : olson 1.6 my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?)");
360 :    
361 : olson 1.5 for my $role ($self->get_roles())
362 :     {
363 :     my $ridx = $self->get_role_index($role);
364 :     my $col = $self->get_col($ridx);
365 :     for my $cell (@$col)
366 :     {
367 :     if ($cell)
368 :     {
369 :     for my $peg (@$cell)
370 :     {
371 : olson 1.6 $sth->execute($peg, $self->{name}, $role);
372 : olson 1.5 }
373 :     }
374 :     }
375 :     }
376 :     }
377 :    
378 : olson 1.22 #
379 :     # Delete this subsystem's entries from the database index.
380 :     #
381 :     sub delete_indices
382 :     {
383 :     my($self) = @_;
384 :    
385 :     my $rdbH = $self->{fig}->db_handle();
386 :    
387 :     $rdbH->SQL("DELETE FROM subsystem_index where subsystem = '$self->{name}'")
388 :     }
389 :    
390 : olson 1.1 sub load
391 :     {
392 :     my($self) = @_;
393 :    
394 :     #
395 :     # Load the subsystem.
396 :     #
397 :    
398 :     my $ssa;
399 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
400 :     {
401 :     warn "Spreadsheet does not exist in subsystem\n";
402 :     return;
403 :     }
404 :    
405 :     local $/ = "//\n";
406 :    
407 :     my $roles = <$ssa>;
408 :     if ($roles)
409 :     {
410 :     $roles =~ s,$/$,,;
411 :     #
412 :     # Split on newline, filter for non-empty lines.
413 :     #
414 :     my @roles = split("\n", $roles);
415 :    
416 :     @roles = grep { $_ ne "" } @roles;
417 :    
418 :     $self->load_roles(@roles);
419 :     }
420 :    
421 :     my $subsets = <$ssa>;
422 :     if ($subsets)
423 :     {
424 :     $subsets =~ s,$/$,,;
425 :     $self->load_subsets($subsets);
426 :     }
427 :    
428 :     $/ = "\n";
429 :    
430 :     $self->load_genomes($ssa);
431 :    
432 :     #
433 :     # Now load the rest of the info.
434 :     #
435 :    
436 :     $self->load_notes();
437 :     $self->load_version();
438 :     $self->load_exchangable();
439 : olson 1.17 $self->load_curation();
440 : olson 1.1 }
441 :    
442 :     sub load_notes
443 :     {
444 :     my($self) = @_;
445 :    
446 :     $self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
447 :     }
448 :    
449 : olson 1.17 sub load_curation
450 :     {
451 :     my($self) = @_;
452 :    
453 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
454 :    
455 :     $_ = $l[0];
456 :     chomp;
457 :     if (/^\d+\t(\S+)\s+started/)
458 :     {
459 :     $self->{curator} = $1;
460 :     }
461 :     }
462 :    
463 : olson 1.1 sub load_version
464 :     {
465 :     my($self) = @_;
466 :    
467 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
468 :     my $l = $l[0];
469 :     chomp $l;
470 :     $self->{version} = $l;
471 :     }
472 :    
473 :     sub load_exchangable
474 :     {
475 :     my($self) = @_;
476 :    
477 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
478 :    
479 :     if (-f $file)
480 :     {
481 :     my($l, @l);
482 :    
483 :     @l = &FIG::file_head($file, 1);
484 :     $l = $l[0];
485 :     chomp $l;
486 :     $self->{exchangable} = $l;
487 :     }
488 :     else
489 :     {
490 :     $self->{exchangable} = 0;
491 :     }
492 :     }
493 :    
494 :    
495 :     sub load_roles
496 :     {
497 :     my($self, @roles) = @_;
498 :    
499 : olson 1.5 $self->{abbr} = {};
500 :     $self->{role_index} = {};
501 :     $self->{roles} = [];
502 :     $self->{role_abbrs} = [];
503 :    
504 : olson 1.25 my $i = 0;
505 : olson 1.1 for my $role (@roles)
506 :     {
507 :     my($abbr, $name) = split(/\t/, $role);
508 : olson 1.2 # print "Role $i: abbr=$abbr name=$name\n";
509 : olson 1.1
510 :     $self->{abbr}->{$abbr} = $name;
511 :     $self->{role_index}->{$name} = $i;
512 :     $self->{roles}->[$i] = $name;
513 : olson 1.4 $self->{role_abbrs}->[$i] = $abbr;
514 : olson 1.1 $i++;
515 :     }
516 :     }
517 :    
518 :     sub load_subsets
519 :     {
520 :     my($self, $subsets) = @_;
521 :    
522 :     #
523 :     # Column and row subsets.
524 :     #
525 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
526 :    
527 :     #
528 :     # Handle column subsets.
529 :     #
530 :    
531 :     my @subsetsC = split(/\n/, $subsetsC);
532 :    
533 :     #
534 :     # Determine active subset.
535 :     #
536 :    
537 :     my $active_subsetC;
538 :     if (@subsetsC > 0)
539 :     {
540 :     $active_subsetC = pop(@subsetsC);
541 :     }
542 :     else
543 :     {
544 :     $active_subsetC = 'All';
545 :     }
546 :    
547 :     $self->{col_active_subset} = $active_subsetC;
548 :    
549 :     $self->{col_subsets} = [];
550 : olson 1.5 $self->{col_subset_members} = {};
551 :    
552 : olson 1.1 for my $subset (@subsetsC)
553 :     {
554 :     my($name, @members) = split(/\s+/, $subset);
555 :    
556 : olson 1.25 #
557 :     # File format has members 1-based.
558 :     #
559 :    
560 :     @members = map { $_ - 1 } @members;
561 :    
562 : olson 1.1 push(@{$self->{col_subsets}}, $name);
563 :    
564 :     #
565 :     # Map role members from name to index if necessary.
566 :     #
567 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
568 :     #
569 :     @members = map {
570 :     if (my $new = $self->{role_index}->{$_})
571 :     {
572 :     $new;
573 :     }
574 :     else
575 :     {
576 :     $_;
577 :     }
578 :     } @members;
579 :    
580 :     @{$self->{col_subset_members}->{$name}} = @members;
581 :     }
582 :    
583 :     #
584 :     # Now the row subsets.
585 :     #
586 :    
587 :     chomp($subsetsR);
588 :    
589 :     if ($subsetsR =~ /(\S+.*\S+)/)
590 :     {
591 : olson 1.25 $self->{row_active_subset} = $1;
592 : olson 1.1 }
593 :     else
594 :     {
595 : olson 1.25 $self->{row_active_subset} = 'All';
596 : olson 1.1 }
597 :     }
598 :    
599 :     sub load_genomes
600 :     {
601 :     my($self, $fh) = @_;
602 :     my(%seen);
603 :    
604 : olson 1.5 $self->{spreadsheet} = [];
605 :     $self->{spreadshhet_inv} = [];
606 :     $self->{genome} = [];
607 :     $self->{genome_index} = {};
608 :     $self->{variant_code} = [];
609 :    
610 : olson 1.25 my $nr = @{$self->{roles}};
611 :    
612 :     my $i = 0;
613 : olson 1.1 while (<$fh>)
614 :     {
615 :     chomp;
616 :    
617 : olson 1.25 my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
618 : olson 1.1
619 :     next if $seen{$genome};
620 :     $seen{$genome}++;
621 :    
622 : olson 1.25 my $j = 0;
623 : olson 1.1
624 :     $self->{genome}->[$i] = $genome;
625 :     $self->{genome_index}->{$genome} = $i;
626 :     $self->{variant_code}->[$i] = $variant_code;
627 :    
628 : olson 1.25 my $thislen = @row;
629 :    
630 :     # if ($thislen != $nr)
631 :     # {
632 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
633 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
634 :     # }
635 :    
636 :     for my $j (0..$nr - 1)
637 : olson 1.1 {
638 : olson 1.25 my $entry = $row[$j];
639 : olson 1.1 my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
640 :     $self->{spreadsheet}->[$i]->[$j] = $e2;
641 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
642 :     $j++;
643 :     }
644 :     $i++;
645 :    
646 :     }
647 :     }
648 :    
649 : olson 1.2 =pod
650 :    
651 : olson 1.25 =head2 write_subsystem()
652 :    
653 :     Write the subsystem to the disk. Updates on-disk data with notes,
654 :     etc. Perform backups when necessary.
655 :    
656 :     =cut
657 :    
658 :     sub write_subsystem
659 :     {
660 :     my($self) = @_;
661 :    
662 :     my $dir = $self->{dir};
663 :     my $fig = $self->{fig};
664 :    
665 :     #
666 :     # We first move the existing spreadsheet and notes files (if present)
667 :     # to spreadsheet~ and notes~, and current state.
668 :     #
669 :    
670 :     my $ss_file = "$dir/spreadsheet";
671 :     my $ss_bak = "$dir/spreadsheet~";
672 :     my $notes_file = "$dir/notes";
673 :     my $notes_bak = "$dir/notes~";
674 :    
675 :     if (-f $ss_file)
676 :     {
677 :     rename($ss_file, $ss_bak);
678 :     }
679 :    
680 :     if (-f $notes_file)
681 :     {
682 :     rename($notes_file, $notes_bak);
683 :     }
684 :    
685 :     #
686 :     # Eval this whole chunk, so that if we get any fatal errors, we can
687 :     # roll back to the old saved data.
688 :     #
689 :    
690 :     eval {
691 :     my $fh;
692 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
693 :     $self->write_spreadsheet($fh);
694 :     close($fh);
695 :    
696 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
697 :     print $fh "$self->{notes}\n";
698 :     close($fh);
699 :    
700 :     $self->update_curation_log();
701 :    
702 :     #
703 :     # Write out the piddly stuff.
704 :     #
705 :    
706 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
707 :     print $fh "$self->{exchangable}\n";
708 :     close($fh);
709 :    
710 :     #
711 :     # Process backup files. This is the smae process that determines when the
712 :     # version number should be bumped, so write the version file afterward.
713 :     #
714 :    
715 :     $self->update_backups();
716 :    
717 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/EXCHANGABLE: $!\n";
718 :     print $fh "$self->{exchangable}\n";
719 :     close($fh);
720 :    
721 :     };
722 :    
723 :     if ($@ ne "")
724 :     {
725 :     warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
726 :     }
727 :    
728 :     }
729 :    
730 :     sub update_curation_log
731 :     {
732 :     my($self) = @_;
733 :    
734 :     my $fh;
735 :     my $file = "$self->{dir}/curation.log";
736 :    
737 :     my $now = time;
738 :     my $user = $self->{fig}->get_user();
739 :    
740 :     if (-f $file)
741 :     {
742 :     open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
743 :     }
744 :     else
745 :     {
746 :     open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
747 :     print $fh "$now\t$user\tstarted\n";
748 :     }
749 :     print $fh "$now\t$user\tupdated\n";
750 :     close($fh);
751 :     }
752 :    
753 :     sub update_backups
754 :     {
755 :     my($self) = @_;
756 :    
757 :     my $dir = $self->{dir};
758 :     my $fig = $self->{fig};
759 :    
760 :     my $ss_file = "$dir/spreadsheet";
761 :     my $ss_bak = "$dir/spreadsheet~";
762 :     my $notes_file = "$dir/notes";
763 :     my $notes_bak = "$dir/notes~";
764 :    
765 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
766 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
767 :    
768 :     if ($ss_diff > 10 or $notes_diff > 10)
769 :     {
770 :     $self->make_backup();
771 :     }
772 :     }
773 :    
774 :     sub make_backup
775 :     {
776 :     my($self) = @_;
777 :    
778 :     my $dir = $self->{dir};
779 :     my $bak = "$dir/Backup";
780 :    
781 :     $self->{fig}->verify_dir($bak);
782 :    
783 :     my $ts = time;
784 :    
785 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
786 :     rename("$dir/notes~", "$bak/notes.$ts");
787 :     $self->{version}++;
788 :     }
789 :    
790 :    
791 :    
792 :     =pod
793 :    
794 :     =head1 write_spreadsheet($fh)
795 :    
796 :     Write the spreadsheet for this subsystem to filehandle $fh.
797 :    
798 :     =cut
799 :    
800 :     sub write_spreadsheet
801 :     {
802 :     my($self, $fh) = @_;
803 :    
804 :     $self->_write_roles($fh);
805 :     print $fh "//\n";
806 :    
807 :     $self->_write_subsets($fh);
808 :     print $fh "//\n";
809 :    
810 :     $self->_write_spreadsheet($fh);
811 :     }
812 :    
813 :     sub _write_roles
814 :     {
815 :     my($self, $fh) = @_;
816 :    
817 :     my(@roles, @abbrs);
818 :    
819 :     @roles = $self->get_roles();
820 :     @abbrs = $self->get_abbrs();
821 :    
822 :     while (@roles)
823 :     {
824 :     my $role = shift(@roles);
825 :     my $abbr = shift(@abbrs);
826 :    
827 :     print $fh "$abbr\t$role\n";
828 :     }
829 :     }
830 :    
831 :     sub _write_subsets
832 :     {
833 :     my($self, $fh) = @_;
834 :    
835 :     for my $sub ($self->get_subset_names())
836 :     {
837 :     my @members= $self->get_subset($sub);
838 :    
839 :     #
840 :     # member list on disk is 1-based
841 :     #
842 :    
843 :     @members = map { $_ + 1 } @members;
844 :     print $fh join("\t", $sub, @members), "\n";
845 :     }
846 :     print $fh "All\n";
847 :    
848 :     #
849 :     # separator
850 :     #
851 :    
852 :     print $fh "\n";
853 :    
854 :     #
855 :     # genome subsets.
856 :     #
857 :    
858 :     print $fh "All\n";
859 :     }
860 :    
861 :     sub _write_spreadsheet
862 :     {
863 :     my($self, $fh) = @_;
864 :    
865 :     my(@genomes);
866 :    
867 :     @genomes= $self->get_genomes();
868 :    
869 :     for (my $i = 0; $i < @genomes; $i++)
870 :     {
871 :     my $genome = $genomes[$i];
872 :     my $vc = $self->get_variant_code($i);
873 :    
874 :     my $row = $self->get_row($i);
875 :    
876 :     if ($vc eq "")
877 :     {
878 :     $vc = "0";
879 :     }
880 :     print $fh "$genome\t$vc";
881 :    
882 :     for my $entry (@$row)
883 :     {
884 :     my(@p);
885 :    
886 :     for my $peg (@$entry)
887 :     {
888 :     if ($peg =~ /fig\|$genome\.peg\.(\d+)$/)
889 :     {
890 :     push(@p, $1);
891 :     }
892 :     else
893 :     {
894 :     warn "Bad peg $peg in cell for $genome";
895 :     }
896 :     }
897 :     print $fh "\t", join(",", @p);
898 :     }
899 :     print $fh "\n";
900 :     }
901 :     }
902 :    
903 :    
904 :     =pod
905 :    
906 : olson 1.2 =head1 get_genomes
907 :    
908 :     =cut
909 : olson 1.25
910 : olson 1.2 sub get_genomes
911 :     {
912 :     my($self) = @_;
913 :    
914 :     my $glist = $self->{genome};
915 :    
916 : olson 1.25 return @$glist;
917 : olson 1.2 }
918 :    
919 :     =pod
920 :    
921 :     =head1 get_variant_codes
922 :    
923 :     =cut
924 : olson 1.25
925 : olson 1.2 sub get_variant_codes
926 :     {
927 :     my($self) = @_;
928 :    
929 :     my $glist = $self->{variant_code};
930 :    
931 : olson 1.25 return @$glist;
932 :     }
933 :    
934 :     sub get_variant_code
935 :     {
936 :     my($self, $gidx) = @_;
937 :     return $self->{variant_code}->[$gidx];
938 : olson 1.2 }
939 :    
940 : olson 1.25
941 : olson 1.2 sub get_variant_code_for_genome
942 :     {
943 :     my($self, $genome) = @_;
944 :    
945 :     my $index = $self->{genome_index}->{$genome};
946 :     return $self->{variant_code}->[$index];
947 :     }
948 :    
949 :     sub get_roles
950 :     {
951 :     my($self) = @_;
952 :    
953 :     my $rlist = $self->{roles};
954 :    
955 : olson 1.25 return @$rlist;
956 :     }
957 :    
958 :     sub get_abbrs
959 :     {
960 :     my($self) = @_;
961 :    
962 :     my $rlist = $self->{role_abbrs};
963 :    
964 :     return @$rlist;
965 : olson 1.2 }
966 :    
967 : olson 1.10 sub get_row :scalar
968 : olson 1.1 {
969 :     my($self, $row) = @_;
970 :    
971 :     return $self->{spreadsheet}->[$row];
972 :     }
973 :    
974 : olson 1.21 sub get_col :scalar
975 : olson 1.1 {
976 :     my($self, $col) = @_;
977 :    
978 :     return $self->{spreadsheet_inv}->[$col];
979 :     }
980 :    
981 : olson 1.21 sub get_cell :scalar
982 : olson 1.1 {
983 :     my($self, $row, $col) = @_;
984 :    
985 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
986 :     return $cell;
987 : olson 1.1 }
988 :    
989 : olson 1.21 sub get_genome_index :scalar
990 : olson 1.3 {
991 :     my($self, $genome) = @_;
992 :    
993 :     return $self->{genome_index}->{$genome};
994 :     }
995 :    
996 : olson 1.21 sub get_genome :scalar
997 : olson 1.3 {
998 :     my($self, $gidx) = @_;
999 :    
1000 :     return $self->{genome}->[$gidx];
1001 :     }
1002 :    
1003 : olson 1.21 sub get_role_index :scalar
1004 : olson 1.5 {
1005 :     my($self, $role) = @_;
1006 :    
1007 :     return $self->{role_index}->{$role};
1008 :     }
1009 :    
1010 : olson 1.21 sub get_role :scalar
1011 : olson 1.3 {
1012 :     my($self, $ridx) = @_;
1013 :    
1014 :     return $self->{roles}->[$ridx];
1015 :     }
1016 :    
1017 : olson 1.21 sub get_role_abbr :scalar
1018 : olson 1.4 {
1019 :     my($self, $ridx) = @_;
1020 :    
1021 :     return $self->{role_abbrs}->[$ridx];
1022 :     }
1023 :    
1024 : olson 1.21 sub get_role_from_abbr :scalar
1025 : olson 1.20 {
1026 :     my($self, $abbr) = @_;
1027 :    
1028 :     return $self->{abbr}->{$abbr};
1029 :     }
1030 :    
1031 : olson 1.26 =pod
1032 :    
1033 :     =head1 set_pegs_in_cell($genome, $role, $peg_list)
1034 :    
1035 :     Set the cell for the given genome and role to $peg_list.
1036 :    
1037 :     =cut
1038 :    
1039 :     sub set_pegs_in_cell
1040 :     {
1041 :     my($self, $genome, $role, $peg_list) = @_;
1042 :     my($row, $col);
1043 :    
1044 :     #
1045 :     # If row isn't numeric, look it up in the genomes list.
1046 :     #
1047 :    
1048 :     if ($genome !~ /^\d+$/)
1049 :     {
1050 :     $row = $self->{genome_index}->{$genome};
1051 :     }
1052 :     else
1053 :     {
1054 :     $row = $genome
1055 :     }
1056 :    
1057 :     if (!$row)
1058 :     {
1059 :     warn "Cannot find row for $genome\n";
1060 :     return undef;
1061 :     }
1062 :    
1063 :     #
1064 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1065 :     #
1066 :    
1067 :     if ($role !~ /^\d+$/)
1068 :     {
1069 :     #
1070 :     # See if it's an abbr
1071 :     #
1072 :    
1073 :     my $a = $self->{abbr}->{$role};
1074 :     $colstr = $a if $a;
1075 :    
1076 :     $col = $self->{role_index}->{$role};
1077 :     }
1078 :     else
1079 :     {
1080 :     $col = $role;
1081 :     }
1082 :    
1083 :     if (!$col)
1084 :     {
1085 :     warn "Cannot find col for $role\n";
1086 :     return undef;
1087 :     }
1088 :     my $cell = $self->get_cell($row, $col);
1089 :    
1090 :     if ($cell)
1091 :     {
1092 :     @$cell = @$peg_list;
1093 :     }
1094 :     else
1095 :     {
1096 :     warn "set_pegs_in_cell: Could not find cell!";
1097 :     }
1098 :     }
1099 :    
1100 : olson 1.1 sub get_pegs_from_cell
1101 :     {
1102 :     my($self, $rowstr, $colstr) = @_;
1103 :     my($row, $col);
1104 :    
1105 :     #
1106 :     # If row isn't numeric, look it up in the genomes list.
1107 :     #
1108 :    
1109 :     if ($rowstr !~ /^\d+$/)
1110 :     {
1111 :     $row = $self->{genome_index}->{$rowstr};
1112 :     }
1113 :     else
1114 :     {
1115 :     $row = $rowstr;
1116 :     }
1117 :    
1118 :     if (!$row)
1119 :     {
1120 :     warn "Cannot find row for $rowstr\n";
1121 :     return undef;
1122 :     }
1123 :    
1124 :     #
1125 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1126 :     #
1127 :    
1128 :     if ($colstr !~ /^\d+$/)
1129 :     {
1130 :     #
1131 :     # See if it's an abbr
1132 :     #
1133 :    
1134 :     my $a = $self->{abbr}->{$colstr};
1135 :     $colstr = $a if $a;
1136 :    
1137 :     $col = $self->{role_index}->{$colstr};
1138 :     }
1139 :     else
1140 :     {
1141 :     $col = $colstr;
1142 :     }
1143 :    
1144 :     if (!$col)
1145 :     {
1146 :     warn "Cannot find col for $colstr\n";
1147 :     return undef;
1148 :     }
1149 : olson 1.12 my $cell = $self->get_cell($row, $col);
1150 : olson 1.1
1151 :     if ($cell)
1152 :     {
1153 :     return @$cell;
1154 :     }
1155 :     else
1156 :     {
1157 :     return undef;
1158 :     }
1159 :     }
1160 :    
1161 : olson 1.25 #
1162 :     # Subset support
1163 :     #
1164 :    
1165 :     sub get_subset_names
1166 : olson 1.17 {
1167 :     my($self) = @_;
1168 : olson 1.25
1169 :     return @{$self->{col_subsets}};
1170 : olson 1.17 }
1171 :    
1172 : olson 1.25 sub get_subset
1173 : olson 1.17 {
1174 : olson 1.25 my($self, $subname) = @_;
1175 :     return @{$self->{col_subset_members}->{$subname}};
1176 :     }
1177 :    
1178 :     =pod
1179 :    
1180 :     =head2 set_subset($name, $members)
1181 :    
1182 :     Create a subset with the given name and members.
1183 :    
1184 :     $members is a list of role names.
1185 :    
1186 :     =cut
1187 :    
1188 :     sub set_subset
1189 :     {
1190 :     my($self, $subname, $list) = @_;
1191 :    
1192 :     my $nl = [map { $self->get_role_index($_) } @$list];
1193 :    
1194 :     $self->_set_subset($subname, $nl);
1195 :     }
1196 :    
1197 :     =pod
1198 :    
1199 :     =head2 _set_subset($name, $members)
1200 :    
1201 :     Create a subset with the given name and members.
1202 :    
1203 :     Internal version - here, members is a list of role indices.
1204 :    
1205 :     =cut
1206 :    
1207 :     sub _set_subset
1208 :     {
1209 :     my($self, $subname, $list) = @_;
1210 :     $self->{col_subset_members}->{$subname} = $list;
1211 :     }
1212 :    
1213 :     #
1214 :     # Role manipulation.
1215 :     #
1216 :    
1217 :    
1218 :     =pod
1219 :    
1220 :     =head1 set_roles($role_list)
1221 :    
1222 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
1223 :    
1224 :     If a role already exists, it is used. If it does not exist, it is created empty.
1225 :    
1226 :     =cut
1227 :    
1228 :     sub set_roles
1229 :     {
1230 :     my($self, $roles) = @_;
1231 :    
1232 :     #
1233 :     # We do this by first creating a new spreadsheet.
1234 :     #
1235 :     # It is easiest to do this by manipulating the inverted spreadsheet
1236 :     # (role-major), and then creating the non-inverted spreadsheet from it.
1237 :     #
1238 :    
1239 :     my $oldss = $self->{spreadsheet};
1240 :     my $oldssinv = $self->{spreadsheet_inv};
1241 :    
1242 :     my $ss = [];
1243 :     my $ssinv = [];
1244 :    
1245 :     my $g = $self->{genome};
1246 :     my $ng = @$g;
1247 :    
1248 :     my $old_roles = $self->{role_index};
1249 :    
1250 :     my @role_index_conversion;
1251 :    
1252 :    
1253 :     $self->{abbr} = {};
1254 :     $self->{role_index} = {};
1255 :     $self->{roles} = [];
1256 :     $self->{role_abbrs} = [];
1257 :    
1258 :    
1259 :     for (my $idx = 0; $idx < @$roles; $idx++)
1260 :     {
1261 :     my $role = $roles->[$idx]->[0];
1262 :     my $abbr = $roles->[$idx]->[1];
1263 :    
1264 :     my $old_idx = $old_roles->{$role};
1265 :    
1266 :     if (defined($old_idx))
1267 :     {
1268 :     print "Found old idx $old_idx for $role $idx\n";
1269 :     print $oldssinv->[$old_idx];
1270 :     $ssinv->[$idx] = $oldssinv->[$old_idx];
1271 :    
1272 :     $role_index_conversion[$old_idx] = $idx;
1273 :     }
1274 :     else
1275 :     {
1276 :     print "Did not find old role for $role $idx\n";
1277 :     print Dumper($old_roles);
1278 :     my $l = [];
1279 :     for (my $j = 0; $j < $ng; $j++)
1280 :     {
1281 :     $l->[$j] = [];
1282 :     }
1283 :    
1284 :     $ssinv->[$idx] = $l;
1285 :     }
1286 :    
1287 :     #
1288 :     # While we're here, update the new role and abbrev indexes
1289 :     #
1290 :     $self->{role_index}->{$role} = $idx;
1291 :     $self->{abbr}->{$abbr} = $role;
1292 :     $self->{roles}->[$idx] = $role;
1293 :     $self->{role_abbrs}->[$idx] = $abbr;
1294 :     }
1295 :    
1296 :     #
1297 :     # Now create the uninverted spreadsheet.
1298 :     #
1299 :    
1300 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
1301 :     {
1302 :     my $row = [];
1303 :     $ss->[$gidx] = $row;
1304 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
1305 :     {
1306 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
1307 :     }
1308 :     }
1309 :    
1310 :     $self->{spreadsheet} = $ss;
1311 :     $self->{spreadsheet_inv} = $ssinv;
1312 :    
1313 :     #
1314 :     # Fix up the subsets.
1315 :     #
1316 :    
1317 :    
1318 :     for my $subset ($self->get_subset_names())
1319 :     {
1320 :     my $n = [];
1321 :     for my $idx ($self->get_subset($subset))
1322 :     {
1323 :     my $new = $role_index_conversion[$idx];
1324 :     if (defined($new))
1325 :     {
1326 :     push(@$n, $new);
1327 :     }
1328 :     }
1329 :     $self->_set_subset($subset, $n);
1330 :     }
1331 :    
1332 :     }
1333 :    
1334 :     =pod
1335 :    
1336 :     =head1 C<add_role($role, $abbr)>
1337 :    
1338 :     Add the given role to the spreadsheet.
1339 :    
1340 :     This causes a new column to be added, with empty values in each cell.
1341 :    
1342 :     We do nothing if the role is already present.
1343 :    
1344 :     Return the index of the new role.
1345 :    
1346 :     =cut
1347 :    
1348 :     sub add_role
1349 :     {
1350 :     my($self, $role, $abbr) = @_;
1351 :    
1352 :     if (defined($self->get_role_index($role)))
1353 :     {
1354 :     warn "Role $role already present\n";
1355 :     return undef;
1356 :     }
1357 :    
1358 :     #
1359 :     # Add to the roles list. It goes at the end.
1360 :     #
1361 :    
1362 :     my $idx = @{$self->{roles}};
1363 :     $self->{roles}->[$idx] = $role;
1364 :     $self->{role_abbrs}->[$idx] = $abbr;
1365 :     $self->{role_index}->{$role} = $idx;
1366 :     $self->{abbr}->{$abbr} = $role;
1367 :    
1368 :     #
1369 :     # Update the spreadsheet.
1370 :     # On the standard one, we have to go through all the rows adding
1371 :     # a columnt to each.
1372 :     #
1373 :     # On the inverted one, we add a column with [] in each entry.
1374 :     #
1375 :    
1376 :     my $ng = @{$self->{genome}};
1377 :     my $newcol = [];
1378 :    
1379 :     for (my $i = 0; $i < $ng; $i++)
1380 :     {
1381 :     my $cell = [];
1382 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
1383 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
1384 :     $newcol->[$i] = $cell;
1385 :     }
1386 :    
1387 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
1388 :    
1389 :     return $idx;
1390 :     }
1391 :    
1392 :     =pod
1393 :    
1394 :     =head1 remove_role($role)
1395 :    
1396 :     Remove the role from the spreadsheet.
1397 :    
1398 :     We do nothing if the role is not present.
1399 :    
1400 :     =cut
1401 :    
1402 :     sub remove_role
1403 :     {
1404 :     my($self, $role) = @_;
1405 :    
1406 :     my $idx = $self->get_role_index($role);
1407 :     if (!defined($idx))
1408 :     {
1409 :     warn "Role $role not present\n";
1410 :     return undef;
1411 :     }
1412 :    
1413 :     #
1414 :     # Remove from the roles list.
1415 :     #
1416 :    
1417 :     my $abbr = $self->{role_abbrs}->[$idx];
1418 :    
1419 :     splice(@{$self->{roles}}, $idx, 1);
1420 :     splice(@{$self->{role_abbrs}}, $idx, 1);
1421 :     delete $self->{role_index}->{$role};
1422 :     delete $self->{abbr}->{$abbr};
1423 :    
1424 :     #
1425 :     # Update the spreadsheet.
1426 :     # On the standard one, we have to go through all the rows removing
1427 :     # the column from each.
1428 :     #
1429 :     # On the inverted one, we just remove the column.
1430 :     #
1431 :    
1432 :     my $ng = @{$self->{genome}};
1433 :     my $newcol = [];
1434 :    
1435 :     for (my $i = 0; $i < $ng; $i++)
1436 :     {
1437 :     splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
1438 :     }
1439 :    
1440 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
1441 :    
1442 :     #
1443 :     # We need to rewrite the subsets. if $idx was present in one, it is
1444 :     # removed. Any index >$idx is decremented.
1445 :     #
1446 :    
1447 :     for my $subset ($self->get_subset_names())
1448 :     {
1449 :     my @n;
1450 :    
1451 :     for my $sidx ($self->get_subset($subset))
1452 :     {
1453 :     if ($sidx < $idx)
1454 :     {
1455 :     push(@n, $sidx);
1456 :     }
1457 :     elsif ($sidx > $idx)
1458 :     {
1459 :     push(@n, $sidx - 1);
1460 :     }
1461 :     }
1462 :    
1463 :     $self->_set_subset($subset, [@n]);
1464 :     }
1465 :     }
1466 :    
1467 :     =pod
1468 :    
1469 :     =head1 C<add_genome($genome, $abbr)>
1470 :    
1471 :     Add the given genome to the spreadsheet.
1472 :    
1473 :     This causes a new row to be added, with empty values in each cell.
1474 :    
1475 :     We do nothing if the genome is already present.
1476 :    
1477 :     Return the index of the new genome.
1478 :    
1479 :     =cut
1480 :    
1481 :     sub add_genome
1482 :     {
1483 :     my($self, $genome) = @_;
1484 :    
1485 :     my $idx = $self->get_genome_index($genome);
1486 :     if (defined($idx))
1487 :     {
1488 :     warn "Genome $genome already present\n";
1489 :     return $idx;
1490 :     }
1491 :    
1492 :     #
1493 :     # Add to the genomes list. It goes at the end.
1494 :     #
1495 :    
1496 :     my $idx = @{$self->{genome}};
1497 : olson 1.26 $self->{variant_code}->[$idx] = 0;
1498 : olson 1.25 $self->{genome}->[$idx] = $genome;
1499 :     $self->{genome_index}->{$genome} = $idx;
1500 :    
1501 :     #
1502 :     # Update the spreadsheet.
1503 :     # On the inverted one, we have to go through all the columns adding
1504 :     # a row to each.
1505 :     #
1506 :     # On the regular one, we add a row with [] in each entry.
1507 :     #
1508 :    
1509 :     my $nr = @{$self->{roles}};
1510 :     my $newrow = [];
1511 :    
1512 :     for my $i (0.. $nr - 1)
1513 :     {
1514 :     my $cell = [];
1515 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
1516 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
1517 :     $newrow->[$i] = $cell;
1518 :     }
1519 :    
1520 :     $self->{spreadsheet}->[$idx] = $newrow;
1521 :    
1522 :     return $idx;
1523 :     }
1524 :    
1525 :     =pod
1526 :    
1527 :     =head1 remove_genome($genome)
1528 :    
1529 :     Remove the genome from the spreadsheet.
1530 :    
1531 :     We do nothing if the genome is not present.
1532 :    
1533 :     =cut
1534 :    
1535 :     sub remove_genome
1536 :     {
1537 :     my($self, $genome) = @_;
1538 :    
1539 :     my $idx = $self->get_genome_index($genome);
1540 :     if (!defined($idx))
1541 :     {
1542 :     warn "Genome $genome not present\n";
1543 :     return undef;
1544 :     }
1545 :    
1546 :     #
1547 :     # Remove from the genomes list.
1548 :     #
1549 :    
1550 :     splice(@{$self->{genome}}, $idx, 1);
1551 :     splice(@{$self->{variant_code}}, $idx, 1);
1552 :    
1553 :     delete $self->{genome_index}->{$genome};
1554 :    
1555 :     #
1556 :     # Update the spreadsheet.
1557 :     # On the inverted one, we have to go through all the columns removing
1558 :     # the row from each.
1559 :     #
1560 :     # On the standard one, we just remove the row.
1561 :     #
1562 :    
1563 :     my $nr = @{$self->{roles}};
1564 :    
1565 :     for my $i (0 .. $nr - 1)
1566 :     {
1567 :     splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
1568 :     }
1569 :    
1570 :     splice(@{$self->{spreadsheet}}, $idx, 1);
1571 :    
1572 :     }
1573 :    
1574 :     sub get_name :scalar
1575 :     {
1576 :     my($self) = @_;
1577 :     return $self->{name};
1578 :     }
1579 :    
1580 :    
1581 :     sub get_version :scalar
1582 :     {
1583 :     my($self) = @_;
1584 :     return $self->{version};
1585 : olson 1.17 }
1586 :    
1587 : olson 1.26 sub get_notes :scalar
1588 :     {
1589 :     my($self) = @_;
1590 :    
1591 :     return $self->{notes};
1592 :     }
1593 :    
1594 :     sub set_notes
1595 :     {
1596 :     my($self, $notes) = @_;
1597 :    
1598 :     self->{notes} = $notes;
1599 :     }
1600 :    
1601 : olson 1.17 sub get_curator :scalar
1602 :     {
1603 :     my($self) = @_;
1604 :     return $self->{curator};
1605 :     }
1606 :    
1607 : olson 1.25 #
1608 :     # Subsystem copying logic
1609 :     #
1610 :    
1611 :     =pod
1612 :    
1613 :     =head2 add_to_subsystem($subsystem_name, $columns, $notes_flag)
1614 :    
1615 :     Merge the given columns from $subsystem_name into this subsystem. Append the
1616 :     notes from the subsystem if $notes_flag is true.
1617 :    
1618 :     =cut
1619 :    
1620 :     sub add_to_subsystem
1621 :     {
1622 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
1623 :    
1624 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
1625 :    
1626 :     if (!$ss)
1627 :     {
1628 :     warn "Cannot open subsystem '$subsystem_name' to copy from";
1629 :     return;
1630 :     }
1631 :    
1632 :     #
1633 :     # Merge the data from the other subsystem.
1634 :     #
1635 :     # First we assure ourselves that we have the appropriate roles. While
1636 :     # we do this, build the list of row indices (in this subsystem) that
1637 :     # map to the roles we are adding.
1638 :     #
1639 :    
1640 :     #
1641 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
1642 :     #
1643 :    
1644 :     my @local_roles;
1645 :    
1646 :     #
1647 :     # his_roles = list of role indices corresponding to the remote roles.
1648 :     #
1649 :     my @his_roles;
1650 :    
1651 :     for my $his_role (@$cols)
1652 :     {
1653 :     my $idx = $self->get_role_index($his_role);
1654 :     my $his_idx = $ss->get_role_index($his_role);
1655 :    
1656 :     if (!defined($his_idx))
1657 :     {
1658 :     confess "Cannot map his role $his_role\n";
1659 :     }
1660 :     push(@his_roles, $his_idx);
1661 :    
1662 :     if (!defined($idx))
1663 :     {
1664 :     my $his_abbr = $ss->get_role_abbr($his_idx);
1665 :    
1666 :     $idx = $self->add_role($his_role, $his_abbr);
1667 :     print "Adding missing role $his_role idx=$idx\n";
1668 :     }
1669 :     else
1670 :     {
1671 :     print "Found existing role $his_role idx=$idx\n";
1672 :     }
1673 :    
1674 :    
1675 :     $local_roles[$his_idx] = $idx;
1676 :     }
1677 :    
1678 :     #
1679 :     # Similar scan to ensure that we have rows for the genomes
1680 :     # that are in the other subsystem.
1681 :     #
1682 :    
1683 :     my @local_genomes;
1684 :    
1685 :     my @his_genomes = $ss->get_genomes();
1686 :    
1687 :     for my $his_idx (0..@his_genomes - 1)
1688 :     {
1689 :     my $genome = $his_genomes[$his_idx];
1690 :    
1691 :     my $my_idx = $self->get_genome_index($genome);
1692 :    
1693 :     if (!defined($my_idx))
1694 :     {
1695 :     #
1696 :     # Not there, need to add.
1697 :     #
1698 :    
1699 :     $my_idx = $self->add_genome($genome);
1700 :     print "Adding missing genome $genome idx=$my_idx\n";
1701 :     }
1702 :     else
1703 :     {
1704 :     print "Found existing genome $genome idx=$my_idx\n";
1705 :     }
1706 :    
1707 :     $local_genomes[$his_idx] = $my_idx;
1708 :     }
1709 :    
1710 :    
1711 :     #
1712 :     # Now that we have our local roles set up to receive the data,
1713 :     # process the incoming roles one at a time.
1714 :     #
1715 :    
1716 :    
1717 :     for my $his_role (@his_roles)
1718 :     {
1719 :     my $my_col = $self->get_col($local_roles[$his_role]);
1720 :     my $his_col = $ss->get_col($his_role);
1721 :    
1722 :     #
1723 :     # $his_col is the information for $his_role, indexed by
1724 :     # genome in @his_genomes.
1725 :     #
1726 :     # $my_col is hte information for my copy of $his_role,
1727 :     # indexed by genome in MY genome list.
1728 :     #
1729 :    
1730 :     my $my_role = $local_roles[$his_role];
1731 :    
1732 :     print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
1733 :    
1734 :     for my $his_gidx (0 .. @his_genomes - 1)
1735 :     {
1736 :     my $hisent = $his_col->[$his_gidx];
1737 :    
1738 :     my $my_gidx = $local_genomes[$his_gidx];
1739 :    
1740 :     my $myent = $my_col->[$my_gidx];
1741 :    
1742 :     print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
1743 :    
1744 :     my %new;
1745 :     map { $new{$_}++ } @$hisent;
1746 :     map { $new{$_}++ } @$myent;
1747 :    
1748 :     @$myent = keys(%new);
1749 :    
1750 :     print " new entry: @$myent\n";
1751 :     }
1752 :     }
1753 : olson 1.26
1754 :     #
1755 :     # Fix up the variant codes.
1756 :     #
1757 :    
1758 :     for my $his_gidx (0 .. @his_genomes - 1)
1759 :     {
1760 :     my $his_code = $ss->get_variant_code($his_gidx);
1761 :     my $my_gidx = $local_genomes[$his_gidx];
1762 :    
1763 :     if (!$self->get_variant_code($my_gidx))
1764 :     {
1765 :     $self->{variant_code}->[$my_gidx] = $his_code;
1766 :     }
1767 :     }
1768 :    
1769 :     #
1770 :     # If we are to add notes, append the other subsystem's notes text.
1771 :     #
1772 :    
1773 :     if ($add_notes)
1774 :     {
1775 :     my $his_notes = $ss->get_notes();
1776 :    
1777 :     $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
1778 :     }
1779 : olson 1.25 }
1780 : olson 1.17
1781 : olson 1.1 sub dump
1782 :     {
1783 :     my($self) = @_;
1784 :    
1785 :     for my $k (keys(%$self))
1786 :     {
1787 :     next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
1788 :     print "Key \"$k\": ", Dumper($self->{$k});
1789 :     }
1790 :     }
1791 :    
1792 : olson 1.14 #
1793 :     # Increment the subsystem's version number.
1794 :     #
1795 :     sub incr_version {
1796 :     my($self) = @_;
1797 :    
1798 :     my $dir = $self->{dir};
1799 :     my $vfile = "$dir/VERSION";
1800 :     my($ver);
1801 :    
1802 :     if (open(my $fh,"<$vfile"))
1803 :     {
1804 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
1805 :     {
1806 :     $ver = $1;
1807 :     }
1808 :     else
1809 :     {
1810 :     $ver = 0;
1811 :     }
1812 :     close($fh);
1813 :     }
1814 :     else
1815 :     {
1816 :     $ver = 0;
1817 :     }
1818 :    
1819 :     $ver++;
1820 :    
1821 :     open(my $fh, ">$vfile") || die "could not open $vfile";
1822 :     print $fh "$ver\n";
1823 :     close($fh);
1824 :    
1825 :     chmod(0777, $vfile);
1826 :    
1827 :     $self->load_version();
1828 :     }
1829 : olson 1.1
1830 :     sub get_dir_from_name
1831 :     {
1832 :     my($name) = @_;
1833 :    
1834 :     my $b = $name;
1835 :     $b =~ s/ /_/g;
1836 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
1837 :     return $dir;
1838 :     }
1839 :    
1840 : olson 1.12 #
1841 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
1842 :     #
1843 :     # The code here is a reconstruction of Bill's "go" script in perl with
1844 :     # data pulled from the local SEED configuration.
1845 :     #
1846 :    
1847 :     sub extend_with_billogix
1848 :     {
1849 :     my($self, $muser) = @_;
1850 :     my($isMaster, $user);
1851 :    
1852 :     my $now = time();
1853 :    
1854 :     if ($muser =~ /master:(.*)/)
1855 :     {
1856 :     $isMaster = 1;
1857 :     $user = $1;
1858 :     }
1859 :     else
1860 :     {
1861 :     $isMaster = 0;
1862 :     $user = $muser;
1863 :     }
1864 :    
1865 :     #
1866 :     # Find the executable.
1867 :     #
1868 :    
1869 :     my $exe = "$FIG_Config::bin/billogix";
1870 :    
1871 :     if (! -x $exe)
1872 :     {
1873 :     warn "Cannot find billogix exe at $exe\n";
1874 :     return;
1875 :     }
1876 :    
1877 :     my $ss_name = $self->{name};
1878 : olson 1.18
1879 :     $ss_name =~ s/\s+/_/g;
1880 :    
1881 : olson 1.14 my $ss_dir = "$self->{dir}/";
1882 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
1883 : olson 1.12 &FIG::verify_dir($assign_dir);
1884 :    
1885 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
1886 :     my $job_id = "${when}:sss:$ss_name";
1887 :    
1888 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
1889 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
1890 : olson 1.12
1891 :     #
1892 :     # Have the prereq stuff, now start up the app.
1893 :     #
1894 :    
1895 :     $ENV{LOCALSZ} = "80000";
1896 :     $ENV{GLOBALSZ} = "80000";
1897 :     $ENV{TRAILSZ} = "30000";
1898 : olson 1.13
1899 :     my $arch = &FIG::get_current_arch();
1900 :    
1901 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
1902 :    
1903 :     #
1904 :     # Need to ensure pl2wam is in our path
1905 :     #
1906 :    
1907 :     $ENV{PATH} = "${FIG_Config::ext_bin}:$ENV{PATH}";
1908 : olson 1.12
1909 : olson 1.23 #
1910 :     # We're going to divide the run into $n_chunks chunks.
1911 :     #
1912 :    
1913 :     my $n_chunks = 10;
1914 :    
1915 :     my($log);
1916 :     open($log, ">$ss_dir/$job_id.log");
1917 :    
1918 :     for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
1919 :     {
1920 :     my $app_input = <<EOINP;
1921 : olson 1.12 ['\$BILLOGIX/top'].
1922 :     loadup.
1923 : olson 1.23 asserta(part($this_chunk, $n_chunks)).
1924 : olson 1.12 asserta(url_default_seed('$seed')).
1925 : olson 1.13 asserta(url_export_part('$export_part')).
1926 : olson 1.12 asserta(ss_directory('$ss_dir')).
1927 :     asserta(assign_directory('$assign_dir')).
1928 :     asserta(job_id('$job_id')).
1929 :     extend_test3('$ss_name').
1930 :     EOINP
1931 :    
1932 : olson 1.23 print STDERR <<EOF;
1933 : olson 1.12 Starting app
1934 :    
1935 : olson 1.23 chunk $this_chunk of $n_chunks
1936 : olson 1.12 ss_name = $ss_name
1937 :     ss_dir = $ss_dir
1938 :     user = $user
1939 :     assign_dir = $assign_dir
1940 :     exe = $exe
1941 : olson 1.13 libdir = $ENV{BILLOGIX}
1942 :     path = $ENV{PATH}
1943 : olson 1.12
1944 :     App input
1945 :     $app_input
1946 :     EOF
1947 :     # feh, put in a block to reset perlmode indentation.
1948 : olson 1.23 {
1949 :     my($app_read, $app_write);
1950 :    
1951 :     #
1952 :     # Start the actual application with stdin and stdout redirected
1953 :     # to pipes.
1954 :     #
1955 :     # We write $app_input to the stdin pipe, and close it.
1956 :     # Then loop reading stdout, logging that output.
1957 :     #
1958 :     my $pid = open2($app_read, $app_write, $exe);
1959 :    
1960 :     if (!$pid)
1961 :     {
1962 :     warn "open2 $exe failed: $!\n";
1963 :     print $log "open2 $exe failed: $!\n";
1964 :     return;
1965 :     }
1966 :    
1967 :     print $app_write $app_input;
1968 :     close($app_write);
1969 :    
1970 :     #
1971 :     # Set autoflush on the logfile.
1972 :     #
1973 :    
1974 :     my $old = select($log);
1975 :     $| = 1;
1976 :     select(STDERR);
1977 :     $| = 1;
1978 :     select($old);
1979 :    
1980 :     warn "Starting $exe with pid $pid\n";
1981 :     print $log "Starting $exe with pid $pid\n";
1982 :    
1983 :     while (<$app_read>)
1984 :     {
1985 :     print STDERR $_;
1986 :     print $log $_;
1987 :     }
1988 :    
1989 :     print STDERR "App done\n";
1990 :     print $log "App done\n";
1991 :    
1992 :     close($app_read);
1993 :    
1994 :     my $ret = waitpid($pid, 0);
1995 :     my $stat = $?;
1996 :     print STDERR "Return status is $?\n";
1997 :     print $log "Return status is $?\n";
1998 :    
1999 :     #
2000 :     # This chunk has finished. We should see a file
2001 :     # rows.$this_chunk.$n_chunks.
2002 :     #
2003 :     }
2004 :     }
2005 :     #
2006 :     # At this point, the extension is finished (we've run the
2007 :     # $n_chunks parts of the extension job).
2008 :     #
2009 : olson 1.12
2010 : olson 1.14 #
2011 : olson 1.23 # We read in all the individual rows files, writing the single
2012 :     # concatenation of rows.
2013 : olson 1.14 #
2014 : olson 1.12
2015 : olson 1.23 my $ssaD = $self->{dir};
2016 :    
2017 :     my $rows_file = "$ssaD/rows";
2018 :    
2019 :     my $rowFH;
2020 :     if (!open($rowFH, ">$rows_file"))
2021 : olson 1.12 {
2022 : olson 1.23 my $err = "Cannot open rows file $ssaD/rows for writing: $!\n";
2023 :     print STDERR $err;
2024 :     print $log $err;
2025 : olson 1.12 return;
2026 :     }
2027 :    
2028 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2029 :     {
2030 :     my $chunkFH;
2031 :     my $cfile = "$ssaD/rows.$this_chunk.$n_chunks";
2032 :     if (!open($chunkFH, "<$cfile"))
2033 :     {
2034 :     my $err = "Cannot open rows file $cfile for reading: $!\n";
2035 :     print STDERR $err;
2036 :     print $log $err;
2037 :     return;
2038 :     }
2039 :     while (<$chunkFH>)
2040 :     {
2041 :     print $rowFH $_;
2042 :     }
2043 :     close($chunkFH);
2044 :     }
2045 :     close($rowFH);
2046 : olson 1.12
2047 :     #
2048 : olson 1.23 # Concatenate the assignments into the assignment directory.
2049 : olson 1.12 #
2050 :    
2051 : olson 1.23 my $assignments_file = "$assign_dir$job_id";
2052 :     my $assignFH;
2053 : olson 1.12
2054 : olson 1.23 if (!open($assignFH, ">$assignments_file"))
2055 : olson 1.12 {
2056 : olson 1.23 my $err = "Cannot open assignments file $assignments_file for writing: $!\n";
2057 :     print STDERR $err;
2058 :     print $log $err;
2059 :     return;
2060 : olson 1.12 }
2061 :    
2062 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2063 : olson 1.19 {
2064 : olson 1.23 my $aFH;
2065 :     my $afile = "$ssaD/assignments.$this_chunk.$n_chunks";
2066 :     if (!open($aFH, "<$afile"))
2067 :     {
2068 :     my $err = "Cannot open assignments file $afile for reading: $!\n";
2069 :     print STDERR $err;
2070 :     print $log $err;
2071 :     return;
2072 :     }
2073 :     while (<$aFH>)
2074 :     {
2075 :     print $assignFH $_;
2076 :     }
2077 :     close($aFH);
2078 : olson 1.19 }
2079 : olson 1.23 close($assignFH);
2080 : olson 1.19
2081 : olson 1.23
2082 :    
2083 : olson 1.19 #
2084 : olson 1.14 # Back up the spreadsheet, and append the rows file to it.
2085 :     #
2086 :    
2087 :     &FIG::verify_dir("$ssaD/Backup");
2088 :     my $ts = time;
2089 :     rename("$ssaD/spreadsheet~","$ssaD/Backup/spreadsheet.$ts");
2090 :     copy("$ssaD/spreadsheet","$ssaD/spreadsheet~");
2091 :     rename("$ssaD/notes~","$ssaD/Backup/notes.$ts");
2092 :    
2093 :     #
2094 :     # Append the new rows to the spreadsheet.
2095 :     #
2096 :    
2097 :     my($ssafh, $rowsfh);
2098 :     open($ssafh, ">>$ssaD/spreadsheet") or die "Cannot open $ssaD/spreadsheet for append: $!\n";
2099 :     open($rowsfh, "<$ssaD/rows") or die "Cannot open $ssaD/rows for reading: $!\n";
2100 :    
2101 :     while (<$rowsfh>)
2102 :     {
2103 :     print $ssafh $_;
2104 :     }
2105 :     close($ssafh);
2106 :     close($rowsfh);
2107 :    
2108 :     $self->incr_version();
2109 : olson 1.12 }
2110 : olson 1.13
2111 : olson 1.14
2112 : olson 1.13 sub set_current_extend_pid
2113 :     {
2114 :     my($self, $pid) = @_;
2115 :    
2116 :     if (open(my $fh, ">$self->{dir}/EXTEND_PID"))
2117 :     {
2118 :     print $fh "$pid\n";
2119 :     }
2120 :     else
2121 :     {
2122 :     warn "Cannot open $self->{dir}/EXTEND_PID: $!\n";
2123 :     }
2124 :     }
2125 :    
2126 :     sub get_current_extend_pid
2127 :     {
2128 :     my($self) = @_;
2129 :    
2130 :     if (open(my $fh, "<$self->{dir}/EXTEND_PID"))
2131 :     {
2132 :     my $pid = <$fh>;
2133 :     close($fh);
2134 :     if ($pid)
2135 :     {
2136 :     chomp $pid;
2137 :    
2138 :     return $pid;
2139 :     }
2140 :     }
2141 :     return undef;
2142 :     }
2143 : olson 1.12
2144 : olson 1.7 package Subsystem::Diagram;
2145 :    
2146 :     sub new
2147 :     {
2148 :     my($class, $sub, $fig, $name, $dir) = @_;
2149 :    
2150 :     if (!-d $dir)
2151 :     {
2152 :     return undef;
2153 :     }
2154 :    
2155 :     my $self = {
2156 :     fig => $fig,
2157 :     subsystem => $sub,
2158 :     name => $name,
2159 :     dir =>$ dir,
2160 :     };
2161 :     bless $self, $class;
2162 :    
2163 :     $self->load();
2164 :    
2165 :     return $self;
2166 :     }
2167 :    
2168 :     #
2169 :     # Parse the diagram into internal data structure.
2170 :     #
2171 :    
2172 :     sub load
2173 :     {
2174 :     my($self) = @_;
2175 :    
2176 :     $self->load_area();
2177 :     }
2178 :    
2179 :     sub load_area
2180 :     {
2181 :     my($self) = @_;
2182 :     my $fh;
2183 :    
2184 : olson 1.8 if (!open($fh, "<$self->{dir}/area_table"))
2185 : olson 1.7 {
2186 : olson 1.8 warn "Could not load $self->{dir}/area_table: $!\n";
2187 : olson 1.7 return;
2188 :     }
2189 :    
2190 :     $self->{areas} = [];
2191 :    
2192 :     my $area_list = $self->{areas};
2193 :    
2194 :     while (<$fh>)
2195 :     {
2196 :     chomp;
2197 :     s/#.*$//;
2198 :     s/^\s+//;
2199 :     s/\s+$//;
2200 :     next if $_ eq '';
2201 :     my ($area, $tag, $value) = split(/\s+/, $_, 3);
2202 :     # print "area=$area tag=$tag value=$value\n";
2203 :    
2204 :     push(@$area_list, [$area, $tag, $value]);
2205 :    
2206 :     #
2207 :     # Do a little checking.
2208 :     #
2209 :    
2210 :     if ($tag eq "role")
2211 :     {
2212 :     my $idx = $self->{subsystem}->get_role_index($value);
2213 :     if (!defined($idx))
2214 :     {
2215 :     warn "Role not found for \"$value\" in subsystem $self->{subsystem}->{name}\n";
2216 :     }
2217 :     }
2218 :     }
2219 :     close($fh);
2220 :     }
2221 :    
2222 :     sub get_areas
2223 :     {
2224 :     my($self) = @_;
2225 :    
2226 :     return @{$self->{areas}};
2227 :     }
2228 :    
2229 : olson 1.1 1;
2230 : olson 1.7
2231 :    

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3