[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.58 - (view) (download) (as text)

1 : olson 1.1 package Subsystem;
2 :    
3 : olson 1.25 use Carp;
4 : olson 1.1 use FIG;
5 :    
6 : olson 1.10 use FIGAttributes;
7 :     use base 'FIGAttributes';
8 :    
9 : olson 1.12 use POSIX;
10 : olson 1.7 use DirHandle;
11 : olson 1.1 use Data::Dumper;
12 : olson 1.14 use File::Copy;
13 : olson 1.1 use File::Spec;
14 : olson 1.12 use IPC::Open2;
15 : olson 1.1
16 :     use strict;
17 :    
18 : olson 1.2 =pod
19 :    
20 :     =head1 Subsystem manipulation.
21 :    
22 :     Any manipulation of subsystem data should happen through this interface.
23 :     This allows us to assure ourselves that the relational tables that
24 :     mirror and index the subsystem data are kept up to date with the
25 :     canonical version of the subsystem information in the flat-files
26 :     kept in $FIG_Config::data/Subsystems.
27 :    
28 : olson 1.25 =head2 Objects.
29 :    
30 :     We define the following perl objects:
31 :    
32 :     Subsystem: represents a subsystem. It can be read from disk and
33 :     written to disk, and manipulated via its methods when in memory.
34 :    
35 :     If we were completely on the OO side of the world, we would also
36 :     define the following set of objects. However, we are not, so they are
37 :     only objects in a conceptual sense. They are implemented using the
38 :     basic perl datatypes.
39 :    
40 :     Role: represents a single role. A role has a name and an abbreviation.
41 :    
42 :     RoleSubset: represents a subset of available roles. A subset has a
43 :     name and a list of role names that comprise the subset.
44 :    
45 : olson 1.2 =head2 Thoughts on locking
46 :    
47 :     It is currently dangerous for multiple users to modify spreadsheets at once.
48 :     It will likely remain dangerous while the subsystem backend is fairly
49 :     stateless, as it is with the CGI mechanism.
50 :    
51 :     We'd like to make this a little safer. One mechanism might be to allow
52 :     a user to open a subsystem for modification, and others for readonly access.
53 :     For this to work we have to be able to tell which users is allowed; current
54 :     implementation uses the curator of the subsystem for this purpose.
55 :    
56 :     NB: This module does not currently attempt to handle locking or exclusion.
57 :     It is up to the caller (user application, CGI script, etc) to do so.
58 :     It does attempt to use locking internally where appropriate.
59 :    
60 :     =head2 Data structures
61 :    
62 :     We maintain the following data structures (all members of %$self).
63 :    
64 :     =over 4
65 :    
66 :     =item dir
67 :    
68 :     Directory in which the subsystem is stored.
69 :    
70 :     =item notes
71 :    
72 :     The current notes contents for the subsystem
73 :    
74 :     =item version
75 :    
76 :     Current subsystem version.
77 :    
78 :     =item exchangable
79 :    
80 :     1 if subsystem is exchangable, 0 otherwise.
81 :    
82 :     =item roles
83 :    
84 : olson 1.25 List of role names.
85 : olson 1.2
86 :     =item role_index
87 :    
88 :     hash that maps from role name to index
89 :    
90 :     =item role_abbrs
91 :    
92 :     list of role abbreviations
93 :    
94 :     =item abbr
95 :    
96 :     hash mapping from role abbreviation to role name
97 :    
98 :     =item col_subsets
99 :    
100 :     list of column subset names
101 :    
102 :     =item col_subset_members
103 :    
104 :     hash that maps from column subset name to subset members
105 :    
106 :     =item col_active_subset
107 :    
108 :     currently-active column subset
109 :    
110 :     =item row_active_subset
111 :    
112 :     currently-active row subset
113 :    
114 :     =item genome
115 :    
116 : olson 1.25 List of genome IDs.
117 : olson 1.2
118 :     =item variant_code
119 :    
120 : olson 1.25 List of variant codes.
121 : olson 1.2
122 :     =item genome_index
123 :    
124 :     Hash mapping from genome ID to genome index.
125 :    
126 :     =item spreadsheet
127 :    
128 :     Spreadsheet data. Structured as a list of rows, each of which
129 :     is a list of entries. An entry is a list of PEG numbers.
130 :    
131 :     =item spreadsheet_inv
132 :    
133 :     Inverted structure of spreadsheet - list of columns, each of which is a list
134 :     of rows.
135 :    
136 :     =back
137 :    
138 : olson 1.25 =head2 Methods
139 :    
140 :     =over 4
141 :    
142 :     =item index_cell
143 :    
144 :     Create the subsystem_index entries for the given cell.
145 :     (NEW).
146 :    
147 :     =item delete_role(name)
148 :    
149 :     Delete the given role.
150 :    
151 :     =item add_role(name, abbr)
152 :    
153 :     Add a new role.
154 :    
155 :     =item get_subset(name)
156 :    
157 : overbeek 1.31 A deprecated form of get_subsetC
158 :    
159 :     =item get_subsetC(name)
160 :    
161 : olson 1.25 Returns a given subset. A subset is an object, implemented as a blessed array
162 :     of roles.
163 :    
164 :     =item add_genome(genome_id, variant_code)
165 :    
166 :     =item remove_genome(genome_id)
167 :    
168 :     =back
169 :    
170 : olson 1.2 =cut
171 : olson 1.1
172 :     =pod
173 :    
174 :     =head1 Subsystem constructor
175 :    
176 :     usage: $sub = Subsystem->new("subsystem name", $fig, $createFlag)
177 :    
178 :     Load the subsystem. If it does not exist, and $createFlag is true, create
179 :     a new empty subsystem.
180 :    
181 :     =cut
182 :    
183 :     sub new
184 :     {
185 :     my($class, $name, $fig, $create) = @_;
186 :    
187 :     my $ssa_dir = get_dir_from_name($name);
188 :     #
189 :     # For loading, the subsystem directory must already exist.
190 :     #
191 :    
192 : olson 1.25 if (! -d $ssa_dir and not $create)
193 : olson 1.1 {
194 : olson 1.25 # warn "Subsystem $name does not exist\n";
195 :     return undef;
196 : olson 1.1 }
197 : olson 1.56
198 :     $name =~ s/ /_/g;
199 :    
200 : olson 1.1 my $self = {
201 :     dir => $ssa_dir,
202 :     name => $name,
203 :     fig => $fig,
204 :     };
205 :    
206 :     bless($self, $class);
207 :    
208 : olson 1.25 if ($create)
209 :     {
210 :     $self->create_subsystem();
211 :     }
212 :     else
213 :     {
214 :     $self->load();
215 :     }
216 : olson 1.1
217 :     return $self;
218 :     }
219 :    
220 : olson 1.19 sub new_from_dir
221 :     {
222 :     my($class, $dir, $fig) = @_;
223 :    
224 :     my $ssa_dir = $dir;
225 : olson 1.29 my $name = $dir;
226 :     $name =~ s,.*/,,;
227 : olson 1.19
228 :     #
229 :     # For loading, the subsystem directory must already exist.
230 :     #
231 :    
232 :     my $self = {
233 :     dir => $ssa_dir,
234 :     name => $name,
235 :     fig => $fig,
236 :     };
237 :    
238 :     bless($self, $class);
239 :    
240 :     $self->load();
241 :    
242 :     return $self;
243 :     }
244 :    
245 : olson 1.25 =pod
246 :    
247 :     =head2 create_subsystem()
248 :    
249 :     Create a new subsystem. This creates the subsystem directory in the
250 :     correct place ($FIG_Config::data/Subsystems), and populates it with
251 :     the correct initial data.
252 :    
253 :     =cut
254 :    
255 : olson 1.1 sub create_subsystem
256 :     {
257 : olson 1.25 my($self) = @_;
258 :    
259 :     my $dir = $self->{dir};
260 :     my $fig = $self->{fig};
261 :    
262 :     if (-d $dir)
263 :     {
264 :     warn "Not creating: Subsystem directory $dir already exists";
265 :     return;
266 :     }
267 :    
268 :     $fig->verify_dir($dir);
269 :    
270 :     #
271 :     # Initialize empty data structures.
272 :     #
273 :    
274 :     $self->{genome} = [];
275 :     $self->{genome_index} = {};
276 :     $self->{variant_code} = [];
277 :    
278 :     $self->{abbr} = {};
279 :     $self->{role_index} = {};
280 :     $self->{roles} = [];
281 :     $self->{role_abbrs} = [];
282 : olson 1.1
283 : olson 1.25 $self->{spreadsheet} = [];
284 :     $self->{spreadsheet_inv} = [];
285 :    
286 :     $self->{col_subsets} = [];
287 :     $self->{col_subset_members} = {};
288 :    
289 : overbeek 1.31 $self->{row_subsets} = [];
290 :     $self->{row_subset_members} = {};
291 : overbeek 1.35 $self->load_row_subsets();
292 : overbeek 1.31
293 : olson 1.25 $self->{row_active_subset} = "All";
294 :     $self->{col_active_subset} = "All";
295 :    
296 :     $self->{version} = 0;
297 :     $self->{exchangable} = 0;
298 : overbeek 1.45 $self->{classification} = [];
299 : olson 1.25
300 :     $self->write_subsystem();
301 : olson 1.1 }
302 :    
303 : olson 1.5 #
304 : olson 1.7 # Retrieve the diagrams associated with this subsystem.
305 :     #
306 :     # This is done via a lookup into FIG/Data/SubsystemDiagrams/<ssaname>/<diagram-name>.
307 :     #
308 :     # Returned is a list of names.
309 :     #
310 :    
311 :     sub get_diagrams
312 :     {
313 :     my($self) = @_;
314 :    
315 :     my $b = $self->{name};
316 :     $b =~ s/ /_/g;
317 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b);
318 :    
319 :     my $dh = new DirHandle($dir);
320 :    
321 :     my @names = grep(/^[^.]/, $dh->read());
322 :    
323 :     return @names;
324 :     }
325 :    
326 :     #
327 :     # Return a Subsystem::Diagram object for this diagram.
328 :     #
329 :     sub get_diagram
330 :     {
331 :     my($self, $name) = @_;
332 :    
333 :     my $b = $self->{name};
334 :     $b =~ s/ /_/g;
335 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b, $name);
336 :    
337 :     if (-d $dir)
338 :     {
339 :     return Subsystem::Diagram->new($self, $self->{fig}, $name, $dir);
340 :     }
341 :     else
342 :     {
343 :     return undef;
344 :     }
345 :     }
346 :    
347 :     #
348 : olson 1.5 # Synchronize the database index for this subsystem to the
349 :     # subsystem data.
350 :     #
351 :     # We assume the table already exists.
352 :     #
353 :    
354 :     sub db_sync
355 :     {
356 :     my($self, $skip_delete) = @_;
357 :    
358 :     my $rdbH = $self->{fig}->db_handle();
359 :    
360 :     if (!$skip_delete)
361 :     {
362 : olson 1.25 $self->delete_indices();
363 : olson 1.5 }
364 :    
365 : olson 1.57 my $tmp = "$FIG_Config::temp/ixsub.$$";
366 :     open(TMP, ">$tmp") or die "Cannot open tmpfile $tmp: $!\n";
367 :    
368 : olson 1.5 #
369 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
370 :     #
371 :    
372 : olson 1.57 # my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?)");
373 : olson 1.6
374 : olson 1.5 for my $role ($self->get_roles())
375 :     {
376 :     my $ridx = $self->get_role_index($role);
377 :     my $col = $self->get_col($ridx);
378 :     for my $cell (@$col)
379 :     {
380 :     if ($cell)
381 :     {
382 :     for my $peg (@$cell)
383 :     {
384 : olson 1.57 # $sth->execute($peg, $self->{name}, $role);
385 :     print TMP "$peg\t$self->{nam}\t$role\n";
386 : olson 1.5 }
387 :     }
388 :     }
389 :     }
390 : olson 1.57 close(TMP);
391 :     $rdbH->load_table(file => $tmp,
392 :     tbl => 'subsystem_index');
393 : olson 1.5 }
394 :    
395 : olson 1.22 #
396 :     # Delete this subsystem's entries from the database index.
397 :     #
398 :     sub delete_indices
399 :     {
400 :     my($self) = @_;
401 :    
402 :     my $rdbH = $self->{fig}->db_handle();
403 :    
404 :     $rdbH->SQL("DELETE FROM subsystem_index where subsystem = '$self->{name}'")
405 :     }
406 :    
407 : olson 1.1 sub load
408 :     {
409 :     my($self) = @_;
410 :    
411 :     #
412 :     # Load the subsystem.
413 :     #
414 :    
415 :     my $ssa;
416 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
417 :     {
418 :     warn "Spreadsheet does not exist in subsystem\n";
419 :     return;
420 :     }
421 :    
422 :     local $/ = "//\n";
423 :    
424 :     my $roles = <$ssa>;
425 :     if ($roles)
426 :     {
427 :     $roles =~ s,$/$,,;
428 :     #
429 :     # Split on newline, filter for non-empty lines.
430 :     #
431 :     my @roles = split("\n", $roles);
432 :    
433 :     @roles = grep { $_ ne "" } @roles;
434 :    
435 :     $self->load_roles(@roles);
436 :     }
437 :    
438 :     my $subsets = <$ssa>;
439 :     if ($subsets)
440 :     {
441 :     $subsets =~ s,$/$,,;
442 :     $self->load_subsets($subsets);
443 :     }
444 :    
445 :     $/ = "\n";
446 :    
447 : overbeek 1.35 $self->load_row_subsets();
448 : olson 1.1 $self->load_genomes($ssa);
449 :    
450 :     #
451 :     # Now load the rest of the info.
452 :     #
453 :    
454 : overbeek 1.58 $self->load_reactions();
455 : olson 1.1 $self->load_notes();
456 : redwards 1.44 $self->load_classification();
457 : olson 1.1 $self->load_version();
458 :     $self->load_exchangable();
459 : olson 1.17 $self->load_curation();
460 : olson 1.1 }
461 :    
462 :     sub load_notes
463 :     {
464 :     my($self) = @_;
465 :    
466 :     $self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
467 :     }
468 :    
469 : overbeek 1.58 sub load_reactions
470 :     {
471 :     my($self) = @_;
472 :    
473 :     my $reactions = undef;
474 :     if (open(REACT,"<$self->{dir}/reactions"))
475 :     {
476 :     while (defined($_ = <REACT>))
477 :     {
478 :     if ($_ =~ /^(\S.*\S)\t(\S+)/)
479 :     {
480 :     push(@{$reactions->{$1}},split(/,/,$2));
481 :     }
482 :     }
483 :     close(REACT);
484 :     }
485 :    
486 :     $self->{reactions} = $reactions;
487 :     }
488 :    
489 :    
490 :    
491 :    
492 : redwards 1.44 sub load_classification
493 :     {
494 :     my($self) = @_;
495 :    
496 :     my $class = &FIG::file_read(File::Spec->catfile($self->{dir}, "CLASSIFICATION"));
497 :     if ($class) {$self->{classification} = [split /\t/, $class]} else {$self->{classification} = ['', '', '']}
498 :     }
499 :    
500 : olson 1.17 sub load_curation
501 :     {
502 :     my($self) = @_;
503 :    
504 : overbeek 1.47 # my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
505 :     #
506 :     # $_ = $l[0];
507 :     # chomp;
508 : olson 1.17
509 : overbeek 1.47 if (open(LOG,"<$self->{dir}/curation.log"))
510 : olson 1.17 {
511 : overbeek 1.47 while (defined($_ = <LOG>))
512 :     {
513 :     if (/^\d+\t(\S+)\s+started/)
514 :     {
515 :     $self->{curator} = $1;
516 :     }
517 :     }
518 :     close(LOG);
519 : olson 1.17 }
520 :     }
521 :    
522 : olson 1.1 sub load_version
523 :     {
524 :     my($self) = @_;
525 :    
526 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
527 :     my $l = $l[0];
528 :     chomp $l;
529 :     $self->{version} = $l;
530 :     }
531 :    
532 :     sub load_exchangable
533 :     {
534 :     my($self) = @_;
535 :    
536 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
537 :    
538 :     if (-f $file)
539 :     {
540 :     my($l, @l);
541 :    
542 :     @l = &FIG::file_head($file, 1);
543 :     $l = $l[0];
544 :     chomp $l;
545 :     $self->{exchangable} = $l;
546 :     }
547 :     else
548 :     {
549 :     $self->{exchangable} = 0;
550 :     }
551 :     }
552 :    
553 :    
554 :     sub load_roles
555 :     {
556 :     my($self, @roles) = @_;
557 :    
558 : olson 1.5 $self->{abbr} = {};
559 :     $self->{role_index} = {};
560 :     $self->{roles} = [];
561 :     $self->{role_abbrs} = [];
562 :    
563 : olson 1.25 my $i = 0;
564 : olson 1.1 for my $role (@roles)
565 :     {
566 :     my($abbr, $name) = split(/\t/, $role);
567 : overbeek 1.49 $abbr =~ s/^\s+//;
568 :     $abbr =~ s/\s+$//;
569 :     $name =~ s/^\s+//;
570 :     $name =~ s/\s+$//;
571 : olson 1.2 # print "Role $i: abbr=$abbr name=$name\n";
572 : olson 1.1
573 :     $self->{abbr}->{$abbr} = $name;
574 :     $self->{role_index}->{$name} = $i;
575 :     $self->{roles}->[$i] = $name;
576 : olson 1.4 $self->{role_abbrs}->[$i] = $abbr;
577 : olson 1.1 $i++;
578 :     }
579 :     }
580 :    
581 :     sub load_subsets
582 :     {
583 :     my($self, $subsets) = @_;
584 :    
585 :     #
586 :     # Column and row subsets.
587 :     #
588 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
589 :    
590 :     #
591 :     # Handle column subsets.
592 :     #
593 :    
594 :     my @subsetsC = split(/\n/, $subsetsC);
595 :    
596 :     #
597 :     # Determine active subset.
598 :     #
599 :    
600 :     my $active_subsetC;
601 :     if (@subsetsC > 0)
602 :     {
603 :     $active_subsetC = pop(@subsetsC);
604 :     }
605 :     else
606 :     {
607 :     $active_subsetC = 'All';
608 :     }
609 :    
610 :     $self->{col_active_subset} = $active_subsetC;
611 :    
612 :     $self->{col_subsets} = [];
613 : olson 1.5 $self->{col_subset_members} = {};
614 :    
615 : olson 1.1 for my $subset (@subsetsC)
616 :     {
617 :     my($name, @members) = split(/\s+/, $subset);
618 :    
619 : olson 1.25 #
620 :     # File format has members 1-based.
621 :     #
622 :    
623 :     @members = map { $_ - 1 } @members;
624 :    
625 : olson 1.1 push(@{$self->{col_subsets}}, $name);
626 :    
627 :     #
628 :     # Map role members from name to index if necessary.
629 :     #
630 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
631 :     #
632 :     @members = map {
633 :     if (my $new = $self->{role_index}->{$_})
634 :     {
635 :     $new;
636 :     }
637 :     else
638 :     {
639 :     $_;
640 :     }
641 :     } @members;
642 :    
643 :     @{$self->{col_subset_members}->{$name}} = @members;
644 :     }
645 :    
646 :     #
647 :     # Now the row subsets.
648 :     #
649 :    
650 :     chomp($subsetsR);
651 :    
652 :     if ($subsetsR =~ /(\S+.*\S+)/)
653 :     {
654 : olson 1.25 $self->{row_active_subset} = $1;
655 : olson 1.1 }
656 :     else
657 :     {
658 : olson 1.25 $self->{row_active_subset} = 'All';
659 : olson 1.1 }
660 : overbeek 1.35 $self->{row_subsets} = [];
661 : olson 1.1 }
662 :    
663 :     sub load_genomes
664 :     {
665 :     my($self, $fh) = @_;
666 :     my(%seen);
667 :    
668 : olson 1.5 $self->{spreadsheet} = [];
669 : olson 1.29 $self->{spreadsheet_inv} = [];
670 : olson 1.5 $self->{genome} = [];
671 :     $self->{genome_index} = {};
672 :     $self->{variant_code} = [];
673 :    
674 : olson 1.25 my $nr = @{$self->{roles}};
675 :    
676 :     my $i = 0;
677 : olson 1.1 while (<$fh>)
678 :     {
679 : overbeek 1.54 next if ($_ =~ /^\/\//);
680 : olson 1.1 chomp;
681 :    
682 : olson 1.25 my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
683 : overbeek 1.46 $variant_code =~ s/ //g;
684 : olson 1.1 next if $seen{$genome};
685 :     $seen{$genome}++;
686 :    
687 : olson 1.25 my $j = 0;
688 : olson 1.1
689 :     $self->{genome}->[$i] = $genome;
690 :     $self->{genome_index}->{$genome} = $i;
691 :     $self->{variant_code}->[$i] = $variant_code;
692 :    
693 : olson 1.25 my $thislen = @row;
694 :    
695 :     # if ($thislen != $nr)
696 :     # {
697 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
698 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
699 :     # }
700 :    
701 :     for my $j (0..$nr - 1)
702 : olson 1.1 {
703 : olson 1.25 my $entry = $row[$j];
704 : olson 1.1 my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
705 :     $self->{spreadsheet}->[$i]->[$j] = $e2;
706 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
707 :     $j++;
708 :     }
709 :     $i++;
710 :    
711 :     }
712 :     }
713 :    
714 : olson 1.2 =pod
715 :    
716 : olson 1.25 =head2 write_subsystem()
717 :    
718 :     Write the subsystem to the disk. Updates on-disk data with notes,
719 :     etc. Perform backups when necessary.
720 :    
721 :     =cut
722 :    
723 :     sub write_subsystem
724 :     {
725 :     my($self) = @_;
726 :    
727 :     my $dir = $self->{dir};
728 :     my $fig = $self->{fig};
729 :    
730 :     #
731 :     # We first move the existing spreadsheet and notes files (if present)
732 :     # to spreadsheet~ and notes~, and current state.
733 :     #
734 :    
735 :     my $ss_file = "$dir/spreadsheet";
736 :     my $ss_bak = "$dir/spreadsheet~";
737 :     my $notes_file = "$dir/notes";
738 :     my $notes_bak = "$dir/notes~";
739 : overbeek 1.58 my $reactions_file = "$dir/reactions";
740 :     my $reactions_bak = "$dir/reactions~";
741 : redwards 1.44 my $classification_file = "$dir/CLASSIFICATION";
742 : olson 1.25
743 :     if (-f $ss_file)
744 :     {
745 :     rename($ss_file, $ss_bak);
746 :     }
747 :    
748 :     if (-f $notes_file)
749 :     {
750 :     rename($notes_file, $notes_bak);
751 :     }
752 :    
753 : overbeek 1.58 if (-f $reactions_file)
754 :     {
755 :     rename($reactions_file, $reactions_bak) or warn "rename $reactions_file $reactions_bak failed $!";
756 :     print STDERR "wrote $reactions_bak\n";
757 :     }
758 :    
759 : olson 1.25 #
760 :     # Eval this whole chunk, so that if we get any fatal errors, we can
761 :     # roll back to the old saved data.
762 :     #
763 :    
764 :     eval {
765 :     my $fh;
766 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
767 :     $self->write_spreadsheet($fh);
768 :     close($fh);
769 : overbeek 1.31 chmod(0777,$ss_file);
770 : olson 1.25
771 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
772 :     print $fh "$self->{notes}\n";
773 :     close($fh);
774 : overbeek 1.31 chmod(0777,$notes_file);
775 : olson 1.25
776 : overbeek 1.58 open($fh, ">$reactions_file") or die "Cannot open $reactions_file for writing: $!\n";
777 :     my $reactions = $self->{reactions};
778 :     foreach $_ (sort keys(%$reactions))
779 :     {
780 :     print $fh "$_\t" . join(",", @{$reactions->{$_}}), "\n";
781 :     }
782 :     close($fh);
783 :     chmod(0777,$reactions_file);
784 :    
785 : redwards 1.44 open($fh, ">$classification_file") or die "Can not open $classification_file for writing: $!\n";
786 :     print $fh join "\t", (@{$self->{classification}}), "\n";
787 :     close($fh);
788 :     chmod(0777,$classification_file);
789 :    
790 : olson 1.25 $self->update_curation_log();
791 :    
792 :     #
793 :     # Write out the piddly stuff.
794 :     #
795 :    
796 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
797 :     print $fh "$self->{exchangable}\n";
798 :     close($fh);
799 : overbeek 1.31 chmod(0777,"EXCHANGABLE");
800 : olson 1.25
801 :     #
802 :     # Process backup files. This is the smae process that determines when the
803 :     # version number should be bumped, so write the version file afterward.
804 :     #
805 :    
806 :     $self->update_backups();
807 :    
808 : overbeek 1.37 if ($self->{version} < 100) { $self->{version} += 100 }
809 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/VERSION: $!\n";
810 :     print $fh "$self->{version}\n";
811 : olson 1.25 close($fh);
812 : overbeek 1.31 chmod(0777,"VERSION");
813 : olson 1.25 };
814 :    
815 :     if ($@ ne "")
816 :     {
817 :     warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
818 :     }
819 :    
820 :     }
821 :    
822 :     sub update_curation_log
823 :     {
824 :     my($self) = @_;
825 :    
826 :     my $fh;
827 :     my $file = "$self->{dir}/curation.log";
828 :    
829 :     my $now = time;
830 :     my $user = $self->{fig}->get_user();
831 :    
832 :     if (-f $file)
833 :     {
834 :     open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
835 :     }
836 :     else
837 :     {
838 :     open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
839 :     print $fh "$now\t$user\tstarted\n";
840 :     }
841 :     print $fh "$now\t$user\tupdated\n";
842 :     close($fh);
843 :     }
844 :    
845 :     sub update_backups
846 :     {
847 :     my($self) = @_;
848 :    
849 :     my $dir = $self->{dir};
850 :     my $fig = $self->{fig};
851 :    
852 :     my $ss_file = "$dir/spreadsheet";
853 :     my $ss_bak = "$dir/spreadsheet~";
854 :     my $notes_file = "$dir/notes";
855 :     my $notes_bak = "$dir/notes~";
856 : overbeek 1.58 my $reactions_file = "$dir/reactions";
857 :     my $reactions_bak = "$dir/reactions~";
858 : olson 1.25
859 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
860 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
861 : overbeek 1.58 my $reactions_diff = (system("cmp -s $reactions_file $reactions_bak") != 0);
862 :     print STDERR "reactions_file=$reactions_file reactions_bak=$reactions_bak dif=$reactions_diff\n";
863 : olson 1.25
864 : overbeek 1.58 if (($ss_diff > 10) or ($notes_diff > 10) or $reactions_diff)
865 : olson 1.25 {
866 :     $self->make_backup();
867 :     }
868 :     }
869 :    
870 :     sub make_backup
871 :     {
872 :     my($self) = @_;
873 :    
874 :     my $dir = $self->{dir};
875 :     my $bak = "$dir/Backup";
876 :    
877 :     $self->{fig}->verify_dir($bak);
878 :    
879 :     my $ts = time;
880 :    
881 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
882 :     rename("$dir/notes~", "$bak/notes.$ts");
883 : overbeek 1.58 rename("$dir/reactions~", "$bak/reactions.$ts");
884 : olson 1.25 $self->{version}++;
885 :     }
886 :    
887 :    
888 :    
889 :     =pod
890 :    
891 :     =head1 write_spreadsheet($fh)
892 :    
893 :     Write the spreadsheet for this subsystem to filehandle $fh.
894 :    
895 :     =cut
896 :    
897 :     sub write_spreadsheet
898 :     {
899 :     my($self, $fh) = @_;
900 :    
901 :     $self->_write_roles($fh);
902 :     print $fh "//\n";
903 :    
904 :     $self->_write_subsets($fh);
905 :     print $fh "//\n";
906 :    
907 :     $self->_write_spreadsheet($fh);
908 :     }
909 :    
910 :     sub _write_roles
911 :     {
912 :     my($self, $fh) = @_;
913 :    
914 :     my(@roles, @abbrs);
915 :    
916 :     @roles = $self->get_roles();
917 :     @abbrs = $self->get_abbrs();
918 :    
919 :     while (@roles)
920 :     {
921 :     my $role = shift(@roles);
922 :     my $abbr = shift(@abbrs);
923 :    
924 :     print $fh "$abbr\t$role\n";
925 :     }
926 :     }
927 :    
928 :     sub _write_subsets
929 :     {
930 :     my($self, $fh) = @_;
931 :    
932 : overbeek 1.31 for my $sub ($self->get_subset_namesC())
933 : olson 1.25 {
934 : overbeek 1.35 next if ($sub eq "All");
935 : overbeek 1.31 my @members= $self->get_subsetC($sub);
936 : olson 1.25
937 :     #
938 :     # member list on disk is 1-based
939 :     #
940 :    
941 :     @members = map { $_ + 1 } @members;
942 :     print $fh join("\t", $sub, @members), "\n";
943 :     }
944 : overbeek 1.39 my $active_row_subset = $self->{row_active_subset};
945 :     my $active_col_subset = $self->{col_active_subset};
946 :    
947 :     print $fh "$active_col_subset\n";
948 : olson 1.25
949 :     #
950 :     # separator
951 :     #
952 :    
953 :     print $fh "\n";
954 :    
955 :     #
956 :     # genome subsets.
957 :     #
958 :    
959 : overbeek 1.39 print $fh "$active_row_subset\n";
960 : olson 1.25 }
961 :    
962 :     sub _write_spreadsheet
963 :     {
964 :     my($self, $fh) = @_;
965 :    
966 :     my(@genomes);
967 :    
968 :     @genomes= $self->get_genomes();
969 :    
970 :     for (my $i = 0; $i < @genomes; $i++)
971 :     {
972 :     my $genome = $genomes[$i];
973 :     my $vc = $self->get_variant_code($i);
974 :    
975 :     my $row = $self->get_row($i);
976 :    
977 :     if ($vc eq "")
978 :     {
979 :     $vc = "0";
980 :     }
981 :     print $fh "$genome\t$vc";
982 :    
983 :     for my $entry (@$row)
984 :     {
985 :     my(@p);
986 :    
987 :     for my $peg (@$entry)
988 :     {
989 :     if ($peg =~ /fig\|$genome\.peg\.(\d+)$/)
990 :     {
991 :     push(@p, $1);
992 :     }
993 :     else
994 :     {
995 :     warn "Bad peg $peg in cell for $genome";
996 :     }
997 :     }
998 :     print $fh "\t", join(",", @p);
999 :     }
1000 :     print $fh "\n";
1001 :     }
1002 :     }
1003 :    
1004 :    
1005 :     =pod
1006 :    
1007 : olson 1.2 =head1 get_genomes
1008 :    
1009 :     =cut
1010 : olson 1.25
1011 : olson 1.2 sub get_genomes
1012 :     {
1013 :     my($self) = @_;
1014 :    
1015 :     my $glist = $self->{genome};
1016 :    
1017 : olson 1.25 return @$glist;
1018 : olson 1.2 }
1019 :    
1020 :     =pod
1021 :    
1022 :     =head1 get_variant_codes
1023 :    
1024 :     =cut
1025 : olson 1.25
1026 : olson 1.2 sub get_variant_codes
1027 :     {
1028 :     my($self) = @_;
1029 :    
1030 :     my $glist = $self->{variant_code};
1031 :    
1032 : olson 1.25 return @$glist;
1033 :     }
1034 :    
1035 :     sub get_variant_code
1036 :     {
1037 :     my($self, $gidx) = @_;
1038 : overbeek 1.46 my $c = $self->{variant_code}->[$gidx];
1039 :     $c =~ s/ //g;
1040 :     return $c;
1041 : olson 1.2 }
1042 :    
1043 : overbeek 1.34 sub set_variant_code
1044 :     {
1045 :     my($self, $gidx, $val) = @_;
1046 :     $self->{variant_code}->[$gidx] = $val;
1047 :     return;
1048 :     }
1049 :    
1050 : olson 1.25
1051 : olson 1.2 sub get_variant_code_for_genome
1052 :     {
1053 :     my($self, $genome) = @_;
1054 :     my $index = $self->{genome_index}->{$genome};
1055 : redwards 1.55 if (defined $index) {
1056 :     return $self->{variant_code}->[$index];
1057 :     }
1058 :     else {
1059 :     return undef;
1060 :     }
1061 : olson 1.2 }
1062 :    
1063 :     sub get_roles
1064 :     {
1065 :     my($self) = @_;
1066 :    
1067 :     my $rlist = $self->{roles};
1068 :    
1069 : olson 1.25 return @$rlist;
1070 :     }
1071 :    
1072 :     sub get_abbrs
1073 :     {
1074 :     my($self) = @_;
1075 :    
1076 :     my $rlist = $self->{role_abbrs};
1077 :    
1078 :     return @$rlist;
1079 : olson 1.2 }
1080 :    
1081 : olson 1.29 sub roles_with_abbreviations
1082 :     {
1083 :     my($self) = @_;
1084 :    
1085 :     my @ret;
1086 :    
1087 :     for my $i (0..@{$self->{roles}} - 1)
1088 :     {
1089 :     push(@ret, [$self->{role_abbrs}->[$i], $self->{roles}->[$i]]);
1090 :     }
1091 :     return @ret;
1092 :     }
1093 :    
1094 :    
1095 : olson 1.52 sub get_sorted_rows
1096 :     {
1097 :     my($self, $sort_order) = @_;
1098 :    
1099 :     my $fig = $self->{fig};
1100 :    
1101 :     my @rows;
1102 :     for (my $i = 0; $i < @{$self->{genome}}; $i++)
1103 :     {
1104 :     my $gid = $self->{genome}->[$i];
1105 :     my $gs = $fig->genus_species($gid);
1106 :    
1107 :     my $q = quotemeta($gid);
1108 :     my $cells = [];
1109 :     for my $c (@{$self->{spreadsheet}->[$i]})
1110 :     {
1111 :     push(@$cells, [map { s/^fig\|$q\.peg\.//; $_ } @$c]);
1112 :     }
1113 :    
1114 :     push(@rows, [$self->{genome}->[$i], $gs, $self->{variant_code}->[$i], $cells]);
1115 :     }
1116 :    
1117 :     if ($sort_order eq "by_phylo")
1118 :     {
1119 :     return(map { $_->[0] }
1120 :     sort { ($a->[1] cmp $b->[1]) or ($a->[0]->[1] cmp $b->[0]->[1]) }
1121 :     map { [$_, $fig->taxonomy_of($_->[0]) ] } @rows);
1122 :     }
1123 :     elsif ($sort_order eq "alphabetic")
1124 :     {
1125 :     return sort { ($a->[1] cmp $b->[1]) or ($a->[0] <=> $b->[0]) } @rows;
1126 :     }
1127 :     elsif ($sort_order eq "by_tax_id")
1128 :     {
1129 :     return sort { $a->[0] <=> $b->[0] } @rows;
1130 :     }
1131 :     else
1132 :     {
1133 :     return @rows;
1134 :     }
1135 :     }
1136 :    
1137 :    
1138 : olson 1.10 sub get_row :scalar
1139 : olson 1.1 {
1140 :     my($self, $row) = @_;
1141 :    
1142 :     return $self->{spreadsheet}->[$row];
1143 :     }
1144 :    
1145 : olson 1.21 sub get_col :scalar
1146 : olson 1.1 {
1147 :     my($self, $col) = @_;
1148 :    
1149 :     return $self->{spreadsheet_inv}->[$col];
1150 :     }
1151 :    
1152 : olson 1.21 sub get_cell :scalar
1153 : olson 1.1 {
1154 :     my($self, $row, $col) = @_;
1155 :    
1156 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
1157 : overbeek 1.37 if (! defined($cell))
1158 :     {
1159 :     $cell = $self->{spreadsheet}->[$row]->[$col] = [];
1160 :     }
1161 : olson 1.5 return $cell;
1162 : olson 1.1 }
1163 :    
1164 : olson 1.21 sub get_genome_index :scalar
1165 : olson 1.3 {
1166 :     my($self, $genome) = @_;
1167 :    
1168 :     return $self->{genome_index}->{$genome};
1169 :     }
1170 :    
1171 : olson 1.21 sub get_genome :scalar
1172 : olson 1.3 {
1173 :     my($self, $gidx) = @_;
1174 :    
1175 :     return $self->{genome}->[$gidx];
1176 :     }
1177 :    
1178 : olson 1.21 sub get_role_index :scalar
1179 : olson 1.5 {
1180 :     my($self, $role) = @_;
1181 :    
1182 :     return $self->{role_index}->{$role};
1183 :     }
1184 :    
1185 : olson 1.21 sub get_role :scalar
1186 : olson 1.3 {
1187 :     my($self, $ridx) = @_;
1188 :    
1189 :     return $self->{roles}->[$ridx];
1190 :     }
1191 :    
1192 : olson 1.21 sub get_role_abbr :scalar
1193 : olson 1.4 {
1194 :     my($self, $ridx) = @_;
1195 :    
1196 :     return $self->{role_abbrs}->[$ridx];
1197 :     }
1198 :    
1199 : olson 1.21 sub get_role_from_abbr :scalar
1200 : olson 1.20 {
1201 :     my($self, $abbr) = @_;
1202 :    
1203 :     return $self->{abbr}->{$abbr};
1204 :     }
1205 :    
1206 : olson 1.26 =pod
1207 :    
1208 :     =head1 set_pegs_in_cell($genome, $role, $peg_list)
1209 :    
1210 :     Set the cell for the given genome and role to $peg_list.
1211 :    
1212 :     =cut
1213 :    
1214 :     sub set_pegs_in_cell
1215 :     {
1216 :     my($self, $genome, $role, $peg_list) = @_;
1217 :     my($row, $col);
1218 :    
1219 :     #
1220 :     # If row isn't numeric, look it up in the genomes list.
1221 :     #
1222 :    
1223 :     if ($genome !~ /^\d+$/)
1224 :     {
1225 :     $row = $self->{genome_index}->{$genome};
1226 :     }
1227 :     else
1228 :     {
1229 :     $row = $genome
1230 :     }
1231 :    
1232 : overbeek 1.37 if (! defined($row))
1233 : olson 1.26 {
1234 : overbeek 1.37 print &Dumper($self->{genome_index});
1235 :     confess "Cannot find row for $genome\n";
1236 : olson 1.26 return undef;
1237 :     }
1238 :    
1239 :     #
1240 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1241 :     #
1242 :    
1243 :     if ($role !~ /^\d+$/)
1244 :     {
1245 :     #
1246 :     # See if it's an abbr
1247 :     #
1248 :    
1249 :     my $a = $self->{abbr}->{$role};
1250 : olson 1.27 $role = $a if $a;
1251 : olson 1.26
1252 :     $col = $self->{role_index}->{$role};
1253 :     }
1254 :     else
1255 :     {
1256 :     $col = $role;
1257 :     }
1258 :    
1259 : overbeek 1.37 if (! defined($col))
1260 : olson 1.26 {
1261 : overbeek 1.38 print &Dumper($self->{role_index});
1262 :     confess "Cannot find col for $role\n";
1263 : olson 1.26 return undef;
1264 :     }
1265 :     my $cell = $self->get_cell($row, $col);
1266 :    
1267 : overbeek 1.37 if (defined($cell))
1268 : olson 1.26 {
1269 : overbeek 1.37 my $peg;
1270 :     my $rdbH = $self->{fig}->db_handle();
1271 : overbeek 1.40 my $roleQ = quotemeta $role;
1272 :    
1273 : overbeek 1.37 if (@$cell > 0)
1274 :     {
1275 :     foreach $peg (@$cell)
1276 :     {
1277 :     $rdbH->SQL("DELETE FROM subsystem_index where ( subsystem = '$self->{name}' ) AND
1278 : overbeek 1.40 ( role = '$roleQ' ) AND
1279 : overbeek 1.37 ( protein = '$peg' )" );
1280 :     }
1281 :     }
1282 : olson 1.26 @$cell = @$peg_list;
1283 : overbeek 1.37 foreach $peg (@$cell)
1284 :     {
1285 : overbeek 1.40 $rdbH->SQL("INSERT INTO subsystem_index (protein,subsystem,role) VALUES ('$peg','$self->{name}','$roleQ' )");
1286 : overbeek 1.37 }
1287 : olson 1.26 }
1288 :     else
1289 :     {
1290 :     warn "set_pegs_in_cell: Could not find cell!";
1291 :     }
1292 :     }
1293 :    
1294 : olson 1.1 sub get_pegs_from_cell
1295 :     {
1296 :     my($self, $rowstr, $colstr) = @_;
1297 :     my($row, $col);
1298 :    
1299 :     #
1300 :     # If row isn't numeric, look it up in the genomes list.
1301 :     #
1302 :    
1303 :     if ($rowstr !~ /^\d+$/)
1304 :     {
1305 :     $row = $self->{genome_index}->{$rowstr};
1306 :     }
1307 :     else
1308 :     {
1309 :     $row = $rowstr;
1310 :     }
1311 :    
1312 : overbeek 1.31 if (! defined($row))
1313 : olson 1.1 {
1314 : overbeek 1.38 print &Dumper($self->{genome_index});
1315 :     confess "Cannot find row for $rowstr\n";
1316 : olson 1.1 return undef;
1317 :     }
1318 :    
1319 :     #
1320 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1321 :     #
1322 :    
1323 :     if ($colstr !~ /^\d+$/)
1324 :     {
1325 :     #
1326 :     # See if it's an abbr
1327 :     #
1328 :    
1329 :     my $a = $self->{abbr}->{$colstr};
1330 :     $colstr = $a if $a;
1331 :    
1332 :     $col = $self->{role_index}->{$colstr};
1333 :     }
1334 :     else
1335 :     {
1336 :     $col = $colstr;
1337 :     }
1338 : overbeek 1.32
1339 : overbeek 1.31 if (! defined($col))
1340 : olson 1.1 {
1341 :     warn "Cannot find col for $colstr\n";
1342 :     return undef;
1343 :     }
1344 : olson 1.12 my $cell = $self->get_cell($row, $col);
1345 : olson 1.1
1346 :     if ($cell)
1347 :     {
1348 :     return @$cell;
1349 :     }
1350 :     else
1351 :     {
1352 :     return undef;
1353 :     }
1354 :     }
1355 :    
1356 : olson 1.25 #
1357 :     # Subset support
1358 :     #
1359 :    
1360 : olson 1.30 sub get_active_subsetC
1361 :     {
1362 :     my($self) = @_;
1363 :    
1364 :     return $self->{col_active_subset};
1365 :     }
1366 :    
1367 :     sub get_active_subsetR
1368 :     {
1369 :     my($self) = @_;
1370 :    
1371 :     return $self->{row_active_subset};
1372 :     }
1373 :    
1374 :     sub set_active_subsetC
1375 :     {
1376 :     my($self, $subset) = @_;
1377 :    
1378 :     $self->{col_active_subset} = $subset;
1379 :     }
1380 :    
1381 :    
1382 :     sub set_active_subsetR
1383 :     {
1384 :     my($self, $subset) = @_;
1385 :    
1386 :     $self->{row_active_subset} = $subset;
1387 :     }
1388 :    
1389 :    
1390 : olson 1.25 sub get_subset_names
1391 : olson 1.17 {
1392 :     my($self) = @_;
1393 : olson 1.25
1394 : overbeek 1.31 return $self->get_subset_namesC;
1395 :     }
1396 :    
1397 :     sub get_subset_namesC
1398 :     {
1399 :     my($self) = @_;
1400 :    
1401 : overbeek 1.35 return ("All",@{$self->{col_subsets}});
1402 : overbeek 1.31 }
1403 :    
1404 :     sub get_subset_namesR
1405 :     {
1406 :     my($self) = @_;
1407 :    
1408 : overbeek 1.35 return ("All",@{$self->{row_subsets}});
1409 : olson 1.17 }
1410 :    
1411 : overbeek 1.33 sub get_subsetC_roles
1412 :     {
1413 :     my($self, $subname) = @_;
1414 :     return map { $self->get_role($_) } $self->get_subsetC($subname);
1415 :     }
1416 :    
1417 : overbeek 1.31 sub get_subsetC
1418 :     {
1419 :     my($self, $subname) = @_;
1420 : overbeek 1.33 if ($subname eq "All") { return map { $self->get_role_index($_) } $self->get_roles }
1421 : overbeek 1.31
1422 : olson 1.52 if (!defined($self->{col_subset_members}->{$subname}))
1423 :     {
1424 :     $self->{col_subset_members}->{$subname} = [];
1425 :     }
1426 :    
1427 : overbeek 1.31 return @{$self->{col_subset_members}->{$subname}};
1428 :     }
1429 :    
1430 : olson 1.25 sub get_subset
1431 : olson 1.17 {
1432 : olson 1.25 my($self, $subname) = @_;
1433 : overbeek 1.33 return $self->get_subsetC($subname);
1434 : overbeek 1.31 }
1435 :    
1436 :     sub get_subsetR
1437 :     {
1438 :     my($self, $subname) = @_;
1439 :     my($pair,$id,$members,$genome);
1440 :    
1441 :     if ($subname eq "All") { return $self->get_genomes }
1442 : overbeek 1.38 my %genomes = map { $_ => 1 } $self->get_genomes;
1443 :    
1444 :     return grep { $genomes{$_} } @{$self->{row_subset_members}->{$subname}};
1445 : overbeek 1.35 }
1446 :    
1447 :     sub load_row_subsets {
1448 :     my($self) = @_;
1449 :     my($id,$members,$pair);
1450 : overbeek 1.31
1451 : overbeek 1.35 my $taxonomic_groups = $self->{fig}->taxonomic_groups_of_complete(10);
1452 :     foreach $pair (@$taxonomic_groups)
1453 : overbeek 1.31 {
1454 : overbeek 1.35 ($id,$members) = @$pair;
1455 :     if ($id ne "All")
1456 : overbeek 1.31 {
1457 :     push(@{$self->{row_subsets}},$id);
1458 :     }
1459 : overbeek 1.35 $self->{row_subset_members}->{$id} = $members;
1460 : overbeek 1.31 }
1461 : olson 1.25 }
1462 :    
1463 : redwards 1.48 =pod
1464 :    
1465 :     =head2 load_row_subsets_by_kv
1466 :    
1467 :     Load a row subset based on a key/value pair. This will take a single key/value pair and only show that subset
1468 :    
1469 :     It is just a modification of load_row_subsets to deal with kv pairs
1470 :    
1471 :     This takes a required argument: the key that the genome must have, and a second optional argument, the value that key must hold.
1472 :    
1473 :     =cut
1474 :    
1475 :     sub load_row_subsets_by_kv {
1476 :     my ($self, $key, $want) = @_;
1477 :     my($id,$members,$pair);
1478 :     my $keep;
1479 :     foreach my $genome (@{$self->{genome}}) {
1480 : redwards 1.50 my @results=$self->{fig}->get_attributes($genome, $key);
1481 :     foreach my $res (@results) {
1482 : redwards 1.51 my ($gotid, $gottag, $value, $url)=@$res;
1483 : redwards 1.50 next if (!$value);
1484 :     next if ($want && $value ne $want);
1485 :     push @$keep, $genome;
1486 :     last;
1487 :     }
1488 : redwards 1.48 }
1489 :     $self->{row_subset_members}->{$key}=$keep;
1490 :     }
1491 : overbeek 1.35
1492 : olson 1.25 =pod
1493 :    
1494 : overbeek 1.31 =head2 set_subsetC($name, $members)
1495 : olson 1.25
1496 :     Create a subset with the given name and members.
1497 :    
1498 :     $members is a list of role names.
1499 :    
1500 :     =cut
1501 :    
1502 : overbeek 1.31 sub set_subsetC
1503 : olson 1.25 {
1504 :     my($self, $subname, $list) = @_;
1505 :    
1506 :     my $nl = [map { $self->get_role_index($_) } @$list];
1507 :    
1508 :     $self->_set_subset($subname, $nl);
1509 :     }
1510 :    
1511 : overbeek 1.31 sub set_subset
1512 :     {
1513 :     my($self, $subname, $list) = @_;
1514 :    
1515 :     $self->set_subsetsC($subname,$list);
1516 :     }
1517 :    
1518 : olson 1.25 =pod
1519 :    
1520 :     =head2 _set_subset($name, $members)
1521 :    
1522 :     Create a subset with the given name and members.
1523 :    
1524 :     Internal version - here, members is a list of role indices.
1525 :    
1526 :     =cut
1527 :    
1528 :     sub _set_subset
1529 :     {
1530 :     my($self, $subname, $list) = @_;
1531 :     $self->{col_subset_members}->{$subname} = $list;
1532 : overbeek 1.37 my($i,$x);
1533 :     $x = $self->{col_subsets};
1534 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
1535 :     if ($i == @$x)
1536 :     {
1537 :     push(@$x,$subname);
1538 :     }
1539 :     }
1540 :    
1541 :     sub delete_subsetC
1542 :     {
1543 :     my($self, $subname) = @_;
1544 :     my($i,$x);
1545 :    
1546 :     $x = $self->{col_subsets};
1547 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
1548 :     if ($i < @$x)
1549 :     {
1550 :     splice(@$x,$i,1);
1551 :     }
1552 :     delete $self->{col_subset_members}->{$subname};
1553 : olson 1.25 }
1554 :    
1555 :     #
1556 :     # Role manipulation.
1557 :     #
1558 :    
1559 :    
1560 :     =pod
1561 :    
1562 :     =head1 set_roles($role_list)
1563 :    
1564 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
1565 :    
1566 :     If a role already exists, it is used. If it does not exist, it is created empty.
1567 :    
1568 :     =cut
1569 :    
1570 :     sub set_roles
1571 :     {
1572 :     my($self, $roles) = @_;
1573 :    
1574 :     #
1575 :     # We do this by first creating a new spreadsheet.
1576 :     #
1577 :     # It is easiest to do this by manipulating the inverted spreadsheet
1578 :     # (role-major), and then creating the non-inverted spreadsheet from it.
1579 :     #
1580 :    
1581 :     my $oldss = $self->{spreadsheet};
1582 :     my $oldssinv = $self->{spreadsheet_inv};
1583 :    
1584 :     my $ss = [];
1585 :     my $ssinv = [];
1586 :    
1587 :     my $g = $self->{genome};
1588 :     my $ng = @$g;
1589 :    
1590 :     my $old_roles = $self->{role_index};
1591 :    
1592 :     my @role_index_conversion;
1593 :    
1594 :    
1595 :     $self->{abbr} = {};
1596 :     $self->{role_index} = {};
1597 :     $self->{roles} = [];
1598 :     $self->{role_abbrs} = [];
1599 :    
1600 :    
1601 :     for (my $idx = 0; $idx < @$roles; $idx++)
1602 :     {
1603 :     my $role = $roles->[$idx]->[0];
1604 :     my $abbr = $roles->[$idx]->[1];
1605 :    
1606 :     my $old_idx = $old_roles->{$role};
1607 :    
1608 :     if (defined($old_idx))
1609 :     {
1610 : overbeek 1.31 # print "Found old idx $old_idx for $role $idx\n";
1611 :     # print $oldssinv->[$old_idx];
1612 : olson 1.25 $ssinv->[$idx] = $oldssinv->[$old_idx];
1613 :    
1614 :     $role_index_conversion[$old_idx] = $idx;
1615 :     }
1616 :     else
1617 :     {
1618 : overbeek 1.37 # print "Did not find old role for $role $idx\n";
1619 :     # print Dumper($old_roles);
1620 : olson 1.25 my $l = [];
1621 :     for (my $j = 0; $j < $ng; $j++)
1622 :     {
1623 :     $l->[$j] = [];
1624 :     }
1625 :    
1626 :     $ssinv->[$idx] = $l;
1627 :     }
1628 :    
1629 :     #
1630 :     # While we're here, update the new role and abbrev indexes
1631 :     #
1632 :     $self->{role_index}->{$role} = $idx;
1633 :     $self->{abbr}->{$abbr} = $role;
1634 :     $self->{roles}->[$idx] = $role;
1635 :     $self->{role_abbrs}->[$idx] = $abbr;
1636 :     }
1637 :    
1638 :     #
1639 :     # Now create the uninverted spreadsheet.
1640 :     #
1641 :    
1642 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
1643 :     {
1644 :     my $row = [];
1645 :     $ss->[$gidx] = $row;
1646 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
1647 :     {
1648 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
1649 :     }
1650 :     }
1651 :    
1652 :     $self->{spreadsheet} = $ss;
1653 :     $self->{spreadsheet_inv} = $ssinv;
1654 :    
1655 :     #
1656 :     # Fix up the subsets.
1657 :     #
1658 :    
1659 :    
1660 : overbeek 1.37 for my $subset (grep { $_ ne "All" } $self->get_subset_names())
1661 : olson 1.25 {
1662 :     my $n = [];
1663 :     for my $idx ($self->get_subset($subset))
1664 :     {
1665 :     my $new = $role_index_conversion[$idx];
1666 :     if (defined($new))
1667 :     {
1668 :     push(@$n, $new);
1669 :     }
1670 :     }
1671 :     $self->_set_subset($subset, $n);
1672 :     }
1673 :    
1674 :     }
1675 :    
1676 :     =pod
1677 :    
1678 :     =head1 C<add_role($role, $abbr)>
1679 :    
1680 :     Add the given role to the spreadsheet.
1681 :    
1682 :     This causes a new column to be added, with empty values in each cell.
1683 :    
1684 :     We do nothing if the role is already present.
1685 :    
1686 :     Return the index of the new role.
1687 :    
1688 :     =cut
1689 :    
1690 :     sub add_role
1691 :     {
1692 :     my($self, $role, $abbr) = @_;
1693 :    
1694 :     if (defined($self->get_role_index($role)))
1695 :     {
1696 :     warn "Role $role already present\n";
1697 :     return undef;
1698 :     }
1699 :    
1700 :     #
1701 :     # Add to the roles list. It goes at the end.
1702 :     #
1703 :    
1704 :     my $idx = @{$self->{roles}};
1705 :     $self->{roles}->[$idx] = $role;
1706 :     $self->{role_abbrs}->[$idx] = $abbr;
1707 :     $self->{role_index}->{$role} = $idx;
1708 :     $self->{abbr}->{$abbr} = $role;
1709 :    
1710 :     #
1711 :     # Update the spreadsheet.
1712 :     # On the standard one, we have to go through all the rows adding
1713 :     # a columnt to each.
1714 :     #
1715 :     # On the inverted one, we add a column with [] in each entry.
1716 :     #
1717 :    
1718 :     my $ng = @{$self->{genome}};
1719 :     my $newcol = [];
1720 :    
1721 :     for (my $i = 0; $i < $ng; $i++)
1722 :     {
1723 :     my $cell = [];
1724 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
1725 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
1726 :     $newcol->[$i] = $cell;
1727 :     }
1728 :    
1729 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
1730 :    
1731 :     return $idx;
1732 :     }
1733 :    
1734 :     =pod
1735 :    
1736 :     =head1 remove_role($role)
1737 :    
1738 :     Remove the role from the spreadsheet.
1739 :    
1740 :     We do nothing if the role is not present.
1741 :    
1742 :     =cut
1743 :    
1744 :     sub remove_role
1745 :     {
1746 :     my($self, $role) = @_;
1747 :    
1748 :     my $idx = $self->get_role_index($role);
1749 :     if (!defined($idx))
1750 :     {
1751 :     warn "Role $role not present\n";
1752 :     return undef;
1753 :     }
1754 :    
1755 :     #
1756 :     # Remove from the roles list.
1757 :     #
1758 :    
1759 :     my $abbr = $self->{role_abbrs}->[$idx];
1760 :    
1761 :     splice(@{$self->{roles}}, $idx, 1);
1762 :     splice(@{$self->{role_abbrs}}, $idx, 1);
1763 :     delete $self->{role_index}->{$role};
1764 :     delete $self->{abbr}->{$abbr};
1765 :    
1766 :     #
1767 :     # Update the spreadsheet.
1768 :     # On the standard one, we have to go through all the rows removing
1769 :     # the column from each.
1770 :     #
1771 :     # On the inverted one, we just remove the column.
1772 :     #
1773 :    
1774 :     my $ng = @{$self->{genome}};
1775 :     my $newcol = [];
1776 :    
1777 :     for (my $i = 0; $i < $ng; $i++)
1778 :     {
1779 :     splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
1780 :     }
1781 :    
1782 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
1783 :    
1784 :     #
1785 :     # We need to rewrite the subsets. if $idx was present in one, it is
1786 :     # removed. Any index >$idx is decremented.
1787 :     #
1788 :    
1789 :     for my $subset ($self->get_subset_names())
1790 :     {
1791 :     my @n;
1792 :    
1793 :     for my $sidx ($self->get_subset($subset))
1794 :     {
1795 :     if ($sidx < $idx)
1796 :     {
1797 :     push(@n, $sidx);
1798 :     }
1799 :     elsif ($sidx > $idx)
1800 :     {
1801 :     push(@n, $sidx - 1);
1802 :     }
1803 :     }
1804 :    
1805 :     $self->_set_subset($subset, [@n]);
1806 :     }
1807 :     }
1808 :    
1809 :     =pod
1810 :    
1811 :     =head1 C<add_genome($genome, $abbr)>
1812 :    
1813 :     Add the given genome to the spreadsheet.
1814 :    
1815 :     This causes a new row to be added, with empty values in each cell.
1816 :    
1817 :     We do nothing if the genome is already present.
1818 :    
1819 :     Return the index of the new genome.
1820 :    
1821 :     =cut
1822 :    
1823 :     sub add_genome
1824 :     {
1825 :     my($self, $genome) = @_;
1826 :    
1827 :     my $idx = $self->get_genome_index($genome);
1828 :     if (defined($idx))
1829 :     {
1830 :     warn "Genome $genome already present\n";
1831 :     return $idx;
1832 :     }
1833 :    
1834 :     #
1835 :     # Add to the genomes list. It goes at the end.
1836 :     #
1837 :    
1838 :     my $idx = @{$self->{genome}};
1839 : olson 1.26 $self->{variant_code}->[$idx] = 0;
1840 : olson 1.25 $self->{genome}->[$idx] = $genome;
1841 :     $self->{genome_index}->{$genome} = $idx;
1842 :    
1843 :     #
1844 :     # Update the spreadsheet.
1845 :     # On the inverted one, we have to go through all the columns adding
1846 :     # a row to each.
1847 :     #
1848 :     # On the regular one, we add a row with [] in each entry.
1849 :     #
1850 :    
1851 :     my $nr = @{$self->{roles}};
1852 :     my $newrow = [];
1853 :    
1854 :     for my $i (0.. $nr - 1)
1855 :     {
1856 :     my $cell = [];
1857 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
1858 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
1859 :     $newrow->[$i] = $cell;
1860 :     }
1861 :    
1862 :     $self->{spreadsheet}->[$idx] = $newrow;
1863 :    
1864 :     return $idx;
1865 :     }
1866 :    
1867 :     =pod
1868 :    
1869 :     =head1 remove_genome($genome)
1870 :    
1871 :     Remove the genome from the spreadsheet.
1872 :    
1873 :     We do nothing if the genome is not present.
1874 :    
1875 :     =cut
1876 :    
1877 :     sub remove_genome
1878 :     {
1879 :     my($self, $genome) = @_;
1880 :    
1881 :     my $idx = $self->get_genome_index($genome);
1882 :     if (!defined($idx))
1883 :     {
1884 :     warn "Genome $genome not present\n";
1885 :     return undef;
1886 :     }
1887 :    
1888 :     #
1889 :     # Remove from the genomes list.
1890 :     #
1891 :    
1892 :     splice(@{$self->{genome}}, $idx, 1);
1893 : overbeek 1.43
1894 :     my $genome1;
1895 :     foreach $genome1 (@{$self->{genome}})
1896 :     {
1897 :     if ($self->{genome_index}->{$genome1} > $idx)
1898 :     {
1899 :     $self->{genome_index}->{$genome1}--;
1900 :     }
1901 :     }
1902 : olson 1.25 splice(@{$self->{variant_code}}, $idx, 1);
1903 :    
1904 :     delete $self->{genome_index}->{$genome};
1905 :    
1906 :     #
1907 :     # Update the spreadsheet.
1908 :     # On the inverted one, we have to go through all the columns removing
1909 :     # the row from each.
1910 :     #
1911 :     # On the standard one, we just remove the row.
1912 :     #
1913 :    
1914 :     my $nr = @{$self->{roles}};
1915 :    
1916 :     for my $i (0 .. $nr - 1)
1917 :     {
1918 :     splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
1919 :     }
1920 :    
1921 :     splice(@{$self->{spreadsheet}}, $idx, 1);
1922 :    
1923 :     }
1924 :    
1925 :     sub get_name :scalar
1926 :     {
1927 :     my($self) = @_;
1928 : overbeek 1.53 my $name = $self->{name};
1929 :     $name =~ s/ /_/g;
1930 :     return $name;
1931 : olson 1.25 }
1932 :    
1933 : overbeek 1.41 sub get_dir :scalar
1934 :     {
1935 :     my($self) = @_;
1936 :     return $self->{dir};
1937 :     }
1938 :    
1939 : olson 1.25
1940 :     sub get_version :scalar
1941 :     {
1942 :     my($self) = @_;
1943 :     return $self->{version};
1944 : olson 1.17 }
1945 :    
1946 : olson 1.26 sub get_notes :scalar
1947 :     {
1948 :     my($self) = @_;
1949 :    
1950 :     return $self->{notes};
1951 :     }
1952 :    
1953 : overbeek 1.58 sub get_reactions
1954 :     {
1955 :     my($self) = @_;
1956 :    
1957 :     return $self->{reactions};
1958 :     }
1959 :    
1960 : olson 1.26 sub set_notes
1961 :     {
1962 :     my($self, $notes) = @_;
1963 :    
1964 : olson 1.28 $self->{notes} = $notes;
1965 : olson 1.26 }
1966 :    
1967 : redwards 1.44 sub get_classification
1968 :     {
1969 :     my($self) = @_;
1970 :    
1971 :     return $self->{classification};
1972 :     }
1973 :    
1974 :     sub set_classification
1975 :     {
1976 :     my($self, $classification) = @_;
1977 :    
1978 :     $self->{classification}=$classification;
1979 :     }
1980 :    
1981 :    
1982 :    
1983 : olson 1.17 sub get_curator :scalar
1984 :     {
1985 :     my($self) = @_;
1986 :     return $self->{curator};
1987 :     }
1988 : overbeek 1.47
1989 : olson 1.25 #
1990 :     # Subsystem copying logic
1991 :     #
1992 :    
1993 :     =pod
1994 :    
1995 :     =head2 add_to_subsystem($subsystem_name, $columns, $notes_flag)
1996 :    
1997 :     Merge the given columns from $subsystem_name into this subsystem. Append the
1998 :     notes from the subsystem if $notes_flag is true.
1999 :    
2000 :     =cut
2001 :    
2002 :     sub add_to_subsystem
2003 :     {
2004 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
2005 :    
2006 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
2007 :    
2008 :     if (!$ss)
2009 :     {
2010 :     warn "Cannot open subsystem '$subsystem_name' to copy from";
2011 :     return;
2012 :     }
2013 :    
2014 :     #
2015 :     # Merge the data from the other subsystem.
2016 :     #
2017 :     # First we assure ourselves that we have the appropriate roles. While
2018 :     # we do this, build the list of row indices (in this subsystem) that
2019 :     # map to the roles we are adding.
2020 :     #
2021 :    
2022 :     #
2023 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
2024 :     #
2025 :    
2026 :     my @local_roles;
2027 :    
2028 :     #
2029 :     # his_roles = list of role indices corresponding to the remote roles.
2030 :     #
2031 : overbeek 1.36 if ($cols->[0] eq "all")
2032 :     {
2033 :     $cols = [$ss->get_roles];
2034 :     }
2035 :    
2036 : olson 1.25 my @his_roles;
2037 :    
2038 :     for my $his_role (@$cols)
2039 :     {
2040 :     my $idx = $self->get_role_index($his_role);
2041 :     my $his_idx = $ss->get_role_index($his_role);
2042 :    
2043 :     if (!defined($his_idx))
2044 :     {
2045 :     confess "Cannot map his role $his_role\n";
2046 :     }
2047 :     push(@his_roles, $his_idx);
2048 :    
2049 :     if (!defined($idx))
2050 :     {
2051 :     my $his_abbr = $ss->get_role_abbr($his_idx);
2052 :    
2053 :     $idx = $self->add_role($his_role, $his_abbr);
2054 : overbeek 1.37 # print "Adding missing role $his_role idx=$idx\n";
2055 : olson 1.25 }
2056 :     else
2057 :     {
2058 : overbeek 1.37 # print "Found existing role $his_role idx=$idx\n";
2059 : olson 1.25 }
2060 :    
2061 :    
2062 :     $local_roles[$his_idx] = $idx;
2063 :     }
2064 :    
2065 :     #
2066 :     # Similar scan to ensure that we have rows for the genomes
2067 :     # that are in the other subsystem.
2068 :     #
2069 :    
2070 :     my @local_genomes;
2071 :    
2072 :     my @his_genomes = $ss->get_genomes();
2073 :    
2074 :     for my $his_idx (0..@his_genomes - 1)
2075 :     {
2076 :     my $genome = $his_genomes[$his_idx];
2077 : overbeek 1.37
2078 : olson 1.25
2079 :     my $my_idx = $self->get_genome_index($genome);
2080 :    
2081 :     if (!defined($my_idx))
2082 :     {
2083 :     #
2084 :     # Not there, need to add.
2085 :     #
2086 :    
2087 :     $my_idx = $self->add_genome($genome);
2088 : overbeek 1.37 # print "Adding missing genome $genome idx=$my_idx\n";
2089 : olson 1.25 }
2090 :     else
2091 :     {
2092 : overbeek 1.37 # print "Found existing genome $genome idx=$my_idx\n";
2093 : olson 1.25 }
2094 :    
2095 :     $local_genomes[$his_idx] = $my_idx;
2096 :     }
2097 :    
2098 :    
2099 :     #
2100 :     # Now that we have our local roles set up to receive the data,
2101 :     # process the incoming roles one at a time.
2102 :     #
2103 :    
2104 :    
2105 :     for my $his_role (@his_roles)
2106 :     {
2107 :     my $my_col = $self->get_col($local_roles[$his_role]);
2108 :     my $his_col = $ss->get_col($his_role);
2109 :    
2110 :     #
2111 :     # $his_col is the information for $his_role, indexed by
2112 :     # genome in @his_genomes.
2113 :     #
2114 :     # $my_col is hte information for my copy of $his_role,
2115 :     # indexed by genome in MY genome list.
2116 :     #
2117 :    
2118 :     my $my_role = $local_roles[$his_role];
2119 :    
2120 : overbeek 1.37 # print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
2121 : olson 1.25
2122 :     for my $his_gidx (0 .. @his_genomes - 1)
2123 :     {
2124 :     my $hisent = $his_col->[$his_gidx];
2125 :    
2126 :     my $my_gidx = $local_genomes[$his_gidx];
2127 :    
2128 : overbeek 1.37
2129 : olson 1.25 my $myent = $my_col->[$my_gidx];
2130 :    
2131 : overbeek 1.37 # print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
2132 : olson 1.25
2133 :     my %new;
2134 :     map { $new{$_}++ } @$hisent;
2135 :     map { $new{$_}++ } @$myent;
2136 :    
2137 :     @$myent = keys(%new);
2138 :    
2139 : overbeek 1.37 # print " new entry: @$myent\n";
2140 : olson 1.25 }
2141 :     }
2142 : olson 1.26
2143 :     #
2144 :     # Fix up the variant codes.
2145 :     #
2146 :    
2147 :     for my $his_gidx (0 .. @his_genomes - 1)
2148 :     {
2149 :     my $his_code = $ss->get_variant_code($his_gidx);
2150 :     my $my_gidx = $local_genomes[$his_gidx];
2151 :    
2152 :     if (!$self->get_variant_code($my_gidx))
2153 :     {
2154 :     $self->{variant_code}->[$my_gidx] = $his_code;
2155 :     }
2156 :     }
2157 :    
2158 :     #
2159 :     # If we are to add notes, append the other subsystem's notes text.
2160 :     #
2161 :    
2162 :     if ($add_notes)
2163 :     {
2164 :     my $his_notes = $ss->get_notes();
2165 :    
2166 :     $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
2167 :     }
2168 : olson 1.25 }
2169 : olson 1.17
2170 : olson 1.1 sub dump
2171 :     {
2172 :     my($self) = @_;
2173 :    
2174 :     for my $k (keys(%$self))
2175 :     {
2176 :     next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
2177 :     print "Key \"$k\": ", Dumper($self->{$k});
2178 :     }
2179 :     }
2180 :    
2181 : olson 1.14 #
2182 :     # Increment the subsystem's version number.
2183 :     #
2184 :     sub incr_version {
2185 :     my($self) = @_;
2186 :    
2187 :     my $dir = $self->{dir};
2188 :     my $vfile = "$dir/VERSION";
2189 :     my($ver);
2190 :    
2191 :     if (open(my $fh,"<$vfile"))
2192 :     {
2193 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
2194 :     {
2195 :     $ver = $1;
2196 :     }
2197 :     else
2198 :     {
2199 :     $ver = 0;
2200 :     }
2201 :     close($fh);
2202 :     }
2203 :     else
2204 :     {
2205 :     $ver = 0;
2206 :     }
2207 :    
2208 :     $ver++;
2209 :    
2210 :     open(my $fh, ">$vfile") || die "could not open $vfile";
2211 :     print $fh "$ver\n";
2212 :     close($fh);
2213 :    
2214 :     chmod(0777, $vfile);
2215 :    
2216 :     $self->load_version();
2217 :     }
2218 : olson 1.1
2219 :     sub get_dir_from_name
2220 :     {
2221 :     my($name) = @_;
2222 :    
2223 :     my $b = $name;
2224 :     $b =~ s/ /_/g;
2225 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
2226 :     return $dir;
2227 :     }
2228 :    
2229 : olson 1.12 #
2230 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
2231 :     #
2232 :     # The code here is a reconstruction of Bill's "go" script in perl with
2233 :     # data pulled from the local SEED configuration.
2234 :     #
2235 :    
2236 :     sub extend_with_billogix
2237 :     {
2238 : olson 1.42 my($self, $muser, $genomes) = @_;
2239 : olson 1.12 my($isMaster, $user);
2240 :    
2241 :     my $now = time();
2242 :    
2243 :     if ($muser =~ /master:(.*)/)
2244 :     {
2245 :     $isMaster = 1;
2246 :     $user = $1;
2247 :     }
2248 :     else
2249 :     {
2250 :     $isMaster = 0;
2251 :     $user = $muser;
2252 :     }
2253 :    
2254 :     #
2255 : olson 1.42 # initialize the genome list to all complete genomes, if none was passed in.
2256 :     #
2257 :    
2258 :     if (!$genomes)
2259 :     {
2260 :     $genomes = [$self->{fig}->genomes("complete")];
2261 :     warn "getting genome list from fig $self->{fig}";
2262 :     }
2263 :    
2264 :     #
2265 :     # Ensure genome list is of the right form.
2266 :     #
2267 :    
2268 :     if (ref($genomes) ne "ARRAY")
2269 :     {
2270 :     warn "billogix: genome list is not a list reference";
2271 :     return;
2272 :     }
2273 :    
2274 :     for my $g (@$genomes)
2275 :     {
2276 :     if ($g !~ /^\d+\.\d+/)
2277 :     {
2278 :     warn "billogix: genome '$g' is not of the proper form, aborting billogix run.";
2279 :     return;
2280 :     }
2281 :     }
2282 :    
2283 :     my $genome_list = "[" . join(", ", map { "'$_'" } @$genomes) . "]";
2284 :    
2285 :     warn "Genomes: $genome_list\n";
2286 :     warn Dumper($genomes);
2287 :    
2288 :     #
2289 : olson 1.12 # Find the executable.
2290 :     #
2291 :    
2292 :     my $exe = "$FIG_Config::bin/billogix";
2293 :    
2294 :     if (! -x $exe)
2295 :     {
2296 :     warn "Cannot find billogix exe at $exe\n";
2297 :     return;
2298 :     }
2299 :    
2300 :     my $ss_name = $self->{name};
2301 : olson 1.18
2302 :     $ss_name =~ s/\s+/_/g;
2303 :    
2304 : olson 1.14 my $ss_dir = "$self->{dir}/";
2305 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
2306 : olson 1.12 &FIG::verify_dir($assign_dir);
2307 :    
2308 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
2309 :     my $job_id = "${when}:sss:$ss_name";
2310 :    
2311 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
2312 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
2313 : olson 1.12
2314 :     #
2315 :     # Have the prereq stuff, now start up the app.
2316 :     #
2317 :    
2318 :     $ENV{LOCALSZ} = "80000";
2319 :     $ENV{GLOBALSZ} = "80000";
2320 :     $ENV{TRAILSZ} = "30000";
2321 : olson 1.13
2322 :     my $arch = &FIG::get_current_arch();
2323 :    
2324 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
2325 :    
2326 :     #
2327 :     # Need to ensure pl2wam is in our path
2328 :     #
2329 :    
2330 :     $ENV{PATH} = "${FIG_Config::ext_bin}:$ENV{PATH}";
2331 : olson 1.12
2332 : olson 1.23 #
2333 :     # We're going to divide the run into $n_chunks chunks.
2334 :     #
2335 :    
2336 :     my $n_chunks = 10;
2337 :    
2338 :     my($log);
2339 :     open($log, ">$ss_dir/$job_id.log");
2340 :    
2341 :     for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2342 :     {
2343 :     my $app_input = <<EOINP;
2344 : olson 1.12 ['\$BILLOGIX/top'].
2345 :     loadup.
2346 : olson 1.42 asserta(job_genome_list($genome_list)).
2347 : olson 1.23 asserta(part($this_chunk, $n_chunks)).
2348 : olson 1.12 asserta(url_default_seed('$seed')).
2349 : olson 1.13 asserta(url_export_part('$export_part')).
2350 : olson 1.12 asserta(ss_directory('$ss_dir')).
2351 :     asserta(assign_directory('$assign_dir')).
2352 :     asserta(job_id('$job_id')).
2353 :     extend_test3('$ss_name').
2354 :     EOINP
2355 :    
2356 : olson 1.23 print STDERR <<EOF;
2357 : olson 1.12 Starting app
2358 :    
2359 : olson 1.23 chunk $this_chunk of $n_chunks
2360 : olson 1.12 ss_name = $ss_name
2361 :     ss_dir = $ss_dir
2362 :     user = $user
2363 :     assign_dir = $assign_dir
2364 :     exe = $exe
2365 : olson 1.13 libdir = $ENV{BILLOGIX}
2366 :     path = $ENV{PATH}
2367 : olson 1.12
2368 :     App input
2369 :     $app_input
2370 :     EOF
2371 :     # feh, put in a block to reset perlmode indentation.
2372 : olson 1.23 {
2373 :     my($app_read, $app_write);
2374 :    
2375 :     #
2376 :     # Start the actual application with stdin and stdout redirected
2377 :     # to pipes.
2378 :     #
2379 :     # We write $app_input to the stdin pipe, and close it.
2380 :     # Then loop reading stdout, logging that output.
2381 :     #
2382 :     my $pid = open2($app_read, $app_write, $exe);
2383 :    
2384 :     if (!$pid)
2385 :     {
2386 :     warn "open2 $exe failed: $!\n";
2387 :     print $log "open2 $exe failed: $!\n";
2388 :     return;
2389 :     }
2390 :    
2391 :     print $app_write $app_input;
2392 :     close($app_write);
2393 :    
2394 :     #
2395 :     # Set autoflush on the logfile.
2396 :     #
2397 :    
2398 :     my $old = select($log);
2399 :     $| = 1;
2400 :     select(STDERR);
2401 :     $| = 1;
2402 :     select($old);
2403 :    
2404 :     warn "Starting $exe with pid $pid\n";
2405 :     print $log "Starting $exe with pid $pid\n";
2406 :    
2407 :     while (<$app_read>)
2408 :     {
2409 :     print STDERR $_;
2410 :     print $log $_;
2411 :     }
2412 :    
2413 :     print STDERR "App done\n";
2414 :     print $log "App done\n";
2415 :    
2416 :     close($app_read);
2417 :    
2418 :     my $ret = waitpid($pid, 0);
2419 :     my $stat = $?;
2420 :     print STDERR "Return status is $?\n";
2421 :     print $log "Return status is $?\n";
2422 :    
2423 :     #
2424 :     # This chunk has finished. We should see a file
2425 :     # rows.$this_chunk.$n_chunks.
2426 :     #
2427 :     }
2428 :     }
2429 :     #
2430 :     # At this point, the extension is finished (we've run the
2431 :     # $n_chunks parts of the extension job).
2432 :     #
2433 : olson 1.12
2434 : olson 1.14 #
2435 : olson 1.23 # We read in all the individual rows files, writing the single
2436 :     # concatenation of rows.
2437 : olson 1.14 #
2438 : olson 1.12
2439 : olson 1.23 my $ssaD = $self->{dir};
2440 :    
2441 :     my $rows_file = "$ssaD/rows";
2442 :    
2443 :     my $rowFH;
2444 :     if (!open($rowFH, ">$rows_file"))
2445 : olson 1.12 {
2446 : olson 1.23 my $err = "Cannot open rows file $ssaD/rows for writing: $!\n";
2447 :     print STDERR $err;
2448 :     print $log $err;
2449 : olson 1.12 return;
2450 :     }
2451 :    
2452 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2453 :     {
2454 :     my $chunkFH;
2455 :     my $cfile = "$ssaD/rows.$this_chunk.$n_chunks";
2456 :     if (!open($chunkFH, "<$cfile"))
2457 :     {
2458 :     my $err = "Cannot open rows file $cfile for reading: $!\n";
2459 :     print STDERR $err;
2460 :     print $log $err;
2461 :     return;
2462 :     }
2463 :     while (<$chunkFH>)
2464 :     {
2465 :     print $rowFH $_;
2466 :     }
2467 :     close($chunkFH);
2468 :     }
2469 :     close($rowFH);
2470 : olson 1.12
2471 :     #
2472 : olson 1.23 # Concatenate the assignments into the assignment directory.
2473 : olson 1.12 #
2474 :    
2475 : olson 1.23 my $assignments_file = "$assign_dir$job_id";
2476 :     my $assignFH;
2477 : olson 1.12
2478 : olson 1.23 if (!open($assignFH, ">$assignments_file"))
2479 : olson 1.12 {
2480 : olson 1.23 my $err = "Cannot open assignments file $assignments_file for writing: $!\n";
2481 :     print STDERR $err;
2482 :     print $log $err;
2483 :     return;
2484 : olson 1.12 }
2485 :    
2486 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2487 : olson 1.19 {
2488 : olson 1.23 my $aFH;
2489 :     my $afile = "$ssaD/assignments.$this_chunk.$n_chunks";
2490 :     if (!open($aFH, "<$afile"))
2491 :     {
2492 :     my $err = "Cannot open assignments file $afile for reading: $!\n";
2493 :     print STDERR $err;
2494 :     print $log $err;
2495 :     return;
2496 :     }
2497 :     while (<$aFH>)
2498 :     {
2499 :     print $assignFH $_;
2500 :     }
2501 :     close($aFH);
2502 : olson 1.19 }
2503 : olson 1.23 close($assignFH);
2504 : olson 1.19
2505 : olson 1.23
2506 :    
2507 : olson 1.19 #
2508 : olson 1.14 # Back up the spreadsheet, and append the rows file to it.
2509 :     #
2510 :    
2511 :     &FIG::verify_dir("$ssaD/Backup");
2512 :     my $ts = time;
2513 :     rename("$ssaD/spreadsheet~","$ssaD/Backup/spreadsheet.$ts");
2514 :     copy("$ssaD/spreadsheet","$ssaD/spreadsheet~");
2515 :     rename("$ssaD/notes~","$ssaD/Backup/notes.$ts");
2516 :    
2517 :     #
2518 :     # Append the new rows to the spreadsheet.
2519 :     #
2520 :    
2521 :     my($ssafh, $rowsfh);
2522 :     open($ssafh, ">>$ssaD/spreadsheet") or die "Cannot open $ssaD/spreadsheet for append: $!\n";
2523 :     open($rowsfh, "<$ssaD/rows") or die "Cannot open $ssaD/rows for reading: $!\n";
2524 :    
2525 :     while (<$rowsfh>)
2526 :     {
2527 :     print $ssafh $_;
2528 :     }
2529 :     close($ssafh);
2530 :     close($rowsfh);
2531 :    
2532 :     $self->incr_version();
2533 : olson 1.12 }
2534 : olson 1.13
2535 : olson 1.14
2536 : olson 1.13 sub set_current_extend_pid
2537 :     {
2538 :     my($self, $pid) = @_;
2539 :    
2540 :     if (open(my $fh, ">$self->{dir}/EXTEND_PID"))
2541 :     {
2542 :     print $fh "$pid\n";
2543 :     }
2544 :     else
2545 :     {
2546 :     warn "Cannot open $self->{dir}/EXTEND_PID: $!\n";
2547 :     }
2548 :     }
2549 :    
2550 :     sub get_current_extend_pid
2551 :     {
2552 :     my($self) = @_;
2553 :    
2554 :     if (open(my $fh, "<$self->{dir}/EXTEND_PID"))
2555 :     {
2556 :     my $pid = <$fh>;
2557 :     close($fh);
2558 :     if ($pid)
2559 :     {
2560 :     chomp $pid;
2561 :    
2562 :     return $pid;
2563 :     }
2564 :     }
2565 :     return undef;
2566 :     }
2567 : olson 1.12
2568 : olson 1.7 package Subsystem::Diagram;
2569 :    
2570 :     sub new
2571 :     {
2572 :     my($class, $sub, $fig, $name, $dir) = @_;
2573 :    
2574 :     if (!-d $dir)
2575 :     {
2576 :     return undef;
2577 :     }
2578 :    
2579 :     my $self = {
2580 :     fig => $fig,
2581 :     subsystem => $sub,
2582 :     name => $name,
2583 :     dir =>$ dir,
2584 :     };
2585 :     bless $self, $class;
2586 :    
2587 :     $self->load();
2588 :    
2589 :     return $self;
2590 :     }
2591 :    
2592 :     #
2593 :     # Parse the diagram into internal data structure.
2594 :     #
2595 :    
2596 :     sub load
2597 :     {
2598 :     my($self) = @_;
2599 :    
2600 :     $self->load_area();
2601 :     }
2602 :    
2603 :     sub load_area
2604 :     {
2605 :     my($self) = @_;
2606 :     my $fh;
2607 :    
2608 : olson 1.8 if (!open($fh, "<$self->{dir}/area_table"))
2609 : olson 1.7 {
2610 : olson 1.8 warn "Could not load $self->{dir}/area_table: $!\n";
2611 : olson 1.7 return;
2612 :     }
2613 :    
2614 :     $self->{areas} = [];
2615 :    
2616 :     my $area_list = $self->{areas};
2617 :    
2618 :     while (<$fh>)
2619 :     {
2620 :     chomp;
2621 :     s/#.*$//;
2622 :     s/^\s+//;
2623 :     s/\s+$//;
2624 :     next if $_ eq '';
2625 :     my ($area, $tag, $value) = split(/\s+/, $_, 3);
2626 :     # print "area=$area tag=$tag value=$value\n";
2627 :    
2628 :     push(@$area_list, [$area, $tag, $value]);
2629 :    
2630 :     #
2631 :     # Do a little checking.
2632 :     #
2633 :    
2634 :     if ($tag eq "role")
2635 :     {
2636 :     my $idx = $self->{subsystem}->get_role_index($value);
2637 :     if (!defined($idx))
2638 :     {
2639 :     warn "Role not found for \"$value\" in subsystem $self->{subsystem}->{name}\n";
2640 :     }
2641 :     }
2642 :     }
2643 :     close($fh);
2644 :     }
2645 :    
2646 :     sub get_areas
2647 :     {
2648 :     my($self) = @_;
2649 :    
2650 :     return @{$self->{areas}};
2651 :     }
2652 :    
2653 : olson 1.1 1;
2654 : olson 1.7
2655 :    

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3