[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.53 - (view) (download) (as text)

1 : olson 1.1 package Subsystem;
2 :    
3 : olson 1.25 use Carp;
4 : olson 1.1 use FIG;
5 :    
6 : olson 1.10 use FIGAttributes;
7 :     use base 'FIGAttributes';
8 :    
9 : olson 1.12 use POSIX;
10 : olson 1.7 use DirHandle;
11 : olson 1.1 use Data::Dumper;
12 : olson 1.14 use File::Copy;
13 : olson 1.1 use File::Spec;
14 : olson 1.12 use IPC::Open2;
15 : olson 1.1
16 :     use strict;
17 :    
18 : olson 1.2 =pod
19 :    
20 :     =head1 Subsystem manipulation.
21 :    
22 :     Any manipulation of subsystem data should happen through this interface.
23 :     This allows us to assure ourselves that the relational tables that
24 :     mirror and index the subsystem data are kept up to date with the
25 :     canonical version of the subsystem information in the flat-files
26 :     kept in $FIG_Config::data/Subsystems.
27 :    
28 : olson 1.25 =head2 Objects.
29 :    
30 :     We define the following perl objects:
31 :    
32 :     Subsystem: represents a subsystem. It can be read from disk and
33 :     written to disk, and manipulated via its methods when in memory.
34 :    
35 :     If we were completely on the OO side of the world, we would also
36 :     define the following set of objects. However, we are not, so they are
37 :     only objects in a conceptual sense. They are implemented using the
38 :     basic perl datatypes.
39 :    
40 :     Role: represents a single role. A role has a name and an abbreviation.
41 :    
42 :     RoleSubset: represents a subset of available roles. A subset has a
43 :     name and a list of role names that comprise the subset.
44 :    
45 : olson 1.2 =head2 Thoughts on locking
46 :    
47 :     It is currently dangerous for multiple users to modify spreadsheets at once.
48 :     It will likely remain dangerous while the subsystem backend is fairly
49 :     stateless, as it is with the CGI mechanism.
50 :    
51 :     We'd like to make this a little safer. One mechanism might be to allow
52 :     a user to open a subsystem for modification, and others for readonly access.
53 :     For this to work we have to be able to tell which users is allowed; current
54 :     implementation uses the curator of the subsystem for this purpose.
55 :    
56 :     NB: This module does not currently attempt to handle locking or exclusion.
57 :     It is up to the caller (user application, CGI script, etc) to do so.
58 :     It does attempt to use locking internally where appropriate.
59 :    
60 :     =head2 Data structures
61 :    
62 :     We maintain the following data structures (all members of %$self).
63 :    
64 :     =over 4
65 :    
66 :     =item dir
67 :    
68 :     Directory in which the subsystem is stored.
69 :    
70 :     =item notes
71 :    
72 :     The current notes contents for the subsystem
73 :    
74 :     =item version
75 :    
76 :     Current subsystem version.
77 :    
78 :     =item exchangable
79 :    
80 :     1 if subsystem is exchangable, 0 otherwise.
81 :    
82 :     =item roles
83 :    
84 : olson 1.25 List of role names.
85 : olson 1.2
86 :     =item role_index
87 :    
88 :     hash that maps from role name to index
89 :    
90 :     =item role_abbrs
91 :    
92 :     list of role abbreviations
93 :    
94 :     =item abbr
95 :    
96 :     hash mapping from role abbreviation to role name
97 :    
98 :     =item col_subsets
99 :    
100 :     list of column subset names
101 :    
102 :     =item col_subset_members
103 :    
104 :     hash that maps from column subset name to subset members
105 :    
106 :     =item col_active_subset
107 :    
108 :     currently-active column subset
109 :    
110 :     =item row_active_subset
111 :    
112 :     currently-active row subset
113 :    
114 :     =item genome
115 :    
116 : olson 1.25 List of genome IDs.
117 : olson 1.2
118 :     =item variant_code
119 :    
120 : olson 1.25 List of variant codes.
121 : olson 1.2
122 :     =item genome_index
123 :    
124 :     Hash mapping from genome ID to genome index.
125 :    
126 :     =item spreadsheet
127 :    
128 :     Spreadsheet data. Structured as a list of rows, each of which
129 :     is a list of entries. An entry is a list of PEG numbers.
130 :    
131 :     =item spreadsheet_inv
132 :    
133 :     Inverted structure of spreadsheet - list of columns, each of which is a list
134 :     of rows.
135 :    
136 :     =back
137 :    
138 : olson 1.25 =head2 Methods
139 :    
140 :     =over 4
141 :    
142 :     =item index_cell
143 :    
144 :     Create the subsystem_index entries for the given cell.
145 :     (NEW).
146 :    
147 :     =item delete_role(name)
148 :    
149 :     Delete the given role.
150 :    
151 :     =item add_role(name, abbr)
152 :    
153 :     Add a new role.
154 :    
155 :     =item get_subset(name)
156 :    
157 : overbeek 1.31 A deprecated form of get_subsetC
158 :    
159 :     =item get_subsetC(name)
160 :    
161 : olson 1.25 Returns a given subset. A subset is an object, implemented as a blessed array
162 :     of roles.
163 :    
164 :     =item add_genome(genome_id, variant_code)
165 :    
166 :     =item remove_genome(genome_id)
167 :    
168 :     =back
169 :    
170 : olson 1.2 =cut
171 : olson 1.1
172 :     =pod
173 :    
174 :     =head1 Subsystem constructor
175 :    
176 :     usage: $sub = Subsystem->new("subsystem name", $fig, $createFlag)
177 :    
178 :     Load the subsystem. If it does not exist, and $createFlag is true, create
179 :     a new empty subsystem.
180 :    
181 :     =cut
182 :    
183 :     sub new
184 :     {
185 :     my($class, $name, $fig, $create) = @_;
186 :    
187 :     my $ssa_dir = get_dir_from_name($name);
188 :     #
189 :     # For loading, the subsystem directory must already exist.
190 :     #
191 :    
192 : olson 1.25 if (! -d $ssa_dir and not $create)
193 : olson 1.1 {
194 : olson 1.25 # warn "Subsystem $name does not exist\n";
195 :     return undef;
196 : olson 1.1 }
197 :     my $self = {
198 :     dir => $ssa_dir,
199 :     name => $name,
200 :     fig => $fig,
201 :     };
202 :    
203 :     bless($self, $class);
204 :    
205 : olson 1.25 if ($create)
206 :     {
207 :     $self->create_subsystem();
208 :     }
209 :     else
210 :     {
211 :     $self->load();
212 :     }
213 : olson 1.1
214 :     return $self;
215 :     }
216 :    
217 : olson 1.19 sub new_from_dir
218 :     {
219 :     my($class, $dir, $fig) = @_;
220 :    
221 :     my $ssa_dir = $dir;
222 : olson 1.29 my $name = $dir;
223 :     $name =~ s,.*/,,;
224 : olson 1.19
225 :     #
226 :     # For loading, the subsystem directory must already exist.
227 :     #
228 :    
229 :     my $self = {
230 :     dir => $ssa_dir,
231 :     name => $name,
232 :     fig => $fig,
233 :     };
234 :    
235 :     bless($self, $class);
236 :    
237 :     $self->load();
238 :    
239 :     return $self;
240 :     }
241 :    
242 : olson 1.25 =pod
243 :    
244 :     =head2 create_subsystem()
245 :    
246 :     Create a new subsystem. This creates the subsystem directory in the
247 :     correct place ($FIG_Config::data/Subsystems), and populates it with
248 :     the correct initial data.
249 :    
250 :     =cut
251 :    
252 : olson 1.1 sub create_subsystem
253 :     {
254 : olson 1.25 my($self) = @_;
255 :    
256 :     my $dir = $self->{dir};
257 :     my $fig = $self->{fig};
258 :    
259 :     if (-d $dir)
260 :     {
261 :     warn "Not creating: Subsystem directory $dir already exists";
262 :     return;
263 :     }
264 :    
265 :     $fig->verify_dir($dir);
266 :    
267 :     #
268 :     # Initialize empty data structures.
269 :     #
270 :    
271 :     $self->{genome} = [];
272 :     $self->{genome_index} = {};
273 :     $self->{variant_code} = [];
274 :    
275 :     $self->{abbr} = {};
276 :     $self->{role_index} = {};
277 :     $self->{roles} = [];
278 :     $self->{role_abbrs} = [];
279 : olson 1.1
280 : olson 1.25 $self->{spreadsheet} = [];
281 :     $self->{spreadsheet_inv} = [];
282 :    
283 :     $self->{col_subsets} = [];
284 :     $self->{col_subset_members} = {};
285 :    
286 : overbeek 1.31 $self->{row_subsets} = [];
287 :     $self->{row_subset_members} = {};
288 : overbeek 1.35 $self->load_row_subsets();
289 : overbeek 1.31
290 : olson 1.25 $self->{row_active_subset} = "All";
291 :     $self->{col_active_subset} = "All";
292 :    
293 :     $self->{version} = 0;
294 :     $self->{exchangable} = 0;
295 : overbeek 1.45 $self->{classification} = [];
296 : olson 1.25
297 :     $self->write_subsystem();
298 : olson 1.1 }
299 :    
300 : olson 1.5 #
301 : olson 1.7 # Retrieve the diagrams associated with this subsystem.
302 :     #
303 :     # This is done via a lookup into FIG/Data/SubsystemDiagrams/<ssaname>/<diagram-name>.
304 :     #
305 :     # Returned is a list of names.
306 :     #
307 :    
308 :     sub get_diagrams
309 :     {
310 :     my($self) = @_;
311 :    
312 :     my $b = $self->{name};
313 :     $b =~ s/ /_/g;
314 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b);
315 :    
316 :     my $dh = new DirHandle($dir);
317 :    
318 :     my @names = grep(/^[^.]/, $dh->read());
319 :    
320 :     return @names;
321 :     }
322 :    
323 :     #
324 :     # Return a Subsystem::Diagram object for this diagram.
325 :     #
326 :     sub get_diagram
327 :     {
328 :     my($self, $name) = @_;
329 :    
330 :     my $b = $self->{name};
331 :     $b =~ s/ /_/g;
332 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b, $name);
333 :    
334 :     if (-d $dir)
335 :     {
336 :     return Subsystem::Diagram->new($self, $self->{fig}, $name, $dir);
337 :     }
338 :     else
339 :     {
340 :     return undef;
341 :     }
342 :     }
343 :    
344 :     #
345 : olson 1.5 # Synchronize the database index for this subsystem to the
346 :     # subsystem data.
347 :     #
348 :     # We assume the table already exists.
349 :     #
350 :    
351 :     sub db_sync
352 :     {
353 :     my($self, $skip_delete) = @_;
354 :    
355 :     my $rdbH = $self->{fig}->db_handle();
356 :    
357 :     if (!$skip_delete)
358 :     {
359 : olson 1.25 $self->delete_indices();
360 : olson 1.5 }
361 :    
362 :     #
363 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
364 :     #
365 :    
366 : olson 1.6 my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?)");
367 :    
368 : olson 1.5 for my $role ($self->get_roles())
369 :     {
370 :     my $ridx = $self->get_role_index($role);
371 :     my $col = $self->get_col($ridx);
372 :     for my $cell (@$col)
373 :     {
374 :     if ($cell)
375 :     {
376 :     for my $peg (@$cell)
377 :     {
378 : olson 1.6 $sth->execute($peg, $self->{name}, $role);
379 : olson 1.5 }
380 :     }
381 :     }
382 :     }
383 :     }
384 :    
385 : olson 1.22 #
386 :     # Delete this subsystem's entries from the database index.
387 :     #
388 :     sub delete_indices
389 :     {
390 :     my($self) = @_;
391 :    
392 :     my $rdbH = $self->{fig}->db_handle();
393 :    
394 :     $rdbH->SQL("DELETE FROM subsystem_index where subsystem = '$self->{name}'")
395 :     }
396 :    
397 : olson 1.1 sub load
398 :     {
399 :     my($self) = @_;
400 :    
401 :     #
402 :     # Load the subsystem.
403 :     #
404 :    
405 :     my $ssa;
406 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
407 :     {
408 :     warn "Spreadsheet does not exist in subsystem\n";
409 :     return;
410 :     }
411 :    
412 :     local $/ = "//\n";
413 :    
414 :     my $roles = <$ssa>;
415 :     if ($roles)
416 :     {
417 :     $roles =~ s,$/$,,;
418 :     #
419 :     # Split on newline, filter for non-empty lines.
420 :     #
421 :     my @roles = split("\n", $roles);
422 :    
423 :     @roles = grep { $_ ne "" } @roles;
424 :    
425 :     $self->load_roles(@roles);
426 :     }
427 :    
428 :     my $subsets = <$ssa>;
429 :     if ($subsets)
430 :     {
431 :     $subsets =~ s,$/$,,;
432 :     $self->load_subsets($subsets);
433 :     }
434 :    
435 :     $/ = "\n";
436 :    
437 : overbeek 1.35 $self->load_row_subsets();
438 : olson 1.1 $self->load_genomes($ssa);
439 :    
440 :     #
441 :     # Now load the rest of the info.
442 :     #
443 :    
444 :     $self->load_notes();
445 : redwards 1.44 $self->load_classification();
446 : olson 1.1 $self->load_version();
447 :     $self->load_exchangable();
448 : olson 1.17 $self->load_curation();
449 : olson 1.1 }
450 :    
451 :     sub load_notes
452 :     {
453 :     my($self) = @_;
454 :    
455 :     $self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
456 :     }
457 :    
458 : redwards 1.44 sub load_classification
459 :     {
460 :     my($self) = @_;
461 :    
462 :     my $class = &FIG::file_read(File::Spec->catfile($self->{dir}, "CLASSIFICATION"));
463 :     if ($class) {$self->{classification} = [split /\t/, $class]} else {$self->{classification} = ['', '', '']}
464 :     }
465 :    
466 : olson 1.17 sub load_curation
467 :     {
468 :     my($self) = @_;
469 :    
470 : overbeek 1.47 # my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
471 :     #
472 :     # $_ = $l[0];
473 :     # chomp;
474 : olson 1.17
475 : overbeek 1.47 if (open(LOG,"<$self->{dir}/curation.log"))
476 : olson 1.17 {
477 : overbeek 1.47 while (defined($_ = <LOG>))
478 :     {
479 :     if (/^\d+\t(\S+)\s+started/)
480 :     {
481 :     $self->{curator} = $1;
482 :     }
483 :     }
484 :     close(LOG);
485 : olson 1.17 }
486 :     }
487 :    
488 : olson 1.1 sub load_version
489 :     {
490 :     my($self) = @_;
491 :    
492 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
493 :     my $l = $l[0];
494 :     chomp $l;
495 :     $self->{version} = $l;
496 :     }
497 :    
498 :     sub load_exchangable
499 :     {
500 :     my($self) = @_;
501 :    
502 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
503 :    
504 :     if (-f $file)
505 :     {
506 :     my($l, @l);
507 :    
508 :     @l = &FIG::file_head($file, 1);
509 :     $l = $l[0];
510 :     chomp $l;
511 :     $self->{exchangable} = $l;
512 :     }
513 :     else
514 :     {
515 :     $self->{exchangable} = 0;
516 :     }
517 :     }
518 :    
519 :    
520 :     sub load_roles
521 :     {
522 :     my($self, @roles) = @_;
523 :    
524 : olson 1.5 $self->{abbr} = {};
525 :     $self->{role_index} = {};
526 :     $self->{roles} = [];
527 :     $self->{role_abbrs} = [];
528 :    
529 : olson 1.25 my $i = 0;
530 : olson 1.1 for my $role (@roles)
531 :     {
532 :     my($abbr, $name) = split(/\t/, $role);
533 : overbeek 1.49 $abbr =~ s/^\s+//;
534 :     $abbr =~ s/\s+$//;
535 :     $name =~ s/^\s+//;
536 :     $name =~ s/\s+$//;
537 : olson 1.2 # print "Role $i: abbr=$abbr name=$name\n";
538 : olson 1.1
539 :     $self->{abbr}->{$abbr} = $name;
540 :     $self->{role_index}->{$name} = $i;
541 :     $self->{roles}->[$i] = $name;
542 : olson 1.4 $self->{role_abbrs}->[$i] = $abbr;
543 : olson 1.1 $i++;
544 :     }
545 :     }
546 :    
547 :     sub load_subsets
548 :     {
549 :     my($self, $subsets) = @_;
550 :    
551 :     #
552 :     # Column and row subsets.
553 :     #
554 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
555 :    
556 :     #
557 :     # Handle column subsets.
558 :     #
559 :    
560 :     my @subsetsC = split(/\n/, $subsetsC);
561 :    
562 :     #
563 :     # Determine active subset.
564 :     #
565 :    
566 :     my $active_subsetC;
567 :     if (@subsetsC > 0)
568 :     {
569 :     $active_subsetC = pop(@subsetsC);
570 :     }
571 :     else
572 :     {
573 :     $active_subsetC = 'All';
574 :     }
575 :    
576 :     $self->{col_active_subset} = $active_subsetC;
577 :    
578 :     $self->{col_subsets} = [];
579 : olson 1.5 $self->{col_subset_members} = {};
580 :    
581 : olson 1.1 for my $subset (@subsetsC)
582 :     {
583 :     my($name, @members) = split(/\s+/, $subset);
584 :    
585 : olson 1.25 #
586 :     # File format has members 1-based.
587 :     #
588 :    
589 :     @members = map { $_ - 1 } @members;
590 :    
591 : olson 1.1 push(@{$self->{col_subsets}}, $name);
592 :    
593 :     #
594 :     # Map role members from name to index if necessary.
595 :     #
596 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
597 :     #
598 :     @members = map {
599 :     if (my $new = $self->{role_index}->{$_})
600 :     {
601 :     $new;
602 :     }
603 :     else
604 :     {
605 :     $_;
606 :     }
607 :     } @members;
608 :    
609 :     @{$self->{col_subset_members}->{$name}} = @members;
610 :     }
611 :    
612 :     #
613 :     # Now the row subsets.
614 :     #
615 :    
616 :     chomp($subsetsR);
617 :    
618 :     if ($subsetsR =~ /(\S+.*\S+)/)
619 :     {
620 : olson 1.25 $self->{row_active_subset} = $1;
621 : olson 1.1 }
622 :     else
623 :     {
624 : olson 1.25 $self->{row_active_subset} = 'All';
625 : olson 1.1 }
626 : overbeek 1.35 $self->{row_subsets} = [];
627 : olson 1.1 }
628 :    
629 :     sub load_genomes
630 :     {
631 :     my($self, $fh) = @_;
632 :     my(%seen);
633 :    
634 : olson 1.5 $self->{spreadsheet} = [];
635 : olson 1.29 $self->{spreadsheet_inv} = [];
636 : olson 1.5 $self->{genome} = [];
637 :     $self->{genome_index} = {};
638 :     $self->{variant_code} = [];
639 :    
640 : olson 1.25 my $nr = @{$self->{roles}};
641 :    
642 :     my $i = 0;
643 : olson 1.1 while (<$fh>)
644 :     {
645 :     chomp;
646 :    
647 : olson 1.25 my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
648 : overbeek 1.46 $variant_code =~ s/ //g;
649 : olson 1.1 next if $seen{$genome};
650 :     $seen{$genome}++;
651 :    
652 : olson 1.25 my $j = 0;
653 : olson 1.1
654 :     $self->{genome}->[$i] = $genome;
655 :     $self->{genome_index}->{$genome} = $i;
656 :     $self->{variant_code}->[$i] = $variant_code;
657 :    
658 : olson 1.25 my $thislen = @row;
659 :    
660 :     # if ($thislen != $nr)
661 :     # {
662 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
663 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
664 :     # }
665 :    
666 :     for my $j (0..$nr - 1)
667 : olson 1.1 {
668 : olson 1.25 my $entry = $row[$j];
669 : olson 1.1 my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
670 :     $self->{spreadsheet}->[$i]->[$j] = $e2;
671 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
672 :     $j++;
673 :     }
674 :     $i++;
675 :    
676 :     }
677 :     }
678 :    
679 : olson 1.2 =pod
680 :    
681 : olson 1.25 =head2 write_subsystem()
682 :    
683 :     Write the subsystem to the disk. Updates on-disk data with notes,
684 :     etc. Perform backups when necessary.
685 :    
686 :     =cut
687 :    
688 :     sub write_subsystem
689 :     {
690 :     my($self) = @_;
691 :    
692 :     my $dir = $self->{dir};
693 :     my $fig = $self->{fig};
694 :    
695 :     #
696 :     # We first move the existing spreadsheet and notes files (if present)
697 :     # to spreadsheet~ and notes~, and current state.
698 :     #
699 :    
700 :     my $ss_file = "$dir/spreadsheet";
701 :     my $ss_bak = "$dir/spreadsheet~";
702 :     my $notes_file = "$dir/notes";
703 :     my $notes_bak = "$dir/notes~";
704 : redwards 1.44 my $classification_file = "$dir/CLASSIFICATION";
705 : olson 1.25
706 :     if (-f $ss_file)
707 :     {
708 :     rename($ss_file, $ss_bak);
709 :     }
710 :    
711 :     if (-f $notes_file)
712 :     {
713 :     rename($notes_file, $notes_bak);
714 :     }
715 :    
716 :     #
717 :     # Eval this whole chunk, so that if we get any fatal errors, we can
718 :     # roll back to the old saved data.
719 :     #
720 :    
721 :     eval {
722 :     my $fh;
723 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
724 :     $self->write_spreadsheet($fh);
725 :     close($fh);
726 : overbeek 1.31 chmod(0777,$ss_file);
727 : olson 1.25
728 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
729 :     print $fh "$self->{notes}\n";
730 :     close($fh);
731 : overbeek 1.31 chmod(0777,$notes_file);
732 : olson 1.25
733 : redwards 1.44 open($fh, ">$classification_file") or die "Can not open $classification_file for writing: $!\n";
734 :     print $fh join "\t", (@{$self->{classification}}), "\n";
735 :     close($fh);
736 :     chmod(0777,$classification_file);
737 :    
738 : olson 1.25 $self->update_curation_log();
739 :    
740 :     #
741 :     # Write out the piddly stuff.
742 :     #
743 :    
744 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
745 :     print $fh "$self->{exchangable}\n";
746 :     close($fh);
747 : overbeek 1.31 chmod(0777,"EXCHANGABLE");
748 : olson 1.25
749 :     #
750 :     # Process backup files. This is the smae process that determines when the
751 :     # version number should be bumped, so write the version file afterward.
752 :     #
753 :    
754 :     $self->update_backups();
755 :    
756 : overbeek 1.37 if ($self->{version} < 100) { $self->{version} += 100 }
757 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/VERSION: $!\n";
758 :     print $fh "$self->{version}\n";
759 : olson 1.25 close($fh);
760 : overbeek 1.31 chmod(0777,"VERSION");
761 : olson 1.25 };
762 :    
763 :     if ($@ ne "")
764 :     {
765 :     warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
766 :     }
767 :    
768 :     }
769 :    
770 :     sub update_curation_log
771 :     {
772 :     my($self) = @_;
773 :    
774 :     my $fh;
775 :     my $file = "$self->{dir}/curation.log";
776 :    
777 :     my $now = time;
778 :     my $user = $self->{fig}->get_user();
779 :    
780 :     if (-f $file)
781 :     {
782 :     open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
783 :     }
784 :     else
785 :     {
786 :     open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
787 :     print $fh "$now\t$user\tstarted\n";
788 :     }
789 :     print $fh "$now\t$user\tupdated\n";
790 :     close($fh);
791 :     }
792 :    
793 :     sub update_backups
794 :     {
795 :     my($self) = @_;
796 :    
797 :     my $dir = $self->{dir};
798 :     my $fig = $self->{fig};
799 :    
800 :     my $ss_file = "$dir/spreadsheet";
801 :     my $ss_bak = "$dir/spreadsheet~";
802 :     my $notes_file = "$dir/notes";
803 :     my $notes_bak = "$dir/notes~";
804 :    
805 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
806 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
807 :    
808 : overbeek 1.37 if (($ss_diff > 10) or ($notes_diff > 10))
809 : olson 1.25 {
810 :     $self->make_backup();
811 :     }
812 :     }
813 :    
814 :     sub make_backup
815 :     {
816 :     my($self) = @_;
817 :    
818 :     my $dir = $self->{dir};
819 :     my $bak = "$dir/Backup";
820 :    
821 :     $self->{fig}->verify_dir($bak);
822 :    
823 :     my $ts = time;
824 :    
825 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
826 :     rename("$dir/notes~", "$bak/notes.$ts");
827 :     $self->{version}++;
828 :     }
829 :    
830 :    
831 :    
832 :     =pod
833 :    
834 :     =head1 write_spreadsheet($fh)
835 :    
836 :     Write the spreadsheet for this subsystem to filehandle $fh.
837 :    
838 :     =cut
839 :    
840 :     sub write_spreadsheet
841 :     {
842 :     my($self, $fh) = @_;
843 :    
844 :     $self->_write_roles($fh);
845 :     print $fh "//\n";
846 :    
847 :     $self->_write_subsets($fh);
848 :     print $fh "//\n";
849 :    
850 :     $self->_write_spreadsheet($fh);
851 :     }
852 :    
853 :     sub _write_roles
854 :     {
855 :     my($self, $fh) = @_;
856 :    
857 :     my(@roles, @abbrs);
858 :    
859 :     @roles = $self->get_roles();
860 :     @abbrs = $self->get_abbrs();
861 :    
862 :     while (@roles)
863 :     {
864 :     my $role = shift(@roles);
865 :     my $abbr = shift(@abbrs);
866 :    
867 :     print $fh "$abbr\t$role\n";
868 :     }
869 :     }
870 :    
871 :     sub _write_subsets
872 :     {
873 :     my($self, $fh) = @_;
874 :    
875 : overbeek 1.31 for my $sub ($self->get_subset_namesC())
876 : olson 1.25 {
877 : overbeek 1.35 next if ($sub eq "All");
878 : overbeek 1.31 my @members= $self->get_subsetC($sub);
879 : olson 1.25
880 :     #
881 :     # member list on disk is 1-based
882 :     #
883 :    
884 :     @members = map { $_ + 1 } @members;
885 :     print $fh join("\t", $sub, @members), "\n";
886 :     }
887 : overbeek 1.39 my $active_row_subset = $self->{row_active_subset};
888 :     my $active_col_subset = $self->{col_active_subset};
889 :    
890 :     print $fh "$active_col_subset\n";
891 : olson 1.25
892 :     #
893 :     # separator
894 :     #
895 :    
896 :     print $fh "\n";
897 :    
898 :     #
899 :     # genome subsets.
900 :     #
901 :    
902 : overbeek 1.39 print $fh "$active_row_subset\n";
903 : olson 1.25 }
904 :    
905 :     sub _write_spreadsheet
906 :     {
907 :     my($self, $fh) = @_;
908 :    
909 :     my(@genomes);
910 :    
911 :     @genomes= $self->get_genomes();
912 :    
913 :     for (my $i = 0; $i < @genomes; $i++)
914 :     {
915 :     my $genome = $genomes[$i];
916 :     my $vc = $self->get_variant_code($i);
917 :    
918 :     my $row = $self->get_row($i);
919 :    
920 :     if ($vc eq "")
921 :     {
922 :     $vc = "0";
923 :     }
924 :     print $fh "$genome\t$vc";
925 :    
926 :     for my $entry (@$row)
927 :     {
928 :     my(@p);
929 :    
930 :     for my $peg (@$entry)
931 :     {
932 :     if ($peg =~ /fig\|$genome\.peg\.(\d+)$/)
933 :     {
934 :     push(@p, $1);
935 :     }
936 :     else
937 :     {
938 :     warn "Bad peg $peg in cell for $genome";
939 :     }
940 :     }
941 :     print $fh "\t", join(",", @p);
942 :     }
943 :     print $fh "\n";
944 :     }
945 :     }
946 :    
947 :    
948 :     =pod
949 :    
950 : olson 1.2 =head1 get_genomes
951 :    
952 :     =cut
953 : olson 1.25
954 : olson 1.2 sub get_genomes
955 :     {
956 :     my($self) = @_;
957 :    
958 :     my $glist = $self->{genome};
959 :    
960 : olson 1.25 return @$glist;
961 : olson 1.2 }
962 :    
963 :     =pod
964 :    
965 :     =head1 get_variant_codes
966 :    
967 :     =cut
968 : olson 1.25
969 : olson 1.2 sub get_variant_codes
970 :     {
971 :     my($self) = @_;
972 :    
973 :     my $glist = $self->{variant_code};
974 :    
975 : olson 1.25 return @$glist;
976 :     }
977 :    
978 :     sub get_variant_code
979 :     {
980 :     my($self, $gidx) = @_;
981 : overbeek 1.46 my $c = $self->{variant_code}->[$gidx];
982 :     $c =~ s/ //g;
983 :     return $c;
984 : olson 1.2 }
985 :    
986 : overbeek 1.34 sub set_variant_code
987 :     {
988 :     my($self, $gidx, $val) = @_;
989 :     $self->{variant_code}->[$gidx] = $val;
990 :     return;
991 :     }
992 :    
993 : olson 1.25
994 : olson 1.2 sub get_variant_code_for_genome
995 :     {
996 :     my($self, $genome) = @_;
997 :    
998 :     my $index = $self->{genome_index}->{$genome};
999 :     return $self->{variant_code}->[$index];
1000 :     }
1001 :    
1002 :     sub get_roles
1003 :     {
1004 :     my($self) = @_;
1005 :    
1006 :     my $rlist = $self->{roles};
1007 :    
1008 : olson 1.25 return @$rlist;
1009 :     }
1010 :    
1011 :     sub get_abbrs
1012 :     {
1013 :     my($self) = @_;
1014 :    
1015 :     my $rlist = $self->{role_abbrs};
1016 :    
1017 :     return @$rlist;
1018 : olson 1.2 }
1019 :    
1020 : olson 1.29 sub roles_with_abbreviations
1021 :     {
1022 :     my($self) = @_;
1023 :    
1024 :     my @ret;
1025 :    
1026 :     for my $i (0..@{$self->{roles}} - 1)
1027 :     {
1028 :     push(@ret, [$self->{role_abbrs}->[$i], $self->{roles}->[$i]]);
1029 :     }
1030 :     return @ret;
1031 :     }
1032 :    
1033 :    
1034 : olson 1.52 sub get_sorted_rows
1035 :     {
1036 :     my($self, $sort_order) = @_;
1037 :    
1038 :     my $fig = $self->{fig};
1039 :    
1040 :     my @rows;
1041 :     for (my $i = 0; $i < @{$self->{genome}}; $i++)
1042 :     {
1043 :     my $gid = $self->{genome}->[$i];
1044 :     my $gs = $fig->genus_species($gid);
1045 :    
1046 :     my $q = quotemeta($gid);
1047 :     my $cells = [];
1048 :     for my $c (@{$self->{spreadsheet}->[$i]})
1049 :     {
1050 :     push(@$cells, [map { s/^fig\|$q\.peg\.//; $_ } @$c]);
1051 :     }
1052 :    
1053 :     push(@rows, [$self->{genome}->[$i], $gs, $self->{variant_code}->[$i], $cells]);
1054 :     }
1055 :    
1056 :     if ($sort_order eq "by_phylo")
1057 :     {
1058 :     return(map { $_->[0] }
1059 :     sort { ($a->[1] cmp $b->[1]) or ($a->[0]->[1] cmp $b->[0]->[1]) }
1060 :     map { [$_, $fig->taxonomy_of($_->[0]) ] } @rows);
1061 :     }
1062 :     elsif ($sort_order eq "alphabetic")
1063 :     {
1064 :     return sort { ($a->[1] cmp $b->[1]) or ($a->[0] <=> $b->[0]) } @rows;
1065 :     }
1066 :     elsif ($sort_order eq "by_tax_id")
1067 :     {
1068 :     return sort { $a->[0] <=> $b->[0] } @rows;
1069 :     }
1070 :     else
1071 :     {
1072 :     return @rows;
1073 :     }
1074 :     }
1075 :    
1076 :    
1077 : olson 1.10 sub get_row :scalar
1078 : olson 1.1 {
1079 :     my($self, $row) = @_;
1080 :    
1081 :     return $self->{spreadsheet}->[$row];
1082 :     }
1083 :    
1084 : olson 1.21 sub get_col :scalar
1085 : olson 1.1 {
1086 :     my($self, $col) = @_;
1087 :    
1088 :     return $self->{spreadsheet_inv}->[$col];
1089 :     }
1090 :    
1091 : olson 1.21 sub get_cell :scalar
1092 : olson 1.1 {
1093 :     my($self, $row, $col) = @_;
1094 :    
1095 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
1096 : overbeek 1.37 if (! defined($cell))
1097 :     {
1098 :     $cell = $self->{spreadsheet}->[$row]->[$col] = [];
1099 :     }
1100 : olson 1.5 return $cell;
1101 : olson 1.1 }
1102 :    
1103 : olson 1.21 sub get_genome_index :scalar
1104 : olson 1.3 {
1105 :     my($self, $genome) = @_;
1106 :    
1107 :     return $self->{genome_index}->{$genome};
1108 :     }
1109 :    
1110 : olson 1.21 sub get_genome :scalar
1111 : olson 1.3 {
1112 :     my($self, $gidx) = @_;
1113 :    
1114 :     return $self->{genome}->[$gidx];
1115 :     }
1116 :    
1117 : olson 1.21 sub get_role_index :scalar
1118 : olson 1.5 {
1119 :     my($self, $role) = @_;
1120 :    
1121 :     return $self->{role_index}->{$role};
1122 :     }
1123 :    
1124 : olson 1.21 sub get_role :scalar
1125 : olson 1.3 {
1126 :     my($self, $ridx) = @_;
1127 :    
1128 :     return $self->{roles}->[$ridx];
1129 :     }
1130 :    
1131 : olson 1.21 sub get_role_abbr :scalar
1132 : olson 1.4 {
1133 :     my($self, $ridx) = @_;
1134 :    
1135 :     return $self->{role_abbrs}->[$ridx];
1136 :     }
1137 :    
1138 : olson 1.21 sub get_role_from_abbr :scalar
1139 : olson 1.20 {
1140 :     my($self, $abbr) = @_;
1141 :    
1142 :     return $self->{abbr}->{$abbr};
1143 :     }
1144 :    
1145 : olson 1.26 =pod
1146 :    
1147 :     =head1 set_pegs_in_cell($genome, $role, $peg_list)
1148 :    
1149 :     Set the cell for the given genome and role to $peg_list.
1150 :    
1151 :     =cut
1152 :    
1153 :     sub set_pegs_in_cell
1154 :     {
1155 :     my($self, $genome, $role, $peg_list) = @_;
1156 :     my($row, $col);
1157 :    
1158 :     #
1159 :     # If row isn't numeric, look it up in the genomes list.
1160 :     #
1161 :    
1162 :     if ($genome !~ /^\d+$/)
1163 :     {
1164 :     $row = $self->{genome_index}->{$genome};
1165 :     }
1166 :     else
1167 :     {
1168 :     $row = $genome
1169 :     }
1170 :    
1171 : overbeek 1.37 if (! defined($row))
1172 : olson 1.26 {
1173 : overbeek 1.37 print &Dumper($self->{genome_index});
1174 :     confess "Cannot find row for $genome\n";
1175 : olson 1.26 return undef;
1176 :     }
1177 :    
1178 :     #
1179 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1180 :     #
1181 :    
1182 :     if ($role !~ /^\d+$/)
1183 :     {
1184 :     #
1185 :     # See if it's an abbr
1186 :     #
1187 :    
1188 :     my $a = $self->{abbr}->{$role};
1189 : olson 1.27 $role = $a if $a;
1190 : olson 1.26
1191 :     $col = $self->{role_index}->{$role};
1192 :     }
1193 :     else
1194 :     {
1195 :     $col = $role;
1196 :     }
1197 :    
1198 : overbeek 1.37 if (! defined($col))
1199 : olson 1.26 {
1200 : overbeek 1.38 print &Dumper($self->{role_index});
1201 :     confess "Cannot find col for $role\n";
1202 : olson 1.26 return undef;
1203 :     }
1204 :     my $cell = $self->get_cell($row, $col);
1205 :    
1206 : overbeek 1.37 if (defined($cell))
1207 : olson 1.26 {
1208 : overbeek 1.37 my $peg;
1209 :     my $rdbH = $self->{fig}->db_handle();
1210 : overbeek 1.40 my $roleQ = quotemeta $role;
1211 :    
1212 : overbeek 1.37 if (@$cell > 0)
1213 :     {
1214 :     foreach $peg (@$cell)
1215 :     {
1216 :     $rdbH->SQL("DELETE FROM subsystem_index where ( subsystem = '$self->{name}' ) AND
1217 : overbeek 1.40 ( role = '$roleQ' ) AND
1218 : overbeek 1.37 ( protein = '$peg' )" );
1219 :     }
1220 :     }
1221 : olson 1.26 @$cell = @$peg_list;
1222 : overbeek 1.37 foreach $peg (@$cell)
1223 :     {
1224 : overbeek 1.40 $rdbH->SQL("INSERT INTO subsystem_index (protein,subsystem,role) VALUES ('$peg','$self->{name}','$roleQ' )");
1225 : overbeek 1.37 }
1226 : olson 1.26 }
1227 :     else
1228 :     {
1229 :     warn "set_pegs_in_cell: Could not find cell!";
1230 :     }
1231 :     }
1232 :    
1233 : olson 1.1 sub get_pegs_from_cell
1234 :     {
1235 :     my($self, $rowstr, $colstr) = @_;
1236 :     my($row, $col);
1237 :    
1238 :     #
1239 :     # If row isn't numeric, look it up in the genomes list.
1240 :     #
1241 :    
1242 :     if ($rowstr !~ /^\d+$/)
1243 :     {
1244 :     $row = $self->{genome_index}->{$rowstr};
1245 :     }
1246 :     else
1247 :     {
1248 :     $row = $rowstr;
1249 :     }
1250 :    
1251 : overbeek 1.31 if (! defined($row))
1252 : olson 1.1 {
1253 : overbeek 1.38 print &Dumper($self->{genome_index});
1254 :     confess "Cannot find row for $rowstr\n";
1255 : olson 1.1 return undef;
1256 :     }
1257 :    
1258 :     #
1259 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1260 :     #
1261 :    
1262 :     if ($colstr !~ /^\d+$/)
1263 :     {
1264 :     #
1265 :     # See if it's an abbr
1266 :     #
1267 :    
1268 :     my $a = $self->{abbr}->{$colstr};
1269 :     $colstr = $a if $a;
1270 :    
1271 :     $col = $self->{role_index}->{$colstr};
1272 :     }
1273 :     else
1274 :     {
1275 :     $col = $colstr;
1276 :     }
1277 : overbeek 1.32
1278 : overbeek 1.31 if (! defined($col))
1279 : olson 1.1 {
1280 :     warn "Cannot find col for $colstr\n";
1281 :     return undef;
1282 :     }
1283 : olson 1.12 my $cell = $self->get_cell($row, $col);
1284 : olson 1.1
1285 :     if ($cell)
1286 :     {
1287 :     return @$cell;
1288 :     }
1289 :     else
1290 :     {
1291 :     return undef;
1292 :     }
1293 :     }
1294 :    
1295 : olson 1.25 #
1296 :     # Subset support
1297 :     #
1298 :    
1299 : olson 1.30 sub get_active_subsetC
1300 :     {
1301 :     my($self) = @_;
1302 :    
1303 :     return $self->{col_active_subset};
1304 :     }
1305 :    
1306 :     sub get_active_subsetR
1307 :     {
1308 :     my($self) = @_;
1309 :    
1310 :     return $self->{row_active_subset};
1311 :     }
1312 :    
1313 :     sub set_active_subsetC
1314 :     {
1315 :     my($self, $subset) = @_;
1316 :    
1317 :     $self->{col_active_subset} = $subset;
1318 :     }
1319 :    
1320 :    
1321 :     sub set_active_subsetR
1322 :     {
1323 :     my($self, $subset) = @_;
1324 :    
1325 :     $self->{row_active_subset} = $subset;
1326 :     }
1327 :    
1328 :    
1329 : olson 1.25 sub get_subset_names
1330 : olson 1.17 {
1331 :     my($self) = @_;
1332 : olson 1.25
1333 : overbeek 1.31 return $self->get_subset_namesC;
1334 :     }
1335 :    
1336 :     sub get_subset_namesC
1337 :     {
1338 :     my($self) = @_;
1339 :    
1340 : overbeek 1.35 return ("All",@{$self->{col_subsets}});
1341 : overbeek 1.31 }
1342 :    
1343 :     sub get_subset_namesR
1344 :     {
1345 :     my($self) = @_;
1346 :    
1347 : overbeek 1.35 return ("All",@{$self->{row_subsets}});
1348 : olson 1.17 }
1349 :    
1350 : overbeek 1.33 sub get_subsetC_roles
1351 :     {
1352 :     my($self, $subname) = @_;
1353 :     return map { $self->get_role($_) } $self->get_subsetC($subname);
1354 :     }
1355 :    
1356 : overbeek 1.31 sub get_subsetC
1357 :     {
1358 :     my($self, $subname) = @_;
1359 : overbeek 1.33 if ($subname eq "All") { return map { $self->get_role_index($_) } $self->get_roles }
1360 : overbeek 1.31
1361 : olson 1.52 if (!defined($self->{col_subset_members}->{$subname}))
1362 :     {
1363 :     $self->{col_subset_members}->{$subname} = [];
1364 :     }
1365 :    
1366 : overbeek 1.31 return @{$self->{col_subset_members}->{$subname}};
1367 :     }
1368 :    
1369 : olson 1.25 sub get_subset
1370 : olson 1.17 {
1371 : olson 1.25 my($self, $subname) = @_;
1372 : overbeek 1.33 return $self->get_subsetC($subname);
1373 : overbeek 1.31 }
1374 :    
1375 :     sub get_subsetR
1376 :     {
1377 :     my($self, $subname) = @_;
1378 :     my($pair,$id,$members,$genome);
1379 :    
1380 :     if ($subname eq "All") { return $self->get_genomes }
1381 : overbeek 1.38 my %genomes = map { $_ => 1 } $self->get_genomes;
1382 :    
1383 :     return grep { $genomes{$_} } @{$self->{row_subset_members}->{$subname}};
1384 : overbeek 1.35 }
1385 :    
1386 :     sub load_row_subsets {
1387 :     my($self) = @_;
1388 :     my($id,$members,$pair);
1389 : overbeek 1.31
1390 : overbeek 1.35 my $taxonomic_groups = $self->{fig}->taxonomic_groups_of_complete(10);
1391 :     foreach $pair (@$taxonomic_groups)
1392 : overbeek 1.31 {
1393 : overbeek 1.35 ($id,$members) = @$pair;
1394 :     if ($id ne "All")
1395 : overbeek 1.31 {
1396 :     push(@{$self->{row_subsets}},$id);
1397 :     }
1398 : overbeek 1.35 $self->{row_subset_members}->{$id} = $members;
1399 : overbeek 1.31 }
1400 : olson 1.25 }
1401 :    
1402 : redwards 1.48 =pod
1403 :    
1404 :     =head2 load_row_subsets_by_kv
1405 :    
1406 :     Load a row subset based on a key/value pair. This will take a single key/value pair and only show that subset
1407 :    
1408 :     It is just a modification of load_row_subsets to deal with kv pairs
1409 :    
1410 :     This takes a required argument: the key that the genome must have, and a second optional argument, the value that key must hold.
1411 :    
1412 :     =cut
1413 :    
1414 :     sub load_row_subsets_by_kv {
1415 :     my ($self, $key, $want) = @_;
1416 :     my($id,$members,$pair);
1417 :     my $keep;
1418 :     foreach my $genome (@{$self->{genome}}) {
1419 : redwards 1.50 my @results=$self->{fig}->get_attributes($genome, $key);
1420 :     foreach my $res (@results) {
1421 : redwards 1.51 my ($gotid, $gottag, $value, $url)=@$res;
1422 : redwards 1.50 next if (!$value);
1423 :     next if ($want && $value ne $want);
1424 :     push @$keep, $genome;
1425 :     last;
1426 :     }
1427 : redwards 1.48 }
1428 :     $self->{row_subset_members}->{$key}=$keep;
1429 :     }
1430 : overbeek 1.35
1431 : olson 1.25 =pod
1432 :    
1433 : overbeek 1.31 =head2 set_subsetC($name, $members)
1434 : olson 1.25
1435 :     Create a subset with the given name and members.
1436 :    
1437 :     $members is a list of role names.
1438 :    
1439 :     =cut
1440 :    
1441 : overbeek 1.31 sub set_subsetC
1442 : olson 1.25 {
1443 :     my($self, $subname, $list) = @_;
1444 :    
1445 :     my $nl = [map { $self->get_role_index($_) } @$list];
1446 :    
1447 :     $self->_set_subset($subname, $nl);
1448 :     }
1449 :    
1450 : overbeek 1.31 sub set_subset
1451 :     {
1452 :     my($self, $subname, $list) = @_;
1453 :    
1454 :     $self->set_subsetsC($subname,$list);
1455 :     }
1456 :    
1457 : olson 1.25 =pod
1458 :    
1459 :     =head2 _set_subset($name, $members)
1460 :    
1461 :     Create a subset with the given name and members.
1462 :    
1463 :     Internal version - here, members is a list of role indices.
1464 :    
1465 :     =cut
1466 :    
1467 :     sub _set_subset
1468 :     {
1469 :     my($self, $subname, $list) = @_;
1470 :     $self->{col_subset_members}->{$subname} = $list;
1471 : overbeek 1.37 my($i,$x);
1472 :     $x = $self->{col_subsets};
1473 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
1474 :     if ($i == @$x)
1475 :     {
1476 :     push(@$x,$subname);
1477 :     }
1478 :     }
1479 :    
1480 :     sub delete_subsetC
1481 :     {
1482 :     my($self, $subname) = @_;
1483 :     my($i,$x);
1484 :    
1485 :     $x = $self->{col_subsets};
1486 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
1487 :     if ($i < @$x)
1488 :     {
1489 :     splice(@$x,$i,1);
1490 :     }
1491 :     delete $self->{col_subset_members}->{$subname};
1492 : olson 1.25 }
1493 :    
1494 :     #
1495 :     # Role manipulation.
1496 :     #
1497 :    
1498 :    
1499 :     =pod
1500 :    
1501 :     =head1 set_roles($role_list)
1502 :    
1503 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
1504 :    
1505 :     If a role already exists, it is used. If it does not exist, it is created empty.
1506 :    
1507 :     =cut
1508 :    
1509 :     sub set_roles
1510 :     {
1511 :     my($self, $roles) = @_;
1512 :    
1513 :     #
1514 :     # We do this by first creating a new spreadsheet.
1515 :     #
1516 :     # It is easiest to do this by manipulating the inverted spreadsheet
1517 :     # (role-major), and then creating the non-inverted spreadsheet from it.
1518 :     #
1519 :    
1520 :     my $oldss = $self->{spreadsheet};
1521 :     my $oldssinv = $self->{spreadsheet_inv};
1522 :    
1523 :     my $ss = [];
1524 :     my $ssinv = [];
1525 :    
1526 :     my $g = $self->{genome};
1527 :     my $ng = @$g;
1528 :    
1529 :     my $old_roles = $self->{role_index};
1530 :    
1531 :     my @role_index_conversion;
1532 :    
1533 :    
1534 :     $self->{abbr} = {};
1535 :     $self->{role_index} = {};
1536 :     $self->{roles} = [];
1537 :     $self->{role_abbrs} = [];
1538 :    
1539 :    
1540 :     for (my $idx = 0; $idx < @$roles; $idx++)
1541 :     {
1542 :     my $role = $roles->[$idx]->[0];
1543 :     my $abbr = $roles->[$idx]->[1];
1544 :    
1545 :     my $old_idx = $old_roles->{$role};
1546 :    
1547 :     if (defined($old_idx))
1548 :     {
1549 : overbeek 1.31 # print "Found old idx $old_idx for $role $idx\n";
1550 :     # print $oldssinv->[$old_idx];
1551 : olson 1.25 $ssinv->[$idx] = $oldssinv->[$old_idx];
1552 :    
1553 :     $role_index_conversion[$old_idx] = $idx;
1554 :     }
1555 :     else
1556 :     {
1557 : overbeek 1.37 # print "Did not find old role for $role $idx\n";
1558 :     # print Dumper($old_roles);
1559 : olson 1.25 my $l = [];
1560 :     for (my $j = 0; $j < $ng; $j++)
1561 :     {
1562 :     $l->[$j] = [];
1563 :     }
1564 :    
1565 :     $ssinv->[$idx] = $l;
1566 :     }
1567 :    
1568 :     #
1569 :     # While we're here, update the new role and abbrev indexes
1570 :     #
1571 :     $self->{role_index}->{$role} = $idx;
1572 :     $self->{abbr}->{$abbr} = $role;
1573 :     $self->{roles}->[$idx] = $role;
1574 :     $self->{role_abbrs}->[$idx] = $abbr;
1575 :     }
1576 :    
1577 :     #
1578 :     # Now create the uninverted spreadsheet.
1579 :     #
1580 :    
1581 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
1582 :     {
1583 :     my $row = [];
1584 :     $ss->[$gidx] = $row;
1585 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
1586 :     {
1587 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
1588 :     }
1589 :     }
1590 :    
1591 :     $self->{spreadsheet} = $ss;
1592 :     $self->{spreadsheet_inv} = $ssinv;
1593 :    
1594 :     #
1595 :     # Fix up the subsets.
1596 :     #
1597 :    
1598 :    
1599 : overbeek 1.37 for my $subset (grep { $_ ne "All" } $self->get_subset_names())
1600 : olson 1.25 {
1601 :     my $n = [];
1602 :     for my $idx ($self->get_subset($subset))
1603 :     {
1604 :     my $new = $role_index_conversion[$idx];
1605 :     if (defined($new))
1606 :     {
1607 :     push(@$n, $new);
1608 :     }
1609 :     }
1610 :     $self->_set_subset($subset, $n);
1611 :     }
1612 :    
1613 :     }
1614 :    
1615 :     =pod
1616 :    
1617 :     =head1 C<add_role($role, $abbr)>
1618 :    
1619 :     Add the given role to the spreadsheet.
1620 :    
1621 :     This causes a new column to be added, with empty values in each cell.
1622 :    
1623 :     We do nothing if the role is already present.
1624 :    
1625 :     Return the index of the new role.
1626 :    
1627 :     =cut
1628 :    
1629 :     sub add_role
1630 :     {
1631 :     my($self, $role, $abbr) = @_;
1632 :    
1633 :     if (defined($self->get_role_index($role)))
1634 :     {
1635 :     warn "Role $role already present\n";
1636 :     return undef;
1637 :     }
1638 :    
1639 :     #
1640 :     # Add to the roles list. It goes at the end.
1641 :     #
1642 :    
1643 :     my $idx = @{$self->{roles}};
1644 :     $self->{roles}->[$idx] = $role;
1645 :     $self->{role_abbrs}->[$idx] = $abbr;
1646 :     $self->{role_index}->{$role} = $idx;
1647 :     $self->{abbr}->{$abbr} = $role;
1648 :    
1649 :     #
1650 :     # Update the spreadsheet.
1651 :     # On the standard one, we have to go through all the rows adding
1652 :     # a columnt to each.
1653 :     #
1654 :     # On the inverted one, we add a column with [] in each entry.
1655 :     #
1656 :    
1657 :     my $ng = @{$self->{genome}};
1658 :     my $newcol = [];
1659 :    
1660 :     for (my $i = 0; $i < $ng; $i++)
1661 :     {
1662 :     my $cell = [];
1663 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
1664 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
1665 :     $newcol->[$i] = $cell;
1666 :     }
1667 :    
1668 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
1669 :    
1670 :     return $idx;
1671 :     }
1672 :    
1673 :     =pod
1674 :    
1675 :     =head1 remove_role($role)
1676 :    
1677 :     Remove the role from the spreadsheet.
1678 :    
1679 :     We do nothing if the role is not present.
1680 :    
1681 :     =cut
1682 :    
1683 :     sub remove_role
1684 :     {
1685 :     my($self, $role) = @_;
1686 :    
1687 :     my $idx = $self->get_role_index($role);
1688 :     if (!defined($idx))
1689 :     {
1690 :     warn "Role $role not present\n";
1691 :     return undef;
1692 :     }
1693 :    
1694 :     #
1695 :     # Remove from the roles list.
1696 :     #
1697 :    
1698 :     my $abbr = $self->{role_abbrs}->[$idx];
1699 :    
1700 :     splice(@{$self->{roles}}, $idx, 1);
1701 :     splice(@{$self->{role_abbrs}}, $idx, 1);
1702 :     delete $self->{role_index}->{$role};
1703 :     delete $self->{abbr}->{$abbr};
1704 :    
1705 :     #
1706 :     # Update the spreadsheet.
1707 :     # On the standard one, we have to go through all the rows removing
1708 :     # the column from each.
1709 :     #
1710 :     # On the inverted one, we just remove the column.
1711 :     #
1712 :    
1713 :     my $ng = @{$self->{genome}};
1714 :     my $newcol = [];
1715 :    
1716 :     for (my $i = 0; $i < $ng; $i++)
1717 :     {
1718 :     splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
1719 :     }
1720 :    
1721 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
1722 :    
1723 :     #
1724 :     # We need to rewrite the subsets. if $idx was present in one, it is
1725 :     # removed. Any index >$idx is decremented.
1726 :     #
1727 :    
1728 :     for my $subset ($self->get_subset_names())
1729 :     {
1730 :     my @n;
1731 :    
1732 :     for my $sidx ($self->get_subset($subset))
1733 :     {
1734 :     if ($sidx < $idx)
1735 :     {
1736 :     push(@n, $sidx);
1737 :     }
1738 :     elsif ($sidx > $idx)
1739 :     {
1740 :     push(@n, $sidx - 1);
1741 :     }
1742 :     }
1743 :    
1744 :     $self->_set_subset($subset, [@n]);
1745 :     }
1746 :     }
1747 :    
1748 :     =pod
1749 :    
1750 :     =head1 C<add_genome($genome, $abbr)>
1751 :    
1752 :     Add the given genome to the spreadsheet.
1753 :    
1754 :     This causes a new row to be added, with empty values in each cell.
1755 :    
1756 :     We do nothing if the genome is already present.
1757 :    
1758 :     Return the index of the new genome.
1759 :    
1760 :     =cut
1761 :    
1762 :     sub add_genome
1763 :     {
1764 :     my($self, $genome) = @_;
1765 :    
1766 :     my $idx = $self->get_genome_index($genome);
1767 :     if (defined($idx))
1768 :     {
1769 :     warn "Genome $genome already present\n";
1770 :     return $idx;
1771 :     }
1772 :    
1773 :     #
1774 :     # Add to the genomes list. It goes at the end.
1775 :     #
1776 :    
1777 :     my $idx = @{$self->{genome}};
1778 : olson 1.26 $self->{variant_code}->[$idx] = 0;
1779 : olson 1.25 $self->{genome}->[$idx] = $genome;
1780 :     $self->{genome_index}->{$genome} = $idx;
1781 :    
1782 :     #
1783 :     # Update the spreadsheet.
1784 :     # On the inverted one, we have to go through all the columns adding
1785 :     # a row to each.
1786 :     #
1787 :     # On the regular one, we add a row with [] in each entry.
1788 :     #
1789 :    
1790 :     my $nr = @{$self->{roles}};
1791 :     my $newrow = [];
1792 :    
1793 :     for my $i (0.. $nr - 1)
1794 :     {
1795 :     my $cell = [];
1796 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
1797 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
1798 :     $newrow->[$i] = $cell;
1799 :     }
1800 :    
1801 :     $self->{spreadsheet}->[$idx] = $newrow;
1802 :    
1803 :     return $idx;
1804 :     }
1805 :    
1806 :     =pod
1807 :    
1808 :     =head1 remove_genome($genome)
1809 :    
1810 :     Remove the genome from the spreadsheet.
1811 :    
1812 :     We do nothing if the genome is not present.
1813 :    
1814 :     =cut
1815 :    
1816 :     sub remove_genome
1817 :     {
1818 :     my($self, $genome) = @_;
1819 :    
1820 :     my $idx = $self->get_genome_index($genome);
1821 :     if (!defined($idx))
1822 :     {
1823 :     warn "Genome $genome not present\n";
1824 :     return undef;
1825 :     }
1826 :    
1827 :     #
1828 :     # Remove from the genomes list.
1829 :     #
1830 :    
1831 :     splice(@{$self->{genome}}, $idx, 1);
1832 : overbeek 1.43
1833 :     my $genome1;
1834 :     foreach $genome1 (@{$self->{genome}})
1835 :     {
1836 :     if ($self->{genome_index}->{$genome1} > $idx)
1837 :     {
1838 :     $self->{genome_index}->{$genome1}--;
1839 :     }
1840 :     }
1841 : olson 1.25 splice(@{$self->{variant_code}}, $idx, 1);
1842 :    
1843 :     delete $self->{genome_index}->{$genome};
1844 :    
1845 :     #
1846 :     # Update the spreadsheet.
1847 :     # On the inverted one, we have to go through all the columns removing
1848 :     # the row from each.
1849 :     #
1850 :     # On the standard one, we just remove the row.
1851 :     #
1852 :    
1853 :     my $nr = @{$self->{roles}};
1854 :    
1855 :     for my $i (0 .. $nr - 1)
1856 :     {
1857 :     splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
1858 :     }
1859 :    
1860 :     splice(@{$self->{spreadsheet}}, $idx, 1);
1861 :    
1862 :     }
1863 :    
1864 :     sub get_name :scalar
1865 :     {
1866 :     my($self) = @_;
1867 : overbeek 1.53 my $name = $self->{name};
1868 :     $name =~ s/ /_/g;
1869 :     return $name;
1870 : olson 1.25 }
1871 :    
1872 : overbeek 1.41 sub get_dir :scalar
1873 :     {
1874 :     my($self) = @_;
1875 :     return $self->{dir};
1876 :     }
1877 :    
1878 : olson 1.25
1879 :     sub get_version :scalar
1880 :     {
1881 :     my($self) = @_;
1882 :     return $self->{version};
1883 : olson 1.17 }
1884 :    
1885 : olson 1.26 sub get_notes :scalar
1886 :     {
1887 :     my($self) = @_;
1888 :    
1889 :     return $self->{notes};
1890 :     }
1891 :    
1892 :     sub set_notes
1893 :     {
1894 :     my($self, $notes) = @_;
1895 :    
1896 : olson 1.28 $self->{notes} = $notes;
1897 : olson 1.26 }
1898 :    
1899 : redwards 1.44 sub get_classification
1900 :     {
1901 :     my($self) = @_;
1902 :    
1903 :     return $self->{classification};
1904 :     }
1905 :    
1906 :     sub set_classification
1907 :     {
1908 :     my($self, $classification) = @_;
1909 :    
1910 :     $self->{classification}=$classification;
1911 :     }
1912 :    
1913 :    
1914 :    
1915 : olson 1.17 sub get_curator :scalar
1916 :     {
1917 :     my($self) = @_;
1918 :     return $self->{curator};
1919 :     }
1920 : overbeek 1.47
1921 : olson 1.25 #
1922 :     # Subsystem copying logic
1923 :     #
1924 :    
1925 :     =pod
1926 :    
1927 :     =head2 add_to_subsystem($subsystem_name, $columns, $notes_flag)
1928 :    
1929 :     Merge the given columns from $subsystem_name into this subsystem. Append the
1930 :     notes from the subsystem if $notes_flag is true.
1931 :    
1932 :     =cut
1933 :    
1934 :     sub add_to_subsystem
1935 :     {
1936 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
1937 :    
1938 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
1939 :    
1940 :     if (!$ss)
1941 :     {
1942 :     warn "Cannot open subsystem '$subsystem_name' to copy from";
1943 :     return;
1944 :     }
1945 :    
1946 :     #
1947 :     # Merge the data from the other subsystem.
1948 :     #
1949 :     # First we assure ourselves that we have the appropriate roles. While
1950 :     # we do this, build the list of row indices (in this subsystem) that
1951 :     # map to the roles we are adding.
1952 :     #
1953 :    
1954 :     #
1955 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
1956 :     #
1957 :    
1958 :     my @local_roles;
1959 :    
1960 :     #
1961 :     # his_roles = list of role indices corresponding to the remote roles.
1962 :     #
1963 : overbeek 1.36 if ($cols->[0] eq "all")
1964 :     {
1965 :     $cols = [$ss->get_roles];
1966 :     }
1967 :    
1968 : olson 1.25 my @his_roles;
1969 :    
1970 :     for my $his_role (@$cols)
1971 :     {
1972 :     my $idx = $self->get_role_index($his_role);
1973 :     my $his_idx = $ss->get_role_index($his_role);
1974 :    
1975 :     if (!defined($his_idx))
1976 :     {
1977 :     confess "Cannot map his role $his_role\n";
1978 :     }
1979 :     push(@his_roles, $his_idx);
1980 :    
1981 :     if (!defined($idx))
1982 :     {
1983 :     my $his_abbr = $ss->get_role_abbr($his_idx);
1984 :    
1985 :     $idx = $self->add_role($his_role, $his_abbr);
1986 : overbeek 1.37 # print "Adding missing role $his_role idx=$idx\n";
1987 : olson 1.25 }
1988 :     else
1989 :     {
1990 : overbeek 1.37 # print "Found existing role $his_role idx=$idx\n";
1991 : olson 1.25 }
1992 :    
1993 :    
1994 :     $local_roles[$his_idx] = $idx;
1995 :     }
1996 :    
1997 :     #
1998 :     # Similar scan to ensure that we have rows for the genomes
1999 :     # that are in the other subsystem.
2000 :     #
2001 :    
2002 :     my @local_genomes;
2003 :    
2004 :     my @his_genomes = $ss->get_genomes();
2005 :    
2006 :     for my $his_idx (0..@his_genomes - 1)
2007 :     {
2008 :     my $genome = $his_genomes[$his_idx];
2009 : overbeek 1.37
2010 : olson 1.25
2011 :     my $my_idx = $self->get_genome_index($genome);
2012 :    
2013 :     if (!defined($my_idx))
2014 :     {
2015 :     #
2016 :     # Not there, need to add.
2017 :     #
2018 :    
2019 :     $my_idx = $self->add_genome($genome);
2020 : overbeek 1.37 # print "Adding missing genome $genome idx=$my_idx\n";
2021 : olson 1.25 }
2022 :     else
2023 :     {
2024 : overbeek 1.37 # print "Found existing genome $genome idx=$my_idx\n";
2025 : olson 1.25 }
2026 :    
2027 :     $local_genomes[$his_idx] = $my_idx;
2028 :     }
2029 :    
2030 :    
2031 :     #
2032 :     # Now that we have our local roles set up to receive the data,
2033 :     # process the incoming roles one at a time.
2034 :     #
2035 :    
2036 :    
2037 :     for my $his_role (@his_roles)
2038 :     {
2039 :     my $my_col = $self->get_col($local_roles[$his_role]);
2040 :     my $his_col = $ss->get_col($his_role);
2041 :    
2042 :     #
2043 :     # $his_col is the information for $his_role, indexed by
2044 :     # genome in @his_genomes.
2045 :     #
2046 :     # $my_col is hte information for my copy of $his_role,
2047 :     # indexed by genome in MY genome list.
2048 :     #
2049 :    
2050 :     my $my_role = $local_roles[$his_role];
2051 :    
2052 : overbeek 1.37 # print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
2053 : olson 1.25
2054 :     for my $his_gidx (0 .. @his_genomes - 1)
2055 :     {
2056 :     my $hisent = $his_col->[$his_gidx];
2057 :    
2058 :     my $my_gidx = $local_genomes[$his_gidx];
2059 :    
2060 : overbeek 1.37
2061 : olson 1.25 my $myent = $my_col->[$my_gidx];
2062 :    
2063 : overbeek 1.37 # print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
2064 : olson 1.25
2065 :     my %new;
2066 :     map { $new{$_}++ } @$hisent;
2067 :     map { $new{$_}++ } @$myent;
2068 :    
2069 :     @$myent = keys(%new);
2070 :    
2071 : overbeek 1.37 # print " new entry: @$myent\n";
2072 : olson 1.25 }
2073 :     }
2074 : olson 1.26
2075 :     #
2076 :     # Fix up the variant codes.
2077 :     #
2078 :    
2079 :     for my $his_gidx (0 .. @his_genomes - 1)
2080 :     {
2081 :     my $his_code = $ss->get_variant_code($his_gidx);
2082 :     my $my_gidx = $local_genomes[$his_gidx];
2083 :    
2084 :     if (!$self->get_variant_code($my_gidx))
2085 :     {
2086 :     $self->{variant_code}->[$my_gidx] = $his_code;
2087 :     }
2088 :     }
2089 :    
2090 :     #
2091 :     # If we are to add notes, append the other subsystem's notes text.
2092 :     #
2093 :    
2094 :     if ($add_notes)
2095 :     {
2096 :     my $his_notes = $ss->get_notes();
2097 :    
2098 :     $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
2099 :     }
2100 : olson 1.25 }
2101 : olson 1.17
2102 : olson 1.1 sub dump
2103 :     {
2104 :     my($self) = @_;
2105 :    
2106 :     for my $k (keys(%$self))
2107 :     {
2108 :     next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
2109 :     print "Key \"$k\": ", Dumper($self->{$k});
2110 :     }
2111 :     }
2112 :    
2113 : olson 1.14 #
2114 :     # Increment the subsystem's version number.
2115 :     #
2116 :     sub incr_version {
2117 :     my($self) = @_;
2118 :    
2119 :     my $dir = $self->{dir};
2120 :     my $vfile = "$dir/VERSION";
2121 :     my($ver);
2122 :    
2123 :     if (open(my $fh,"<$vfile"))
2124 :     {
2125 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
2126 :     {
2127 :     $ver = $1;
2128 :     }
2129 :     else
2130 :     {
2131 :     $ver = 0;
2132 :     }
2133 :     close($fh);
2134 :     }
2135 :     else
2136 :     {
2137 :     $ver = 0;
2138 :     }
2139 :    
2140 :     $ver++;
2141 :    
2142 :     open(my $fh, ">$vfile") || die "could not open $vfile";
2143 :     print $fh "$ver\n";
2144 :     close($fh);
2145 :    
2146 :     chmod(0777, $vfile);
2147 :    
2148 :     $self->load_version();
2149 :     }
2150 : olson 1.1
2151 :     sub get_dir_from_name
2152 :     {
2153 :     my($name) = @_;
2154 :    
2155 :     my $b = $name;
2156 :     $b =~ s/ /_/g;
2157 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
2158 :     return $dir;
2159 :     }
2160 :    
2161 : olson 1.12 #
2162 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
2163 :     #
2164 :     # The code here is a reconstruction of Bill's "go" script in perl with
2165 :     # data pulled from the local SEED configuration.
2166 :     #
2167 :    
2168 :     sub extend_with_billogix
2169 :     {
2170 : olson 1.42 my($self, $muser, $genomes) = @_;
2171 : olson 1.12 my($isMaster, $user);
2172 :    
2173 :     my $now = time();
2174 :    
2175 :     if ($muser =~ /master:(.*)/)
2176 :     {
2177 :     $isMaster = 1;
2178 :     $user = $1;
2179 :     }
2180 :     else
2181 :     {
2182 :     $isMaster = 0;
2183 :     $user = $muser;
2184 :     }
2185 :    
2186 :     #
2187 : olson 1.42 # initialize the genome list to all complete genomes, if none was passed in.
2188 :     #
2189 :    
2190 :     if (!$genomes)
2191 :     {
2192 :     $genomes = [$self->{fig}->genomes("complete")];
2193 :     warn "getting genome list from fig $self->{fig}";
2194 :     }
2195 :    
2196 :     #
2197 :     # Ensure genome list is of the right form.
2198 :     #
2199 :    
2200 :     if (ref($genomes) ne "ARRAY")
2201 :     {
2202 :     warn "billogix: genome list is not a list reference";
2203 :     return;
2204 :     }
2205 :    
2206 :     for my $g (@$genomes)
2207 :     {
2208 :     if ($g !~ /^\d+\.\d+/)
2209 :     {
2210 :     warn "billogix: genome '$g' is not of the proper form, aborting billogix run.";
2211 :     return;
2212 :     }
2213 :     }
2214 :    
2215 :     my $genome_list = "[" . join(", ", map { "'$_'" } @$genomes) . "]";
2216 :    
2217 :     warn "Genomes: $genome_list\n";
2218 :     warn Dumper($genomes);
2219 :    
2220 :     #
2221 : olson 1.12 # Find the executable.
2222 :     #
2223 :    
2224 :     my $exe = "$FIG_Config::bin/billogix";
2225 :    
2226 :     if (! -x $exe)
2227 :     {
2228 :     warn "Cannot find billogix exe at $exe\n";
2229 :     return;
2230 :     }
2231 :    
2232 :     my $ss_name = $self->{name};
2233 : olson 1.18
2234 :     $ss_name =~ s/\s+/_/g;
2235 :    
2236 : olson 1.14 my $ss_dir = "$self->{dir}/";
2237 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
2238 : olson 1.12 &FIG::verify_dir($assign_dir);
2239 :    
2240 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
2241 :     my $job_id = "${when}:sss:$ss_name";
2242 :    
2243 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
2244 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
2245 : olson 1.12
2246 :     #
2247 :     # Have the prereq stuff, now start up the app.
2248 :     #
2249 :    
2250 :     $ENV{LOCALSZ} = "80000";
2251 :     $ENV{GLOBALSZ} = "80000";
2252 :     $ENV{TRAILSZ} = "30000";
2253 : olson 1.13
2254 :     my $arch = &FIG::get_current_arch();
2255 :    
2256 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
2257 :    
2258 :     #
2259 :     # Need to ensure pl2wam is in our path
2260 :     #
2261 :    
2262 :     $ENV{PATH} = "${FIG_Config::ext_bin}:$ENV{PATH}";
2263 : olson 1.12
2264 : olson 1.23 #
2265 :     # We're going to divide the run into $n_chunks chunks.
2266 :     #
2267 :    
2268 :     my $n_chunks = 10;
2269 :    
2270 :     my($log);
2271 :     open($log, ">$ss_dir/$job_id.log");
2272 :    
2273 :     for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2274 :     {
2275 :     my $app_input = <<EOINP;
2276 : olson 1.12 ['\$BILLOGIX/top'].
2277 :     loadup.
2278 : olson 1.42 asserta(job_genome_list($genome_list)).
2279 : olson 1.23 asserta(part($this_chunk, $n_chunks)).
2280 : olson 1.12 asserta(url_default_seed('$seed')).
2281 : olson 1.13 asserta(url_export_part('$export_part')).
2282 : olson 1.12 asserta(ss_directory('$ss_dir')).
2283 :     asserta(assign_directory('$assign_dir')).
2284 :     asserta(job_id('$job_id')).
2285 :     extend_test3('$ss_name').
2286 :     EOINP
2287 :    
2288 : olson 1.23 print STDERR <<EOF;
2289 : olson 1.12 Starting app
2290 :    
2291 : olson 1.23 chunk $this_chunk of $n_chunks
2292 : olson 1.12 ss_name = $ss_name
2293 :     ss_dir = $ss_dir
2294 :     user = $user
2295 :     assign_dir = $assign_dir
2296 :     exe = $exe
2297 : olson 1.13 libdir = $ENV{BILLOGIX}
2298 :     path = $ENV{PATH}
2299 : olson 1.12
2300 :     App input
2301 :     $app_input
2302 :     EOF
2303 :     # feh, put in a block to reset perlmode indentation.
2304 : olson 1.23 {
2305 :     my($app_read, $app_write);
2306 :    
2307 :     #
2308 :     # Start the actual application with stdin and stdout redirected
2309 :     # to pipes.
2310 :     #
2311 :     # We write $app_input to the stdin pipe, and close it.
2312 :     # Then loop reading stdout, logging that output.
2313 :     #
2314 :     my $pid = open2($app_read, $app_write, $exe);
2315 :    
2316 :     if (!$pid)
2317 :     {
2318 :     warn "open2 $exe failed: $!\n";
2319 :     print $log "open2 $exe failed: $!\n";
2320 :     return;
2321 :     }
2322 :    
2323 :     print $app_write $app_input;
2324 :     close($app_write);
2325 :    
2326 :     #
2327 :     # Set autoflush on the logfile.
2328 :     #
2329 :    
2330 :     my $old = select($log);
2331 :     $| = 1;
2332 :     select(STDERR);
2333 :     $| = 1;
2334 :     select($old);
2335 :    
2336 :     warn "Starting $exe with pid $pid\n";
2337 :     print $log "Starting $exe with pid $pid\n";
2338 :    
2339 :     while (<$app_read>)
2340 :     {
2341 :     print STDERR $_;
2342 :     print $log $_;
2343 :     }
2344 :    
2345 :     print STDERR "App done\n";
2346 :     print $log "App done\n";
2347 :    
2348 :     close($app_read);
2349 :    
2350 :     my $ret = waitpid($pid, 0);
2351 :     my $stat = $?;
2352 :     print STDERR "Return status is $?\n";
2353 :     print $log "Return status is $?\n";
2354 :    
2355 :     #
2356 :     # This chunk has finished. We should see a file
2357 :     # rows.$this_chunk.$n_chunks.
2358 :     #
2359 :     }
2360 :     }
2361 :     #
2362 :     # At this point, the extension is finished (we've run the
2363 :     # $n_chunks parts of the extension job).
2364 :     #
2365 : olson 1.12
2366 : olson 1.14 #
2367 : olson 1.23 # We read in all the individual rows files, writing the single
2368 :     # concatenation of rows.
2369 : olson 1.14 #
2370 : olson 1.12
2371 : olson 1.23 my $ssaD = $self->{dir};
2372 :    
2373 :     my $rows_file = "$ssaD/rows";
2374 :    
2375 :     my $rowFH;
2376 :     if (!open($rowFH, ">$rows_file"))
2377 : olson 1.12 {
2378 : olson 1.23 my $err = "Cannot open rows file $ssaD/rows for writing: $!\n";
2379 :     print STDERR $err;
2380 :     print $log $err;
2381 : olson 1.12 return;
2382 :     }
2383 :    
2384 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2385 :     {
2386 :     my $chunkFH;
2387 :     my $cfile = "$ssaD/rows.$this_chunk.$n_chunks";
2388 :     if (!open($chunkFH, "<$cfile"))
2389 :     {
2390 :     my $err = "Cannot open rows file $cfile for reading: $!\n";
2391 :     print STDERR $err;
2392 :     print $log $err;
2393 :     return;
2394 :     }
2395 :     while (<$chunkFH>)
2396 :     {
2397 :     print $rowFH $_;
2398 :     }
2399 :     close($chunkFH);
2400 :     }
2401 :     close($rowFH);
2402 : olson 1.12
2403 :     #
2404 : olson 1.23 # Concatenate the assignments into the assignment directory.
2405 : olson 1.12 #
2406 :    
2407 : olson 1.23 my $assignments_file = "$assign_dir$job_id";
2408 :     my $assignFH;
2409 : olson 1.12
2410 : olson 1.23 if (!open($assignFH, ">$assignments_file"))
2411 : olson 1.12 {
2412 : olson 1.23 my $err = "Cannot open assignments file $assignments_file for writing: $!\n";
2413 :     print STDERR $err;
2414 :     print $log $err;
2415 :     return;
2416 : olson 1.12 }
2417 :    
2418 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2419 : olson 1.19 {
2420 : olson 1.23 my $aFH;
2421 :     my $afile = "$ssaD/assignments.$this_chunk.$n_chunks";
2422 :     if (!open($aFH, "<$afile"))
2423 :     {
2424 :     my $err = "Cannot open assignments file $afile for reading: $!\n";
2425 :     print STDERR $err;
2426 :     print $log $err;
2427 :     return;
2428 :     }
2429 :     while (<$aFH>)
2430 :     {
2431 :     print $assignFH $_;
2432 :     }
2433 :     close($aFH);
2434 : olson 1.19 }
2435 : olson 1.23 close($assignFH);
2436 : olson 1.19
2437 : olson 1.23
2438 :    
2439 : olson 1.19 #
2440 : olson 1.14 # Back up the spreadsheet, and append the rows file to it.
2441 :     #
2442 :    
2443 :     &FIG::verify_dir("$ssaD/Backup");
2444 :     my $ts = time;
2445 :     rename("$ssaD/spreadsheet~","$ssaD/Backup/spreadsheet.$ts");
2446 :     copy("$ssaD/spreadsheet","$ssaD/spreadsheet~");
2447 :     rename("$ssaD/notes~","$ssaD/Backup/notes.$ts");
2448 :    
2449 :     #
2450 :     # Append the new rows to the spreadsheet.
2451 :     #
2452 :    
2453 :     my($ssafh, $rowsfh);
2454 :     open($ssafh, ">>$ssaD/spreadsheet") or die "Cannot open $ssaD/spreadsheet for append: $!\n";
2455 :     open($rowsfh, "<$ssaD/rows") or die "Cannot open $ssaD/rows for reading: $!\n";
2456 :    
2457 :     while (<$rowsfh>)
2458 :     {
2459 :     print $ssafh $_;
2460 :     }
2461 :     close($ssafh);
2462 :     close($rowsfh);
2463 :    
2464 :     $self->incr_version();
2465 : olson 1.12 }
2466 : olson 1.13
2467 : olson 1.14
2468 : olson 1.13 sub set_current_extend_pid
2469 :     {
2470 :     my($self, $pid) = @_;
2471 :    
2472 :     if (open(my $fh, ">$self->{dir}/EXTEND_PID"))
2473 :     {
2474 :     print $fh "$pid\n";
2475 :     }
2476 :     else
2477 :     {
2478 :     warn "Cannot open $self->{dir}/EXTEND_PID: $!\n";
2479 :     }
2480 :     }
2481 :    
2482 :     sub get_current_extend_pid
2483 :     {
2484 :     my($self) = @_;
2485 :    
2486 :     if (open(my $fh, "<$self->{dir}/EXTEND_PID"))
2487 :     {
2488 :     my $pid = <$fh>;
2489 :     close($fh);
2490 :     if ($pid)
2491 :     {
2492 :     chomp $pid;
2493 :    
2494 :     return $pid;
2495 :     }
2496 :     }
2497 :     return undef;
2498 :     }
2499 : olson 1.12
2500 : olson 1.7 package Subsystem::Diagram;
2501 :    
2502 :     sub new
2503 :     {
2504 :     my($class, $sub, $fig, $name, $dir) = @_;
2505 :    
2506 :     if (!-d $dir)
2507 :     {
2508 :     return undef;
2509 :     }
2510 :    
2511 :     my $self = {
2512 :     fig => $fig,
2513 :     subsystem => $sub,
2514 :     name => $name,
2515 :     dir =>$ dir,
2516 :     };
2517 :     bless $self, $class;
2518 :    
2519 :     $self->load();
2520 :    
2521 :     return $self;
2522 :     }
2523 :    
2524 :     #
2525 :     # Parse the diagram into internal data structure.
2526 :     #
2527 :    
2528 :     sub load
2529 :     {
2530 :     my($self) = @_;
2531 :    
2532 :     $self->load_area();
2533 :     }
2534 :    
2535 :     sub load_area
2536 :     {
2537 :     my($self) = @_;
2538 :     my $fh;
2539 :    
2540 : olson 1.8 if (!open($fh, "<$self->{dir}/area_table"))
2541 : olson 1.7 {
2542 : olson 1.8 warn "Could not load $self->{dir}/area_table: $!\n";
2543 : olson 1.7 return;
2544 :     }
2545 :    
2546 :     $self->{areas} = [];
2547 :    
2548 :     my $area_list = $self->{areas};
2549 :    
2550 :     while (<$fh>)
2551 :     {
2552 :     chomp;
2553 :     s/#.*$//;
2554 :     s/^\s+//;
2555 :     s/\s+$//;
2556 :     next if $_ eq '';
2557 :     my ($area, $tag, $value) = split(/\s+/, $_, 3);
2558 :     # print "area=$area tag=$tag value=$value\n";
2559 :    
2560 :     push(@$area_list, [$area, $tag, $value]);
2561 :    
2562 :     #
2563 :     # Do a little checking.
2564 :     #
2565 :    
2566 :     if ($tag eq "role")
2567 :     {
2568 :     my $idx = $self->{subsystem}->get_role_index($value);
2569 :     if (!defined($idx))
2570 :     {
2571 :     warn "Role not found for \"$value\" in subsystem $self->{subsystem}->{name}\n";
2572 :     }
2573 :     }
2574 :     }
2575 :     close($fh);
2576 :     }
2577 :    
2578 :     sub get_areas
2579 :     {
2580 :     my($self) = @_;
2581 :    
2582 :     return @{$self->{areas}};
2583 :     }
2584 :    
2585 : olson 1.1 1;
2586 : olson 1.7
2587 :    

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3