[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.55 - (view) (download) (as text)

1 : olson 1.1 package Subsystem;
2 :    
3 : olson 1.25 use Carp;
4 : olson 1.1 use FIG;
5 :    
6 : olson 1.10 use FIGAttributes;
7 :     use base 'FIGAttributes';
8 :    
9 : olson 1.12 use POSIX;
10 : olson 1.7 use DirHandle;
11 : olson 1.1 use Data::Dumper;
12 : olson 1.14 use File::Copy;
13 : olson 1.1 use File::Spec;
14 : olson 1.12 use IPC::Open2;
15 : olson 1.1
16 :     use strict;
17 :    
18 : olson 1.2 =pod
19 :    
20 :     =head1 Subsystem manipulation.
21 :    
22 :     Any manipulation of subsystem data should happen through this interface.
23 :     This allows us to assure ourselves that the relational tables that
24 :     mirror and index the subsystem data are kept up to date with the
25 :     canonical version of the subsystem information in the flat-files
26 :     kept in $FIG_Config::data/Subsystems.
27 :    
28 : olson 1.25 =head2 Objects.
29 :    
30 :     We define the following perl objects:
31 :    
32 :     Subsystem: represents a subsystem. It can be read from disk and
33 :     written to disk, and manipulated via its methods when in memory.
34 :    
35 :     If we were completely on the OO side of the world, we would also
36 :     define the following set of objects. However, we are not, so they are
37 :     only objects in a conceptual sense. They are implemented using the
38 :     basic perl datatypes.
39 :    
40 :     Role: represents a single role. A role has a name and an abbreviation.
41 :    
42 :     RoleSubset: represents a subset of available roles. A subset has a
43 :     name and a list of role names that comprise the subset.
44 :    
45 : olson 1.2 =head2 Thoughts on locking
46 :    
47 :     It is currently dangerous for multiple users to modify spreadsheets at once.
48 :     It will likely remain dangerous while the subsystem backend is fairly
49 :     stateless, as it is with the CGI mechanism.
50 :    
51 :     We'd like to make this a little safer. One mechanism might be to allow
52 :     a user to open a subsystem for modification, and others for readonly access.
53 :     For this to work we have to be able to tell which users is allowed; current
54 :     implementation uses the curator of the subsystem for this purpose.
55 :    
56 :     NB: This module does not currently attempt to handle locking or exclusion.
57 :     It is up to the caller (user application, CGI script, etc) to do so.
58 :     It does attempt to use locking internally where appropriate.
59 :    
60 :     =head2 Data structures
61 :    
62 :     We maintain the following data structures (all members of %$self).
63 :    
64 :     =over 4
65 :    
66 :     =item dir
67 :    
68 :     Directory in which the subsystem is stored.
69 :    
70 :     =item notes
71 :    
72 :     The current notes contents for the subsystem
73 :    
74 :     =item version
75 :    
76 :     Current subsystem version.
77 :    
78 :     =item exchangable
79 :    
80 :     1 if subsystem is exchangable, 0 otherwise.
81 :    
82 :     =item roles
83 :    
84 : olson 1.25 List of role names.
85 : olson 1.2
86 :     =item role_index
87 :    
88 :     hash that maps from role name to index
89 :    
90 :     =item role_abbrs
91 :    
92 :     list of role abbreviations
93 :    
94 :     =item abbr
95 :    
96 :     hash mapping from role abbreviation to role name
97 :    
98 :     =item col_subsets
99 :    
100 :     list of column subset names
101 :    
102 :     =item col_subset_members
103 :    
104 :     hash that maps from column subset name to subset members
105 :    
106 :     =item col_active_subset
107 :    
108 :     currently-active column subset
109 :    
110 :     =item row_active_subset
111 :    
112 :     currently-active row subset
113 :    
114 :     =item genome
115 :    
116 : olson 1.25 List of genome IDs.
117 : olson 1.2
118 :     =item variant_code
119 :    
120 : olson 1.25 List of variant codes.
121 : olson 1.2
122 :     =item genome_index
123 :    
124 :     Hash mapping from genome ID to genome index.
125 :    
126 :     =item spreadsheet
127 :    
128 :     Spreadsheet data. Structured as a list of rows, each of which
129 :     is a list of entries. An entry is a list of PEG numbers.
130 :    
131 :     =item spreadsheet_inv
132 :    
133 :     Inverted structure of spreadsheet - list of columns, each of which is a list
134 :     of rows.
135 :    
136 :     =back
137 :    
138 : olson 1.25 =head2 Methods
139 :    
140 :     =over 4
141 :    
142 :     =item index_cell
143 :    
144 :     Create the subsystem_index entries for the given cell.
145 :     (NEW).
146 :    
147 :     =item delete_role(name)
148 :    
149 :     Delete the given role.
150 :    
151 :     =item add_role(name, abbr)
152 :    
153 :     Add a new role.
154 :    
155 :     =item get_subset(name)
156 :    
157 : overbeek 1.31 A deprecated form of get_subsetC
158 :    
159 :     =item get_subsetC(name)
160 :    
161 : olson 1.25 Returns a given subset. A subset is an object, implemented as a blessed array
162 :     of roles.
163 :    
164 :     =item add_genome(genome_id, variant_code)
165 :    
166 :     =item remove_genome(genome_id)
167 :    
168 :     =back
169 :    
170 : olson 1.2 =cut
171 : olson 1.1
172 :     =pod
173 :    
174 :     =head1 Subsystem constructor
175 :    
176 :     usage: $sub = Subsystem->new("subsystem name", $fig, $createFlag)
177 :    
178 :     Load the subsystem. If it does not exist, and $createFlag is true, create
179 :     a new empty subsystem.
180 :    
181 :     =cut
182 :    
183 :     sub new
184 :     {
185 :     my($class, $name, $fig, $create) = @_;
186 :    
187 :     my $ssa_dir = get_dir_from_name($name);
188 :     #
189 :     # For loading, the subsystem directory must already exist.
190 :     #
191 :    
192 : olson 1.25 if (! -d $ssa_dir and not $create)
193 : olson 1.1 {
194 : olson 1.25 # warn "Subsystem $name does not exist\n";
195 :     return undef;
196 : olson 1.1 }
197 :     my $self = {
198 :     dir => $ssa_dir,
199 :     name => $name,
200 :     fig => $fig,
201 :     };
202 :    
203 :     bless($self, $class);
204 :    
205 : olson 1.25 if ($create)
206 :     {
207 :     $self->create_subsystem();
208 :     }
209 :     else
210 :     {
211 :     $self->load();
212 :     }
213 : olson 1.1
214 :     return $self;
215 :     }
216 :    
217 : olson 1.19 sub new_from_dir
218 :     {
219 :     my($class, $dir, $fig) = @_;
220 :    
221 :     my $ssa_dir = $dir;
222 : olson 1.29 my $name = $dir;
223 :     $name =~ s,.*/,,;
224 : olson 1.19
225 :     #
226 :     # For loading, the subsystem directory must already exist.
227 :     #
228 :    
229 :     my $self = {
230 :     dir => $ssa_dir,
231 :     name => $name,
232 :     fig => $fig,
233 :     };
234 :    
235 :     bless($self, $class);
236 :    
237 :     $self->load();
238 :    
239 :     return $self;
240 :     }
241 :    
242 : olson 1.25 =pod
243 :    
244 :     =head2 create_subsystem()
245 :    
246 :     Create a new subsystem. This creates the subsystem directory in the
247 :     correct place ($FIG_Config::data/Subsystems), and populates it with
248 :     the correct initial data.
249 :    
250 :     =cut
251 :    
252 : olson 1.1 sub create_subsystem
253 :     {
254 : olson 1.25 my($self) = @_;
255 :    
256 :     my $dir = $self->{dir};
257 :     my $fig = $self->{fig};
258 :    
259 :     if (-d $dir)
260 :     {
261 :     warn "Not creating: Subsystem directory $dir already exists";
262 :     return;
263 :     }
264 :    
265 :     $fig->verify_dir($dir);
266 :    
267 :     #
268 :     # Initialize empty data structures.
269 :     #
270 :    
271 :     $self->{genome} = [];
272 :     $self->{genome_index} = {};
273 :     $self->{variant_code} = [];
274 :    
275 :     $self->{abbr} = {};
276 :     $self->{role_index} = {};
277 :     $self->{roles} = [];
278 :     $self->{role_abbrs} = [];
279 : olson 1.1
280 : olson 1.25 $self->{spreadsheet} = [];
281 :     $self->{spreadsheet_inv} = [];
282 :    
283 :     $self->{col_subsets} = [];
284 :     $self->{col_subset_members} = {};
285 :    
286 : overbeek 1.31 $self->{row_subsets} = [];
287 :     $self->{row_subset_members} = {};
288 : overbeek 1.35 $self->load_row_subsets();
289 : overbeek 1.31
290 : olson 1.25 $self->{row_active_subset} = "All";
291 :     $self->{col_active_subset} = "All";
292 :    
293 :     $self->{version} = 0;
294 :     $self->{exchangable} = 0;
295 : overbeek 1.45 $self->{classification} = [];
296 : olson 1.25
297 :     $self->write_subsystem();
298 : olson 1.1 }
299 :    
300 : olson 1.5 #
301 : olson 1.7 # Retrieve the diagrams associated with this subsystem.
302 :     #
303 :     # This is done via a lookup into FIG/Data/SubsystemDiagrams/<ssaname>/<diagram-name>.
304 :     #
305 :     # Returned is a list of names.
306 :     #
307 :    
308 :     sub get_diagrams
309 :     {
310 :     my($self) = @_;
311 :    
312 :     my $b = $self->{name};
313 :     $b =~ s/ /_/g;
314 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b);
315 :    
316 :     my $dh = new DirHandle($dir);
317 :    
318 :     my @names = grep(/^[^.]/, $dh->read());
319 :    
320 :     return @names;
321 :     }
322 :    
323 :     #
324 :     # Return a Subsystem::Diagram object for this diagram.
325 :     #
326 :     sub get_diagram
327 :     {
328 :     my($self, $name) = @_;
329 :    
330 :     my $b = $self->{name};
331 :     $b =~ s/ /_/g;
332 :     my $dir = File::Spec->catfile($FIG_Config::data, 'SubsystemDiagrams', $b, $name);
333 :    
334 :     if (-d $dir)
335 :     {
336 :     return Subsystem::Diagram->new($self, $self->{fig}, $name, $dir);
337 :     }
338 :     else
339 :     {
340 :     return undef;
341 :     }
342 :     }
343 :    
344 :     #
345 : olson 1.5 # Synchronize the database index for this subsystem to the
346 :     # subsystem data.
347 :     #
348 :     # We assume the table already exists.
349 :     #
350 :    
351 :     sub db_sync
352 :     {
353 :     my($self, $skip_delete) = @_;
354 :    
355 :     my $rdbH = $self->{fig}->db_handle();
356 :    
357 :     if (!$skip_delete)
358 :     {
359 : olson 1.25 $self->delete_indices();
360 : olson 1.5 }
361 :    
362 :     #
363 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
364 :     #
365 :    
366 : olson 1.6 my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?)");
367 :    
368 : olson 1.5 for my $role ($self->get_roles())
369 :     {
370 :     my $ridx = $self->get_role_index($role);
371 :     my $col = $self->get_col($ridx);
372 :     for my $cell (@$col)
373 :     {
374 :     if ($cell)
375 :     {
376 :     for my $peg (@$cell)
377 :     {
378 : olson 1.6 $sth->execute($peg, $self->{name}, $role);
379 : olson 1.5 }
380 :     }
381 :     }
382 :     }
383 :     }
384 :    
385 : olson 1.22 #
386 :     # Delete this subsystem's entries from the database index.
387 :     #
388 :     sub delete_indices
389 :     {
390 :     my($self) = @_;
391 :    
392 :     my $rdbH = $self->{fig}->db_handle();
393 :    
394 :     $rdbH->SQL("DELETE FROM subsystem_index where subsystem = '$self->{name}'")
395 :     }
396 :    
397 : olson 1.1 sub load
398 :     {
399 :     my($self) = @_;
400 :    
401 :     #
402 :     # Load the subsystem.
403 :     #
404 :    
405 :     my $ssa;
406 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
407 :     {
408 :     warn "Spreadsheet does not exist in subsystem\n";
409 :     return;
410 :     }
411 :    
412 :     local $/ = "//\n";
413 :    
414 :     my $roles = <$ssa>;
415 :     if ($roles)
416 :     {
417 :     $roles =~ s,$/$,,;
418 :     #
419 :     # Split on newline, filter for non-empty lines.
420 :     #
421 :     my @roles = split("\n", $roles);
422 :    
423 :     @roles = grep { $_ ne "" } @roles;
424 :    
425 :     $self->load_roles(@roles);
426 :     }
427 :    
428 :     my $subsets = <$ssa>;
429 :     if ($subsets)
430 :     {
431 :     $subsets =~ s,$/$,,;
432 :     $self->load_subsets($subsets);
433 :     }
434 :    
435 :     $/ = "\n";
436 :    
437 : overbeek 1.35 $self->load_row_subsets();
438 : olson 1.1 $self->load_genomes($ssa);
439 :    
440 :     #
441 :     # Now load the rest of the info.
442 :     #
443 :    
444 :     $self->load_notes();
445 : redwards 1.44 $self->load_classification();
446 : olson 1.1 $self->load_version();
447 :     $self->load_exchangable();
448 : olson 1.17 $self->load_curation();
449 : olson 1.1 }
450 :    
451 :     sub load_notes
452 :     {
453 :     my($self) = @_;
454 :    
455 :     $self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
456 :     }
457 :    
458 : redwards 1.44 sub load_classification
459 :     {
460 :     my($self) = @_;
461 :    
462 :     my $class = &FIG::file_read(File::Spec->catfile($self->{dir}, "CLASSIFICATION"));
463 :     if ($class) {$self->{classification} = [split /\t/, $class]} else {$self->{classification} = ['', '', '']}
464 :     }
465 :    
466 : olson 1.17 sub load_curation
467 :     {
468 :     my($self) = @_;
469 :    
470 : overbeek 1.47 # my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
471 :     #
472 :     # $_ = $l[0];
473 :     # chomp;
474 : olson 1.17
475 : overbeek 1.47 if (open(LOG,"<$self->{dir}/curation.log"))
476 : olson 1.17 {
477 : overbeek 1.47 while (defined($_ = <LOG>))
478 :     {
479 :     if (/^\d+\t(\S+)\s+started/)
480 :     {
481 :     $self->{curator} = $1;
482 :     }
483 :     }
484 :     close(LOG);
485 : olson 1.17 }
486 :     }
487 :    
488 : olson 1.1 sub load_version
489 :     {
490 :     my($self) = @_;
491 :    
492 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
493 :     my $l = $l[0];
494 :     chomp $l;
495 :     $self->{version} = $l;
496 :     }
497 :    
498 :     sub load_exchangable
499 :     {
500 :     my($self) = @_;
501 :    
502 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
503 :    
504 :     if (-f $file)
505 :     {
506 :     my($l, @l);
507 :    
508 :     @l = &FIG::file_head($file, 1);
509 :     $l = $l[0];
510 :     chomp $l;
511 :     $self->{exchangable} = $l;
512 :     }
513 :     else
514 :     {
515 :     $self->{exchangable} = 0;
516 :     }
517 :     }
518 :    
519 :    
520 :     sub load_roles
521 :     {
522 :     my($self, @roles) = @_;
523 :    
524 : olson 1.5 $self->{abbr} = {};
525 :     $self->{role_index} = {};
526 :     $self->{roles} = [];
527 :     $self->{role_abbrs} = [];
528 :    
529 : olson 1.25 my $i = 0;
530 : olson 1.1 for my $role (@roles)
531 :     {
532 :     my($abbr, $name) = split(/\t/, $role);
533 : overbeek 1.49 $abbr =~ s/^\s+//;
534 :     $abbr =~ s/\s+$//;
535 :     $name =~ s/^\s+//;
536 :     $name =~ s/\s+$//;
537 : olson 1.2 # print "Role $i: abbr=$abbr name=$name\n";
538 : olson 1.1
539 :     $self->{abbr}->{$abbr} = $name;
540 :     $self->{role_index}->{$name} = $i;
541 :     $self->{roles}->[$i] = $name;
542 : olson 1.4 $self->{role_abbrs}->[$i] = $abbr;
543 : olson 1.1 $i++;
544 :     }
545 :     }
546 :    
547 :     sub load_subsets
548 :     {
549 :     my($self, $subsets) = @_;
550 :    
551 :     #
552 :     # Column and row subsets.
553 :     #
554 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
555 :    
556 :     #
557 :     # Handle column subsets.
558 :     #
559 :    
560 :     my @subsetsC = split(/\n/, $subsetsC);
561 :    
562 :     #
563 :     # Determine active subset.
564 :     #
565 :    
566 :     my $active_subsetC;
567 :     if (@subsetsC > 0)
568 :     {
569 :     $active_subsetC = pop(@subsetsC);
570 :     }
571 :     else
572 :     {
573 :     $active_subsetC = 'All';
574 :     }
575 :    
576 :     $self->{col_active_subset} = $active_subsetC;
577 :    
578 :     $self->{col_subsets} = [];
579 : olson 1.5 $self->{col_subset_members} = {};
580 :    
581 : olson 1.1 for my $subset (@subsetsC)
582 :     {
583 :     my($name, @members) = split(/\s+/, $subset);
584 :    
585 : olson 1.25 #
586 :     # File format has members 1-based.
587 :     #
588 :    
589 :     @members = map { $_ - 1 } @members;
590 :    
591 : olson 1.1 push(@{$self->{col_subsets}}, $name);
592 :    
593 :     #
594 :     # Map role members from name to index if necessary.
595 :     #
596 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
597 :     #
598 :     @members = map {
599 :     if (my $new = $self->{role_index}->{$_})
600 :     {
601 :     $new;
602 :     }
603 :     else
604 :     {
605 :     $_;
606 :     }
607 :     } @members;
608 :    
609 :     @{$self->{col_subset_members}->{$name}} = @members;
610 :     }
611 :    
612 :     #
613 :     # Now the row subsets.
614 :     #
615 :    
616 :     chomp($subsetsR);
617 :    
618 :     if ($subsetsR =~ /(\S+.*\S+)/)
619 :     {
620 : olson 1.25 $self->{row_active_subset} = $1;
621 : olson 1.1 }
622 :     else
623 :     {
624 : olson 1.25 $self->{row_active_subset} = 'All';
625 : olson 1.1 }
626 : overbeek 1.35 $self->{row_subsets} = [];
627 : olson 1.1 }
628 :    
629 :     sub load_genomes
630 :     {
631 :     my($self, $fh) = @_;
632 :     my(%seen);
633 :    
634 : olson 1.5 $self->{spreadsheet} = [];
635 : olson 1.29 $self->{spreadsheet_inv} = [];
636 : olson 1.5 $self->{genome} = [];
637 :     $self->{genome_index} = {};
638 :     $self->{variant_code} = [];
639 :    
640 : olson 1.25 my $nr = @{$self->{roles}};
641 :    
642 :     my $i = 0;
643 : olson 1.1 while (<$fh>)
644 :     {
645 : overbeek 1.54 next if ($_ =~ /^\/\//);
646 : olson 1.1 chomp;
647 :    
648 : olson 1.25 my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
649 : overbeek 1.46 $variant_code =~ s/ //g;
650 : olson 1.1 next if $seen{$genome};
651 :     $seen{$genome}++;
652 :    
653 : olson 1.25 my $j = 0;
654 : olson 1.1
655 :     $self->{genome}->[$i] = $genome;
656 :     $self->{genome_index}->{$genome} = $i;
657 :     $self->{variant_code}->[$i] = $variant_code;
658 :    
659 : olson 1.25 my $thislen = @row;
660 :    
661 :     # if ($thislen != $nr)
662 :     # {
663 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
664 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
665 :     # }
666 :    
667 :     for my $j (0..$nr - 1)
668 : olson 1.1 {
669 : olson 1.25 my $entry = $row[$j];
670 : olson 1.1 my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
671 :     $self->{spreadsheet}->[$i]->[$j] = $e2;
672 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
673 :     $j++;
674 :     }
675 :     $i++;
676 :    
677 :     }
678 :     }
679 :    
680 : olson 1.2 =pod
681 :    
682 : olson 1.25 =head2 write_subsystem()
683 :    
684 :     Write the subsystem to the disk. Updates on-disk data with notes,
685 :     etc. Perform backups when necessary.
686 :    
687 :     =cut
688 :    
689 :     sub write_subsystem
690 :     {
691 :     my($self) = @_;
692 :    
693 :     my $dir = $self->{dir};
694 :     my $fig = $self->{fig};
695 :    
696 :     #
697 :     # We first move the existing spreadsheet and notes files (if present)
698 :     # to spreadsheet~ and notes~, and current state.
699 :     #
700 :    
701 :     my $ss_file = "$dir/spreadsheet";
702 :     my $ss_bak = "$dir/spreadsheet~";
703 :     my $notes_file = "$dir/notes";
704 :     my $notes_bak = "$dir/notes~";
705 : redwards 1.44 my $classification_file = "$dir/CLASSIFICATION";
706 : olson 1.25
707 :     if (-f $ss_file)
708 :     {
709 :     rename($ss_file, $ss_bak);
710 :     }
711 :    
712 :     if (-f $notes_file)
713 :     {
714 :     rename($notes_file, $notes_bak);
715 :     }
716 :    
717 :     #
718 :     # Eval this whole chunk, so that if we get any fatal errors, we can
719 :     # roll back to the old saved data.
720 :     #
721 :    
722 :     eval {
723 :     my $fh;
724 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
725 :     $self->write_spreadsheet($fh);
726 :     close($fh);
727 : overbeek 1.31 chmod(0777,$ss_file);
728 : olson 1.25
729 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
730 :     print $fh "$self->{notes}\n";
731 :     close($fh);
732 : overbeek 1.31 chmod(0777,$notes_file);
733 : olson 1.25
734 : redwards 1.44 open($fh, ">$classification_file") or die "Can not open $classification_file for writing: $!\n";
735 :     print $fh join "\t", (@{$self->{classification}}), "\n";
736 :     close($fh);
737 :     chmod(0777,$classification_file);
738 :    
739 : olson 1.25 $self->update_curation_log();
740 :    
741 :     #
742 :     # Write out the piddly stuff.
743 :     #
744 :    
745 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
746 :     print $fh "$self->{exchangable}\n";
747 :     close($fh);
748 : overbeek 1.31 chmod(0777,"EXCHANGABLE");
749 : olson 1.25
750 :     #
751 :     # Process backup files. This is the smae process that determines when the
752 :     # version number should be bumped, so write the version file afterward.
753 :     #
754 :    
755 :     $self->update_backups();
756 :    
757 : overbeek 1.37 if ($self->{version} < 100) { $self->{version} += 100 }
758 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/VERSION: $!\n";
759 :     print $fh "$self->{version}\n";
760 : olson 1.25 close($fh);
761 : overbeek 1.31 chmod(0777,"VERSION");
762 : olson 1.25 };
763 :    
764 :     if ($@ ne "")
765 :     {
766 :     warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
767 :     }
768 :    
769 :     }
770 :    
771 :     sub update_curation_log
772 :     {
773 :     my($self) = @_;
774 :    
775 :     my $fh;
776 :     my $file = "$self->{dir}/curation.log";
777 :    
778 :     my $now = time;
779 :     my $user = $self->{fig}->get_user();
780 :    
781 :     if (-f $file)
782 :     {
783 :     open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
784 :     }
785 :     else
786 :     {
787 :     open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
788 :     print $fh "$now\t$user\tstarted\n";
789 :     }
790 :     print $fh "$now\t$user\tupdated\n";
791 :     close($fh);
792 :     }
793 :    
794 :     sub update_backups
795 :     {
796 :     my($self) = @_;
797 :    
798 :     my $dir = $self->{dir};
799 :     my $fig = $self->{fig};
800 :    
801 :     my $ss_file = "$dir/spreadsheet";
802 :     my $ss_bak = "$dir/spreadsheet~";
803 :     my $notes_file = "$dir/notes";
804 :     my $notes_bak = "$dir/notes~";
805 :    
806 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
807 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
808 :    
809 : overbeek 1.37 if (($ss_diff > 10) or ($notes_diff > 10))
810 : olson 1.25 {
811 :     $self->make_backup();
812 :     }
813 :     }
814 :    
815 :     sub make_backup
816 :     {
817 :     my($self) = @_;
818 :    
819 :     my $dir = $self->{dir};
820 :     my $bak = "$dir/Backup";
821 :    
822 :     $self->{fig}->verify_dir($bak);
823 :    
824 :     my $ts = time;
825 :    
826 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
827 :     rename("$dir/notes~", "$bak/notes.$ts");
828 :     $self->{version}++;
829 :     }
830 :    
831 :    
832 :    
833 :     =pod
834 :    
835 :     =head1 write_spreadsheet($fh)
836 :    
837 :     Write the spreadsheet for this subsystem to filehandle $fh.
838 :    
839 :     =cut
840 :    
841 :     sub write_spreadsheet
842 :     {
843 :     my($self, $fh) = @_;
844 :    
845 :     $self->_write_roles($fh);
846 :     print $fh "//\n";
847 :    
848 :     $self->_write_subsets($fh);
849 :     print $fh "//\n";
850 :    
851 :     $self->_write_spreadsheet($fh);
852 :     }
853 :    
854 :     sub _write_roles
855 :     {
856 :     my($self, $fh) = @_;
857 :    
858 :     my(@roles, @abbrs);
859 :    
860 :     @roles = $self->get_roles();
861 :     @abbrs = $self->get_abbrs();
862 :    
863 :     while (@roles)
864 :     {
865 :     my $role = shift(@roles);
866 :     my $abbr = shift(@abbrs);
867 :    
868 :     print $fh "$abbr\t$role\n";
869 :     }
870 :     }
871 :    
872 :     sub _write_subsets
873 :     {
874 :     my($self, $fh) = @_;
875 :    
876 : overbeek 1.31 for my $sub ($self->get_subset_namesC())
877 : olson 1.25 {
878 : overbeek 1.35 next if ($sub eq "All");
879 : overbeek 1.31 my @members= $self->get_subsetC($sub);
880 : olson 1.25
881 :     #
882 :     # member list on disk is 1-based
883 :     #
884 :    
885 :     @members = map { $_ + 1 } @members;
886 :     print $fh join("\t", $sub, @members), "\n";
887 :     }
888 : overbeek 1.39 my $active_row_subset = $self->{row_active_subset};
889 :     my $active_col_subset = $self->{col_active_subset};
890 :    
891 :     print $fh "$active_col_subset\n";
892 : olson 1.25
893 :     #
894 :     # separator
895 :     #
896 :    
897 :     print $fh "\n";
898 :    
899 :     #
900 :     # genome subsets.
901 :     #
902 :    
903 : overbeek 1.39 print $fh "$active_row_subset\n";
904 : olson 1.25 }
905 :    
906 :     sub _write_spreadsheet
907 :     {
908 :     my($self, $fh) = @_;
909 :    
910 :     my(@genomes);
911 :    
912 :     @genomes= $self->get_genomes();
913 :    
914 :     for (my $i = 0; $i < @genomes; $i++)
915 :     {
916 :     my $genome = $genomes[$i];
917 :     my $vc = $self->get_variant_code($i);
918 :    
919 :     my $row = $self->get_row($i);
920 :    
921 :     if ($vc eq "")
922 :     {
923 :     $vc = "0";
924 :     }
925 :     print $fh "$genome\t$vc";
926 :    
927 :     for my $entry (@$row)
928 :     {
929 :     my(@p);
930 :    
931 :     for my $peg (@$entry)
932 :     {
933 :     if ($peg =~ /fig\|$genome\.peg\.(\d+)$/)
934 :     {
935 :     push(@p, $1);
936 :     }
937 :     else
938 :     {
939 :     warn "Bad peg $peg in cell for $genome";
940 :     }
941 :     }
942 :     print $fh "\t", join(",", @p);
943 :     }
944 :     print $fh "\n";
945 :     }
946 :     }
947 :    
948 :    
949 :     =pod
950 :    
951 : olson 1.2 =head1 get_genomes
952 :    
953 :     =cut
954 : olson 1.25
955 : olson 1.2 sub get_genomes
956 :     {
957 :     my($self) = @_;
958 :    
959 :     my $glist = $self->{genome};
960 :    
961 : olson 1.25 return @$glist;
962 : olson 1.2 }
963 :    
964 :     =pod
965 :    
966 :     =head1 get_variant_codes
967 :    
968 :     =cut
969 : olson 1.25
970 : olson 1.2 sub get_variant_codes
971 :     {
972 :     my($self) = @_;
973 :    
974 :     my $glist = $self->{variant_code};
975 :    
976 : olson 1.25 return @$glist;
977 :     }
978 :    
979 :     sub get_variant_code
980 :     {
981 :     my($self, $gidx) = @_;
982 : overbeek 1.46 my $c = $self->{variant_code}->[$gidx];
983 :     $c =~ s/ //g;
984 :     return $c;
985 : olson 1.2 }
986 :    
987 : overbeek 1.34 sub set_variant_code
988 :     {
989 :     my($self, $gidx, $val) = @_;
990 :     $self->{variant_code}->[$gidx] = $val;
991 :     return;
992 :     }
993 :    
994 : olson 1.25
995 : olson 1.2 sub get_variant_code_for_genome
996 :     {
997 :     my($self, $genome) = @_;
998 :     my $index = $self->{genome_index}->{$genome};
999 : redwards 1.55 if (defined $index) {
1000 :     return $self->{variant_code}->[$index];
1001 :     }
1002 :     else {
1003 :     return undef;
1004 :     }
1005 : olson 1.2 }
1006 :    
1007 :     sub get_roles
1008 :     {
1009 :     my($self) = @_;
1010 :    
1011 :     my $rlist = $self->{roles};
1012 :    
1013 : olson 1.25 return @$rlist;
1014 :     }
1015 :    
1016 :     sub get_abbrs
1017 :     {
1018 :     my($self) = @_;
1019 :    
1020 :     my $rlist = $self->{role_abbrs};
1021 :    
1022 :     return @$rlist;
1023 : olson 1.2 }
1024 :    
1025 : olson 1.29 sub roles_with_abbreviations
1026 :     {
1027 :     my($self) = @_;
1028 :    
1029 :     my @ret;
1030 :    
1031 :     for my $i (0..@{$self->{roles}} - 1)
1032 :     {
1033 :     push(@ret, [$self->{role_abbrs}->[$i], $self->{roles}->[$i]]);
1034 :     }
1035 :     return @ret;
1036 :     }
1037 :    
1038 :    
1039 : olson 1.52 sub get_sorted_rows
1040 :     {
1041 :     my($self, $sort_order) = @_;
1042 :    
1043 :     my $fig = $self->{fig};
1044 :    
1045 :     my @rows;
1046 :     for (my $i = 0; $i < @{$self->{genome}}; $i++)
1047 :     {
1048 :     my $gid = $self->{genome}->[$i];
1049 :     my $gs = $fig->genus_species($gid);
1050 :    
1051 :     my $q = quotemeta($gid);
1052 :     my $cells = [];
1053 :     for my $c (@{$self->{spreadsheet}->[$i]})
1054 :     {
1055 :     push(@$cells, [map { s/^fig\|$q\.peg\.//; $_ } @$c]);
1056 :     }
1057 :    
1058 :     push(@rows, [$self->{genome}->[$i], $gs, $self->{variant_code}->[$i], $cells]);
1059 :     }
1060 :    
1061 :     if ($sort_order eq "by_phylo")
1062 :     {
1063 :     return(map { $_->[0] }
1064 :     sort { ($a->[1] cmp $b->[1]) or ($a->[0]->[1] cmp $b->[0]->[1]) }
1065 :     map { [$_, $fig->taxonomy_of($_->[0]) ] } @rows);
1066 :     }
1067 :     elsif ($sort_order eq "alphabetic")
1068 :     {
1069 :     return sort { ($a->[1] cmp $b->[1]) or ($a->[0] <=> $b->[0]) } @rows;
1070 :     }
1071 :     elsif ($sort_order eq "by_tax_id")
1072 :     {
1073 :     return sort { $a->[0] <=> $b->[0] } @rows;
1074 :     }
1075 :     else
1076 :     {
1077 :     return @rows;
1078 :     }
1079 :     }
1080 :    
1081 :    
1082 : olson 1.10 sub get_row :scalar
1083 : olson 1.1 {
1084 :     my($self, $row) = @_;
1085 :    
1086 :     return $self->{spreadsheet}->[$row];
1087 :     }
1088 :    
1089 : olson 1.21 sub get_col :scalar
1090 : olson 1.1 {
1091 :     my($self, $col) = @_;
1092 :    
1093 :     return $self->{spreadsheet_inv}->[$col];
1094 :     }
1095 :    
1096 : olson 1.21 sub get_cell :scalar
1097 : olson 1.1 {
1098 :     my($self, $row, $col) = @_;
1099 :    
1100 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
1101 : overbeek 1.37 if (! defined($cell))
1102 :     {
1103 :     $cell = $self->{spreadsheet}->[$row]->[$col] = [];
1104 :     }
1105 : olson 1.5 return $cell;
1106 : olson 1.1 }
1107 :    
1108 : olson 1.21 sub get_genome_index :scalar
1109 : olson 1.3 {
1110 :     my($self, $genome) = @_;
1111 :    
1112 :     return $self->{genome_index}->{$genome};
1113 :     }
1114 :    
1115 : olson 1.21 sub get_genome :scalar
1116 : olson 1.3 {
1117 :     my($self, $gidx) = @_;
1118 :    
1119 :     return $self->{genome}->[$gidx];
1120 :     }
1121 :    
1122 : olson 1.21 sub get_role_index :scalar
1123 : olson 1.5 {
1124 :     my($self, $role) = @_;
1125 :    
1126 :     return $self->{role_index}->{$role};
1127 :     }
1128 :    
1129 : olson 1.21 sub get_role :scalar
1130 : olson 1.3 {
1131 :     my($self, $ridx) = @_;
1132 :    
1133 :     return $self->{roles}->[$ridx];
1134 :     }
1135 :    
1136 : olson 1.21 sub get_role_abbr :scalar
1137 : olson 1.4 {
1138 :     my($self, $ridx) = @_;
1139 :    
1140 :     return $self->{role_abbrs}->[$ridx];
1141 :     }
1142 :    
1143 : olson 1.21 sub get_role_from_abbr :scalar
1144 : olson 1.20 {
1145 :     my($self, $abbr) = @_;
1146 :    
1147 :     return $self->{abbr}->{$abbr};
1148 :     }
1149 :    
1150 : olson 1.26 =pod
1151 :    
1152 :     =head1 set_pegs_in_cell($genome, $role, $peg_list)
1153 :    
1154 :     Set the cell for the given genome and role to $peg_list.
1155 :    
1156 :     =cut
1157 :    
1158 :     sub set_pegs_in_cell
1159 :     {
1160 :     my($self, $genome, $role, $peg_list) = @_;
1161 :     my($row, $col);
1162 :    
1163 :     #
1164 :     # If row isn't numeric, look it up in the genomes list.
1165 :     #
1166 :    
1167 :     if ($genome !~ /^\d+$/)
1168 :     {
1169 :     $row = $self->{genome_index}->{$genome};
1170 :     }
1171 :     else
1172 :     {
1173 :     $row = $genome
1174 :     }
1175 :    
1176 : overbeek 1.37 if (! defined($row))
1177 : olson 1.26 {
1178 : overbeek 1.37 print &Dumper($self->{genome_index});
1179 :     confess "Cannot find row for $genome\n";
1180 : olson 1.26 return undef;
1181 :     }
1182 :    
1183 :     #
1184 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1185 :     #
1186 :    
1187 :     if ($role !~ /^\d+$/)
1188 :     {
1189 :     #
1190 :     # See if it's an abbr
1191 :     #
1192 :    
1193 :     my $a = $self->{abbr}->{$role};
1194 : olson 1.27 $role = $a if $a;
1195 : olson 1.26
1196 :     $col = $self->{role_index}->{$role};
1197 :     }
1198 :     else
1199 :     {
1200 :     $col = $role;
1201 :     }
1202 :    
1203 : overbeek 1.37 if (! defined($col))
1204 : olson 1.26 {
1205 : overbeek 1.38 print &Dumper($self->{role_index});
1206 :     confess "Cannot find col for $role\n";
1207 : olson 1.26 return undef;
1208 :     }
1209 :     my $cell = $self->get_cell($row, $col);
1210 :    
1211 : overbeek 1.37 if (defined($cell))
1212 : olson 1.26 {
1213 : overbeek 1.37 my $peg;
1214 :     my $rdbH = $self->{fig}->db_handle();
1215 : overbeek 1.40 my $roleQ = quotemeta $role;
1216 :    
1217 : overbeek 1.37 if (@$cell > 0)
1218 :     {
1219 :     foreach $peg (@$cell)
1220 :     {
1221 :     $rdbH->SQL("DELETE FROM subsystem_index where ( subsystem = '$self->{name}' ) AND
1222 : overbeek 1.40 ( role = '$roleQ' ) AND
1223 : overbeek 1.37 ( protein = '$peg' )" );
1224 :     }
1225 :     }
1226 : olson 1.26 @$cell = @$peg_list;
1227 : overbeek 1.37 foreach $peg (@$cell)
1228 :     {
1229 : overbeek 1.40 $rdbH->SQL("INSERT INTO subsystem_index (protein,subsystem,role) VALUES ('$peg','$self->{name}','$roleQ' )");
1230 : overbeek 1.37 }
1231 : olson 1.26 }
1232 :     else
1233 :     {
1234 :     warn "set_pegs_in_cell: Could not find cell!";
1235 :     }
1236 :     }
1237 :    
1238 : olson 1.1 sub get_pegs_from_cell
1239 :     {
1240 :     my($self, $rowstr, $colstr) = @_;
1241 :     my($row, $col);
1242 :    
1243 :     #
1244 :     # If row isn't numeric, look it up in the genomes list.
1245 :     #
1246 :    
1247 :     if ($rowstr !~ /^\d+$/)
1248 :     {
1249 :     $row = $self->{genome_index}->{$rowstr};
1250 :     }
1251 :     else
1252 :     {
1253 :     $row = $rowstr;
1254 :     }
1255 :    
1256 : overbeek 1.31 if (! defined($row))
1257 : olson 1.1 {
1258 : overbeek 1.38 print &Dumper($self->{genome_index});
1259 :     confess "Cannot find row for $rowstr\n";
1260 : olson 1.1 return undef;
1261 :     }
1262 :    
1263 :     #
1264 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1265 :     #
1266 :    
1267 :     if ($colstr !~ /^\d+$/)
1268 :     {
1269 :     #
1270 :     # See if it's an abbr
1271 :     #
1272 :    
1273 :     my $a = $self->{abbr}->{$colstr};
1274 :     $colstr = $a if $a;
1275 :    
1276 :     $col = $self->{role_index}->{$colstr};
1277 :     }
1278 :     else
1279 :     {
1280 :     $col = $colstr;
1281 :     }
1282 : overbeek 1.32
1283 : overbeek 1.31 if (! defined($col))
1284 : olson 1.1 {
1285 :     warn "Cannot find col for $colstr\n";
1286 :     return undef;
1287 :     }
1288 : olson 1.12 my $cell = $self->get_cell($row, $col);
1289 : olson 1.1
1290 :     if ($cell)
1291 :     {
1292 :     return @$cell;
1293 :     }
1294 :     else
1295 :     {
1296 :     return undef;
1297 :     }
1298 :     }
1299 :    
1300 : olson 1.25 #
1301 :     # Subset support
1302 :     #
1303 :    
1304 : olson 1.30 sub get_active_subsetC
1305 :     {
1306 :     my($self) = @_;
1307 :    
1308 :     return $self->{col_active_subset};
1309 :     }
1310 :    
1311 :     sub get_active_subsetR
1312 :     {
1313 :     my($self) = @_;
1314 :    
1315 :     return $self->{row_active_subset};
1316 :     }
1317 :    
1318 :     sub set_active_subsetC
1319 :     {
1320 :     my($self, $subset) = @_;
1321 :    
1322 :     $self->{col_active_subset} = $subset;
1323 :     }
1324 :    
1325 :    
1326 :     sub set_active_subsetR
1327 :     {
1328 :     my($self, $subset) = @_;
1329 :    
1330 :     $self->{row_active_subset} = $subset;
1331 :     }
1332 :    
1333 :    
1334 : olson 1.25 sub get_subset_names
1335 : olson 1.17 {
1336 :     my($self) = @_;
1337 : olson 1.25
1338 : overbeek 1.31 return $self->get_subset_namesC;
1339 :     }
1340 :    
1341 :     sub get_subset_namesC
1342 :     {
1343 :     my($self) = @_;
1344 :    
1345 : overbeek 1.35 return ("All",@{$self->{col_subsets}});
1346 : overbeek 1.31 }
1347 :    
1348 :     sub get_subset_namesR
1349 :     {
1350 :     my($self) = @_;
1351 :    
1352 : overbeek 1.35 return ("All",@{$self->{row_subsets}});
1353 : olson 1.17 }
1354 :    
1355 : overbeek 1.33 sub get_subsetC_roles
1356 :     {
1357 :     my($self, $subname) = @_;
1358 :     return map { $self->get_role($_) } $self->get_subsetC($subname);
1359 :     }
1360 :    
1361 : overbeek 1.31 sub get_subsetC
1362 :     {
1363 :     my($self, $subname) = @_;
1364 : overbeek 1.33 if ($subname eq "All") { return map { $self->get_role_index($_) } $self->get_roles }
1365 : overbeek 1.31
1366 : olson 1.52 if (!defined($self->{col_subset_members}->{$subname}))
1367 :     {
1368 :     $self->{col_subset_members}->{$subname} = [];
1369 :     }
1370 :    
1371 : overbeek 1.31 return @{$self->{col_subset_members}->{$subname}};
1372 :     }
1373 :    
1374 : olson 1.25 sub get_subset
1375 : olson 1.17 {
1376 : olson 1.25 my($self, $subname) = @_;
1377 : overbeek 1.33 return $self->get_subsetC($subname);
1378 : overbeek 1.31 }
1379 :    
1380 :     sub get_subsetR
1381 :     {
1382 :     my($self, $subname) = @_;
1383 :     my($pair,$id,$members,$genome);
1384 :    
1385 :     if ($subname eq "All") { return $self->get_genomes }
1386 : overbeek 1.38 my %genomes = map { $_ => 1 } $self->get_genomes;
1387 :    
1388 :     return grep { $genomes{$_} } @{$self->{row_subset_members}->{$subname}};
1389 : overbeek 1.35 }
1390 :    
1391 :     sub load_row_subsets {
1392 :     my($self) = @_;
1393 :     my($id,$members,$pair);
1394 : overbeek 1.31
1395 : overbeek 1.35 my $taxonomic_groups = $self->{fig}->taxonomic_groups_of_complete(10);
1396 :     foreach $pair (@$taxonomic_groups)
1397 : overbeek 1.31 {
1398 : overbeek 1.35 ($id,$members) = @$pair;
1399 :     if ($id ne "All")
1400 : overbeek 1.31 {
1401 :     push(@{$self->{row_subsets}},$id);
1402 :     }
1403 : overbeek 1.35 $self->{row_subset_members}->{$id} = $members;
1404 : overbeek 1.31 }
1405 : olson 1.25 }
1406 :    
1407 : redwards 1.48 =pod
1408 :    
1409 :     =head2 load_row_subsets_by_kv
1410 :    
1411 :     Load a row subset based on a key/value pair. This will take a single key/value pair and only show that subset
1412 :    
1413 :     It is just a modification of load_row_subsets to deal with kv pairs
1414 :    
1415 :     This takes a required argument: the key that the genome must have, and a second optional argument, the value that key must hold.
1416 :    
1417 :     =cut
1418 :    
1419 :     sub load_row_subsets_by_kv {
1420 :     my ($self, $key, $want) = @_;
1421 :     my($id,$members,$pair);
1422 :     my $keep;
1423 :     foreach my $genome (@{$self->{genome}}) {
1424 : redwards 1.50 my @results=$self->{fig}->get_attributes($genome, $key);
1425 :     foreach my $res (@results) {
1426 : redwards 1.51 my ($gotid, $gottag, $value, $url)=@$res;
1427 : redwards 1.50 next if (!$value);
1428 :     next if ($want && $value ne $want);
1429 :     push @$keep, $genome;
1430 :     last;
1431 :     }
1432 : redwards 1.48 }
1433 :     $self->{row_subset_members}->{$key}=$keep;
1434 :     }
1435 : overbeek 1.35
1436 : olson 1.25 =pod
1437 :    
1438 : overbeek 1.31 =head2 set_subsetC($name, $members)
1439 : olson 1.25
1440 :     Create a subset with the given name and members.
1441 :    
1442 :     $members is a list of role names.
1443 :    
1444 :     =cut
1445 :    
1446 : overbeek 1.31 sub set_subsetC
1447 : olson 1.25 {
1448 :     my($self, $subname, $list) = @_;
1449 :    
1450 :     my $nl = [map { $self->get_role_index($_) } @$list];
1451 :    
1452 :     $self->_set_subset($subname, $nl);
1453 :     }
1454 :    
1455 : overbeek 1.31 sub set_subset
1456 :     {
1457 :     my($self, $subname, $list) = @_;
1458 :    
1459 :     $self->set_subsetsC($subname,$list);
1460 :     }
1461 :    
1462 : olson 1.25 =pod
1463 :    
1464 :     =head2 _set_subset($name, $members)
1465 :    
1466 :     Create a subset with the given name and members.
1467 :    
1468 :     Internal version - here, members is a list of role indices.
1469 :    
1470 :     =cut
1471 :    
1472 :     sub _set_subset
1473 :     {
1474 :     my($self, $subname, $list) = @_;
1475 :     $self->{col_subset_members}->{$subname} = $list;
1476 : overbeek 1.37 my($i,$x);
1477 :     $x = $self->{col_subsets};
1478 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
1479 :     if ($i == @$x)
1480 :     {
1481 :     push(@$x,$subname);
1482 :     }
1483 :     }
1484 :    
1485 :     sub delete_subsetC
1486 :     {
1487 :     my($self, $subname) = @_;
1488 :     my($i,$x);
1489 :    
1490 :     $x = $self->{col_subsets};
1491 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
1492 :     if ($i < @$x)
1493 :     {
1494 :     splice(@$x,$i,1);
1495 :     }
1496 :     delete $self->{col_subset_members}->{$subname};
1497 : olson 1.25 }
1498 :    
1499 :     #
1500 :     # Role manipulation.
1501 :     #
1502 :    
1503 :    
1504 :     =pod
1505 :    
1506 :     =head1 set_roles($role_list)
1507 :    
1508 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
1509 :    
1510 :     If a role already exists, it is used. If it does not exist, it is created empty.
1511 :    
1512 :     =cut
1513 :    
1514 :     sub set_roles
1515 :     {
1516 :     my($self, $roles) = @_;
1517 :    
1518 :     #
1519 :     # We do this by first creating a new spreadsheet.
1520 :     #
1521 :     # It is easiest to do this by manipulating the inverted spreadsheet
1522 :     # (role-major), and then creating the non-inverted spreadsheet from it.
1523 :     #
1524 :    
1525 :     my $oldss = $self->{spreadsheet};
1526 :     my $oldssinv = $self->{spreadsheet_inv};
1527 :    
1528 :     my $ss = [];
1529 :     my $ssinv = [];
1530 :    
1531 :     my $g = $self->{genome};
1532 :     my $ng = @$g;
1533 :    
1534 :     my $old_roles = $self->{role_index};
1535 :    
1536 :     my @role_index_conversion;
1537 :    
1538 :    
1539 :     $self->{abbr} = {};
1540 :     $self->{role_index} = {};
1541 :     $self->{roles} = [];
1542 :     $self->{role_abbrs} = [];
1543 :    
1544 :    
1545 :     for (my $idx = 0; $idx < @$roles; $idx++)
1546 :     {
1547 :     my $role = $roles->[$idx]->[0];
1548 :     my $abbr = $roles->[$idx]->[1];
1549 :    
1550 :     my $old_idx = $old_roles->{$role};
1551 :    
1552 :     if (defined($old_idx))
1553 :     {
1554 : overbeek 1.31 # print "Found old idx $old_idx for $role $idx\n";
1555 :     # print $oldssinv->[$old_idx];
1556 : olson 1.25 $ssinv->[$idx] = $oldssinv->[$old_idx];
1557 :    
1558 :     $role_index_conversion[$old_idx] = $idx;
1559 :     }
1560 :     else
1561 :     {
1562 : overbeek 1.37 # print "Did not find old role for $role $idx\n";
1563 :     # print Dumper($old_roles);
1564 : olson 1.25 my $l = [];
1565 :     for (my $j = 0; $j < $ng; $j++)
1566 :     {
1567 :     $l->[$j] = [];
1568 :     }
1569 :    
1570 :     $ssinv->[$idx] = $l;
1571 :     }
1572 :    
1573 :     #
1574 :     # While we're here, update the new role and abbrev indexes
1575 :     #
1576 :     $self->{role_index}->{$role} = $idx;
1577 :     $self->{abbr}->{$abbr} = $role;
1578 :     $self->{roles}->[$idx] = $role;
1579 :     $self->{role_abbrs}->[$idx] = $abbr;
1580 :     }
1581 :    
1582 :     #
1583 :     # Now create the uninverted spreadsheet.
1584 :     #
1585 :    
1586 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
1587 :     {
1588 :     my $row = [];
1589 :     $ss->[$gidx] = $row;
1590 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
1591 :     {
1592 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
1593 :     }
1594 :     }
1595 :    
1596 :     $self->{spreadsheet} = $ss;
1597 :     $self->{spreadsheet_inv} = $ssinv;
1598 :    
1599 :     #
1600 :     # Fix up the subsets.
1601 :     #
1602 :    
1603 :    
1604 : overbeek 1.37 for my $subset (grep { $_ ne "All" } $self->get_subset_names())
1605 : olson 1.25 {
1606 :     my $n = [];
1607 :     for my $idx ($self->get_subset($subset))
1608 :     {
1609 :     my $new = $role_index_conversion[$idx];
1610 :     if (defined($new))
1611 :     {
1612 :     push(@$n, $new);
1613 :     }
1614 :     }
1615 :     $self->_set_subset($subset, $n);
1616 :     }
1617 :    
1618 :     }
1619 :    
1620 :     =pod
1621 :    
1622 :     =head1 C<add_role($role, $abbr)>
1623 :    
1624 :     Add the given role to the spreadsheet.
1625 :    
1626 :     This causes a new column to be added, with empty values in each cell.
1627 :    
1628 :     We do nothing if the role is already present.
1629 :    
1630 :     Return the index of the new role.
1631 :    
1632 :     =cut
1633 :    
1634 :     sub add_role
1635 :     {
1636 :     my($self, $role, $abbr) = @_;
1637 :    
1638 :     if (defined($self->get_role_index($role)))
1639 :     {
1640 :     warn "Role $role already present\n";
1641 :     return undef;
1642 :     }
1643 :    
1644 :     #
1645 :     # Add to the roles list. It goes at the end.
1646 :     #
1647 :    
1648 :     my $idx = @{$self->{roles}};
1649 :     $self->{roles}->[$idx] = $role;
1650 :     $self->{role_abbrs}->[$idx] = $abbr;
1651 :     $self->{role_index}->{$role} = $idx;
1652 :     $self->{abbr}->{$abbr} = $role;
1653 :    
1654 :     #
1655 :     # Update the spreadsheet.
1656 :     # On the standard one, we have to go through all the rows adding
1657 :     # a columnt to each.
1658 :     #
1659 :     # On the inverted one, we add a column with [] in each entry.
1660 :     #
1661 :    
1662 :     my $ng = @{$self->{genome}};
1663 :     my $newcol = [];
1664 :    
1665 :     for (my $i = 0; $i < $ng; $i++)
1666 :     {
1667 :     my $cell = [];
1668 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
1669 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
1670 :     $newcol->[$i] = $cell;
1671 :     }
1672 :    
1673 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
1674 :    
1675 :     return $idx;
1676 :     }
1677 :    
1678 :     =pod
1679 :    
1680 :     =head1 remove_role($role)
1681 :    
1682 :     Remove the role from the spreadsheet.
1683 :    
1684 :     We do nothing if the role is not present.
1685 :    
1686 :     =cut
1687 :    
1688 :     sub remove_role
1689 :     {
1690 :     my($self, $role) = @_;
1691 :    
1692 :     my $idx = $self->get_role_index($role);
1693 :     if (!defined($idx))
1694 :     {
1695 :     warn "Role $role not present\n";
1696 :     return undef;
1697 :     }
1698 :    
1699 :     #
1700 :     # Remove from the roles list.
1701 :     #
1702 :    
1703 :     my $abbr = $self->{role_abbrs}->[$idx];
1704 :    
1705 :     splice(@{$self->{roles}}, $idx, 1);
1706 :     splice(@{$self->{role_abbrs}}, $idx, 1);
1707 :     delete $self->{role_index}->{$role};
1708 :     delete $self->{abbr}->{$abbr};
1709 :    
1710 :     #
1711 :     # Update the spreadsheet.
1712 :     # On the standard one, we have to go through all the rows removing
1713 :     # the column from each.
1714 :     #
1715 :     # On the inverted one, we just remove the column.
1716 :     #
1717 :    
1718 :     my $ng = @{$self->{genome}};
1719 :     my $newcol = [];
1720 :    
1721 :     for (my $i = 0; $i < $ng; $i++)
1722 :     {
1723 :     splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
1724 :     }
1725 :    
1726 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
1727 :    
1728 :     #
1729 :     # We need to rewrite the subsets. if $idx was present in one, it is
1730 :     # removed. Any index >$idx is decremented.
1731 :     #
1732 :    
1733 :     for my $subset ($self->get_subset_names())
1734 :     {
1735 :     my @n;
1736 :    
1737 :     for my $sidx ($self->get_subset($subset))
1738 :     {
1739 :     if ($sidx < $idx)
1740 :     {
1741 :     push(@n, $sidx);
1742 :     }
1743 :     elsif ($sidx > $idx)
1744 :     {
1745 :     push(@n, $sidx - 1);
1746 :     }
1747 :     }
1748 :    
1749 :     $self->_set_subset($subset, [@n]);
1750 :     }
1751 :     }
1752 :    
1753 :     =pod
1754 :    
1755 :     =head1 C<add_genome($genome, $abbr)>
1756 :    
1757 :     Add the given genome to the spreadsheet.
1758 :    
1759 :     This causes a new row to be added, with empty values in each cell.
1760 :    
1761 :     We do nothing if the genome is already present.
1762 :    
1763 :     Return the index of the new genome.
1764 :    
1765 :     =cut
1766 :    
1767 :     sub add_genome
1768 :     {
1769 :     my($self, $genome) = @_;
1770 :    
1771 :     my $idx = $self->get_genome_index($genome);
1772 :     if (defined($idx))
1773 :     {
1774 :     warn "Genome $genome already present\n";
1775 :     return $idx;
1776 :     }
1777 :    
1778 :     #
1779 :     # Add to the genomes list. It goes at the end.
1780 :     #
1781 :    
1782 :     my $idx = @{$self->{genome}};
1783 : olson 1.26 $self->{variant_code}->[$idx] = 0;
1784 : olson 1.25 $self->{genome}->[$idx] = $genome;
1785 :     $self->{genome_index}->{$genome} = $idx;
1786 :    
1787 :     #
1788 :     # Update the spreadsheet.
1789 :     # On the inverted one, we have to go through all the columns adding
1790 :     # a row to each.
1791 :     #
1792 :     # On the regular one, we add a row with [] in each entry.
1793 :     #
1794 :    
1795 :     my $nr = @{$self->{roles}};
1796 :     my $newrow = [];
1797 :    
1798 :     for my $i (0.. $nr - 1)
1799 :     {
1800 :     my $cell = [];
1801 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
1802 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
1803 :     $newrow->[$i] = $cell;
1804 :     }
1805 :    
1806 :     $self->{spreadsheet}->[$idx] = $newrow;
1807 :    
1808 :     return $idx;
1809 :     }
1810 :    
1811 :     =pod
1812 :    
1813 :     =head1 remove_genome($genome)
1814 :    
1815 :     Remove the genome from the spreadsheet.
1816 :    
1817 :     We do nothing if the genome is not present.
1818 :    
1819 :     =cut
1820 :    
1821 :     sub remove_genome
1822 :     {
1823 :     my($self, $genome) = @_;
1824 :    
1825 :     my $idx = $self->get_genome_index($genome);
1826 :     if (!defined($idx))
1827 :     {
1828 :     warn "Genome $genome not present\n";
1829 :     return undef;
1830 :     }
1831 :    
1832 :     #
1833 :     # Remove from the genomes list.
1834 :     #
1835 :    
1836 :     splice(@{$self->{genome}}, $idx, 1);
1837 : overbeek 1.43
1838 :     my $genome1;
1839 :     foreach $genome1 (@{$self->{genome}})
1840 :     {
1841 :     if ($self->{genome_index}->{$genome1} > $idx)
1842 :     {
1843 :     $self->{genome_index}->{$genome1}--;
1844 :     }
1845 :     }
1846 : olson 1.25 splice(@{$self->{variant_code}}, $idx, 1);
1847 :    
1848 :     delete $self->{genome_index}->{$genome};
1849 :    
1850 :     #
1851 :     # Update the spreadsheet.
1852 :     # On the inverted one, we have to go through all the columns removing
1853 :     # the row from each.
1854 :     #
1855 :     # On the standard one, we just remove the row.
1856 :     #
1857 :    
1858 :     my $nr = @{$self->{roles}};
1859 :    
1860 :     for my $i (0 .. $nr - 1)
1861 :     {
1862 :     splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
1863 :     }
1864 :    
1865 :     splice(@{$self->{spreadsheet}}, $idx, 1);
1866 :    
1867 :     }
1868 :    
1869 :     sub get_name :scalar
1870 :     {
1871 :     my($self) = @_;
1872 : overbeek 1.53 my $name = $self->{name};
1873 :     $name =~ s/ /_/g;
1874 :     return $name;
1875 : olson 1.25 }
1876 :    
1877 : overbeek 1.41 sub get_dir :scalar
1878 :     {
1879 :     my($self) = @_;
1880 :     return $self->{dir};
1881 :     }
1882 :    
1883 : olson 1.25
1884 :     sub get_version :scalar
1885 :     {
1886 :     my($self) = @_;
1887 :     return $self->{version};
1888 : olson 1.17 }
1889 :    
1890 : olson 1.26 sub get_notes :scalar
1891 :     {
1892 :     my($self) = @_;
1893 :    
1894 :     return $self->{notes};
1895 :     }
1896 :    
1897 :     sub set_notes
1898 :     {
1899 :     my($self, $notes) = @_;
1900 :    
1901 : olson 1.28 $self->{notes} = $notes;
1902 : olson 1.26 }
1903 :    
1904 : redwards 1.44 sub get_classification
1905 :     {
1906 :     my($self) = @_;
1907 :    
1908 :     return $self->{classification};
1909 :     }
1910 :    
1911 :     sub set_classification
1912 :     {
1913 :     my($self, $classification) = @_;
1914 :    
1915 :     $self->{classification}=$classification;
1916 :     }
1917 :    
1918 :    
1919 :    
1920 : olson 1.17 sub get_curator :scalar
1921 :     {
1922 :     my($self) = @_;
1923 :     return $self->{curator};
1924 :     }
1925 : overbeek 1.47
1926 : olson 1.25 #
1927 :     # Subsystem copying logic
1928 :     #
1929 :    
1930 :     =pod
1931 :    
1932 :     =head2 add_to_subsystem($subsystem_name, $columns, $notes_flag)
1933 :    
1934 :     Merge the given columns from $subsystem_name into this subsystem. Append the
1935 :     notes from the subsystem if $notes_flag is true.
1936 :    
1937 :     =cut
1938 :    
1939 :     sub add_to_subsystem
1940 :     {
1941 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
1942 :    
1943 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
1944 :    
1945 :     if (!$ss)
1946 :     {
1947 :     warn "Cannot open subsystem '$subsystem_name' to copy from";
1948 :     return;
1949 :     }
1950 :    
1951 :     #
1952 :     # Merge the data from the other subsystem.
1953 :     #
1954 :     # First we assure ourselves that we have the appropriate roles. While
1955 :     # we do this, build the list of row indices (in this subsystem) that
1956 :     # map to the roles we are adding.
1957 :     #
1958 :    
1959 :     #
1960 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
1961 :     #
1962 :    
1963 :     my @local_roles;
1964 :    
1965 :     #
1966 :     # his_roles = list of role indices corresponding to the remote roles.
1967 :     #
1968 : overbeek 1.36 if ($cols->[0] eq "all")
1969 :     {
1970 :     $cols = [$ss->get_roles];
1971 :     }
1972 :    
1973 : olson 1.25 my @his_roles;
1974 :    
1975 :     for my $his_role (@$cols)
1976 :     {
1977 :     my $idx = $self->get_role_index($his_role);
1978 :     my $his_idx = $ss->get_role_index($his_role);
1979 :    
1980 :     if (!defined($his_idx))
1981 :     {
1982 :     confess "Cannot map his role $his_role\n";
1983 :     }
1984 :     push(@his_roles, $his_idx);
1985 :    
1986 :     if (!defined($idx))
1987 :     {
1988 :     my $his_abbr = $ss->get_role_abbr($his_idx);
1989 :    
1990 :     $idx = $self->add_role($his_role, $his_abbr);
1991 : overbeek 1.37 # print "Adding missing role $his_role idx=$idx\n";
1992 : olson 1.25 }
1993 :     else
1994 :     {
1995 : overbeek 1.37 # print "Found existing role $his_role idx=$idx\n";
1996 : olson 1.25 }
1997 :    
1998 :    
1999 :     $local_roles[$his_idx] = $idx;
2000 :     }
2001 :    
2002 :     #
2003 :     # Similar scan to ensure that we have rows for the genomes
2004 :     # that are in the other subsystem.
2005 :     #
2006 :    
2007 :     my @local_genomes;
2008 :    
2009 :     my @his_genomes = $ss->get_genomes();
2010 :    
2011 :     for my $his_idx (0..@his_genomes - 1)
2012 :     {
2013 :     my $genome = $his_genomes[$his_idx];
2014 : overbeek 1.37
2015 : olson 1.25
2016 :     my $my_idx = $self->get_genome_index($genome);
2017 :    
2018 :     if (!defined($my_idx))
2019 :     {
2020 :     #
2021 :     # Not there, need to add.
2022 :     #
2023 :    
2024 :     $my_idx = $self->add_genome($genome);
2025 : overbeek 1.37 # print "Adding missing genome $genome idx=$my_idx\n";
2026 : olson 1.25 }
2027 :     else
2028 :     {
2029 : overbeek 1.37 # print "Found existing genome $genome idx=$my_idx\n";
2030 : olson 1.25 }
2031 :    
2032 :     $local_genomes[$his_idx] = $my_idx;
2033 :     }
2034 :    
2035 :    
2036 :     #
2037 :     # Now that we have our local roles set up to receive the data,
2038 :     # process the incoming roles one at a time.
2039 :     #
2040 :    
2041 :    
2042 :     for my $his_role (@his_roles)
2043 :     {
2044 :     my $my_col = $self->get_col($local_roles[$his_role]);
2045 :     my $his_col = $ss->get_col($his_role);
2046 :    
2047 :     #
2048 :     # $his_col is the information for $his_role, indexed by
2049 :     # genome in @his_genomes.
2050 :     #
2051 :     # $my_col is hte information for my copy of $his_role,
2052 :     # indexed by genome in MY genome list.
2053 :     #
2054 :    
2055 :     my $my_role = $local_roles[$his_role];
2056 :    
2057 : overbeek 1.37 # print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
2058 : olson 1.25
2059 :     for my $his_gidx (0 .. @his_genomes - 1)
2060 :     {
2061 :     my $hisent = $his_col->[$his_gidx];
2062 :    
2063 :     my $my_gidx = $local_genomes[$his_gidx];
2064 :    
2065 : overbeek 1.37
2066 : olson 1.25 my $myent = $my_col->[$my_gidx];
2067 :    
2068 : overbeek 1.37 # print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
2069 : olson 1.25
2070 :     my %new;
2071 :     map { $new{$_}++ } @$hisent;
2072 :     map { $new{$_}++ } @$myent;
2073 :    
2074 :     @$myent = keys(%new);
2075 :    
2076 : overbeek 1.37 # print " new entry: @$myent\n";
2077 : olson 1.25 }
2078 :     }
2079 : olson 1.26
2080 :     #
2081 :     # Fix up the variant codes.
2082 :     #
2083 :    
2084 :     for my $his_gidx (0 .. @his_genomes - 1)
2085 :     {
2086 :     my $his_code = $ss->get_variant_code($his_gidx);
2087 :     my $my_gidx = $local_genomes[$his_gidx];
2088 :    
2089 :     if (!$self->get_variant_code($my_gidx))
2090 :     {
2091 :     $self->{variant_code}->[$my_gidx] = $his_code;
2092 :     }
2093 :     }
2094 :    
2095 :     #
2096 :     # If we are to add notes, append the other subsystem's notes text.
2097 :     #
2098 :    
2099 :     if ($add_notes)
2100 :     {
2101 :     my $his_notes = $ss->get_notes();
2102 :    
2103 :     $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
2104 :     }
2105 : olson 1.25 }
2106 : olson 1.17
2107 : olson 1.1 sub dump
2108 :     {
2109 :     my($self) = @_;
2110 :    
2111 :     for my $k (keys(%$self))
2112 :     {
2113 :     next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
2114 :     print "Key \"$k\": ", Dumper($self->{$k});
2115 :     }
2116 :     }
2117 :    
2118 : olson 1.14 #
2119 :     # Increment the subsystem's version number.
2120 :     #
2121 :     sub incr_version {
2122 :     my($self) = @_;
2123 :    
2124 :     my $dir = $self->{dir};
2125 :     my $vfile = "$dir/VERSION";
2126 :     my($ver);
2127 :    
2128 :     if (open(my $fh,"<$vfile"))
2129 :     {
2130 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
2131 :     {
2132 :     $ver = $1;
2133 :     }
2134 :     else
2135 :     {
2136 :     $ver = 0;
2137 :     }
2138 :     close($fh);
2139 :     }
2140 :     else
2141 :     {
2142 :     $ver = 0;
2143 :     }
2144 :    
2145 :     $ver++;
2146 :    
2147 :     open(my $fh, ">$vfile") || die "could not open $vfile";
2148 :     print $fh "$ver\n";
2149 :     close($fh);
2150 :    
2151 :     chmod(0777, $vfile);
2152 :    
2153 :     $self->load_version();
2154 :     }
2155 : olson 1.1
2156 :     sub get_dir_from_name
2157 :     {
2158 :     my($name) = @_;
2159 :    
2160 :     my $b = $name;
2161 :     $b =~ s/ /_/g;
2162 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
2163 :     return $dir;
2164 :     }
2165 :    
2166 : olson 1.12 #
2167 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
2168 :     #
2169 :     # The code here is a reconstruction of Bill's "go" script in perl with
2170 :     # data pulled from the local SEED configuration.
2171 :     #
2172 :    
2173 :     sub extend_with_billogix
2174 :     {
2175 : olson 1.42 my($self, $muser, $genomes) = @_;
2176 : olson 1.12 my($isMaster, $user);
2177 :    
2178 :     my $now = time();
2179 :    
2180 :     if ($muser =~ /master:(.*)/)
2181 :     {
2182 :     $isMaster = 1;
2183 :     $user = $1;
2184 :     }
2185 :     else
2186 :     {
2187 :     $isMaster = 0;
2188 :     $user = $muser;
2189 :     }
2190 :    
2191 :     #
2192 : olson 1.42 # initialize the genome list to all complete genomes, if none was passed in.
2193 :     #
2194 :    
2195 :     if (!$genomes)
2196 :     {
2197 :     $genomes = [$self->{fig}->genomes("complete")];
2198 :     warn "getting genome list from fig $self->{fig}";
2199 :     }
2200 :    
2201 :     #
2202 :     # Ensure genome list is of the right form.
2203 :     #
2204 :    
2205 :     if (ref($genomes) ne "ARRAY")
2206 :     {
2207 :     warn "billogix: genome list is not a list reference";
2208 :     return;
2209 :     }
2210 :    
2211 :     for my $g (@$genomes)
2212 :     {
2213 :     if ($g !~ /^\d+\.\d+/)
2214 :     {
2215 :     warn "billogix: genome '$g' is not of the proper form, aborting billogix run.";
2216 :     return;
2217 :     }
2218 :     }
2219 :    
2220 :     my $genome_list = "[" . join(", ", map { "'$_'" } @$genomes) . "]";
2221 :    
2222 :     warn "Genomes: $genome_list\n";
2223 :     warn Dumper($genomes);
2224 :    
2225 :     #
2226 : olson 1.12 # Find the executable.
2227 :     #
2228 :    
2229 :     my $exe = "$FIG_Config::bin/billogix";
2230 :    
2231 :     if (! -x $exe)
2232 :     {
2233 :     warn "Cannot find billogix exe at $exe\n";
2234 :     return;
2235 :     }
2236 :    
2237 :     my $ss_name = $self->{name};
2238 : olson 1.18
2239 :     $ss_name =~ s/\s+/_/g;
2240 :    
2241 : olson 1.14 my $ss_dir = "$self->{dir}/";
2242 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
2243 : olson 1.12 &FIG::verify_dir($assign_dir);
2244 :    
2245 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
2246 :     my $job_id = "${when}:sss:$ss_name";
2247 :    
2248 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
2249 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
2250 : olson 1.12
2251 :     #
2252 :     # Have the prereq stuff, now start up the app.
2253 :     #
2254 :    
2255 :     $ENV{LOCALSZ} = "80000";
2256 :     $ENV{GLOBALSZ} = "80000";
2257 :     $ENV{TRAILSZ} = "30000";
2258 : olson 1.13
2259 :     my $arch = &FIG::get_current_arch();
2260 :    
2261 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
2262 :    
2263 :     #
2264 :     # Need to ensure pl2wam is in our path
2265 :     #
2266 :    
2267 :     $ENV{PATH} = "${FIG_Config::ext_bin}:$ENV{PATH}";
2268 : olson 1.12
2269 : olson 1.23 #
2270 :     # We're going to divide the run into $n_chunks chunks.
2271 :     #
2272 :    
2273 :     my $n_chunks = 10;
2274 :    
2275 :     my($log);
2276 :     open($log, ">$ss_dir/$job_id.log");
2277 :    
2278 :     for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2279 :     {
2280 :     my $app_input = <<EOINP;
2281 : olson 1.12 ['\$BILLOGIX/top'].
2282 :     loadup.
2283 : olson 1.42 asserta(job_genome_list($genome_list)).
2284 : olson 1.23 asserta(part($this_chunk, $n_chunks)).
2285 : olson 1.12 asserta(url_default_seed('$seed')).
2286 : olson 1.13 asserta(url_export_part('$export_part')).
2287 : olson 1.12 asserta(ss_directory('$ss_dir')).
2288 :     asserta(assign_directory('$assign_dir')).
2289 :     asserta(job_id('$job_id')).
2290 :     extend_test3('$ss_name').
2291 :     EOINP
2292 :    
2293 : olson 1.23 print STDERR <<EOF;
2294 : olson 1.12 Starting app
2295 :    
2296 : olson 1.23 chunk $this_chunk of $n_chunks
2297 : olson 1.12 ss_name = $ss_name
2298 :     ss_dir = $ss_dir
2299 :     user = $user
2300 :     assign_dir = $assign_dir
2301 :     exe = $exe
2302 : olson 1.13 libdir = $ENV{BILLOGIX}
2303 :     path = $ENV{PATH}
2304 : olson 1.12
2305 :     App input
2306 :     $app_input
2307 :     EOF
2308 :     # feh, put in a block to reset perlmode indentation.
2309 : olson 1.23 {
2310 :     my($app_read, $app_write);
2311 :    
2312 :     #
2313 :     # Start the actual application with stdin and stdout redirected
2314 :     # to pipes.
2315 :     #
2316 :     # We write $app_input to the stdin pipe, and close it.
2317 :     # Then loop reading stdout, logging that output.
2318 :     #
2319 :     my $pid = open2($app_read, $app_write, $exe);
2320 :    
2321 :     if (!$pid)
2322 :     {
2323 :     warn "open2 $exe failed: $!\n";
2324 :     print $log "open2 $exe failed: $!\n";
2325 :     return;
2326 :     }
2327 :    
2328 :     print $app_write $app_input;
2329 :     close($app_write);
2330 :    
2331 :     #
2332 :     # Set autoflush on the logfile.
2333 :     #
2334 :    
2335 :     my $old = select($log);
2336 :     $| = 1;
2337 :     select(STDERR);
2338 :     $| = 1;
2339 :     select($old);
2340 :    
2341 :     warn "Starting $exe with pid $pid\n";
2342 :     print $log "Starting $exe with pid $pid\n";
2343 :    
2344 :     while (<$app_read>)
2345 :     {
2346 :     print STDERR $_;
2347 :     print $log $_;
2348 :     }
2349 :    
2350 :     print STDERR "App done\n";
2351 :     print $log "App done\n";
2352 :    
2353 :     close($app_read);
2354 :    
2355 :     my $ret = waitpid($pid, 0);
2356 :     my $stat = $?;
2357 :     print STDERR "Return status is $?\n";
2358 :     print $log "Return status is $?\n";
2359 :    
2360 :     #
2361 :     # This chunk has finished. We should see a file
2362 :     # rows.$this_chunk.$n_chunks.
2363 :     #
2364 :     }
2365 :     }
2366 :     #
2367 :     # At this point, the extension is finished (we've run the
2368 :     # $n_chunks parts of the extension job).
2369 :     #
2370 : olson 1.12
2371 : olson 1.14 #
2372 : olson 1.23 # We read in all the individual rows files, writing the single
2373 :     # concatenation of rows.
2374 : olson 1.14 #
2375 : olson 1.12
2376 : olson 1.23 my $ssaD = $self->{dir};
2377 :    
2378 :     my $rows_file = "$ssaD/rows";
2379 :    
2380 :     my $rowFH;
2381 :     if (!open($rowFH, ">$rows_file"))
2382 : olson 1.12 {
2383 : olson 1.23 my $err = "Cannot open rows file $ssaD/rows for writing: $!\n";
2384 :     print STDERR $err;
2385 :     print $log $err;
2386 : olson 1.12 return;
2387 :     }
2388 :    
2389 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2390 :     {
2391 :     my $chunkFH;
2392 :     my $cfile = "$ssaD/rows.$this_chunk.$n_chunks";
2393 :     if (!open($chunkFH, "<$cfile"))
2394 :     {
2395 :     my $err = "Cannot open rows file $cfile for reading: $!\n";
2396 :     print STDERR $err;
2397 :     print $log $err;
2398 :     return;
2399 :     }
2400 :     while (<$chunkFH>)
2401 :     {
2402 :     print $rowFH $_;
2403 :     }
2404 :     close($chunkFH);
2405 :     }
2406 :     close($rowFH);
2407 : olson 1.12
2408 :     #
2409 : olson 1.23 # Concatenate the assignments into the assignment directory.
2410 : olson 1.12 #
2411 :    
2412 : olson 1.23 my $assignments_file = "$assign_dir$job_id";
2413 :     my $assignFH;
2414 : olson 1.12
2415 : olson 1.23 if (!open($assignFH, ">$assignments_file"))
2416 : olson 1.12 {
2417 : olson 1.23 my $err = "Cannot open assignments file $assignments_file for writing: $!\n";
2418 :     print STDERR $err;
2419 :     print $log $err;
2420 :     return;
2421 : olson 1.12 }
2422 :    
2423 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
2424 : olson 1.19 {
2425 : olson 1.23 my $aFH;
2426 :     my $afile = "$ssaD/assignments.$this_chunk.$n_chunks";
2427 :     if (!open($aFH, "<$afile"))
2428 :     {
2429 :     my $err = "Cannot open assignments file $afile for reading: $!\n";
2430 :     print STDERR $err;
2431 :     print $log $err;
2432 :     return;
2433 :     }
2434 :     while (<$aFH>)
2435 :     {
2436 :     print $assignFH $_;
2437 :     }
2438 :     close($aFH);
2439 : olson 1.19 }
2440 : olson 1.23 close($assignFH);
2441 : olson 1.19
2442 : olson 1.23
2443 :    
2444 : olson 1.19 #
2445 : olson 1.14 # Back up the spreadsheet, and append the rows file to it.
2446 :     #
2447 :    
2448 :     &FIG::verify_dir("$ssaD/Backup");
2449 :     my $ts = time;
2450 :     rename("$ssaD/spreadsheet~","$ssaD/Backup/spreadsheet.$ts");
2451 :     copy("$ssaD/spreadsheet","$ssaD/spreadsheet~");
2452 :     rename("$ssaD/notes~","$ssaD/Backup/notes.$ts");
2453 :    
2454 :     #
2455 :     # Append the new rows to the spreadsheet.
2456 :     #
2457 :    
2458 :     my($ssafh, $rowsfh);
2459 :     open($ssafh, ">>$ssaD/spreadsheet") or die "Cannot open $ssaD/spreadsheet for append: $!\n";
2460 :     open($rowsfh, "<$ssaD/rows") or die "Cannot open $ssaD/rows for reading: $!\n";
2461 :    
2462 :     while (<$rowsfh>)
2463 :     {
2464 :     print $ssafh $_;
2465 :     }
2466 :     close($ssafh);
2467 :     close($rowsfh);
2468 :    
2469 :     $self->incr_version();
2470 : olson 1.12 }
2471 : olson 1.13
2472 : olson 1.14
2473 : olson 1.13 sub set_current_extend_pid
2474 :     {
2475 :     my($self, $pid) = @_;
2476 :    
2477 :     if (open(my $fh, ">$self->{dir}/EXTEND_PID"))
2478 :     {
2479 :     print $fh "$pid\n";
2480 :     }
2481 :     else
2482 :     {
2483 :     warn "Cannot open $self->{dir}/EXTEND_PID: $!\n";
2484 :     }
2485 :     }
2486 :    
2487 :     sub get_current_extend_pid
2488 :     {
2489 :     my($self) = @_;
2490 :    
2491 :     if (open(my $fh, "<$self->{dir}/EXTEND_PID"))
2492 :     {
2493 :     my $pid = <$fh>;
2494 :     close($fh);
2495 :     if ($pid)
2496 :     {
2497 :     chomp $pid;
2498 :    
2499 :     return $pid;
2500 :     }
2501 :     }
2502 :     return undef;
2503 :     }
2504 : olson 1.12
2505 : olson 1.7 package Subsystem::Diagram;
2506 :    
2507 :     sub new
2508 :     {
2509 :     my($class, $sub, $fig, $name, $dir) = @_;
2510 :    
2511 :     if (!-d $dir)
2512 :     {
2513 :     return undef;
2514 :     }
2515 :    
2516 :     my $self = {
2517 :     fig => $fig,
2518 :     subsystem => $sub,
2519 :     name => $name,
2520 :     dir =>$ dir,
2521 :     };
2522 :     bless $self, $class;
2523 :    
2524 :     $self->load();
2525 :    
2526 :     return $self;
2527 :     }
2528 :    
2529 :     #
2530 :     # Parse the diagram into internal data structure.
2531 :     #
2532 :    
2533 :     sub load
2534 :     {
2535 :     my($self) = @_;
2536 :    
2537 :     $self->load_area();
2538 :     }
2539 :    
2540 :     sub load_area
2541 :     {
2542 :     my($self) = @_;
2543 :     my $fh;
2544 :    
2545 : olson 1.8 if (!open($fh, "<$self->{dir}/area_table"))
2546 : olson 1.7 {
2547 : olson 1.8 warn "Could not load $self->{dir}/area_table: $!\n";
2548 : olson 1.7 return;
2549 :     }
2550 :    
2551 :     $self->{areas} = [];
2552 :    
2553 :     my $area_list = $self->{areas};
2554 :    
2555 :     while (<$fh>)
2556 :     {
2557 :     chomp;
2558 :     s/#.*$//;
2559 :     s/^\s+//;
2560 :     s/\s+$//;
2561 :     next if $_ eq '';
2562 :     my ($area, $tag, $value) = split(/\s+/, $_, 3);
2563 :     # print "area=$area tag=$tag value=$value\n";
2564 :    
2565 :     push(@$area_list, [$area, $tag, $value]);
2566 :    
2567 :     #
2568 :     # Do a little checking.
2569 :     #
2570 :    
2571 :     if ($tag eq "role")
2572 :     {
2573 :     my $idx = $self->{subsystem}->get_role_index($value);
2574 :     if (!defined($idx))
2575 :     {
2576 :     warn "Role not found for \"$value\" in subsystem $self->{subsystem}->{name}\n";
2577 :     }
2578 :     }
2579 :     }
2580 :     close($fh);
2581 :     }
2582 :    
2583 :     sub get_areas
2584 :     {
2585 :     my($self) = @_;
2586 :    
2587 :     return @{$self->{areas}};
2588 :     }
2589 :    
2590 : olson 1.1 1;
2591 : olson 1.7
2592 :    

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3