[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.104 - (view) (download) (as text)

1 : olson 1.76 #
2 :     # Copyright (c) 2003-2006 University of Chicago and Fellowship
3 :     # for Interpretations of Genomes. All Rights Reserved.
4 :     #
5 :     # This file is part of the SEED Toolkit.
6 :     #
7 :     # The SEED Toolkit is free software. You can redistribute
8 :     # it and/or modify it under the terms of the SEED Toolkit
9 :     # Public License.
10 :     #
11 :     # You should have received a copy of the SEED Toolkit Public License
12 :     # along with this program; if not write to the University of Chicago
13 :     # at info@ci.uchicago.edu or the Fellowship for Interpretation of
14 :     # Genomes at veronika@thefig.info or download a copy from
15 :     # http://www.theseed.org/LICENSE.TXT.
16 :     #
17 :    
18 : olson 1.1 package Subsystem;
19 :    
20 : olson 1.25 use Carp;
21 : olson 1.1 use FIG;
22 :    
23 : olson 1.10 use FIGAttributes;
24 :     use base 'FIGAttributes';
25 :    
26 : olson 1.12 use POSIX;
27 : olson 1.7 use DirHandle;
28 : olson 1.1 use Data::Dumper;
29 : olson 1.14 use File::Copy;
30 : olson 1.1 use File::Spec;
31 : olson 1.12 use IPC::Open2;
32 : parrello 1.77 use Tracer;
33 : olson 1.1
34 :     use strict;
35 :    
36 : parrello 1.73 =head1 Subsystem Manipulation
37 : olson 1.2
38 :     Any manipulation of subsystem data should happen through this interface.
39 : parrello 1.60 This allows us to assure ourselves that the relational tables that
40 :     mirror and index the subsystem data are kept up to date with the
41 : olson 1.2 canonical version of the subsystem information in the flat-files
42 :     kept in $FIG_Config::data/Subsystems.
43 :    
44 : olson 1.25 =head2 Objects.
45 :    
46 :     We define the following perl objects:
47 :    
48 :     Subsystem: represents a subsystem. It can be read from disk and
49 :     written to disk, and manipulated via its methods when in memory.
50 :    
51 :     If we were completely on the OO side of the world, we would also
52 :     define the following set of objects. However, we are not, so they are
53 :     only objects in a conceptual sense. They are implemented using the
54 : parrello 1.60 basic perl datatypes.
55 : olson 1.25
56 :     Role: represents a single role. A role has a name and an abbreviation.
57 :    
58 :     RoleSubset: represents a subset of available roles. A subset has a
59 :     name and a list of role names that comprise the subset.
60 :    
61 : olson 1.2 =head2 Thoughts on locking
62 :    
63 :     It is currently dangerous for multiple users to modify spreadsheets at once.
64 :     It will likely remain dangerous while the subsystem backend is fairly
65 :     stateless, as it is with the CGI mechanism.
66 :    
67 :     We'd like to make this a little safer. One mechanism might be to allow
68 :     a user to open a subsystem for modification, and others for readonly access.
69 :     For this to work we have to be able to tell which users is allowed; current
70 :     implementation uses the curator of the subsystem for this purpose.
71 :    
72 :     NB: This module does not currently attempt to handle locking or exclusion.
73 :     It is up to the caller (user application, CGI script, etc) to do so.
74 :     It does attempt to use locking internally where appropriate.
75 :    
76 :     =head2 Data structures
77 :    
78 :     We maintain the following data structures (all members of %$self).
79 :    
80 :     =over 4
81 :    
82 :     =item dir
83 :    
84 :     Directory in which the subsystem is stored.
85 :    
86 :     =item notes
87 :    
88 :     The current notes contents for the subsystem
89 :    
90 :     =item version
91 :    
92 :     Current subsystem version.
93 :    
94 :     =item exchangable
95 :    
96 :     1 if subsystem is exchangable, 0 otherwise.
97 :    
98 :     =item roles
99 :    
100 : olson 1.25 List of role names.
101 : olson 1.2
102 :     =item role_index
103 :    
104 :     hash that maps from role name to index
105 :    
106 :     =item role_abbrs
107 :    
108 :     list of role abbreviations
109 :    
110 :     =item abbr
111 :    
112 :     hash mapping from role abbreviation to role name
113 :    
114 :     =item col_subsets
115 :    
116 :     list of column subset names
117 :    
118 :     =item col_subset_members
119 :    
120 :     hash that maps from column subset name to subset members
121 :    
122 :     =item col_active_subset
123 :    
124 :     currently-active column subset
125 :    
126 :     =item row_active_subset
127 :    
128 :     currently-active row subset
129 :    
130 :     =item genome
131 :    
132 : olson 1.25 List of genome IDs.
133 : olson 1.2
134 :     =item variant_code
135 :    
136 : olson 1.25 List of variant codes.
137 : olson 1.2
138 :     =item genome_index
139 :    
140 :     Hash mapping from genome ID to genome index.
141 :    
142 :     =item spreadsheet
143 :    
144 :     Spreadsheet data. Structured as a list of rows, each of which
145 :     is a list of entries. An entry is a list of PEG numbers.
146 :    
147 :     =item spreadsheet_inv
148 :    
149 :     Inverted structure of spreadsheet - list of columns, each of which is a list
150 :     of rows.
151 :    
152 :     =back
153 :    
154 : parrello 1.73 =head2 Public Methods
155 : olson 1.25
156 : parrello 1.73 =head3 new
157 : olson 1.25
158 : parrello 1.73 C<< my $sub = Subsystem->new($subName, $fig, $createFlag); >>
159 : olson 1.25
160 : parrello 1.73 Load the subsystem. If it does not exist, and $createFlag is true, create
161 :     a new, empty subsystem.
162 : olson 1.25
163 : parrello 1.73 =over 4
164 : olson 1.25
165 : parrello 1.73 =item subName
166 : olson 1.25
167 : parrello 1.73 Name of the desired subsystem.
168 : olson 1.25
169 : parrello 1.73 =item fig
170 : olson 1.25
171 : parrello 1.73 FIG object for accessing the SEED data store.
172 : olson 1.25
173 : parrello 1.73 =item createFlag
174 : overbeek 1.31
175 : parrello 1.73 TRUE if an empty subsystem should be created with the given name, else FALSE. If a
176 :     subsystem with the name already exists, this parameter has no effect.
177 : olson 1.25
178 :     =back
179 :    
180 : olson 1.2 =cut
181 : olson 1.1
182 :     sub new
183 :     {
184 :     my($class, $name, $fig, $create) = @_;
185 :    
186 :     my $ssa_dir = get_dir_from_name($name);
187 :     #
188 :     # For loading, the subsystem directory must already exist.
189 :     #
190 : parrello 1.60
191 : olson 1.25 if (! -d $ssa_dir and not $create)
192 : olson 1.1 {
193 : parrello 1.69 # warn "Subsystem $name does not exist\n";
194 :     return undef;
195 : olson 1.1 }
196 : olson 1.56
197 : redwards 1.72 # RAE: Please do this:
198 :     $name =~ s/^\s+//; $name =~ s/\s+$//;
199 : olson 1.56 $name =~ s/ /_/g;
200 :    
201 : olson 1.1 my $self = {
202 : parrello 1.69 dir => $ssa_dir,
203 :     name => $name,
204 :     fig => $fig,
205 : olson 1.1 };
206 :    
207 :     bless($self, $class);
208 :    
209 : olson 1.70 #
210 :     # Check to see if the database we're running against has a variant column.
211 :     #
212 :     $self->detect_db_version();
213 :    
214 : olson 1.25 if ($create)
215 :     {
216 : parrello 1.69 $self->create_subsystem();
217 : olson 1.25 }
218 :     else
219 :     {
220 : parrello 1.69 $self->load();
221 : olson 1.25 }
222 : olson 1.1
223 :     return $self;
224 :     }
225 :    
226 : olson 1.70 sub detect_db_version
227 :     {
228 :     my($self) = @_;
229 :     my $db = $self->{fig}->db_handle();
230 :     my $dbh = $db->{_dbh};
231 :     local $dbh->{RaiseError} = 1;
232 :     local $dbh->{PrintError} = 0;
233 :    
234 :     eval {
235 :     my $x = $db->SQL("select variant from subsystem_index where subsystem = '' limit 1");
236 :     };
237 :    
238 :     #
239 :     # If this failed, it's an old database.
240 :     #
241 :     if ($@ =~ /variant/)
242 :     {
243 :     warn "Please rerun index_subsystems: current table does not have a variant column\n";
244 :     $self->{old_database} = 1;
245 :     }
246 :     }
247 :    
248 :    
249 : olson 1.19 sub new_from_dir
250 :     {
251 :     my($class, $dir, $fig) = @_;
252 :    
253 :     my $ssa_dir = $dir;
254 : olson 1.29 my $name = $dir;
255 :     $name =~ s,.*/,,;
256 : olson 1.19
257 :     #
258 :     # For loading, the subsystem directory must already exist.
259 :     #
260 : parrello 1.60
261 : olson 1.19 my $self = {
262 : parrello 1.69 dir => $ssa_dir,
263 :     name => $name,
264 :     fig => $fig,
265 : olson 1.19 };
266 :    
267 :     bless($self, $class);
268 :    
269 :     $self->load();
270 :    
271 :     return $self;
272 :     }
273 :    
274 : parrello 1.73 =head3 create_subsystem
275 : olson 1.25
276 :     Create a new subsystem. This creates the subsystem directory in the
277 :     correct place ($FIG_Config::data/Subsystems), and populates it with
278 :     the correct initial data.
279 :    
280 :     =cut
281 :    
282 : olson 1.1 sub create_subsystem
283 :     {
284 : olson 1.25 my($self) = @_;
285 :    
286 :     my $dir = $self->{dir};
287 :     my $fig = $self->{fig};
288 :    
289 :     if (-d $dir)
290 :     {
291 : parrello 1.69 warn "Not creating: Subsystem directory $dir already exists";
292 :     return;
293 : olson 1.25 }
294 :    
295 :     $fig->verify_dir($dir);
296 :    
297 :     #
298 :     # Initialize empty data structures.
299 :     #
300 : parrello 1.60
301 : olson 1.25 $self->{genome} = [];
302 :     $self->{genome_index} = {};
303 :     $self->{variant_code} = [];
304 :    
305 :     $self->{abbr} = {};
306 :     $self->{role_index} = {};
307 :     $self->{roles} = [];
308 :     $self->{role_abbrs} = [];
309 : olson 1.1
310 : olson 1.25 $self->{spreadsheet} = [];
311 :     $self->{spreadsheet_inv} = [];
312 :    
313 :     $self->{col_subsets} = [];
314 :     $self->{col_subset_members} = {};
315 :    
316 : overbeek 1.31 $self->{row_subsets} = [];
317 :     $self->{row_subset_members} = {};
318 : overbeek 1.35 $self->load_row_subsets();
319 : overbeek 1.31
320 : olson 1.25 $self->{row_active_subset} = "All";
321 :     $self->{col_active_subset} = "All";
322 :    
323 :     $self->{version} = 0;
324 :     $self->{exchangable} = 0;
325 : overbeek 1.45 $self->{classification} = [];
326 : olson 1.25
327 :     $self->write_subsystem();
328 : olson 1.1 }
329 :    
330 : parrello 1.75 =head3 get_diagrams
331 :    
332 :     C<< my @list = $sub->get_diagrams(); >>
333 :    
334 :     Return a list of the diagrams associated with this subsystem. Each diagram
335 :     is represented in the return list as a 4-tuple C<[diagram_id, diagram_name,
336 :     page_link, img_link]> where
337 :    
338 :     =over 4
339 :    
340 :     =item diagram_id
341 :    
342 :     ID code for this diagram.
343 :    
344 :     =item diagram_name
345 :    
346 :     Displayable name of the diagram.
347 :    
348 :     =item page_link
349 :    
350 :     URL of an HTML page containing information about the diagram.
351 :    
352 :     =item img_link
353 :    
354 :     URL of an HTML page containing an image for the diagram.
355 :    
356 :     =back
357 : olson 1.7
358 : parrello 1.75 Note that the URLs are in fact for CGI scripts with parameters that point them
359 :     to the correct place.
360 : olson 1.7
361 : parrello 1.75 =cut
362 : olson 1.61
363 : parrello 1.75 sub get_diagrams {
364 :     # Get the parameters.
365 :     my ($self) = @_;
366 :     # Look for all the sub-directories in the subsystem's diagram directory. Each
367 :     # one of these will be a diagram ID. If the diagram directory doesn't exist,
368 :     # we'll get an empty list.
369 :     my @ids = GetDiagramIDs($self->{dir});
370 :     # Declare the return variable.
371 : olson 1.61 my @ret;
372 : parrello 1.75 # Loop through the diagram IDs found (if any).
373 :     for my $id (@ids) {
374 :     # Get the name and URLs for this diagram.
375 : parrello 1.69 my(@diag) = $self->get_diagram($id);
376 : parrello 1.75 # If we found a name and URLs, then this diagram must be added to the
377 :     # return list.
378 :     if (@diag) {
379 : parrello 1.69 push(@ret, [$id, @diag]);
380 :     }
381 : olson 1.61 }
382 : parrello 1.75 # Return the list of diagrams.
383 : olson 1.61 return @ret;
384 :     }
385 :    
386 : parrello 1.75 =head3 get_diagram
387 :    
388 :     C<< my ($name, $pageURL, $imgURL) = $sub->get_diagram($id); >>
389 :    
390 :     Get the information (if any) for the specified diagram. The diagram corresponds
391 :     to a subdirectory of the subsystem's C<diagrams> directory. For example, if the
392 :     diagram ID is C<d03>, the diagram's subdirectory would be C<$dir/diagrams/d03>,
393 :     where I<$dir> is the subsystem directory. The diagram's name is extracted from
394 :     a tiny file containing the name, and then the links are computed using the
395 :     subsystem name and the diagram ID. The parameters are as follows.
396 :    
397 :     =over 4
398 :    
399 :     =item id
400 :    
401 :     ID code for the desired diagram.
402 :    
403 :     =item RETURN
404 :    
405 :     Returns a three-element list. The first element is the diagram name, the second
406 :     a URL for displaying information about the diagram, and the third a URL for
407 :     displaying the diagram image.
408 :    
409 :     =back
410 :    
411 :     =cut
412 :    
413 : olson 1.61 sub get_diagram
414 :     {
415 :     my($self, $id) = @_;
416 :    
417 : parrello 1.75 my $name = GetDiagramName($self->{dir}, $id);
418 :     my ($link, $img_link) = ComputeDiagramURLs($self->{name}, $id);
419 : olson 1.61
420 :     return($name, $link, $img_link);
421 :     }
422 :    
423 : olson 1.66 sub get_diagram_html_file
424 :     {
425 :     my($self, $id) = @_;
426 :    
427 :     my $ddir = "$self->{dir}/diagrams/$id";
428 :    
429 :     return unless -d $ddir;
430 :    
431 :     my $html = "$ddir/diagram.html";
432 :    
433 :     if (-f $html)
434 :     {
435 : parrello 1.69 return $html;
436 : olson 1.66 }
437 :     else
438 :     {
439 : parrello 1.69 return undef;
440 : olson 1.66 }
441 :     }
442 :    
443 : paarmann 1.97 sub is_new_diagram {
444 :     my ($self, $id) = @_;
445 :    
446 :     my $image_map = $self->get_diagram_html_file($id);
447 :     if ($image_map) {
448 :    
449 :     open(IN, "$image_map") or die "Unable to open file $image_map.";
450 :     my $header = <IN>;
451 :     close(IN);
452 :    
453 :     if ($header =~ /\<map name=\"GraffleExport\"\>/) {
454 :     return 1;
455 :     }
456 :     }
457 :    
458 :     return undef;
459 :     }
460 :    
461 :     sub get_link_for_new_diagram {
462 :     my ($self, $id) = @_;
463 :    
464 :     my $ss_name = $self->{name};
465 :     return "./diagram.cgi?subsystem_name=$ss_name&diagram=$id";
466 :     }
467 :    
468 : parrello 1.90
469 : olson 1.61 sub open_diagram_image
470 :     {
471 :     my($self, $id) = @_;
472 :    
473 :     my $img_base = "$self->{dir}/diagrams/$id/diagram";
474 :    
475 :     my @types = ([".png", "image/png"],
476 : parrello 1.69 [".gif", "image/gif"],
477 :     [".jpg", "image/jpeg"]);
478 : olson 1.61
479 :     for my $tent (@types)
480 :     {
481 : parrello 1.69 my($ext, $type) = @$tent;
482 : olson 1.61
483 : parrello 1.69 my $file = "$img_base$ext";
484 : olson 1.61
485 : parrello 1.69 if (open(my $fh, "<$file"))
486 :     {
487 :     return($type, $fh);
488 :     }
489 : olson 1.61 }
490 :    
491 :     return undef;
492 :     }
493 : olson 1.7
494 : olson 1.61 sub delete_diagram
495 :     {
496 :     my($self, $id) = @_;
497 : parrello 1.60
498 : olson 1.61 my $dir = "$self->{dir}/diagrams/$id";
499 : olson 1.7
500 : olson 1.61 if (-d $dir)
501 :     {
502 : parrello 1.69 system("rm", "-r", $dir);
503 : olson 1.61 }
504 : olson 1.7 }
505 :    
506 : olson 1.61 sub rename_diagram
507 : olson 1.7 {
508 : olson 1.61 my($self, $id, $new_name) = @_;
509 : olson 1.7
510 : olson 1.61 my $dir = "$self->{dir}/diagrams/$id";
511 : olson 1.7
512 :     if (-d $dir)
513 :     {
514 : parrello 1.69 open(F, ">$dir/NAME");
515 :     $new_name =~ s/\n.*$//s;
516 :     print F "$new_name\n";
517 :     close(F);
518 : olson 1.61 }
519 :     }
520 :    
521 :     sub create_new_diagram
522 :     {
523 : olson 1.65 my($self, $fh, $html_fh, $name, $id) = @_;
524 : olson 1.61
525 :     #
526 :     # Get a new id.
527 :     #
528 :    
529 :     my $dir = "$self->{dir}/diagrams";
530 :    
531 :     &FIG::verify_dir($dir);
532 :    
533 :     my $path;
534 :    
535 :     if (defined($id))
536 :     {
537 : parrello 1.69 #
538 :     # Ensure this id doesn't already exist.
539 :     #
540 :    
541 :     $path = "$dir/$id";
542 :    
543 :     if (-d $path)
544 :     {
545 :     confess "Diagram id $id already exists in subsystem $self->{name}";
546 :     }
547 : olson 1.61
548 : olson 1.7 }
549 :     else
550 :     {
551 : parrello 1.69 $id = "d01";
552 : olson 1.61
553 : parrello 1.69 while (1)
554 :     {
555 :     $path = "$dir/$id";
556 :     last unless -e $path;
557 :     $id++;
558 :     }
559 : olson 1.61 }
560 :    
561 :     &FIG::verify_dir($path);
562 :    
563 :     if ($name)
564 :     {
565 : parrello 1.69 open(F, ">$path/NAME");
566 :     $name =~ s/\n.*$//s;
567 :     print F "$name\n";
568 :     close(F);
569 : olson 1.61 }
570 :    
571 :     #
572 :     # Write the file if we have one.
573 :     #
574 :    
575 :     if ($fh)
576 :     {
577 : parrello 1.69 my($ext, $buf);
578 : parrello 1.73
579 : parrello 1.69 if (read($fh, $buf, 4096))
580 :     {
581 :     my($ext) = $self->classify_image_type($buf);
582 :     open(D, ">$path/diagram$ext");
583 :     print D $buf;
584 : parrello 1.73
585 : parrello 1.69 while (read($fh, $buf, 4096))
586 :     {
587 :     print D $buf;
588 :     }
589 :     close(D);
590 :     }
591 :     close($fh);
592 : olson 1.7 }
593 : olson 1.65
594 :     #
595 :     # And write the HTML file if we have one.
596 :     #
597 :     if ($html_fh)
598 :     {
599 : parrello 1.69 my $buf;
600 :     open(D, ">$path/diagram.html");
601 : parrello 1.73
602 : parrello 1.69 while (read($html_fh, $buf, 4096))
603 :     {
604 :     print D $buf;
605 :     }
606 :     close(D);
607 :     close($html_fh);
608 : olson 1.65 }
609 : paarmann 1.98
610 :     return $id;
611 : olson 1.7 }
612 : parrello 1.60
613 : olson 1.65 sub upload_new_image
614 :     {
615 :     my($self, $id, $fh) = @_;
616 :    
617 : olson 1.67 if (!$fh)
618 :     {
619 : parrello 1.69 warn "Subsystem::upload_new_image aborting: fh is undef\n";
620 :     return;
621 : olson 1.67 }
622 :    
623 : olson 1.65
624 :     my $dir = "$self->{dir}/diagrams/$id";
625 :    
626 : olson 1.67 if (not -d $dir)
627 :     {
628 : parrello 1.69 warn "Subsystem::upload_new_image aborting: $dir does not exist\n";
629 :     return;
630 : olson 1.67 }
631 : olson 1.65
632 :     #
633 :     # remove any old diagram images.
634 :     #
635 :    
636 :     for my $path (<$dir/diagram.{png,gif,jpg}>)
637 :     {
638 : parrello 1.69 unlink($path);
639 : olson 1.65 }
640 :    
641 :     my($ext, $buf);
642 : parrello 1.73
643 : olson 1.65 if (read($fh, $buf, 4096))
644 :     {
645 : parrello 1.69 my($ext) = $self->classify_image_type($buf);
646 : olson 1.67
647 : parrello 1.69 if (!open(D, ">$dir/diagram$ext"))
648 :     {
649 :     warn "Subsystem::upload_new_image open failed for $dir/diagram$ext: $!\n";
650 :     close($fh);
651 :     return;
652 :     }
653 :    
654 :     warn "Subsystem::upload_new_image classified new image as $ext\n";
655 :     print D $buf;
656 : parrello 1.73
657 : parrello 1.69 while (read($fh, $buf, 4096))
658 :     {
659 :     print D $buf;
660 :     }
661 :     close(D);
662 : olson 1.65 }
663 : olson 1.67 else
664 :     {
665 : parrello 1.69 warn "Subsystem::upload_new_image read failed for $fh: $!\n";
666 : olson 1.67 }
667 :    
668 :     warn "Subsystem::upload_new_image complete: " . `/bin/ls -l '$dir'`;
669 :    
670 : olson 1.65 close($fh);
671 :     }
672 :    
673 :     sub upload_new_html
674 :     {
675 :     my($self, $id, $fh) = @_;
676 :    
677 : olson 1.67 if (!$fh)
678 :     {
679 : parrello 1.69 warn "Subsystem::upload_new_html aborting: fh is undef\n";
680 :     return;
681 : olson 1.67 }
682 : olson 1.65
683 :     my $dir = "$self->{dir}/diagrams/$id";
684 :    
685 : olson 1.67 if (not -d $dir)
686 :     {
687 : parrello 1.69 warn "Subsystem::upload_new_html aborting: $dir does not exist\n";
688 :     return;
689 : olson 1.67 }
690 : olson 1.65
691 :     my($buf);
692 :    
693 : olson 1.67 if (!open(D, ">$dir/diagram.html"))
694 :     {
695 : parrello 1.69 warn "Subsystem::upload_new_html open failed for $dir/diagram.html: $!\n";
696 :     return;
697 : olson 1.67 }
698 : olson 1.65
699 : olson 1.67 my $rc;
700 :     while ($rc = read($fh, $buf, 4096))
701 : olson 1.65 {
702 : parrello 1.69 print D $buf;
703 : olson 1.65 }
704 : olson 1.67 if (!defined($rc))
705 :     {
706 : parrello 1.69 warn "Subsystem::upload_new_html read failed for $fh: $!\n";
707 : olson 1.67 }
708 :    
709 :     warn "Subsystem::upload_new_html complete: " . `/bin/ls -l '$dir'`;
710 :    
711 : olson 1.65 close(D);
712 :     close($fh);
713 :     }
714 :    
715 :     sub classify_image_type
716 :     {
717 :     my($self, $buf) = @_;
718 :    
719 :     my $ext;
720 : parrello 1.73
721 : olson 1.65 #
722 :     # Determine file type, for PNG / JPG / GIF. If we could be assured
723 :     # the ImageMagick identify app worked properly, we'd use that instead.
724 :     #
725 :     # Maybe later.
726 :     #
727 : parrello 1.73
728 : olson 1.65 if (substr($buf, 0, 8) eq "\x89\x50\x4e\x47\x0d\x0a\x1a\x0a")
729 :     {
730 : parrello 1.69 $ext = ".png";
731 : olson 1.65 }
732 :     elsif (substr($buf, 0, 3) eq "GIF")
733 :     {
734 : parrello 1.69 $ext = ".gif";
735 : olson 1.65 }
736 :     elsif (substr($buf, 0, 2) eq "\xff\xd8" and substr($buf, 6, 4) eq "JFIF")
737 :     {
738 : parrello 1.69 $ext = ".jpg";
739 : olson 1.65 }
740 :     else
741 :     {
742 : parrello 1.69 warn "Unknown file type in new diagram\n";
743 :     $ext = ".png";
744 : olson 1.65 }
745 :    
746 :     return $ext;
747 :     }
748 :    
749 :    
750 : olson 1.7 #
751 : olson 1.5 # Synchronize the database index for this subsystem to the
752 :     # subsystem data.
753 :     #
754 :     # We assume the table already exists.
755 : parrello 1.60 #
756 : olson 1.5
757 :     sub db_sync
758 :     {
759 :     my($self, $skip_delete) = @_;
760 :    
761 : olson 1.84 if ($self->{empty_ss})
762 :     {
763 :     warn "Not synching empty subsystem $self->{name}\n";
764 :     return;
765 :     }
766 :    
767 : olson 1.5 my $rdbH = $self->{fig}->db_handle();
768 :    
769 :     if (!$skip_delete)
770 :     {
771 : parrello 1.69 $self->delete_indices();
772 : overbeek 1.94 $self->delete_aux();
773 :     }
774 :    
775 :     my @aux_roles = map { $self->get_subsetC_roles($_) }
776 :     grep { $_ =~ /^(AUX|auxiliary)/ }
777 :     $self->get_subset_namesC;
778 :    
779 :     my $nameQ = quotemeta $self->{name};
780 :     foreach my $role (@aux_roles)
781 :     {
782 :     my $roleQ = quotemeta $role;
783 :     $rdbH->SQL("INSERT INTO aux_roles ( subsystem, role) VALUES ('$nameQ','$roleQ')");
784 : olson 1.5 }
785 :    
786 : olson 1.57 my $tmp = "$FIG_Config::temp/ixsub.$$";
787 :     open(TMP, ">$tmp") or die "Cannot open tmpfile $tmp: $!\n";
788 :    
789 : olson 1.5 #
790 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
791 :     #
792 :    
793 : olson 1.70 # my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?, ?)");
794 : olson 1.6
795 : olson 1.70 my @roles = $self->get_roles();
796 :     for my $genome ($self->get_genomes())
797 : olson 1.5 {
798 : olson 1.70 my $gidx = $self->get_genome_index($genome);
799 :     my $variant = $self->get_variant_code($gidx);
800 : olson 1.71 # print "Index $genome variant=$variant\n";
801 : olson 1.70 my $row = $self->get_row($gidx);
802 :    
803 :     for my $i (0..$#$row)
804 :     {
805 :     my $cell = $row->[$i];
806 :     my $role = $roles[$i];
807 :     if ($cell)
808 :     {
809 :     for my $peg (@$cell)
810 :     {
811 :     # $sth->execute($peg, $self->{name}, $role);
812 :     if ($self->{old_database})
813 :     {
814 :     print TMP "$peg\t$self->{name}\t$role\n";
815 :     }
816 :     else
817 :     {
818 :     print TMP "$peg\t$self->{name}\t$role\t$variant\n";
819 :     }
820 :     }
821 :     }
822 :     }
823 : olson 1.5 }
824 : olson 1.57 close(TMP);
825 :     $rdbH->load_table(file => $tmp,
826 : parrello 1.69 tbl => 'subsystem_index');
827 : olson 1.5 }
828 :    
829 : olson 1.22 #
830 :     # Delete this subsystem's entries from the database index.
831 :     #
832 :     sub delete_indices
833 :     {
834 :     my($self) = @_;
835 :    
836 :     my $rdbH = $self->{fig}->db_handle();
837 :    
838 : olson 1.70 $rdbH->SQL("DELETE FROM subsystem_index where subsystem = ?", undef, $self->{name});
839 : olson 1.22 }
840 :    
841 : overbeek 1.94 sub delete_aux
842 :     {
843 :     my($self) = @_;
844 :    
845 :     my $rdbH = $self->{fig}->db_handle();
846 :    
847 :     $rdbH->SQL("DELETE FROM aux_roles where subsystem = ?", undef, $self->{name});
848 :     }
849 :    
850 :     sub is_aux_role {
851 :     my($self,$role) = @_;
852 :    
853 :     my $rdbH = $self->{fig}->db_handle();
854 : overbeek 1.95 if (! $rdbH->table_exists('aux_roles')) { return 0 }
855 : overbeek 1.94 my $nameQ = quotemeta $self->{name};
856 :     my $roleQ = quotemeta $role;
857 :     my $q = "SELECT subsystem FROM aux_roles WHERE subsystem = '$nameQ' AND role = '$roleQ'";
858 :    
859 :     my $relational_db_response;
860 :     return (($relational_db_response = $rdbH->SQL($q)) && (@$relational_db_response > 0));
861 :     }
862 :    
863 :    
864 : olson 1.1 sub load
865 :     {
866 :     my($self) = @_;
867 :    
868 :     #
869 :     # Load the subsystem.
870 :     #
871 :    
872 :     my $ssa;
873 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
874 :     {
875 : heiko 1.87 Trace("Spreadsheet does not exist in subsystem $self->{name}") if T(1);
876 : olson 1.84 $self->{empty_ss}++;
877 : parrello 1.69 return;
878 : olson 1.1 }
879 :    
880 :     local $/ = "//\n";
881 :    
882 :     my $roles = <$ssa>;
883 :     if ($roles)
884 :     {
885 : parrello 1.69 $roles =~ s,$/$,,;
886 :     #
887 :     # Split on newline, filter for non-empty lines.
888 :     #
889 :     my @roles = split("\n", $roles);
890 : parrello 1.60
891 : parrello 1.69 @roles = grep { $_ ne "" } @roles;
892 : parrello 1.60
893 : parrello 1.69 $self->load_roles(@roles);
894 : olson 1.1 }
895 :    
896 :     my $subsets = <$ssa>;
897 :     if ($subsets)
898 :     {
899 : parrello 1.69 $subsets =~ s,$/$,,;
900 :     $self->load_subsets($subsets);
901 : olson 1.1 }
902 :    
903 :     $/ = "\n";
904 :    
905 : overbeek 1.35 $self->load_row_subsets();
906 : olson 1.1 $self->load_genomes($ssa);
907 :    
908 :     #
909 :     # Now load the rest of the info.
910 :     #
911 :    
912 : overbeek 1.58 $self->load_reactions();
913 : olson 1.1 $self->load_notes();
914 : redwards 1.44 $self->load_classification();
915 : olson 1.1 $self->load_version();
916 :     $self->load_exchangable();
917 : olson 1.17 $self->load_curation();
918 : olson 1.84
919 :     return 1;
920 : olson 1.1 }
921 :    
922 :     sub load_notes
923 :     {
924 :     my($self) = @_;
925 :    
926 :     $self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
927 :     }
928 :    
929 : overbeek 1.58 sub load_reactions
930 :     {
931 :     my($self) = @_;
932 :    
933 :     my $reactions = undef;
934 :     if (open(REACT,"<$self->{dir}/reactions"))
935 :     {
936 : parrello 1.69 while (defined($_ = <REACT>))
937 :     {
938 :     if ($_ =~ /^(\S.*\S)\t(\S+)/)
939 :     {
940 :     push(@{$reactions->{$1}},split(/,\s*/,$2));
941 :     }
942 :     }
943 :     close(REACT);
944 : overbeek 1.58 }
945 :    
946 :     $self->{reactions} = $reactions;
947 :     }
948 :    
949 : redwards 1.44 sub load_classification
950 :     {
951 :     my($self) = @_;
952 :    
953 :     my $class = &FIG::file_read(File::Spec->catfile($self->{dir}, "CLASSIFICATION"));
954 :     if ($class) {$self->{classification} = [split /\t/, $class]} else {$self->{classification} = ['', '', '']}
955 :     }
956 :    
957 : olson 1.17 sub load_curation
958 :     {
959 :     my($self) = @_;
960 :    
961 : overbeek 1.47 # my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
962 :     #
963 :     # $_ = $l[0];
964 :     # chomp;
965 : olson 1.17
966 : overbeek 1.47 if (open(LOG,"<$self->{dir}/curation.log"))
967 : olson 1.17 {
968 : parrello 1.69 while (defined($_ = <LOG>))
969 :     {
970 :     if (/^\d+\t(\S+)\s+started/)
971 :     {
972 :     $self->{curator} = $1;
973 :     }
974 :     }
975 :     close(LOG);
976 : olson 1.17 }
977 :     }
978 :    
979 : olson 1.1 sub load_version
980 :     {
981 :     my($self) = @_;
982 :    
983 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
984 :     my $l = $l[0];
985 :     chomp $l;
986 :     $self->{version} = $l;
987 :     }
988 :    
989 :     sub load_exchangable
990 :     {
991 :     my($self) = @_;
992 :    
993 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
994 :    
995 :     if (-f $file)
996 :     {
997 : parrello 1.69 my($l, @l);
998 : olson 1.1
999 : parrello 1.69 @l = &FIG::file_head($file, 1);
1000 :     $l = $l[0];
1001 :     chomp $l;
1002 :     $self->{exchangable} = $l;
1003 : olson 1.1 }
1004 :     else
1005 :     {
1006 : parrello 1.69 $self->{exchangable} = 0;
1007 : olson 1.1 }
1008 :     }
1009 :    
1010 :    
1011 :     sub load_roles
1012 :     {
1013 :     my($self, @roles) = @_;
1014 :    
1015 : olson 1.5 $self->{abbr} = {};
1016 :     $self->{role_index} = {};
1017 :     $self->{roles} = [];
1018 :     $self->{role_abbrs} = [];
1019 :    
1020 : olson 1.25 my $i = 0;
1021 : olson 1.1 for my $role (@roles)
1022 :     {
1023 : parrello 1.69 my($abbr, $name) = split(/\t/, $role);
1024 :     $abbr =~ s/^\s+//;
1025 :     $abbr =~ s/\s+$//;
1026 :     $name =~ s/^\s+//;
1027 :     $name =~ s/\s+$//;
1028 :     # print "Role $i: abbr=$abbr name=$name\n";
1029 :    
1030 :     $self->{abbr}->{$abbr} = $name;
1031 :     $self->{role_index}->{$name} = $i;
1032 :     $self->{roles}->[$i] = $name;
1033 :     $self->{role_abbrs}->[$i] = $abbr;
1034 :     $i++;
1035 : olson 1.1 }
1036 :     }
1037 : parrello 1.60
1038 : olson 1.1 sub load_subsets
1039 :     {
1040 :     my($self, $subsets) = @_;
1041 :    
1042 :     #
1043 :     # Column and row subsets.
1044 :     #
1045 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
1046 :    
1047 :     #
1048 :     # Handle column subsets.
1049 :     #
1050 :    
1051 :     my @subsetsC = split(/\n/, $subsetsC);
1052 :    
1053 :     #
1054 :     # Determine active subset.
1055 :     #
1056 :    
1057 :     my $active_subsetC;
1058 :     if (@subsetsC > 0)
1059 :     {
1060 : parrello 1.69 $active_subsetC = pop(@subsetsC);
1061 : olson 1.1 }
1062 :     else
1063 :     {
1064 : parrello 1.69 $active_subsetC = 'All';
1065 : olson 1.1 }
1066 :    
1067 :     $self->{col_active_subset} = $active_subsetC;
1068 :    
1069 :     $self->{col_subsets} = [];
1070 : olson 1.5 $self->{col_subset_members} = {};
1071 : parrello 1.60
1072 : olson 1.1 for my $subset (@subsetsC)
1073 :     {
1074 : parrello 1.69 my($name, @members) = split(/\s+/, $subset);
1075 : olson 1.1
1076 : parrello 1.69 #
1077 :     # File format has members 1-based.
1078 :     #
1079 :    
1080 :     @members = map { $_ - 1 } @members;
1081 :    
1082 :     push(@{$self->{col_subsets}}, $name);
1083 :    
1084 :     #
1085 :     # Map role members from name to index if necessary.
1086 :     #
1087 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
1088 :     #
1089 :     @members = map {
1090 :     if (my $new = $self->{role_index}->{$_})
1091 :     {
1092 :     $new;
1093 :     }
1094 :     else
1095 :     {
1096 :     $_;
1097 :     }
1098 :     } @members;
1099 : olson 1.1
1100 : parrello 1.69 @{$self->{col_subset_members}->{$name}} = @members;
1101 : olson 1.1 }
1102 :    
1103 :     #
1104 :     # Now the row subsets.
1105 :     #
1106 :    
1107 :     chomp($subsetsR);
1108 :    
1109 :     if ($subsetsR =~ /(\S+.*\S+)/)
1110 :     {
1111 : parrello 1.69 $self->{row_active_subset} = $1;
1112 : olson 1.1 }
1113 :     else
1114 :     {
1115 : parrello 1.69 $self->{row_active_subset} = 'All';
1116 : olson 1.1 }
1117 : overbeek 1.35 $self->{row_subsets} = [];
1118 : olson 1.1 }
1119 :    
1120 :     sub load_genomes
1121 :     {
1122 :     my($self, $fh) = @_;
1123 :     my(%seen);
1124 :    
1125 : olson 1.5 $self->{spreadsheet} = [];
1126 : olson 1.29 $self->{spreadsheet_inv} = [];
1127 : olson 1.5 $self->{genome} = [];
1128 :     $self->{genome_index} = {};
1129 :     $self->{variant_code} = [];
1130 : parrello 1.91 $self->{peg_roles} = {};
1131 : olson 1.5
1132 : olson 1.25 my $nr = @{$self->{roles}};
1133 :    
1134 :     my $i = 0;
1135 : olson 1.1 while (<$fh>)
1136 :     {
1137 : parrello 1.69 next if ($_ =~ /^\/\//);
1138 :     chomp;
1139 :    
1140 :     my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
1141 :     $variant_code =~ s/ //g;
1142 : overbeek 1.82 next if ($seen{$genome} || (! $self->{fig}->is_genome($genome)));
1143 : parrello 1.69 $seen{$genome}++;
1144 :    
1145 :     my $j = 0;
1146 :    
1147 :     $self->{genome}->[$i] = $genome;
1148 :     $self->{genome_index}->{$genome} = $i;
1149 :     $self->{variant_code}->[$i] = $variant_code;
1150 : olson 1.1
1151 : parrello 1.69 my $thislen = @row;
1152 :    
1153 :     # if ($thislen != $nr)
1154 :     # {
1155 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
1156 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
1157 :     # }
1158 :    
1159 :     for my $j (0..$nr - 1)
1160 :     {
1161 :     my $entry = $row[$j];
1162 : overbeek 1.99 # OLD my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
1163 :     my $e2 = [map { ($_ =~ /^[a-zA-Z]+\.\d+$/) ? "fig|$genome.$_" : "fig|$genome.peg.$_" }
1164 :     split(/,/, $entry)
1165 :     ];
1166 : parrello 1.69 $self->{spreadsheet}->[$i]->[$j] = $e2;
1167 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
1168 : parrello 1.91 for my $fidj (@{$e2}) {
1169 :     push @{$self->{peg_roles}->{$fidj}}, $j;
1170 :     }
1171 : parrello 1.69 $j++;
1172 :     }
1173 :     $i++;
1174 : parrello 1.60
1175 : olson 1.1 }
1176 :     }
1177 :    
1178 : olson 1.92 sub add_virtual_genome
1179 :     {
1180 :     my($self, $name, $genome, $variant, $bindings) = @_;
1181 :    
1182 :     my $gidx = @{$self->{genome}};
1183 :    
1184 :     $self->{genome}->[$gidx] = $genome;
1185 :     $self->{genome_index}->{$genome} = $gidx;
1186 :     $self->{variant_code}->[$gidx] = $variant;
1187 :    
1188 :     for my $role (keys %$bindings)
1189 :     {
1190 :     my $role_idx = $self->get_role_index($role);
1191 :    
1192 :     my $plist = $bindings->{$role};
1193 :    
1194 :     # warn "Role $role maps to $role_idx with pegs @$plist\n";
1195 :    
1196 :     $self->{spreadsheet}->[$gidx]->[$role_idx] = $plist;
1197 :     $self->{spreadsheet_inv}->[$role_idx]->[$gidx] = $plist;
1198 :     for my $peg (@$plist)
1199 :     {
1200 :     # warn "Peg $peg => $role_idx\n";
1201 :     push(@{$self->{peg_roles}->{$peg}}, $role_idx);
1202 :     }
1203 :     }
1204 :     # warn "After add virtual: \n", Dumper($self), "\n";
1205 :     }
1206 :    
1207 : parrello 1.91 =head3 get_peg_roles
1208 :    
1209 :     C<< my @cols = $sub->get_peg_roles($peg); >>
1210 :    
1211 :     Return the column numbers in which the specified PEG appears.
1212 :    
1213 :     =over 4
1214 :    
1215 :     =item peg
1216 :    
1217 :     ID of the feature whose roles are desired.
1218 :    
1219 :     =item RETURN
1220 :    
1221 :     Returns a list of the column numbers in which the peg appears, or an empty
1222 :     list if it is not found.
1223 :    
1224 :     =back
1225 :    
1226 :     =cut
1227 :    
1228 :     sub get_peg_roles {
1229 :     # Get the parameters.
1230 :     my ($self, $peg) = @_;
1231 :     # Declare the return variable.
1232 :     my @retVal;
1233 :     # Find this peg's roles.
1234 :     if (exists $self->{peg_roles}->{$peg}) {
1235 :     @retVal = @{$self->{peg_roles}->{$peg}};
1236 :     }
1237 :     # Return the result.
1238 :     return @retVal;
1239 :     }
1240 :    
1241 : parrello 1.73 =head3 write_subsystem
1242 : olson 1.25
1243 :     Write the subsystem to the disk. Updates on-disk data with notes,
1244 :     etc. Perform backups when necessary.
1245 :    
1246 :     =cut
1247 :    
1248 :     sub write_subsystem
1249 :     {
1250 : olson 1.68 my($self, $force_backup) = @_;
1251 : olson 1.25
1252 :     my $dir = $self->{dir};
1253 :     my $fig = $self->{fig};
1254 :    
1255 :     #
1256 :     # We first move the existing spreadsheet and notes files (if present)
1257 :     # to spreadsheet~ and notes~, and current state.
1258 :     #
1259 :    
1260 :     my $ss_file = "$dir/spreadsheet";
1261 :     my $ss_bak = "$dir/spreadsheet~";
1262 :     my $notes_file = "$dir/notes";
1263 :     my $notes_bak = "$dir/notes~";
1264 : overbeek 1.58 my $reactions_file = "$dir/reactions";
1265 :     my $reactions_bak = "$dir/reactions~";
1266 : redwards 1.44 my $classification_file = "$dir/CLASSIFICATION";
1267 : olson 1.25
1268 :     if (-f $ss_file)
1269 :     {
1270 : parrello 1.69 rename($ss_file, $ss_bak);
1271 : olson 1.25 }
1272 :    
1273 :     if (-f $notes_file)
1274 :     {
1275 : parrello 1.69 rename($notes_file, $notes_bak);
1276 : olson 1.25 }
1277 :    
1278 : overbeek 1.58 if (-f $reactions_file)
1279 :     {
1280 : parrello 1.69 rename($reactions_file, $reactions_bak) or warn "rename $reactions_file $reactions_bak failed $!";
1281 :     # print STDERR "wrote $reactions_bak\n";
1282 : overbeek 1.58 }
1283 :    
1284 : olson 1.25 #
1285 :     # Eval this whole chunk, so that if we get any fatal errors, we can
1286 :     # roll back to the old saved data.
1287 :     #
1288 : parrello 1.60
1289 : olson 1.25 eval {
1290 : parrello 1.69 my $fh;
1291 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
1292 :     $self->write_spreadsheet($fh);
1293 :     close($fh);
1294 :     chmod(0777,$ss_file);
1295 :    
1296 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
1297 : overbeek 1.88 print $fh "$self->{notes}";
1298 : parrello 1.69 close($fh);
1299 :     chmod(0777,$notes_file);
1300 :    
1301 :     open($fh, ">$reactions_file") or die "Cannot open $reactions_file for writing: $!\n";
1302 :     my $reactions = $self->{reactions};
1303 :     foreach $_ (sort keys(%$reactions))
1304 :     {
1305 :     print $fh "$_\t" . join(",", @{$reactions->{$_}}), "\n";
1306 :     }
1307 :     close($fh);
1308 :     chmod(0777,$reactions_file);
1309 :    
1310 :     open($fh, ">$classification_file") or die "Can not open $classification_file for writing: $!\n";
1311 :     print $fh join "\t", (@{$self->{classification}}), "\n";
1312 :     close($fh);
1313 :     chmod(0777,$classification_file);
1314 :    
1315 :     $self->update_curation_log();
1316 :    
1317 :     #
1318 :     # Write out the piddly stuff.
1319 :     #
1320 :    
1321 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
1322 :     print $fh "$self->{exchangable}\n";
1323 :     close($fh);
1324 :     chmod(0777,"EXCHANGABLE");
1325 :    
1326 :     #
1327 :     # Process backup files. This is the smae process that determines when the
1328 :     # version number should be bumped, so write the version file afterward.
1329 :     #
1330 :    
1331 :     $self->update_backups($force_backup);
1332 :    
1333 :     if ($self->{version} < 100) { $self->{version} += 100 }
1334 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/VERSION: $!\n";
1335 :     print $fh "$self->{version}\n";
1336 :     close($fh);
1337 :     chmod(0777,"VERSION");
1338 : olson 1.25 };
1339 :    
1340 :     if ($@ ne "")
1341 :     {
1342 : parrello 1.69 warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
1343 : olson 1.25 }
1344 : parrello 1.60
1345 : olson 1.25 }
1346 :    
1347 :     sub update_curation_log
1348 :     {
1349 :     my($self) = @_;
1350 :    
1351 :     my $fh;
1352 :     my $file = "$self->{dir}/curation.log";
1353 :    
1354 :     my $now = time;
1355 :     my $user = $self->{fig}->get_user();
1356 :    
1357 :     if (-f $file)
1358 :     {
1359 : parrello 1.69 open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
1360 : olson 1.25 }
1361 :     else
1362 :     {
1363 : parrello 1.69 open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
1364 :     print $fh "$now\t$user\tstarted\n";
1365 : olson 1.25 }
1366 :     print $fh "$now\t$user\tupdated\n";
1367 :     close($fh);
1368 :     }
1369 :    
1370 :     sub update_backups
1371 :     {
1372 : olson 1.68 my($self, $force_backup) = @_;
1373 : olson 1.25
1374 :     my $dir = $self->{dir};
1375 :     my $fig = $self->{fig};
1376 :    
1377 :     my $ss_file = "$dir/spreadsheet";
1378 :     my $ss_bak = "$dir/spreadsheet~";
1379 :     my $notes_file = "$dir/notes";
1380 :     my $notes_bak = "$dir/notes~";
1381 : overbeek 1.58 my $reactions_file = "$dir/reactions";
1382 :     my $reactions_bak = "$dir/reactions~";
1383 : olson 1.25
1384 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
1385 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
1386 : olson 1.68 my $reactions_diff = (system("cmp", "-s", $reactions_file, $reactions_bak) != 0);
1387 : overbeek 1.59 # print STDERR "reactions_file=$reactions_file reactions_bak=$reactions_bak dif=$reactions_diff\n";
1388 : olson 1.25
1389 : olson 1.68 if ($force_backup or ($ss_diff > 10) or ($notes_diff > 10) or $reactions_diff)
1390 : olson 1.25 {
1391 : parrello 1.69 $self->make_backup();
1392 : olson 1.25 }
1393 :     }
1394 :    
1395 :     sub make_backup
1396 :     {
1397 :     my($self) = @_;
1398 :    
1399 :     my $dir = $self->{dir};
1400 :     my $bak = "$dir/Backup";
1401 :    
1402 :     $self->{fig}->verify_dir($bak);
1403 :    
1404 :     my $ts = time;
1405 :    
1406 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
1407 :     rename("$dir/notes~", "$bak/notes.$ts");
1408 : overbeek 1.58 rename("$dir/reactions~", "$bak/reactions.$ts");
1409 : olson 1.25 $self->{version}++;
1410 :     }
1411 :    
1412 :    
1413 :    
1414 : parrello 1.73 =head3 write_spreadsheet
1415 : olson 1.25
1416 : parrello 1.73 C<< $sub->write_spreadsheet($fh); >>
1417 : olson 1.25
1418 :     Write the spreadsheet for this subsystem to filehandle $fh.
1419 :    
1420 :     =cut
1421 :    
1422 :     sub write_spreadsheet
1423 :     {
1424 :     my($self, $fh) = @_;
1425 :    
1426 :     $self->_write_roles($fh);
1427 :     print $fh "//\n";
1428 :    
1429 :     $self->_write_subsets($fh);
1430 :     print $fh "//\n";
1431 :    
1432 :     $self->_write_spreadsheet($fh);
1433 :     }
1434 :    
1435 :     sub _write_roles
1436 :     {
1437 :     my($self, $fh) = @_;
1438 :    
1439 :     my(@roles, @abbrs);
1440 :    
1441 :     @roles = $self->get_roles();
1442 :     @abbrs = $self->get_abbrs();
1443 :    
1444 : olson 1.100 #
1445 : olson 1.101 # Check abbreviations for validity. We disallow spaces, commas, and colons,
1446 :     # and enforce uniqueness.
1447 : olson 1.100 #
1448 :    
1449 :     my %abbrs;
1450 : olson 1.101 map { s/[\s,:]*//g; } @abbrs;
1451 : olson 1.100 map { $abbrs{$_}++ } @abbrs;
1452 :    
1453 :     for (my $i = 0; $i < @abbrs; $i++)
1454 :     {
1455 :     my $a = $abbrs[$i];
1456 :     if ($abbrs{$a} > 1)
1457 :     {
1458 :     #
1459 :     # abbrev is not unique
1460 :     #
1461 :     $a = "${a}_" . ($i + 1);
1462 :     $abbrs[$i] = $a;
1463 :     }
1464 :     }
1465 :    
1466 : olson 1.25 while (@roles)
1467 :     {
1468 : parrello 1.69 my $role = shift(@roles);
1469 :     my $abbr = shift(@abbrs);
1470 : olson 1.25
1471 : parrello 1.69 print $fh "$abbr\t$role\n";
1472 : olson 1.25 }
1473 :     }
1474 :    
1475 :     sub _write_subsets
1476 :     {
1477 :     my($self, $fh) = @_;
1478 :    
1479 : overbeek 1.31 for my $sub ($self->get_subset_namesC())
1480 : olson 1.25 {
1481 : parrello 1.69 next if ($sub eq "All");
1482 :     my @members= $self->get_subsetC($sub);
1483 : olson 1.25
1484 : parrello 1.69 #
1485 :     # member list on disk is 1-based
1486 :     #
1487 : olson 1.25
1488 : parrello 1.69 @members = map { $_ + 1 } @members;
1489 :     print $fh join("\t", $sub, @members), "\n";
1490 : olson 1.25 }
1491 : overbeek 1.39 my $active_row_subset = $self->{row_active_subset};
1492 :     my $active_col_subset = $self->{col_active_subset};
1493 :    
1494 :     print $fh "$active_col_subset\n";
1495 : olson 1.25
1496 :     #
1497 :     # separator
1498 :     #
1499 :    
1500 :     print $fh "\n";
1501 : parrello 1.60
1502 : olson 1.25 #
1503 :     # genome subsets.
1504 :     #
1505 :    
1506 : overbeek 1.39 print $fh "$active_row_subset\n";
1507 : olson 1.25 }
1508 :    
1509 :     sub _write_spreadsheet
1510 :     {
1511 :     my($self, $fh) = @_;
1512 :    
1513 :     my(@genomes);
1514 :    
1515 :     @genomes= $self->get_genomes();
1516 :    
1517 :     for (my $i = 0; $i < @genomes; $i++)
1518 :     {
1519 : parrello 1.69 my $genome = $genomes[$i];
1520 :     my $vc = $self->get_variant_code($i);
1521 :    
1522 :     my $row = $self->get_row($i);
1523 :    
1524 :     if ($vc eq "")
1525 :     {
1526 :     $vc = "0";
1527 :     }
1528 :     print $fh "$genome\t$vc";
1529 : olson 1.25
1530 : parrello 1.69 for my $entry (@$row)
1531 :     {
1532 :     my(@p);
1533 : olson 1.25
1534 : parrello 1.69 for my $peg (@$entry)
1535 :     {
1536 : overbeek 1.99 if ($peg =~ /fig\|$genome\.(([a-zA-Z]+)\.(\d+))$/)
1537 : parrello 1.69 {
1538 : overbeek 1.99 push(@p, ($2 eq "peg") ? $3 : $1);
1539 : parrello 1.69 }
1540 :     else
1541 :     {
1542 :     warn "Bad peg $peg in cell for $genome";
1543 :     }
1544 :     }
1545 :     print $fh "\t", join(",", @p);
1546 :     }
1547 :     print $fh "\n";
1548 : olson 1.25 }
1549 :     }
1550 :    
1551 : parrello 1.73 =head3 get_genomes
1552 : olson 1.25
1553 : parrello 1.73 C<< my @genomeList = $sub->get_genomes(); >>
1554 : olson 1.25
1555 : parrello 1.73 Return a list of the genome IDs for this subsystem. Each genome corresponds to a row
1556 :     in the subsystem spreadsheet. Indexing into this list returns the ID of the genome
1557 :     in the specified row.
1558 : olson 1.2
1559 :     =cut
1560 : olson 1.25
1561 : olson 1.2 sub get_genomes
1562 :     {
1563 :     my($self) = @_;
1564 :    
1565 :     my $glist = $self->{genome};
1566 :    
1567 : olson 1.84 return ref($glist) ? @$glist : ();
1568 : olson 1.2 }
1569 :    
1570 : parrello 1.73 =head3 get_variant_codes
1571 :    
1572 :     C<< my @codes = $sub->get_variant_codes(); >>
1573 : olson 1.2
1574 : parrello 1.73 Return a list of the variant codes for each genome, in row index order. The variant
1575 :     code indicates which variation of the subsystem is used by the given genome.
1576 : olson 1.2
1577 :     =cut
1578 : olson 1.25
1579 : olson 1.2 sub get_variant_codes
1580 :     {
1581 :     my($self) = @_;
1582 :    
1583 :     my $glist = $self->{variant_code};
1584 :    
1585 : olson 1.25 return @$glist;
1586 :     }
1587 :    
1588 : parrello 1.73 =head3 get_variant_code
1589 :    
1590 :     C<< my $code = $sub->get_variant_code($gidx); >>
1591 :    
1592 :     Return the variant code for the specified genome. Each subsystem has multiple
1593 :     variants which involve slightly different chemical reactions, and each variant
1594 :     has an associated variant code. When a genome is connected to the spreadsheet,
1595 :     the subsystem variant used by the genome must be specified.
1596 :    
1597 :     =over 4
1598 :    
1599 :     =item gidx
1600 :    
1601 :     Row index for the genome whose variant code is desired.
1602 :    
1603 :     =item RETURN
1604 :    
1605 :     Returns the variant code for the specified genome.
1606 :    
1607 :     =back
1608 :    
1609 :     =cut
1610 :    
1611 : olson 1.25 sub get_variant_code
1612 :     {
1613 :     my($self, $gidx) = @_;
1614 : overbeek 1.46 my $c = $self->{variant_code}->[$gidx];
1615 :     $c =~ s/ //g;
1616 :     return $c;
1617 : olson 1.2 }
1618 :    
1619 : overbeek 1.34 sub set_variant_code
1620 :     {
1621 :     my($self, $gidx, $val) = @_;
1622 :     $self->{variant_code}->[$gidx] = $val;
1623 : olson 1.70
1624 :     #
1625 :     # Update the index for all the pegs in this row.
1626 :     # (only if we have a new database)
1627 :     #
1628 :    
1629 :     if ($self->{old_database})
1630 :     {
1631 :     return;
1632 :     }
1633 : parrello 1.73
1634 : olson 1.70 my $rdbH = $self->{fig}->db_handle();
1635 :     my $dbh = $rdbH->{_dbh};
1636 :     my $cells = $self->get_row($gidx);
1637 :     my $sub_name = $self->{name};
1638 :    
1639 :     my $sth = $dbh->prepare(qq(UPDATE subsystem_index
1640 :     SET variant = ?
1641 :     WHERE (subsystem = ? AND
1642 :     role = ? AND
1643 :     protein = ?)
1644 :     ));
1645 :     for my $i (0 .. $#$cells)
1646 :     {
1647 :     my $cell = $cells->[$i];
1648 :     my $role = $self->get_role($i);
1649 :    
1650 :     for my $peg (@$cell)
1651 :     {
1652 :     $sth->execute($val, $sub_name, $role, $peg);
1653 : olson 1.79 #warn "Update variant $sub_name $role $peg v='$val'\n";
1654 : olson 1.70 }
1655 :     }
1656 :    
1657 : overbeek 1.34 return;
1658 :     }
1659 :    
1660 : olson 1.2 sub get_variant_code_for_genome
1661 :     {
1662 :     my($self, $genome) = @_;
1663 :     my $index = $self->{genome_index}->{$genome};
1664 : redwards 1.55 if (defined $index) {
1665 :     return $self->{variant_code}->[$index];
1666 :     }
1667 :     else {
1668 :     return undef;
1669 :     }
1670 : olson 1.2 }
1671 :    
1672 : parrello 1.73 =head3 get_roles
1673 :    
1674 :     C<< my @roles = $sub->get_roles(); >>
1675 :    
1676 :     Return a list of the subsystem's roles. Each role corresponds to a column
1677 :     in the subsystem spreadsheet. The list entry at a specified position in
1678 :     the list will contain the ID of that column's role.
1679 :    
1680 :     =cut
1681 :    
1682 : olson 1.2 sub get_roles
1683 :     {
1684 :     my($self) = @_;
1685 :    
1686 :     my $rlist = $self->{roles};
1687 :    
1688 : olson 1.83 return ref($rlist) ? @$rlist : ();
1689 : olson 1.25 }
1690 :    
1691 :     sub get_abbrs
1692 :     {
1693 :     my($self) = @_;
1694 :    
1695 :     my $rlist = $self->{role_abbrs};
1696 :    
1697 : olson 1.83 return ref($rlist) ? @$rlist : ();
1698 : heiko 1.87 }
1699 :    
1700 : olson 1.96 =head3 get_abbr_for_role
1701 :    
1702 :     C<< my $abbr = $sub->get_abbr_for_role($name); >>
1703 :    
1704 :     Return the abbreviation for the given role name.
1705 :    
1706 :     =cut
1707 :    
1708 :     sub get_abbr_for_role
1709 :     {
1710 :     my($self, $name) = @_;
1711 :     my $idx = $self->{role_index}->{$name};
1712 :     if (defined($idx))
1713 :     {
1714 :     return $self->{role_abbrs}->[$idx];
1715 :     }
1716 :     else
1717 :     {
1718 :     return undef;
1719 :     }
1720 :     }
1721 :    
1722 :    
1723 :     =head3 get_roles_for_genome
1724 :    
1725 :     C<< my $abbr = $sub->get_roles_for_genome($genome_id); >>
1726 :    
1727 :     Return the list of roles for which the given genome has nonempty cells.
1728 :    
1729 :     =cut
1730 :    
1731 :     sub get_roles_for_genome
1732 :     {
1733 :     my($self, $genome) = @_;
1734 :    
1735 :     my $gidx = $self->{genome_index}->{$genome};
1736 :     return undef unless defined($gidx);
1737 :    
1738 :     my $row = $self->{spreadsheet}->[$gidx];
1739 :    
1740 :     my @out;
1741 :     for my $ridx (0 .. $#$row)
1742 :     {
1743 :     my $cell = $row->[$ridx];
1744 :     if (@$cell > 0)
1745 :     {
1746 :     push(@out, $self->{roles}->[$ridx]);
1747 :     }
1748 :     }
1749 :     return @out;
1750 :     }
1751 : olson 1.2
1752 : olson 1.29 sub roles_with_abbreviations
1753 :     {
1754 :     my($self) = @_;
1755 :    
1756 :     my @ret;
1757 :    
1758 :     for my $i (0..@{$self->{roles}} - 1)
1759 :     {
1760 : parrello 1.69 push(@ret, [$self->{role_abbrs}->[$i], $self->{roles}->[$i]]);
1761 : olson 1.29 }
1762 :     return @ret;
1763 :     }
1764 :    
1765 :    
1766 : olson 1.52 sub get_sorted_rows
1767 :     {
1768 :     my($self, $sort_order) = @_;
1769 :    
1770 :     my $fig = $self->{fig};
1771 :    
1772 :     my @rows;
1773 :     for (my $i = 0; $i < @{$self->{genome}}; $i++)
1774 :     {
1775 : parrello 1.69 my $gid = $self->{genome}->[$i];
1776 :     my $gs = $fig->genus_species($gid);
1777 : olson 1.52
1778 : parrello 1.69 my $q = quotemeta($gid);
1779 :     my $cells = [];
1780 :     for my $c (@{$self->{spreadsheet}->[$i]})
1781 :     {
1782 :     push(@$cells, [map { s/^fig\|$q\.peg\.//; $_ } @$c]);
1783 :     }
1784 : olson 1.52
1785 : parrello 1.69 push(@rows, [$self->{genome}->[$i], $gs, $self->{variant_code}->[$i], $cells]);
1786 : olson 1.52 }
1787 :    
1788 :     if ($sort_order eq "by_phylo")
1789 :     {
1790 : parrello 1.69 return(map { $_->[0] }
1791 :     sort { ($a->[1] cmp $b->[1]) or ($a->[0]->[1] cmp $b->[0]->[1]) }
1792 :     map { [$_, $fig->taxonomy_of($_->[0]) ] } @rows);
1793 : olson 1.52 }
1794 :     elsif ($sort_order eq "alphabetic")
1795 :     {
1796 : parrello 1.69 return sort { ($a->[1] cmp $b->[1]) or ($a->[0] <=> $b->[0]) } @rows;
1797 : olson 1.52 }
1798 :     elsif ($sort_order eq "by_tax_id")
1799 :     {
1800 : parrello 1.69 return sort { $a->[0] <=> $b->[0] } @rows;
1801 : olson 1.52 }
1802 :     else
1803 :     {
1804 : parrello 1.69 return @rows;
1805 : olson 1.52 }
1806 :     }
1807 :    
1808 :    
1809 : parrello 1.60 sub get_row :Scalar
1810 : olson 1.1 {
1811 :     my($self, $row) = @_;
1812 :    
1813 :     return $self->{spreadsheet}->[$row];
1814 :     }
1815 :    
1816 : parrello 1.60 sub get_col :Scalar
1817 : olson 1.1 {
1818 :     my($self, $col) = @_;
1819 :    
1820 :     return $self->{spreadsheet_inv}->[$col];
1821 :     }
1822 :    
1823 : parrello 1.60 sub get_cell :Scalar
1824 : olson 1.1 {
1825 :     my($self, $row, $col) = @_;
1826 :    
1827 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
1828 : overbeek 1.37 if (! defined($cell))
1829 :     {
1830 : parrello 1.69 $cell = $self->{spreadsheet}->[$row]->[$col] = [];
1831 : overbeek 1.37 }
1832 : olson 1.5 return $cell;
1833 : olson 1.1 }
1834 :    
1835 : parrello 1.73 =head3 get_genome_index
1836 :    
1837 :     C<< my $idx = $sub->get_genome_index($genome); >>
1838 :    
1839 :     Return the row index for the genome with the specified ID.
1840 :    
1841 :     =over 4
1842 :    
1843 :     =item genome
1844 :    
1845 :     ID of the genome whose row index is desired.
1846 :    
1847 :     =item RETURN
1848 :    
1849 :     Returns the row index for the genome with the specified ID, or an undefined
1850 :     value if the genome does not participate in the subsystem.
1851 :    
1852 :     =back
1853 :    
1854 :     =cut
1855 :    
1856 : parrello 1.60 sub get_genome_index :Scalar
1857 : olson 1.3 {
1858 :     my($self, $genome) = @_;
1859 :    
1860 :     return $self->{genome_index}->{$genome};
1861 :     }
1862 :    
1863 : parrello 1.60 sub get_genome :Scalar
1864 : olson 1.3 {
1865 :     my($self, $gidx) = @_;
1866 :    
1867 :     return $self->{genome}->[$gidx];
1868 :     }
1869 :    
1870 : parrello 1.73 =head3 get_role_index
1871 :    
1872 :     C<< my $idx = $sub->get_role_index($role); >>
1873 :    
1874 :     Return the column index for the role with the specified ID.
1875 :    
1876 :     =over 4
1877 :    
1878 :     =item role
1879 :    
1880 :     ID (full name) of the role whose column index is desired.
1881 :    
1882 :     =item RETURN
1883 :    
1884 :     Returns the column index for the role with the specified name.
1885 :    
1886 :     =back
1887 :    
1888 :     =cut
1889 :    
1890 : parrello 1.60 sub get_role_index :Scalar
1891 : olson 1.5 {
1892 :     my($self, $role) = @_;
1893 :    
1894 :     return $self->{role_index}->{$role};
1895 :     }
1896 :    
1897 : parrello 1.60 sub get_role :Scalar
1898 : olson 1.3 {
1899 :     my($self, $ridx) = @_;
1900 :    
1901 :     return $self->{roles}->[$ridx];
1902 :     }
1903 :    
1904 : parrello 1.73 =head3 get_role_abbr
1905 :    
1906 :     C<< my $abbr = $sub->get_role_abbr($ridx); >>
1907 :    
1908 :     Return the abbreviation for the role in the specified column. The abbreviation
1909 :     is a shortened identifier that is not necessarily unique, but is more likely to
1910 :     fit in a column heading.
1911 :    
1912 :     =over 4
1913 :    
1914 :     =item ridx
1915 :    
1916 :     Column index for the role whose abbreviation is desired.
1917 :    
1918 :     =item RETURN
1919 :    
1920 :     Returns an abbreviated name for the role corresponding to the indexed column.
1921 :    
1922 :     =back
1923 :    
1924 :     =cut
1925 :    
1926 : parrello 1.60 sub get_role_abbr :Scalar
1927 : olson 1.4 {
1928 :     my($self, $ridx) = @_;
1929 :    
1930 :     return $self->{role_abbrs}->[$ridx];
1931 :     }
1932 :    
1933 : parrello 1.60 sub get_role_from_abbr :Scalar
1934 : olson 1.20 {
1935 :     my($self, $abbr) = @_;
1936 :    
1937 :     return $self->{abbr}->{$abbr};
1938 :     }
1939 :    
1940 : parrello 1.73 =head3 set_pegs_in_cell
1941 : olson 1.26
1942 : parrello 1.73 C<< $sub->set_pegs_in_cell($genome, $role, $peg_list); >>
1943 : olson 1.26
1944 :     Set the cell for the given genome and role to $peg_list.
1945 :    
1946 :     =cut
1947 :    
1948 :     sub set_pegs_in_cell
1949 :     {
1950 :     my($self, $genome, $role, $peg_list) = @_;
1951 :     my($row, $col);
1952 :    
1953 :     #
1954 :     # If row isn't numeric, look it up in the genomes list.
1955 :     #
1956 : parrello 1.60
1957 : olson 1.26 if ($genome !~ /^\d+$/)
1958 :     {
1959 : parrello 1.69 $row = $self->{genome_index}->{$genome};
1960 : olson 1.26 }
1961 :     else
1962 :     {
1963 : parrello 1.69 $row = $genome
1964 : olson 1.26 }
1965 : parrello 1.60
1966 : overbeek 1.37 if (! defined($row))
1967 : olson 1.26 {
1968 : parrello 1.69 print &Dumper($self->{genome_index});
1969 :     confess "Cannot find row for $genome\n";
1970 :     return undef;
1971 : olson 1.26 }
1972 :    
1973 :     #
1974 :     # If col isn't numeric, look it up in the roles and role abbreviations.
1975 :     #
1976 : parrello 1.60
1977 : olson 1.26 if ($role !~ /^\d+$/)
1978 :     {
1979 : parrello 1.69 #
1980 :     # See if it's an abbr
1981 :     #
1982 : olson 1.26
1983 : parrello 1.69 my $a = $self->{abbr}->{$role};
1984 :     $role = $a if $a;
1985 : olson 1.26
1986 : parrello 1.69 $col = $self->{role_index}->{$role};
1987 : olson 1.26 }
1988 :     else
1989 :     {
1990 : parrello 1.69 $col = $role;
1991 : olson 1.26 }
1992 : parrello 1.60
1993 : overbeek 1.37 if (! defined($col))
1994 : olson 1.26 {
1995 : parrello 1.69 print &Dumper($self->{role_index});
1996 :     confess "Cannot find col for $role\n";
1997 :     return undef;
1998 : olson 1.26 }
1999 :     my $cell = $self->get_cell($row, $col);
2000 :    
2001 : olson 1.70
2002 : overbeek 1.37 if (defined($cell))
2003 : olson 1.26 {
2004 : olson 1.70 my $sub_name = $self->{name};
2005 :     my $peg;
2006 :     my $rdbH = $self->{fig}->db_handle();
2007 :     my $dbh = $rdbH->{_dbh};
2008 :    
2009 :     my $variant = $self->get_variant_code($row);
2010 : parrello 1.73
2011 : olson 1.70 if (@$cell > 0)
2012 :     {
2013 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
2014 :     WHERE (subsystem = ? AND
2015 :     role = ? AND
2016 :     protein = ?)
2017 :     ));
2018 :     foreach $peg (@$cell)
2019 :     {
2020 :     $sth->execute($sub_name, $role, $peg);
2021 : olson 1.93 # warn "Deleting $sub_name $role $peg\n";
2022 : olson 1.70 }
2023 :     }
2024 : parrello 1.73
2025 : olson 1.70 @$cell = @$peg_list;
2026 :    
2027 :     if ($self->{old_database})
2028 :     {
2029 :     my $sth = $rdbH->{_dbh}->prepare(qq(INSERT INTO subsystem_index (protein,subsystem,role)
2030 :     VALUES (?, ?, ?)));
2031 :     foreach $peg (@$cell)
2032 :     {
2033 :     $sth->execute($peg, $sub_name, $role);
2034 : olson 1.93 # warn "Add old $peg $sub_name $role\n";
2035 : olson 1.70 }
2036 :     }
2037 :     else
2038 :     {
2039 :     my $sth = $rdbH->{_dbh}->prepare(qq(INSERT INTO subsystem_index (protein,subsystem,role,variant)
2040 :     VALUES (?, ?, ?, ?)));
2041 :     foreach $peg (@$cell)
2042 :     {
2043 :     $sth->execute($peg, $sub_name, $role, $variant);
2044 : olson 1.79 #warn "Add new $peg $sub_name $role v='$variant'\n";
2045 : olson 1.70 }
2046 :     }
2047 : olson 1.26 }
2048 :     else
2049 :     {
2050 : parrello 1.69 warn "set_pegs_in_cell: Could not find cell!";
2051 : olson 1.26 }
2052 :     }
2053 :    
2054 : parrello 1.73 =head3 get_pegs_from_cell
2055 :    
2056 :     C<< my @pegs = $sub->get_pegs_from_cell($rowstr, $colstr); >>
2057 :    
2058 :     Return a list of the peg IDs for the features in the specified spreadsheet cell.
2059 :    
2060 :     =over 4
2061 :    
2062 :     =item rowstr
2063 :    
2064 :     Genome row, specified either as a row index or a genome ID.
2065 :    
2066 :     =item colstr
2067 :    
2068 :     Role column, specified either as a column index, a role name, or a role
2069 :     abbreviation.
2070 :    
2071 :     =item RETURN
2072 :    
2073 :     Returns a list of PEG IDs. The PEGs in the list belong to the genome in the
2074 :     specified row and perform the role in the specified column. If the indicated
2075 :     row and column does not exist, returns an empty list.
2076 :    
2077 :     =back
2078 :    
2079 :     =cut
2080 :    
2081 : olson 1.1 sub get_pegs_from_cell
2082 :     {
2083 :     my($self, $rowstr, $colstr) = @_;
2084 :     my($row, $col);
2085 :    
2086 :     #
2087 :     # If row isn't numeric, look it up in the genomes list.
2088 :     #
2089 : parrello 1.60
2090 : olson 1.1 if ($rowstr !~ /^\d+$/)
2091 :     {
2092 : parrello 1.69 $row = $self->{genome_index}->{$rowstr};
2093 : olson 1.1 }
2094 :     else
2095 :     {
2096 : parrello 1.69 $row = $rowstr;
2097 : olson 1.1 }
2098 : parrello 1.60
2099 : overbeek 1.31 if (! defined($row))
2100 : olson 1.1 {
2101 : parrello 1.69 print &Dumper($self->{genome_index});
2102 :     confess "Cannot find row for $rowstr\n";
2103 :     return undef;
2104 : olson 1.1 }
2105 :    
2106 :     #
2107 :     # If col isn't numeric, look it up in the roles and role abbreviations.
2108 :     #
2109 : parrello 1.60
2110 : olson 1.1 if ($colstr !~ /^\d+$/)
2111 :     {
2112 : parrello 1.69 #
2113 :     # See if it's an abbr
2114 :     #
2115 : olson 1.1
2116 : parrello 1.69 my $a = $self->{abbr}->{$colstr};
2117 :     $colstr = $a if $a;
2118 : olson 1.1
2119 : parrello 1.69 $col = $self->{role_index}->{$colstr};
2120 : olson 1.1 }
2121 :     else
2122 :     {
2123 : parrello 1.69 $col = $colstr;
2124 : olson 1.1 }
2125 : overbeek 1.32
2126 : overbeek 1.31 if (! defined($col))
2127 : olson 1.1 {
2128 : parrello 1.69 warn "Cannot find col for $colstr\n";
2129 :     return undef;
2130 : olson 1.1 }
2131 : olson 1.12 my $cell = $self->get_cell($row, $col);
2132 : olson 1.1
2133 :     if ($cell)
2134 :     {
2135 : parrello 1.69 return @$cell;
2136 : olson 1.1 }
2137 :     else
2138 :     {
2139 : parrello 1.69 return undef;
2140 : olson 1.1 }
2141 :     }
2142 :    
2143 : olson 1.25 #
2144 :     # Subset support
2145 :     #
2146 :    
2147 : olson 1.30 sub get_active_subsetC
2148 :     {
2149 :     my($self) = @_;
2150 :    
2151 :     return $self->{col_active_subset};
2152 :     }
2153 :    
2154 :     sub get_active_subsetR
2155 :     {
2156 :     my($self) = @_;
2157 :    
2158 :     return $self->{row_active_subset};
2159 :     }
2160 :    
2161 :     sub set_active_subsetC
2162 :     {
2163 :     my($self, $subset) = @_;
2164 :    
2165 :     $self->{col_active_subset} = $subset;
2166 :     }
2167 :    
2168 :    
2169 :     sub set_active_subsetR
2170 :     {
2171 :     my($self, $subset) = @_;
2172 :    
2173 :     $self->{row_active_subset} = $subset;
2174 :     }
2175 :    
2176 :    
2177 : olson 1.25 sub get_subset_names
2178 : olson 1.17 {
2179 :     my($self) = @_;
2180 : olson 1.25
2181 : overbeek 1.31 return $self->get_subset_namesC;
2182 :     }
2183 :    
2184 : parrello 1.73 =head3 get_subset_namesC
2185 :    
2186 :     C<< my @subsetNames = $sub->get_subset_namesC(); >>
2187 :    
2188 :     Return a list of the names for all the column (role) subsets. Given a subset
2189 :     name, you can use the L</get_subsetC_roles> method to get the roles in the
2190 :     subset.
2191 :    
2192 :     =cut
2193 :    
2194 : overbeek 1.31 sub get_subset_namesC
2195 :     {
2196 :     my($self) = @_;
2197 :    
2198 : overbeek 1.35 return ("All",@{$self->{col_subsets}});
2199 : overbeek 1.31 }
2200 :    
2201 :     sub get_subset_namesR
2202 :     {
2203 :     my($self) = @_;
2204 :    
2205 : overbeek 1.35 return ("All",@{$self->{row_subsets}});
2206 : olson 1.17 }
2207 :    
2208 : parrello 1.73 =head3 get_subsetC_roles
2209 :    
2210 :     C<< my @roles = $sub->get_subsetC_roles($subname); >>
2211 :    
2212 :     Return the names of the roles contained in the specified role (column) subset.
2213 :    
2214 :     =over 4
2215 :    
2216 :     =item subname
2217 :    
2218 :     Name of the role subset whose roles are desired.
2219 :    
2220 :     =item RETURN
2221 :    
2222 :     Returns a list of the role names for the columns in the named subset.
2223 :    
2224 :     =back
2225 :    
2226 :     =cut
2227 :    
2228 : overbeek 1.33 sub get_subsetC_roles
2229 :     {
2230 :     my($self, $subname) = @_;
2231 :     return map { $self->get_role($_) } $self->get_subsetC($subname);
2232 :     }
2233 :    
2234 : overbeek 1.31 sub get_subsetC
2235 :     {
2236 :     my($self, $subname) = @_;
2237 : overbeek 1.33 if ($subname eq "All") { return map { $self->get_role_index($_) } $self->get_roles }
2238 : overbeek 1.31
2239 : olson 1.52 if (!defined($self->{col_subset_members}->{$subname}))
2240 :     {
2241 : parrello 1.69 $self->{col_subset_members}->{$subname} = [];
2242 : olson 1.52 }
2243 : parrello 1.60
2244 : overbeek 1.31 return @{$self->{col_subset_members}->{$subname}};
2245 :     }
2246 :    
2247 : olson 1.25 sub get_subset
2248 : olson 1.17 {
2249 : olson 1.25 my($self, $subname) = @_;
2250 : overbeek 1.33 return $self->get_subsetC($subname);
2251 : overbeek 1.31 }
2252 :    
2253 : parrello 1.104 =head3 get_subsetR
2254 :    
2255 :     C<< my @genomes = $sub->get_subsetR($subName); >>
2256 :    
2257 :     Return the genomes in the row subset indicated by the specified subset name.
2258 :    
2259 :     =over 4
2260 :    
2261 :     =item subName
2262 :    
2263 :     Name of the desired row subset, or C<All> to get all of the rows.
2264 :    
2265 :     =item RETURN
2266 :    
2267 :     Returns a list of genome IDs corresponding to the named subset.
2268 :    
2269 :     =back
2270 :    
2271 :     =cut
2272 :    
2273 :     sub get_subsetR {
2274 : overbeek 1.31 my($self, $subname) = @_;
2275 :     my($pair,$id,$members,$genome);
2276 :    
2277 :     if ($subname eq "All") { return $self->get_genomes }
2278 : overbeek 1.38 my %genomes = map { $_ => 1 } $self->get_genomes;
2279 :    
2280 :     return grep { $genomes{$_} } @{$self->{row_subset_members}->{$subname}};
2281 : overbeek 1.35 }
2282 :    
2283 :     sub load_row_subsets {
2284 :     my($self) = @_;
2285 :     my($id,$members,$pair);
2286 : overbeek 1.31
2287 : overbeek 1.35 my $taxonomic_groups = $self->{fig}->taxonomic_groups_of_complete(10);
2288 :     foreach $pair (@$taxonomic_groups)
2289 : overbeek 1.31 {
2290 : parrello 1.69 ($id,$members) = @$pair;
2291 :     if ($id ne "All")
2292 :     {
2293 :     push(@{$self->{row_subsets}},$id);
2294 :     }
2295 :     $self->{row_subset_members}->{$id} = $members;
2296 : overbeek 1.31 }
2297 : olson 1.25 }
2298 :    
2299 : parrello 1.73 =head3 load_row_subsets_by_kv
2300 : redwards 1.48
2301 :     Load a row subset based on a key/value pair. This will take a single key/value pair and only show that subset
2302 :    
2303 :     It is just a modification of load_row_subsets to deal with kv pairs
2304 :    
2305 :     This takes a required argument: the key that the genome must have, and a second optional argument, the value that key must hold.
2306 :    
2307 :     =cut
2308 :    
2309 :     sub load_row_subsets_by_kv {
2310 :     my ($self, $key, $want) = @_;
2311 :     my($id,$members,$pair);
2312 :     my $keep;
2313 : olson 1.102 #
2314 :     # First do a single call to retrieve all the values for the subset key.
2315 :     #
2316 : olson 1.103 my @attr_values = $self->{fig}->get_attributes($self->{genome}, $key);
2317 : olson 1.102 my %amap;
2318 :     map { push(@{$amap{$_->[0]}}, [@$_]); } @attr_values;
2319 :    
2320 : redwards 1.48 foreach my $genome (@{$self->{genome}}) {
2321 : olson 1.102 #my @results=$self->{fig}->get_attributes($genome, $key);
2322 :     my $results = $amap{$genome};
2323 :     next unless $results;
2324 :     foreach my $res (@$results) {
2325 : redwards 1.51 my ($gotid, $gottag, $value, $url)=@$res;
2326 : overbeek 1.85 next if ($value && $want && $value ne $want);
2327 :     next if ($gotid ne $genome);
2328 : redwards 1.50 push @$keep, $genome;
2329 :     last;
2330 :     }
2331 : redwards 1.48 }
2332 :     $self->{row_subset_members}->{$key}=$keep;
2333 :     }
2334 : overbeek 1.35
2335 : parrello 1.73 =head3 set_subsetC
2336 : olson 1.25
2337 : parrello 1.73 C<< $sub->set_subsetC($name, $members); >>
2338 : olson 1.25
2339 :     Create a subset with the given name and members.
2340 :    
2341 :     $members is a list of role names.
2342 :    
2343 :     =cut
2344 :    
2345 : overbeek 1.31 sub set_subsetC
2346 : olson 1.25 {
2347 :     my($self, $subname, $list) = @_;
2348 :    
2349 :     my $nl = [map { $self->get_role_index($_) } @$list];
2350 : parrello 1.60
2351 : olson 1.25 $self->_set_subset($subname, $nl);
2352 :     }
2353 :    
2354 : overbeek 1.31 sub set_subset
2355 :     {
2356 :     my($self, $subname, $list) = @_;
2357 :    
2358 :     $self->set_subsetsC($subname,$list);
2359 :     }
2360 :    
2361 : parrello 1.73 =head3 _set_subset
2362 : olson 1.25
2363 :     Create a subset with the given name and members.
2364 :    
2365 :     Internal version - here, members is a list of role indices.
2366 :    
2367 :     =cut
2368 :    
2369 :     sub _set_subset
2370 :     {
2371 :     my($self, $subname, $list) = @_;
2372 :     $self->{col_subset_members}->{$subname} = $list;
2373 : overbeek 1.37 my($i,$x);
2374 :     $x = $self->{col_subsets};
2375 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
2376 :     if ($i == @$x)
2377 :     {
2378 : parrello 1.69 push(@$x,$subname);
2379 : overbeek 1.37 }
2380 :     }
2381 : parrello 1.60
2382 : overbeek 1.37 sub delete_subsetC
2383 :     {
2384 :     my($self, $subname) = @_;
2385 :     my($i,$x);
2386 :    
2387 :     $x = $self->{col_subsets};
2388 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
2389 :     if ($i < @$x)
2390 :     {
2391 : parrello 1.69 splice(@$x,$i,1);
2392 : overbeek 1.37 }
2393 :     delete $self->{col_subset_members}->{$subname};
2394 : olson 1.25 }
2395 : parrello 1.60
2396 : olson 1.25 #
2397 :     # Role manipulation.
2398 :     #
2399 :    
2400 :    
2401 : parrello 1.73 =head3 set_roles
2402 : olson 1.25
2403 : parrello 1.73 C<< $sub->set_roles($role_list); >>
2404 : olson 1.25
2405 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
2406 :    
2407 :     If a role already exists, it is used. If it does not exist, it is created empty.
2408 :    
2409 :     =cut
2410 :    
2411 :     sub set_roles
2412 :     {
2413 :     my($self, $roles) = @_;
2414 :    
2415 :     #
2416 :     # We do this by first creating a new spreadsheet.
2417 :     #
2418 :     # It is easiest to do this by manipulating the inverted spreadsheet
2419 :     # (role-major), and then creating the non-inverted spreadsheet from it.
2420 :     #
2421 :    
2422 :     my $oldss = $self->{spreadsheet};
2423 :     my $oldssinv = $self->{spreadsheet_inv};
2424 :    
2425 :     my $ss = [];
2426 :     my $ssinv = [];
2427 :    
2428 :     my $g = $self->{genome};
2429 :     my $ng = @$g;
2430 :    
2431 :     my $old_roles = $self->{role_index};
2432 :    
2433 :     my @role_index_conversion;
2434 : olson 1.70 my @old_role_list = @{$self->{roles}};
2435 : olson 1.25
2436 : olson 1.70 #
2437 :     # Since we're setting up completely new roles, wipe the
2438 :     # existing state.
2439 :     #
2440 : olson 1.25
2441 :     $self->{abbr} = {};
2442 :     $self->{role_index} = {};
2443 :     $self->{roles} = [];
2444 :     $self->{role_abbrs} = [];
2445 :    
2446 : olson 1.70 #
2447 :     # Initialize %defunct_roles with the list of all roles.
2448 :     # Remove entries as we walk the list of new roles below.
2449 :     # Any that are remaining need to be pulled from the index.
2450 :     #
2451 : olson 1.25
2452 : olson 1.70 my %defunct_roles = map { $_ => 1 } @old_role_list;
2453 : parrello 1.73
2454 : olson 1.70 # warn "Defunct at start: ", Dumper(\%defunct_roles);
2455 : olson 1.25 for (my $idx = 0; $idx < @$roles; $idx++)
2456 :     {
2457 : parrello 1.69 my $role = $roles->[$idx]->[0];
2458 :     my $abbr = $roles->[$idx]->[1];
2459 :    
2460 :     my $old_idx = $old_roles->{$role};
2461 : olson 1.25
2462 : olson 1.70 if (defined($old_idx))
2463 :     {
2464 :     # warn "Found old idx $old_idx for $role $idx\n";
2465 :     # warn $oldssinv->[$old_idx];
2466 :     $ssinv->[$idx] = $oldssinv->[$old_idx];
2467 :    
2468 :     $role_index_conversion[$old_idx] = $idx;
2469 :    
2470 :     #
2471 :     # We're keeping it, so it's not defunct anymore.
2472 :     #
2473 :     delete $defunct_roles{$role};
2474 :     }
2475 :     else
2476 :     {
2477 :     # warn "Did not find old role for $role $idx\n";
2478 :     # warn Dumper($old_roles);
2479 :     my $l = [];
2480 :     for (my $j = 0; $j < $ng; $j++)
2481 :     {
2482 :     $l->[$j] = [];
2483 :     }
2484 :    
2485 :     $ssinv->[$idx] = $l;
2486 :     }
2487 :    
2488 : parrello 1.73
2489 : olson 1.70 #
2490 :     # While we're here, update the new role and abbrev indexes
2491 :     #
2492 :     $self->{role_index}->{$role} = $idx;
2493 :     $self->{abbr}->{$abbr} = $role;
2494 :     $self->{roles}->[$idx] = $role;
2495 :     $self->{role_abbrs}->[$idx] = $abbr;
2496 :     }
2497 : olson 1.25
2498 : olson 1.70 #
2499 :     # Now we delete the pegs showing up for the list of defunct roles.
2500 :     #
2501 :     # warn "Defunct at finish: ", Dumper(\%defunct_roles);
2502 : parrello 1.73
2503 : olson 1.70 my $rdbH = $self->{fig}->db_handle();
2504 :     my $dbh = $rdbH->{_dbh};
2505 :     my $sub_name = $self->{name};
2506 : parrello 1.73
2507 : olson 1.70 my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
2508 :     WHERE (subsystem = ? AND
2509 :     role = ? AND
2510 :     protein = ?)
2511 :     ));
2512 : parrello 1.73
2513 :    
2514 : olson 1.70 for my $defunct_role (keys(%defunct_roles))
2515 :     {
2516 :     my $defunct_role_idx = $old_roles->{$defunct_role};
2517 :     my $col = $oldssinv->[$defunct_role_idx];
2518 :     # warn "Handle defunct role $defunct_role idx=$defunct_role_idx\n", Dumper($col);
2519 : parrello 1.73
2520 : olson 1.70 for my $cell (@$col)
2521 :     {
2522 :     for my $peg (@$cell)
2523 :     {
2524 :     $sth->execute($sub_name, $defunct_role, $peg);
2525 :     warn "Deleting $sub_name $defunct_role $peg\n";
2526 :     }
2527 :     }
2528 : olson 1.25 }
2529 : parrello 1.73
2530 : olson 1.25
2531 :     #
2532 :     # Now create the uninverted spreadsheet.
2533 :     #
2534 :    
2535 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
2536 :     {
2537 : parrello 1.69 my $row = [];
2538 :     $ss->[$gidx] = $row;
2539 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
2540 :     {
2541 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
2542 :     }
2543 : olson 1.25 }
2544 :    
2545 :     $self->{spreadsheet} = $ss;
2546 :     $self->{spreadsheet_inv} = $ssinv;
2547 :    
2548 :     #
2549 :     # Fix up the subsets.
2550 :     #
2551 :    
2552 :    
2553 : overbeek 1.37 for my $subset (grep { $_ ne "All" } $self->get_subset_names())
2554 : olson 1.25 {
2555 : parrello 1.69 my $n = [];
2556 :     for my $idx ($self->get_subset($subset))
2557 :     {
2558 :     my $new = $role_index_conversion[$idx];
2559 :     if (defined($new))
2560 :     {
2561 :     push(@$n, $new);
2562 :     }
2563 :     }
2564 :     $self->_set_subset($subset, $n);
2565 : olson 1.25 }
2566 :    
2567 :     }
2568 :    
2569 : parrello 1.73 =head3 add_role($role, $abbr)
2570 : olson 1.25
2571 :     Add the given role to the spreadsheet.
2572 :    
2573 :     This causes a new column to be added, with empty values in each cell.
2574 :    
2575 :     We do nothing if the role is already present.
2576 :    
2577 :     Return the index of the new role.
2578 :    
2579 :     =cut
2580 :    
2581 :     sub add_role
2582 :     {
2583 :     my($self, $role, $abbr) = @_;
2584 :    
2585 :     if (defined($self->get_role_index($role)))
2586 :     {
2587 : parrello 1.69 warn "Role $role already present\n";
2588 :     return undef;
2589 : olson 1.25 }
2590 :    
2591 :     #
2592 :     # Add to the roles list. It goes at the end.
2593 :     #
2594 :    
2595 :     my $idx = @{$self->{roles}};
2596 :     $self->{roles}->[$idx] = $role;
2597 :     $self->{role_abbrs}->[$idx] = $abbr;
2598 :     $self->{role_index}->{$role} = $idx;
2599 :     $self->{abbr}->{$abbr} = $role;
2600 :    
2601 :     #
2602 :     # Update the spreadsheet.
2603 :     # On the standard one, we have to go through all the rows adding
2604 :     # a columnt to each.
2605 :     #
2606 :     # On the inverted one, we add a column with [] in each entry.
2607 :     #
2608 :    
2609 :     my $ng = @{$self->{genome}};
2610 :     my $newcol = [];
2611 :    
2612 :     for (my $i = 0; $i < $ng; $i++)
2613 :     {
2614 : parrello 1.69 my $cell = [];
2615 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
2616 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
2617 :     $newcol->[$i] = $cell;
2618 : olson 1.25 }
2619 :    
2620 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
2621 :    
2622 :     return $idx;
2623 :     }
2624 :    
2625 : parrello 1.73 =head3 remove_role
2626 : olson 1.25
2627 :     Remove the role from the spreadsheet.
2628 :    
2629 :     We do nothing if the role is not present.
2630 :    
2631 :     =cut
2632 :    
2633 :     sub remove_role
2634 :     {
2635 :     my($self, $role) = @_;
2636 :    
2637 :     my $idx = $self->get_role_index($role);
2638 :     if (!defined($idx))
2639 :     {
2640 : parrello 1.69 warn "Role $role not present\n";
2641 :     return undef;
2642 : olson 1.25 }
2643 :    
2644 :     #
2645 : olson 1.70 # Update the index. Again, do this before removing roles
2646 :     # so we have full data to work with.
2647 :     # We walk the role's column of the spreadsheet removing pegs from the index.
2648 :     #
2649 :    
2650 :     my $rdbH = $self->{fig}->db_handle();
2651 :     my $dbh = $rdbH->{_dbh};
2652 :     my $sub_name = $self->{name};
2653 :    
2654 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
2655 :     WHERE (subsystem = ? AND
2656 :     role = ? AND
2657 :     protein = ?)
2658 :     ));
2659 :     my $col = $self->get_col($idx);
2660 :     for my $cell (@$col)
2661 :     {
2662 :     for my $peg (@$cell)
2663 :     {
2664 :     $sth->execute($sub_name, $role, $peg);
2665 :     warn "Deleting $sub_name $role $peg\n";
2666 :     }
2667 :     }
2668 :    
2669 :     #
2670 : parrello 1.60 # Remove from the roles list.
2671 : olson 1.25 #
2672 :    
2673 :     my $abbr = $self->{role_abbrs}->[$idx];
2674 : parrello 1.60
2675 : olson 1.25 splice(@{$self->{roles}}, $idx, 1);
2676 :     splice(@{$self->{role_abbrs}}, $idx, 1);
2677 :     delete $self->{role_index}->{$role};
2678 :     delete $self->{abbr}->{$abbr};
2679 :    
2680 : olson 1.70
2681 : olson 1.25 #
2682 :     # Update the spreadsheet.
2683 :     # On the standard one, we have to go through all the rows removing
2684 :     # the column from each.
2685 :     #
2686 :     # On the inverted one, we just remove the column.
2687 :     #
2688 :    
2689 :     my $ng = @{$self->{genome}};
2690 :     my $newcol = [];
2691 :    
2692 :     for (my $i = 0; $i < $ng; $i++)
2693 :     {
2694 : parrello 1.69 splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
2695 : olson 1.25 }
2696 :    
2697 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
2698 :    
2699 :     #
2700 :     # We need to rewrite the subsets. if $idx was present in one, it is
2701 :     # removed. Any index >$idx is decremented.
2702 :     #
2703 :    
2704 :     for my $subset ($self->get_subset_names())
2705 :     {
2706 : parrello 1.69 my @n;
2707 : olson 1.25
2708 : parrello 1.69 for my $sidx ($self->get_subset($subset))
2709 :     {
2710 :     if ($sidx < $idx)
2711 :     {
2712 :     push(@n, $sidx);
2713 :     }
2714 :     elsif ($sidx > $idx)
2715 :     {
2716 :     push(@n, $sidx - 1);
2717 :     }
2718 :     }
2719 : olson 1.25
2720 : parrello 1.69 $self->_set_subset($subset, [@n]);
2721 : olson 1.25 }
2722 :     }
2723 :    
2724 : parrello 1.73 =head3 add_genome($genome, $abbr)
2725 : olson 1.25
2726 :     Add the given genome to the spreadsheet.
2727 :    
2728 :     This causes a new row to be added, with empty values in each cell.
2729 :    
2730 :     We do nothing if the genome is already present.
2731 :    
2732 :     Return the index of the new genome.
2733 :    
2734 :     =cut
2735 :    
2736 :     sub add_genome
2737 :     {
2738 :     my($self, $genome) = @_;
2739 :    
2740 :     my $idx = $self->get_genome_index($genome);
2741 :     if (defined($idx))
2742 :     {
2743 : parrello 1.64 warn "Genome $genome already present\n";
2744 :     return $idx;
2745 : olson 1.25 }
2746 :    
2747 :     #
2748 :     # Add to the genomes list. It goes at the end.
2749 :     #
2750 :    
2751 : parrello 1.64 $idx = @{$self->{genome}};
2752 : olson 1.26 $self->{variant_code}->[$idx] = 0;
2753 : olson 1.25 $self->{genome}->[$idx] = $genome;
2754 :     $self->{genome_index}->{$genome} = $idx;
2755 :    
2756 :     #
2757 :     # Update the spreadsheet.
2758 :     # On the inverted one, we have to go through all the columns adding
2759 :     # a row to each.
2760 :     #
2761 :     # On the regular one, we add a row with [] in each entry.
2762 :     #
2763 :    
2764 :     my $nr = @{$self->{roles}};
2765 :     my $newrow = [];
2766 :    
2767 :     for my $i (0.. $nr - 1)
2768 :     {
2769 : parrello 1.69 my $cell = [];
2770 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
2771 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
2772 :     $newrow->[$i] = $cell;
2773 : olson 1.25 }
2774 :    
2775 :     $self->{spreadsheet}->[$idx] = $newrow;
2776 :    
2777 :     return $idx;
2778 :     }
2779 :    
2780 : parrello 1.73 =head3 remove_genome
2781 : olson 1.25
2782 :     Remove the genome from the spreadsheet.
2783 :    
2784 :     We do nothing if the genome is not present.
2785 :    
2786 :     =cut
2787 :    
2788 :     sub remove_genome
2789 :     {
2790 :     my($self, $genome) = @_;
2791 :    
2792 :     my $idx = $self->get_genome_index($genome);
2793 :     if (!defined($idx))
2794 :     {
2795 : parrello 1.69 warn "Genome $genome not present\n";
2796 :     return undef;
2797 : olson 1.25 }
2798 :    
2799 :     #
2800 : olson 1.70 # Remove from database index (before we delete stuff from here,
2801 :     # so we have access to th e data structures).
2802 :     #
2803 :    
2804 :     my $rdbH = $self->{fig}->db_handle();
2805 :     my $dbh = $rdbH->{_dbh};
2806 :     my $cells = $self->get_row($idx);
2807 :     my $sub_name = $self->{name};
2808 :    
2809 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
2810 :     WHERE (subsystem = ? AND
2811 :     role = ? AND
2812 :     protein = ?)
2813 :     ));
2814 :     for my $i (0 .. $#$cells)
2815 :     {
2816 :     my $cell = $cells->[$i];
2817 :     my $role = $self->get_role($i);
2818 :    
2819 :     for my $peg (@$cell)
2820 :     {
2821 :     $sth->execute($sub_name, $role, $peg);
2822 :     warn "Deleting $sub_name $role $peg\n";
2823 :     }
2824 :     }
2825 :    
2826 :     #
2827 : parrello 1.60 # Remove from the genomes list.
2828 : olson 1.25 #
2829 :    
2830 :     splice(@{$self->{genome}}, $idx, 1);
2831 : overbeek 1.43
2832 :     my $genome1;
2833 :     foreach $genome1 (@{$self->{genome}})
2834 :     {
2835 : parrello 1.69 if ($self->{genome_index}->{$genome1} > $idx)
2836 :     {
2837 :     $self->{genome_index}->{$genome1}--;
2838 :     }
2839 : overbeek 1.43 }
2840 : olson 1.25 splice(@{$self->{variant_code}}, $idx, 1);
2841 :    
2842 :     delete $self->{genome_index}->{$genome};
2843 :    
2844 :     #
2845 :     # Update the spreadsheet.
2846 :     # On the inverted one, we have to go through all the columns removing
2847 :     # the row from each.
2848 :     #
2849 :     # On the standard one, we just remove the row.
2850 :     #
2851 :    
2852 :     my $nr = @{$self->{roles}};
2853 :    
2854 :     for my $i (0 .. $nr - 1)
2855 :     {
2856 : parrello 1.69 splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
2857 : olson 1.25 }
2858 :    
2859 :     splice(@{$self->{spreadsheet}}, $idx, 1);
2860 :    
2861 :     }
2862 :    
2863 : parrello 1.60 sub get_name :Scalar
2864 : olson 1.25 {
2865 :     my($self) = @_;
2866 : overbeek 1.53 my $name = $self->{name};
2867 :     $name =~ s/ /_/g;
2868 :     return $name;
2869 : olson 1.25 }
2870 : parrello 1.60
2871 :     sub get_dir :Scalar
2872 : overbeek 1.41 {
2873 :     my($self) = @_;
2874 :     return $self->{dir};
2875 :     }
2876 : olson 1.25
2877 : parrello 1.60
2878 :     sub get_version :Scalar
2879 : olson 1.25 {
2880 :     my($self) = @_;
2881 :     return $self->{version};
2882 : olson 1.17 }
2883 :    
2884 : parrello 1.73 =head3 get_notes
2885 :    
2886 :     C<< my $text = $sub->get_notes(); >>
2887 :    
2888 :     Return the descriptive notes for this subsystem.
2889 :    
2890 :     =cut
2891 :    
2892 : parrello 1.60 sub get_notes :Scalar
2893 : olson 1.26 {
2894 :     my($self) = @_;
2895 :    
2896 :     return $self->{notes};
2897 :     }
2898 :    
2899 : parrello 1.73 =head3 get_reactions
2900 :    
2901 :     C<< my $reactHash = $sub->get_reactions(); >>
2902 :    
2903 :     Return a reference to a hash that maps each role ID to a list of the reactions
2904 :     catalyzed by the role.
2905 :    
2906 :     =cut
2907 :    
2908 : overbeek 1.58 sub get_reactions
2909 :     {
2910 :     my($self) = @_;
2911 :    
2912 :     return $self->{reactions};
2913 :     }
2914 :    
2915 : overbeek 1.59 sub set_reaction {
2916 :     my($self,$role,$rstring) = @_;
2917 :    
2918 :     $self->{reactions}->{$role} = [split(/,\s*/,$rstring)];
2919 :     }
2920 :    
2921 :    
2922 : olson 1.26 sub set_notes
2923 :     {
2924 :     my($self, $notes) = @_;
2925 :    
2926 : olson 1.28 $self->{notes} = $notes;
2927 : olson 1.26 }
2928 :    
2929 : redwards 1.44 sub get_classification
2930 :     {
2931 :     my($self) = @_;
2932 :    
2933 :     return $self->{classification};
2934 :     }
2935 :    
2936 :     sub set_classification
2937 :     {
2938 :     my($self, $classification) = @_;
2939 :    
2940 :     $self->{classification}=$classification;
2941 :     }
2942 :    
2943 :    
2944 : parrello 1.73 =head3 get_curator
2945 :    
2946 :     C<< my $userName = $sub->get_curator(); >>
2947 :    
2948 :     Return the name of this subsystem's official curator.
2949 :    
2950 :     =cut
2951 : parrello 1.60
2952 :     sub get_curator :Scalar
2953 : olson 1.17 {
2954 :     my($self) = @_;
2955 :     return $self->{curator};
2956 :     }
2957 : overbeek 1.47
2958 : olson 1.25 #
2959 :     # Subsystem copying logic
2960 :     #
2961 :    
2962 : parrello 1.73 =head3 add_to_subsystem($subsystem_name, $columns, $notes_flag)
2963 : olson 1.25
2964 :     Merge the given columns from $subsystem_name into this subsystem. Append the
2965 :     notes from the subsystem if $notes_flag is true.
2966 :    
2967 :     =cut
2968 :    
2969 :     sub add_to_subsystem
2970 :     {
2971 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
2972 :    
2973 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
2974 :    
2975 :     if (!$ss)
2976 :     {
2977 : parrello 1.69 warn "Cannot open subsystem '$subsystem_name' to copy from";
2978 :     return;
2979 : olson 1.25 }
2980 :    
2981 :     #
2982 :     # Merge the data from the other subsystem.
2983 :     #
2984 :     # First we assure ourselves that we have the appropriate roles. While
2985 :     # we do this, build the list of row indices (in this subsystem) that
2986 :     # map to the roles we are adding.
2987 :     #
2988 :    
2989 :     #
2990 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
2991 :     #
2992 : parrello 1.60
2993 : olson 1.25 my @local_roles;
2994 :    
2995 :     #
2996 :     # his_roles = list of role indices corresponding to the remote roles.
2997 :     #
2998 : overbeek 1.36 if ($cols->[0] eq "all")
2999 :     {
3000 : parrello 1.69 $cols = [$ss->get_roles];
3001 : overbeek 1.36 }
3002 :    
3003 : olson 1.25 my @his_roles;
3004 : parrello 1.60
3005 : olson 1.25 for my $his_role (@$cols)
3006 :     {
3007 : parrello 1.69 my $idx = $self->get_role_index($his_role);
3008 :     my $his_idx = $ss->get_role_index($his_role);
3009 :    
3010 :     if (!defined($his_idx))
3011 :     {
3012 :     confess "Cannot map his role $his_role\n";
3013 :     }
3014 :     push(@his_roles, $his_idx);
3015 : olson 1.25
3016 : parrello 1.69 if (!defined($idx))
3017 :     {
3018 :     my $his_abbr = $ss->get_role_abbr($his_idx);
3019 : parrello 1.60
3020 : parrello 1.69 $idx = $self->add_role($his_role, $his_abbr);
3021 :     # print "Adding missing role $his_role idx=$idx\n";
3022 :     }
3023 :     else
3024 :     {
3025 :     # print "Found existing role $his_role idx=$idx\n";
3026 :     }
3027 : olson 1.25
3028 : parrello 1.69
3029 :     $local_roles[$his_idx] = $idx;
3030 : olson 1.25 }
3031 :    
3032 :     #
3033 :     # Similar scan to ensure that we have rows for the genomes
3034 :     # that are in the other subsystem.
3035 :     #
3036 :    
3037 :     my @local_genomes;
3038 :    
3039 :     my @his_genomes = $ss->get_genomes();
3040 :    
3041 :     for my $his_idx (0..@his_genomes - 1)
3042 :     {
3043 : parrello 1.69 my $genome = $his_genomes[$his_idx];
3044 :    
3045 : overbeek 1.37
3046 : parrello 1.69 my $my_idx = $self->get_genome_index($genome);
3047 : parrello 1.60
3048 : parrello 1.69 if (!defined($my_idx))
3049 :     {
3050 :     #
3051 :     # Not there, need to add.
3052 :     #
3053 : olson 1.25
3054 : parrello 1.69 $my_idx = $self->add_genome($genome);
3055 :     # print "Adding missing genome $genome idx=$my_idx\n";
3056 :     }
3057 :     else
3058 :     {
3059 :     # print "Found existing genome $genome idx=$my_idx\n";
3060 :     }
3061 : parrello 1.60
3062 : parrello 1.69 $local_genomes[$his_idx] = $my_idx;
3063 : olson 1.25 }
3064 :    
3065 : parrello 1.60
3066 : olson 1.25 #
3067 :     # Now that we have our local roles set up to receive the data,
3068 :     # process the incoming roles one at a time.
3069 :     #
3070 :    
3071 :    
3072 :     for my $his_role (@his_roles)
3073 :     {
3074 : parrello 1.69 my $my_col = $self->get_col($local_roles[$his_role]);
3075 :     my $his_col = $ss->get_col($his_role);
3076 : olson 1.25
3077 : parrello 1.69 #
3078 :     # $his_col is the information for $his_role, indexed by
3079 :     # genome in @his_genomes.
3080 :     #
3081 :     # $my_col is hte information for my copy of $his_role,
3082 :     # indexed by genome in MY genome list.
3083 :     #
3084 : olson 1.25
3085 : parrello 1.69 my $my_role = $local_roles[$his_role];
3086 : olson 1.25
3087 : parrello 1.69 # print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
3088 : olson 1.25
3089 : parrello 1.69 for my $his_gidx (0 .. @his_genomes - 1)
3090 :     {
3091 :     my $hisent = $his_col->[$his_gidx];
3092 : olson 1.25
3093 : parrello 1.69 my $my_gidx = $local_genomes[$his_gidx];
3094 : parrello 1.60
3095 : overbeek 1.37
3096 : parrello 1.69 my $myent = $my_col->[$my_gidx];
3097 : olson 1.25
3098 : parrello 1.69 # print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
3099 : olson 1.25
3100 : parrello 1.69 my %new;
3101 :     map { $new{$_}++ } @$hisent;
3102 :     map { $new{$_}++ } @$myent;
3103 : olson 1.25
3104 : parrello 1.69 @$myent = keys(%new);
3105 : olson 1.25
3106 : parrello 1.69 # print " new entry: @$myent\n";
3107 :     }
3108 : olson 1.25 }
3109 : olson 1.26
3110 :     #
3111 :     # Fix up the variant codes.
3112 :     #
3113 :    
3114 :     for my $his_gidx (0 .. @his_genomes - 1)
3115 :     {
3116 : parrello 1.69 my $his_code = $ss->get_variant_code($his_gidx);
3117 :     my $my_gidx = $local_genomes[$his_gidx];
3118 : olson 1.26
3119 : parrello 1.69 if (!$self->get_variant_code($my_gidx))
3120 :     {
3121 :     $self->{variant_code}->[$my_gidx] = $his_code;
3122 :     }
3123 : olson 1.26 }
3124 :    
3125 :     #
3126 :     # If we are to add notes, append the other subsystem's notes text.
3127 :     #
3128 :    
3129 :     if ($add_notes)
3130 :     {
3131 : parrello 1.69 my $his_notes = $ss->get_notes();
3132 : olson 1.26
3133 : parrello 1.69 $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
3134 : olson 1.26 }
3135 : olson 1.25 }
3136 : olson 1.17
3137 : olson 1.1 sub dump
3138 :     {
3139 :     my($self) = @_;
3140 :    
3141 :     for my $k (keys(%$self))
3142 :     {
3143 : parrello 1.69 next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
3144 :     print "Key \"$k\": ", Dumper($self->{$k});
3145 : olson 1.1 }
3146 :     }
3147 : parrello 1.60
3148 : olson 1.14 #
3149 :     # Increment the subsystem's version number.
3150 :     #
3151 :     sub incr_version {
3152 :     my($self) = @_;
3153 :    
3154 :     my $dir = $self->{dir};
3155 :     my $vfile = "$dir/VERSION";
3156 :     my($ver);
3157 :    
3158 :     if (open(my $fh,"<$vfile"))
3159 :     {
3160 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
3161 :     {
3162 :     $ver = $1;
3163 :     }
3164 :     else
3165 :     {
3166 :     $ver = 0;
3167 :     }
3168 :     close($fh);
3169 :     }
3170 :     else
3171 :     {
3172 :     $ver = 0;
3173 :     }
3174 :    
3175 :     $ver++;
3176 :    
3177 :     open(my $fh, ">$vfile") || die "could not open $vfile";
3178 :     print $fh "$ver\n";
3179 :     close($fh);
3180 :    
3181 :     chmod(0777, $vfile);
3182 :    
3183 :     $self->load_version();
3184 :     }
3185 : olson 1.1
3186 : heiko 1.78
3187 :     =head3 functional_role_instances
3188 :    
3189 :     C<< my @role_instances = $sub->functional_role_instances($role); >>
3190 :    
3191 :     Returns the set of genes for a functional role that belong to
3192 :     genomes with functional variants (> 0).
3193 :    
3194 : heiko 1.87 If the flag $strict is set to true,
3195 :     an additional check for the correct function assignment is performed.
3196 :     If the name of the functional role does not occur exaclty in the
3197 :     latest function assignment of the PEG, it is not included in the
3198 :     returned array. A simple index check is done.
3199 :    
3200 : heiko 1.78 =cut
3201 :    
3202 :     sub functional_role_instances {
3203 :    
3204 : heiko 1.87 my ($self, $role, $strict) = @_;
3205 : heiko 1.78 my $i =0;
3206 :    
3207 :     my @instances;
3208 :    
3209 :     foreach my $cell (@{$self->get_col($self->get_role_index($role))}) {
3210 :    
3211 :     if ((scalar @$cell > 0) && ($self->get_variant_code($i) > 0)) {
3212 :     foreach (@$cell) {
3213 : heiko 1.87
3214 :    
3215 :     unless ($strict) {
3216 :     push @instances, $_;
3217 :     } else {
3218 :     # check if the peg is still in sync with the role assignment
3219 :     # will tolerate multiple role assignments but no mismatches
3220 :     my $current_function = $self->{fig}->function_of($_);
3221 :     if (index($current_function, $role) != -1) {
3222 :     push @instances, $_;
3223 :     } else {
3224 :     print STDERR "[Warning] Function of $_ out of sync for role $role in subsystem ".$self->get_name()."\n";
3225 :     }
3226 :     }
3227 : heiko 1.78 }
3228 :     }
3229 :     $i++;
3230 :     }
3231 :    
3232 :    
3233 :     return @instances if wantarray;
3234 :     return \@instances;
3235 :    
3236 :     }
3237 :    
3238 :    
3239 :    
3240 :    
3241 : parrello 1.75 =head3 get_dir_from_name
3242 :    
3243 :     C<< my $dirName = Subsystem::get_dir_from_name($name); >>
3244 :    
3245 :     Return the name of the directory containing the SEED data for the specified
3246 :     subsystem.
3247 :    
3248 :     =over 4
3249 :    
3250 :     =item name
3251 :    
3252 :     Name of the subsystem whose directory is desired.
3253 :    
3254 :     =item RETURN
3255 :    
3256 :     Returns the fully-qualified directory name for the subsystem.
3257 :    
3258 :     =back
3259 :    
3260 :     =cut
3261 :    
3262 : olson 1.1 sub get_dir_from_name
3263 :     {
3264 :     my($name) = @_;
3265 :    
3266 :     my $b = $name;
3267 :     $b =~ s/ /_/g;
3268 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
3269 :     return $dir;
3270 :     }
3271 :    
3272 : olson 1.12 #
3273 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
3274 :     #
3275 :     # The code here is a reconstruction of Bill's "go" script in perl with
3276 :     # data pulled from the local SEED configuration.
3277 :     #
3278 :    
3279 :     sub extend_with_billogix
3280 :     {
3281 : olson 1.42 my($self, $muser, $genomes) = @_;
3282 : olson 1.12 my($isMaster, $user);
3283 : parrello 1.60
3284 : olson 1.12 my $now = time();
3285 :    
3286 :     if ($muser =~ /master:(.*)/)
3287 :     {
3288 : parrello 1.69 $isMaster = 1;
3289 :     $user = $1;
3290 : olson 1.12 }
3291 :     else
3292 :     {
3293 : parrello 1.69 $isMaster = 0;
3294 :     $user = $muser;
3295 : olson 1.12 }
3296 :    
3297 :     #
3298 : olson 1.42 # initialize the genome list to all complete genomes, if none was passed in.
3299 :     #
3300 :    
3301 :     if (!$genomes)
3302 :     {
3303 : parrello 1.69 $genomes = [$self->{fig}->genomes("complete")];
3304 :     warn "getting genome list from fig $self->{fig}";
3305 : olson 1.42 }
3306 :    
3307 :     #
3308 :     # Ensure genome list is of the right form.
3309 :     #
3310 :    
3311 :     if (ref($genomes) ne "ARRAY")
3312 :     {
3313 : parrello 1.69 warn "billogix: genome list is not a list reference";
3314 :     return;
3315 : olson 1.42 }
3316 :    
3317 :     for my $g (@$genomes)
3318 :     {
3319 : parrello 1.69 if ($g !~ /^\d+\.\d+/)
3320 :     {
3321 :     warn "billogix: genome '$g' is not of the proper form, aborting billogix run.";
3322 :     return;
3323 :     }
3324 : olson 1.42 }
3325 : parrello 1.60
3326 : olson 1.42 my $genome_list = "[" . join(", ", map { "'$_'" } @$genomes) . "]";
3327 :    
3328 :     warn "Genomes: $genome_list\n";
3329 :     warn Dumper($genomes);
3330 : parrello 1.60
3331 : olson 1.42 #
3332 : olson 1.12 # Find the executable.
3333 :     #
3334 :    
3335 :     my $exe = "$FIG_Config::bin/billogix";
3336 :    
3337 :     if (! -x $exe)
3338 :     {
3339 : parrello 1.69 warn "Cannot find billogix exe at $exe\n";
3340 :     return;
3341 : olson 1.12 }
3342 : parrello 1.60
3343 : olson 1.12 my $ss_name = $self->{name};
3344 : olson 1.18
3345 :     $ss_name =~ s/\s+/_/g;
3346 : parrello 1.60
3347 : olson 1.14 my $ss_dir = "$self->{dir}/";
3348 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
3349 : olson 1.12 &FIG::verify_dir($assign_dir);
3350 :    
3351 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
3352 :     my $job_id = "${when}:sss:$ss_name";
3353 :    
3354 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
3355 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
3356 : olson 1.12
3357 :     #
3358 :     # Have the prereq stuff, now start up the app.
3359 :     #
3360 :    
3361 :     $ENV{LOCALSZ} = "80000";
3362 :     $ENV{GLOBALSZ} = "80000";
3363 :     $ENV{TRAILSZ} = "30000";
3364 : olson 1.13
3365 :     my $arch = &FIG::get_current_arch();
3366 :    
3367 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
3368 :    
3369 :     #
3370 :     # Need to ensure pl2wam is in our path
3371 :     #
3372 :    
3373 :     $ENV{PATH} = "${FIG_Config::ext_bin}:$ENV{PATH}";
3374 : olson 1.12
3375 : olson 1.23 #
3376 :     # We're going to divide the run into $n_chunks chunks.
3377 :     #
3378 :    
3379 :     my $n_chunks = 10;
3380 :    
3381 :     my($log);
3382 :     open($log, ">$ss_dir/$job_id.log");
3383 :    
3384 :     for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
3385 :     {
3386 : parrello 1.69 my $app_input = <<EOINP;
3387 : olson 1.12 ['\$BILLOGIX/top'].
3388 :     loadup.
3389 : olson 1.42 asserta(job_genome_list($genome_list)).
3390 : olson 1.23 asserta(part($this_chunk, $n_chunks)).
3391 : olson 1.12 asserta(url_default_seed('$seed')).
3392 : olson 1.13 asserta(url_export_part('$export_part')).
3393 : olson 1.12 asserta(ss_directory('$ss_dir')).
3394 :     asserta(assign_directory('$assign_dir')).
3395 :     asserta(job_id('$job_id')).
3396 :     extend_test3('$ss_name').
3397 :     EOINP
3398 :    
3399 : olson 1.23 print STDERR <<EOF;
3400 : olson 1.12 Starting app
3401 :    
3402 : olson 1.23 chunk $this_chunk of $n_chunks
3403 : olson 1.12 ss_name = $ss_name
3404 :     ss_dir = $ss_dir
3405 :     user = $user
3406 :     assign_dir = $assign_dir
3407 :     exe = $exe
3408 : olson 1.13 libdir = $ENV{BILLOGIX}
3409 :     path = $ENV{PATH}
3410 : olson 1.12
3411 :     App input
3412 :     $app_input
3413 :     EOF
3414 :     # feh, put in a block to reset perlmode indentation.
3415 : olson 1.23 {
3416 : parrello 1.69 my($app_read, $app_write);
3417 : parrello 1.60
3418 : parrello 1.69 #
3419 :     # Start the actual application with stdin and stdout redirected
3420 :     # to pipes.
3421 :     #
3422 :     # We write $app_input to the stdin pipe, and close it.
3423 :     # Then loop reading stdout, logging that output.
3424 :     #
3425 :     my $pid = open2($app_read, $app_write, $exe);
3426 :    
3427 :     if (!$pid)
3428 :     {
3429 :     warn "open2 $exe failed: $!\n";
3430 :     print $log "open2 $exe failed: $!\n";
3431 :     return;
3432 :     }
3433 :    
3434 :     print $app_write $app_input;
3435 :     close($app_write);
3436 :    
3437 :     #
3438 :     # Set autoflush on the logfile.
3439 :     #
3440 :    
3441 :     my $old = select($log);
3442 :     $| = 1;
3443 :     select(STDERR);
3444 :     $| = 1;
3445 :     select($old);
3446 :    
3447 :     warn "Starting $exe with pid $pid\n";
3448 :     print $log "Starting $exe with pid $pid\n";
3449 :    
3450 :     while (<$app_read>)
3451 :     {
3452 :     print STDERR $_;
3453 :     print $log $_;
3454 :     }
3455 :    
3456 :     print STDERR "App done\n";
3457 :     print $log "App done\n";
3458 :    
3459 :     close($app_read);
3460 :    
3461 :     my $ret = waitpid($pid, 0);
3462 :     my $stat = $?;
3463 :     print STDERR "Return status is $?\n";
3464 :     print $log "Return status is $?\n";
3465 :    
3466 :     #
3467 :     # This chunk has finished. We should see a file
3468 :     # rows.$this_chunk.$n_chunks.
3469 :     #
3470 :     }
3471 : olson 1.23 }
3472 :     #
3473 :     # At this point, the extension is finished (we've run the
3474 :     # $n_chunks parts of the extension job).
3475 :     #
3476 : olson 1.12
3477 : olson 1.14 #
3478 : olson 1.23 # We read in all the individual rows files, writing the single
3479 :     # concatenation of rows.
3480 : olson 1.14 #
3481 : olson 1.12
3482 : olson 1.23 my $ssaD = $self->{dir};
3483 : parrello 1.60
3484 : olson 1.23 my $rows_file = "$ssaD/rows";
3485 :    
3486 :     my $rowFH;
3487 :     if (!open($rowFH, ">$rows_file"))
3488 : olson 1.12 {
3489 : parrello 1.69 my $err = "Cannot open rows file $ssaD/rows for writing: $!\n";
3490 :     print STDERR $err;
3491 :     print $log $err;
3492 :     return;
3493 : olson 1.12 }
3494 :    
3495 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
3496 :     {
3497 : parrello 1.69 my $chunkFH;
3498 :     my $cfile = "$ssaD/rows.$this_chunk.$n_chunks";
3499 :     if (!open($chunkFH, "<$cfile"))
3500 :     {
3501 :     my $err = "Cannot open rows file $cfile for reading: $!\n";
3502 :     print STDERR $err;
3503 :     print $log $err;
3504 :     return;
3505 :     }
3506 :     while (<$chunkFH>)
3507 :     {
3508 :     print $rowFH $_;
3509 :     }
3510 :     close($chunkFH);
3511 : olson 1.23 }
3512 :     close($rowFH);
3513 : olson 1.12
3514 :     #
3515 : olson 1.23 # Concatenate the assignments into the assignment directory.
3516 : olson 1.12 #
3517 :    
3518 : olson 1.23 my $assignments_file = "$assign_dir$job_id";
3519 :     my $assignFH;
3520 : olson 1.12
3521 : olson 1.23 if (!open($assignFH, ">$assignments_file"))
3522 : olson 1.12 {
3523 : parrello 1.69 my $err = "Cannot open assignments file $assignments_file for writing: $!\n";
3524 :     print STDERR $err;
3525 :     print $log $err;
3526 :     return;
3527 : olson 1.12 }
3528 :    
3529 : olson 1.23 for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
3530 : olson 1.19 {
3531 : parrello 1.69 my $aFH;
3532 :     my $afile = "$ssaD/assignments.$this_chunk.$n_chunks";
3533 :     if (!open($aFH, "<$afile"))
3534 :     {
3535 :     my $err = "Cannot open assignments file $afile for reading: $!\n";
3536 :     print STDERR $err;
3537 :     print $log $err;
3538 :     return;
3539 :     }
3540 :     while (<$aFH>)
3541 :     {
3542 :     print $assignFH $_;
3543 :     }
3544 :     close($aFH);
3545 : olson 1.19 }
3546 : olson 1.23 close($assignFH);
3547 : olson 1.19
3548 : parrello 1.60
3549 :    
3550 : olson 1.19 #
3551 : olson 1.14 # Back up the spreadsheet, and append the rows file to it.
3552 :     #
3553 :    
3554 :     &FIG::verify_dir("$ssaD/Backup");
3555 :     my $ts = time;
3556 :     rename("$ssaD/spreadsheet~","$ssaD/Backup/spreadsheet.$ts");
3557 :     copy("$ssaD/spreadsheet","$ssaD/spreadsheet~");
3558 :     rename("$ssaD/notes~","$ssaD/Backup/notes.$ts");
3559 :    
3560 :     #
3561 :     # Append the new rows to the spreadsheet.
3562 :     #
3563 :    
3564 :     my($ssafh, $rowsfh);
3565 :     open($ssafh, ">>$ssaD/spreadsheet") or die "Cannot open $ssaD/spreadsheet for append: $!\n";
3566 :     open($rowsfh, "<$ssaD/rows") or die "Cannot open $ssaD/rows for reading: $!\n";
3567 : parrello 1.60
3568 : olson 1.14 while (<$rowsfh>)
3569 :     {
3570 : parrello 1.69 print $ssafh $_;
3571 : olson 1.14 }
3572 :     close($ssafh);
3573 :     close($rowsfh);
3574 :    
3575 :     $self->incr_version();
3576 : olson 1.12 }
3577 : olson 1.13
3578 : olson 1.14
3579 : olson 1.13 sub set_current_extend_pid
3580 :     {
3581 :     my($self, $pid) = @_;
3582 :    
3583 :     if (open(my $fh, ">$self->{dir}/EXTEND_PID"))
3584 :     {
3585 : parrello 1.69 print $fh "$pid\n";
3586 : olson 1.13 }
3587 :     else
3588 :     {
3589 : parrello 1.69 warn "Cannot open $self->{dir}/EXTEND_PID: $!\n";
3590 : olson 1.13 }
3591 :     }
3592 :    
3593 :     sub get_current_extend_pid
3594 :     {
3595 :     my($self) = @_;
3596 :    
3597 :     if (open(my $fh, "<$self->{dir}/EXTEND_PID"))
3598 :     {
3599 : parrello 1.69 my $pid = <$fh>;
3600 :     close($fh);
3601 :     if ($pid)
3602 :     {
3603 :     chomp $pid;
3604 : parrello 1.60
3605 : parrello 1.69 return $pid;
3606 :     }
3607 : olson 1.13 }
3608 :     return undef;
3609 :     }
3610 : parrello 1.60
3611 : parrello 1.75 =head2 Static Utilities
3612 :    
3613 :     These are internal static methods used by the Sprout Subsystem object
3614 :     (SproutSubsys.pm). They insure that common functions are implemented with
3615 :     common code.
3616 :    
3617 :     =head3 GetDiagramIDs
3618 :    
3619 :     C<< my @diagramIDs = Subsystem::GetDiagramIDs($subDir); >>
3620 :    
3621 :     Return a list of the subsystem diagram IDs. The parameters are
3622 :    
3623 :     =over 4
3624 :    
3625 :     =item subDir
3626 :    
3627 :     Fully-qualified directory name for the subsystem.
3628 :    
3629 :     =item RETURN
3630 :    
3631 :     Returns a list of the diagram IDs for this subsystem. Each diagram ID corresponds
3632 :     to a diagram subdirectory in the subsystem's directory.
3633 :    
3634 :     =back
3635 :    
3636 :     =cut
3637 :    
3638 :     sub GetDiagramIDs {
3639 :     # Get the parameters.
3640 :     my ($subDir) = @_;
3641 :     # Read the diagram subdirectories.
3642 :     opendir(D, "$subDir/diagrams");
3643 :     my @ids = grep { not /^\./ and -d "$subDir/diagrams/$_" } readdir(D);
3644 :     closedir(D);
3645 :     # Return the IDs.
3646 :     return @ids;
3647 :    
3648 :     }
3649 :    
3650 :     =head3 GetDiagramName
3651 :    
3652 :     C<< my $name = Subsystem::GetDiagramName($subDir, $diagramID); >>
3653 :    
3654 :     Return the name of the subsystem diagram with the specified ID.
3655 :    
3656 :     =over 4
3657 :    
3658 :     =item subDir
3659 :    
3660 :     Subsystem directory name.
3661 :    
3662 :     =item diagramID
3663 :    
3664 :     ID of the diagram whose name is desired.
3665 :    
3666 :     =item RETURN
3667 :    
3668 :     Returns the name of the specified diagram, or C<undef> if the diagram does
3669 :     not exist.
3670 :    
3671 :     =back
3672 :    
3673 :     =cut
3674 :    
3675 :     sub GetDiagramName {
3676 :     # Get the parameters.
3677 :     my ($subDir, $diagramID) = @_;
3678 : parrello 1.77 # Declare the return value.
3679 :     my $retVal;
3680 : parrello 1.75 # Get the diagram's directory.
3681 :     my $ddir = "$subDir/diagrams/$diagramID";
3682 : parrello 1.77 Trace("Looking for directory $ddir.") if T(3);
3683 : parrello 1.75 # Only proceed if the directory exists.
3684 : parrello 1.77 if (-d $ddir) {
3685 :     # Read the name.
3686 :     my $name = &FIG::file_head("$ddir/NAME", 1);
3687 :     # If there was no name, use the diagram ID.
3688 :     Trace("Diagram name is \"$name\".") if T(3);
3689 :     if (! $name) {
3690 :     Trace("Using default name $diagramID.") if T(3);
3691 :     $name = $diagramID;
3692 :     }
3693 :     # Lop off the line terminator.
3694 :     chomp ($name);
3695 :     # Return the result.
3696 :     $retVal = $name;
3697 :     }
3698 :     Trace("Returning diagram name \"$retVal\".") if T(3);
3699 :     return $retVal;
3700 : parrello 1.75 }
3701 :    
3702 :     =head3 ComputeDiagramURLs
3703 :    
3704 :     C<< my ($link, $imgLink) = Subsystem::ComputeDiagramURLs($ssName, $diagramID); >>
3705 :    
3706 :     This is an internal static method that computes the URLs for a subsystem diagram.
3707 :     It insures that both SEED and Sprout use the same rules for generating the
3708 :     diagram URLs. The parameters are as follows.
3709 :    
3710 :     =over 4
3711 :    
3712 :     =item ssName
3713 :    
3714 :     Name of the relevant subsystem.
3715 :    
3716 :     =item diagramID
3717 :    
3718 :     ID of the relevant diagram.
3719 :    
3720 : parrello 1.90 =item sprout (optional)
3721 :    
3722 :     If specified, indicates this should be a Sprout URL.
3723 :    
3724 : parrello 1.75 =item RETURN
3725 :    
3726 :     Returns a two-element list, the first element of which is a link to the diagram
3727 :     page, and the second of which is a link to the diagram image.
3728 :    
3729 :     =back
3730 :    
3731 :     =cut
3732 :    
3733 :     sub ComputeDiagramURLs {
3734 :     # Get the parameters.
3735 : parrello 1.90 my ($ssName, $diagramID, $sprout) = @_;
3736 : parrello 1.75 # Compute the CGI directory base. Originally this was a configuration
3737 :     # parameter. Now we use a dot to force a relative URL.
3738 :     # my $base = $FIG_Config::cgi_base;
3739 :     my $base = './';
3740 :     # Create the links.
3741 :     my $link = $base . "subsys_diagram.cgi?ssa=$ssName&diagram=$diagramID";
3742 : parrello 1.90 if ($sprout) {
3743 :     $link .= "&SPROUT=1";
3744 :     }
3745 : parrello 1.75 my $img_link = $link . "&image=1";
3746 :     # Return them.
3747 :     return ($link, $img_link);
3748 :     }
3749 :    
3750 : olson 1.7 package Subsystem::Diagram;
3751 :    
3752 :     sub new
3753 :     {
3754 :     my($class, $sub, $fig, $name, $dir) = @_;
3755 :    
3756 :     if (!-d $dir)
3757 :     {
3758 : parrello 1.69 return undef;
3759 : olson 1.7 }
3760 :    
3761 :     my $self = {
3762 : parrello 1.69 fig => $fig,
3763 :     subsystem => $sub,
3764 :     name => $name,
3765 :     dir =>$ dir,
3766 : olson 1.7 };
3767 :     bless $self, $class;
3768 :    
3769 :     $self->load();
3770 :    
3771 :     return $self;
3772 :     }
3773 :    
3774 :     #
3775 :     # Parse the diagram into internal data structure.
3776 :     #
3777 :    
3778 :     sub load
3779 :     {
3780 :     my($self) = @_;
3781 :    
3782 :     $self->load_area();
3783 :     }
3784 :    
3785 :     sub load_area
3786 :     {
3787 :     my($self) = @_;
3788 :     my $fh;
3789 :    
3790 : olson 1.8 if (!open($fh, "<$self->{dir}/area_table"))
3791 : olson 1.7 {
3792 : parrello 1.69 warn "Could not load $self->{dir}/area_table: $!\n";
3793 :     return;
3794 : olson 1.7 }
3795 :    
3796 :     $self->{areas} = [];
3797 :    
3798 :     my $area_list = $self->{areas};
3799 : parrello 1.60
3800 : olson 1.7 while (<$fh>)
3801 :     {
3802 : parrello 1.69 chomp;
3803 :     s/#.*$//;
3804 :     s/^\s+//;
3805 :     s/\s+$//;
3806 :     next if $_ eq '';
3807 :     my ($area, $tag, $value) = split(/\s+/, $_, 3);
3808 :     # print "area=$area tag=$tag value=$value\n";
3809 :    
3810 :     push(@$area_list, [$area, $tag, $value]);
3811 :    
3812 :     #
3813 :     # Do a little checking.
3814 :     #
3815 :    
3816 :     if ($tag eq "role")
3817 :     {
3818 :     my $idx = $self->{subsystem}->get_role_index($value);
3819 :     if (!defined($idx))
3820 :     {
3821 :     warn "Role not found for \"$value\" in subsystem $self->{subsystem}->{name}\n";
3822 :     }
3823 :     }
3824 : olson 1.7 }
3825 :     close($fh);
3826 :     }
3827 :    
3828 :     sub get_areas
3829 :     {
3830 :     my($self) = @_;
3831 :    
3832 :     return @{$self->{areas}};
3833 :     }
3834 :    
3835 : parrello 1.75
3836 : olson 1.1 1;
3837 : olson 1.7
3838 : parrello 1.73 =head2 Method Listing
3839 :    
3840 :     =over 4
3841 :    
3842 :     =item index_cell
3843 :    
3844 :     Create the subsystem_index entries for the given cell.
3845 :     (NEW).
3846 :    
3847 :     =item delete_role(name)
3848 :    
3849 :     Delete the given role.
3850 :    
3851 :     =item add_role(name, abbr)
3852 :    
3853 :     Add a new role.
3854 :    
3855 :     =item get_subset(name)
3856 :    
3857 :     A deprecated form of get_subsetC
3858 :    
3859 :     =item get_subsetC(name)
3860 :    
3861 :     Returns a given subset. A subset is an object, implemented as a blessed array
3862 :     of roles.
3863 :    
3864 :     =item add_genome(genome_id, variant_code)
3865 :    
3866 :     =item remove_genome(genome_id)
3867 :    
3868 :     =back
3869 :    
3870 :     =cut
3871 : olson 1.7

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3