[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.131 - (view) (download) (as text)

1 : olson 1.76 #
2 :     # Copyright (c) 2003-2006 University of Chicago and Fellowship
3 :     # for Interpretations of Genomes. All Rights Reserved.
4 :     #
5 :     # This file is part of the SEED Toolkit.
6 : parrello 1.119 #
7 : olson 1.76 # The SEED Toolkit is free software. You can redistribute
8 :     # it and/or modify it under the terms of the SEED Toolkit
9 : parrello 1.119 # Public License.
10 : olson 1.76 #
11 :     # You should have received a copy of the SEED Toolkit Public License
12 :     # along with this program; if not write to the University of Chicago
13 :     # at info@ci.uchicago.edu or the Fellowship for Interpretation of
14 :     # Genomes at veronika@thefig.info or download a copy from
15 :     # http://www.theseed.org/LICENSE.TXT.
16 :     #
17 :    
18 : olson 1.1 package Subsystem;
19 :    
20 : olson 1.25 use Carp;
21 : olson 1.10
22 : olson 1.12 use POSIX;
23 : olson 1.7 use DirHandle;
24 : olson 1.1 use Data::Dumper;
25 : olson 1.14 use File::Copy;
26 : olson 1.1 use File::Spec;
27 : olson 1.12 use IPC::Open2;
28 : olson 1.113 use FileHandle;
29 : parrello 1.77 use Tracer;
30 : olson 1.1
31 :     use strict;
32 :    
33 : olson 1.110 my $notes_separator = "###############################";
34 : bartels 1.124 my @section_order = qw(description notes literature variants);
35 : olson 1.110 my %defined_sections = map { $_ => 1 } @section_order;
36 :    
37 : parrello 1.73 =head1 Subsystem Manipulation
38 : olson 1.2
39 :     Any manipulation of subsystem data should happen through this interface.
40 : parrello 1.60 This allows us to assure ourselves that the relational tables that
41 :     mirror and index the subsystem data are kept up to date with the
42 : olson 1.2 canonical version of the subsystem information in the flat-files
43 :     kept in $FIG_Config::data/Subsystems.
44 :    
45 : olson 1.25 =head2 Objects.
46 :    
47 :     We define the following perl objects:
48 :    
49 :     Subsystem: represents a subsystem. It can be read from disk and
50 :     written to disk, and manipulated via its methods when in memory.
51 :    
52 :     If we were completely on the OO side of the world, we would also
53 :     define the following set of objects. However, we are not, so they are
54 :     only objects in a conceptual sense. They are implemented using the
55 : parrello 1.60 basic perl datatypes.
56 : olson 1.25
57 :     Role: represents a single role. A role has a name and an abbreviation.
58 :    
59 :     RoleSubset: represents a subset of available roles. A subset has a
60 :     name and a list of role names that comprise the subset.
61 :    
62 : olson 1.2 =head2 Thoughts on locking
63 :    
64 :     It is currently dangerous for multiple users to modify spreadsheets at once.
65 :     It will likely remain dangerous while the subsystem backend is fairly
66 :     stateless, as it is with the CGI mechanism.
67 :    
68 :     We'd like to make this a little safer. One mechanism might be to allow
69 :     a user to open a subsystem for modification, and others for readonly access.
70 :     For this to work we have to be able to tell which users is allowed; current
71 :     implementation uses the curator of the subsystem for this purpose.
72 :    
73 :     NB: This module does not currently attempt to handle locking or exclusion.
74 :     It is up to the caller (user application, CGI script, etc) to do so.
75 :     It does attempt to use locking internally where appropriate.
76 :    
77 :     =head2 Data structures
78 :    
79 :     We maintain the following data structures (all members of %$self).
80 :    
81 :     =over 4
82 :    
83 :     =item dir
84 :    
85 :     Directory in which the subsystem is stored.
86 :    
87 :     =item notes
88 :    
89 :     The current notes contents for the subsystem
90 :    
91 :     =item version
92 :    
93 :     Current subsystem version.
94 :    
95 :     =item exchangable
96 :    
97 :     1 if subsystem is exchangable, 0 otherwise.
98 :    
99 :     =item roles
100 :    
101 : olson 1.25 List of role names.
102 : olson 1.2
103 :     =item role_index
104 :    
105 :     hash that maps from role name to index
106 :    
107 :     =item role_abbrs
108 :    
109 :     list of role abbreviations
110 :    
111 :     =item abbr
112 :    
113 :     hash mapping from role abbreviation to role name
114 :    
115 :     =item col_subsets
116 :    
117 :     list of column subset names
118 :    
119 :     =item col_subset_members
120 :    
121 :     hash that maps from column subset name to subset members
122 :    
123 :     =item col_active_subset
124 :    
125 :     currently-active column subset
126 :    
127 :     =item row_active_subset
128 :    
129 :     currently-active row subset
130 :    
131 :     =item genome
132 :    
133 : olson 1.25 List of genome IDs.
134 : olson 1.2
135 :     =item variant_code
136 :    
137 : olson 1.25 List of variant codes.
138 : olson 1.2
139 :     =item genome_index
140 :    
141 :     Hash mapping from genome ID to genome index.
142 :    
143 :     =item spreadsheet
144 :    
145 :     Spreadsheet data. Structured as a list of rows, each of which
146 :     is a list of entries. An entry is a list of PEG numbers.
147 :    
148 :     =item spreadsheet_inv
149 :    
150 :     Inverted structure of spreadsheet - list of columns, each of which is a list
151 :     of rows.
152 :    
153 :     =back
154 :    
155 : parrello 1.73 =head2 Public Methods
156 : olson 1.25
157 : parrello 1.73 =head3 new
158 : olson 1.25
159 : parrello 1.119 my $sub = Subsystem->new($subName, $fig, $createFlag);
160 : olson 1.25
161 : parrello 1.73 Load the subsystem. If it does not exist, and $createFlag is true, create
162 :     a new, empty subsystem.
163 : olson 1.25
164 : parrello 1.73 =over 4
165 : olson 1.25
166 : parrello 1.73 =item subName
167 : olson 1.25
168 : parrello 1.73 Name of the desired subsystem.
169 : olson 1.25
170 : parrello 1.73 =item fig
171 : olson 1.25
172 : parrello 1.73 FIG object for accessing the SEED data store.
173 : olson 1.25
174 : parrello 1.73 =item createFlag
175 : overbeek 1.31
176 : parrello 1.73 TRUE if an empty subsystem should be created with the given name, else FALSE. If a
177 :     subsystem with the name already exists, this parameter has no effect.
178 : olson 1.25
179 :     =back
180 :    
181 : olson 1.2 =cut
182 : olson 1.1
183 :     sub new
184 :     {
185 :     my($class, $name, $fig, $create) = @_;
186 :    
187 :     my $ssa_dir = get_dir_from_name($name);
188 :     #
189 :     # For loading, the subsystem directory must already exist.
190 :     #
191 : parrello 1.60
192 : olson 1.25 if (! -d $ssa_dir and not $create)
193 : olson 1.1 {
194 : parrello 1.69 # warn "Subsystem $name does not exist\n";
195 :     return undef;
196 : olson 1.1 }
197 : olson 1.56
198 : redwards 1.72 # RAE: Please do this:
199 :     $name =~ s/^\s+//; $name =~ s/\s+$//;
200 : olson 1.56 $name =~ s/ /_/g;
201 :    
202 : olson 1.1 my $self = {
203 : parrello 1.69 dir => $ssa_dir,
204 :     name => $name,
205 :     fig => $fig,
206 : olson 1.1 };
207 :    
208 :     bless($self, $class);
209 :    
210 : olson 1.70 #
211 :     # Check to see if the database we're running against has a variant column.
212 :     #
213 :     $self->detect_db_version();
214 :    
215 : olson 1.25 if ($create)
216 :     {
217 : parrello 1.69 $self->create_subsystem();
218 : olson 1.25 }
219 :     else
220 :     {
221 : parrello 1.69 $self->load();
222 : olson 1.25 }
223 : olson 1.1
224 :     return $self;
225 :     }
226 :    
227 : olson 1.70 sub detect_db_version
228 :     {
229 :     my($self) = @_;
230 :     my $db = $self->{fig}->db_handle();
231 :     my $dbh = $db->{_dbh};
232 :     local $dbh->{RaiseError} = 1;
233 :     local $dbh->{PrintError} = 0;
234 :    
235 :     eval {
236 :     my $x = $db->SQL("select variant from subsystem_index where subsystem = '' limit 1");
237 :     };
238 :    
239 :     #
240 :     # If this failed, it's an old database.
241 :     #
242 :     if ($@ =~ /variant/)
243 :     {
244 :     warn "Please rerun index_subsystems: current table does not have a variant column\n";
245 :     $self->{old_database} = 1;
246 :     }
247 :     }
248 :    
249 :    
250 : olson 1.19 sub new_from_dir
251 :     {
252 :     my($class, $dir, $fig) = @_;
253 :    
254 :     my $ssa_dir = $dir;
255 : olson 1.29 my $name = $dir;
256 :     $name =~ s,.*/,,;
257 : olson 1.19
258 :     #
259 :     # For loading, the subsystem directory must already exist.
260 :     #
261 : parrello 1.60
262 : olson 1.19 my $self = {
263 : parrello 1.69 dir => $ssa_dir,
264 :     name => $name,
265 :     fig => $fig,
266 : olson 1.19 };
267 :    
268 :     bless($self, $class);
269 :    
270 :     $self->load();
271 :    
272 :     return $self;
273 :     }
274 :    
275 : parrello 1.73 =head3 create_subsystem
276 : olson 1.25
277 :     Create a new subsystem. This creates the subsystem directory in the
278 :     correct place ($FIG_Config::data/Subsystems), and populates it with
279 :     the correct initial data.
280 :    
281 :     =cut
282 :    
283 : olson 1.1 sub create_subsystem
284 :     {
285 : olson 1.25 my($self) = @_;
286 :    
287 :     my $dir = $self->{dir};
288 :     my $fig = $self->{fig};
289 :    
290 :     if (-d $dir)
291 :     {
292 : parrello 1.69 warn "Not creating: Subsystem directory $dir already exists";
293 :     return;
294 : olson 1.25 }
295 :    
296 :     $fig->verify_dir($dir);
297 :    
298 :     #
299 :     # Initialize empty data structures.
300 :     #
301 : parrello 1.60
302 : olson 1.25 $self->{genome} = [];
303 :     $self->{genome_index} = {};
304 :     $self->{variant_code} = [];
305 :    
306 :     $self->{abbr} = {};
307 :     $self->{role_index} = {};
308 :     $self->{roles} = [];
309 :     $self->{role_abbrs} = [];
310 : olson 1.1
311 : olson 1.25 $self->{spreadsheet} = [];
312 :     $self->{spreadsheet_inv} = [];
313 :    
314 : bartels 1.126 # added by DB for empty cell annotation
315 : bartels 1.128 $self->{emptycells} = {};
316 : bartels 1.126
317 : olson 1.25 $self->{col_subsets} = [];
318 :     $self->{col_subset_members} = {};
319 :    
320 : overbeek 1.31 $self->{row_subsets} = [];
321 :     $self->{row_subset_members} = {};
322 : overbeek 1.35 $self->load_row_subsets();
323 : overbeek 1.31
324 : olson 1.25 $self->{row_active_subset} = "All";
325 :     $self->{col_active_subset} = "All";
326 :    
327 :     $self->{version} = 0;
328 :     $self->{exchangable} = 0;
329 : overbeek 1.45 $self->{classification} = [];
330 : olson 1.25
331 :     $self->write_subsystem();
332 : olson 1.1 }
333 :    
334 : parrello 1.75 =head3 get_diagrams
335 :    
336 : parrello 1.119 my @list = $sub->get_diagrams();
337 : parrello 1.75
338 :     Return a list of the diagrams associated with this subsystem. Each diagram
339 :     is represented in the return list as a 4-tuple C<[diagram_id, diagram_name,
340 :     page_link, img_link]> where
341 :    
342 :     =over 4
343 :    
344 :     =item diagram_id
345 :    
346 :     ID code for this diagram.
347 :    
348 :     =item diagram_name
349 :    
350 :     Displayable name of the diagram.
351 :    
352 :     =item page_link
353 :    
354 :     URL of an HTML page containing information about the diagram.
355 :    
356 :     =item img_link
357 :    
358 :     URL of an HTML page containing an image for the diagram.
359 :    
360 :     =back
361 : olson 1.7
362 : parrello 1.75 Note that the URLs are in fact for CGI scripts with parameters that point them
363 :     to the correct place.
364 : olson 1.7
365 : parrello 1.75 =cut
366 : olson 1.61
367 : parrello 1.75 sub get_diagrams {
368 :     # Get the parameters.
369 :     my ($self) = @_;
370 :     # Look for all the sub-directories in the subsystem's diagram directory. Each
371 :     # one of these will be a diagram ID. If the diagram directory doesn't exist,
372 :     # we'll get an empty list.
373 :     my @ids = GetDiagramIDs($self->{dir});
374 :     # Declare the return variable.
375 : olson 1.61 my @ret;
376 : parrello 1.75 # Loop through the diagram IDs found (if any).
377 :     for my $id (@ids) {
378 :     # Get the name and URLs for this diagram.
379 : parrello 1.69 my(@diag) = $self->get_diagram($id);
380 : parrello 1.75 # If we found a name and URLs, then this diagram must be added to the
381 :     # return list.
382 :     if (@diag) {
383 : parrello 1.69 push(@ret, [$id, @diag]);
384 :     }
385 : olson 1.61 }
386 : parrello 1.75 # Return the list of diagrams.
387 : olson 1.61 return @ret;
388 :     }
389 :    
390 : parrello 1.75 =head3 get_diagram
391 :    
392 : parrello 1.119 my ($name, $pageURL, $imgURL) = $sub->get_diagram($id);
393 : parrello 1.75
394 :     Get the information (if any) for the specified diagram. The diagram corresponds
395 :     to a subdirectory of the subsystem's C<diagrams> directory. For example, if the
396 :     diagram ID is C<d03>, the diagram's subdirectory would be C<$dir/diagrams/d03>,
397 :     where I<$dir> is the subsystem directory. The diagram's name is extracted from
398 :     a tiny file containing the name, and then the links are computed using the
399 :     subsystem name and the diagram ID. The parameters are as follows.
400 :    
401 :     =over 4
402 :    
403 :     =item id
404 :    
405 :     ID code for the desired diagram.
406 :    
407 :     =item RETURN
408 :    
409 :     Returns a three-element list. The first element is the diagram name, the second
410 :     a URL for displaying information about the diagram, and the third a URL for
411 :     displaying the diagram image.
412 :    
413 :     =back
414 :    
415 :     =cut
416 :    
417 : olson 1.61 sub get_diagram
418 :     {
419 :     my($self, $id) = @_;
420 :    
421 : parrello 1.75 my $name = GetDiagramName($self->{dir}, $id);
422 : parrello 1.108 my ($link, $img_link) = ComputeDiagramURLs($self, $self->{name}, $id);
423 : olson 1.61
424 :     return($name, $link, $img_link);
425 :     }
426 :    
427 : olson 1.66 sub get_diagram_html_file
428 :     {
429 :     my($self, $id) = @_;
430 :    
431 :     my $ddir = "$self->{dir}/diagrams/$id";
432 :    
433 :     return unless -d $ddir;
434 :    
435 :     my $html = "$ddir/diagram.html";
436 :    
437 :     if (-f $html)
438 :     {
439 : parrello 1.69 return $html;
440 : olson 1.66 }
441 :     else
442 :     {
443 : parrello 1.69 return undef;
444 : olson 1.66 }
445 :     }
446 :    
447 : paarmann 1.97 sub is_new_diagram {
448 :     my ($self, $id) = @_;
449 :    
450 :     my $image_map = $self->get_diagram_html_file($id);
451 :     if ($image_map) {
452 : parrello 1.119
453 : paarmann 1.97 open(IN, "$image_map") or die "Unable to open file $image_map.";
454 :     my $header = <IN>;
455 :     close(IN);
456 : parrello 1.119
457 : paarmann 1.97 if ($header =~ /\<map name=\"GraffleExport\"\>/) {
458 :     return 1;
459 :     }
460 :     }
461 :    
462 :     return undef;
463 :     }
464 :    
465 :     sub get_link_for_new_diagram {
466 :     my ($self, $id) = @_;
467 :    
468 :     my $ss_name = $self->{name};
469 :     return "./diagram.cgi?subsystem_name=$ss_name&diagram=$id";
470 :     }
471 :    
472 : parrello 1.90
473 : olson 1.61 sub open_diagram_image
474 :     {
475 :     my($self, $id) = @_;
476 :    
477 :     my $img_base = "$self->{dir}/diagrams/$id/diagram";
478 :    
479 :     my @types = ([".png", "image/png"],
480 : parrello 1.69 [".gif", "image/gif"],
481 :     [".jpg", "image/jpeg"]);
482 : olson 1.61
483 :     for my $tent (@types)
484 :     {
485 : parrello 1.69 my($ext, $type) = @$tent;
486 : olson 1.61
487 : parrello 1.69 my $file = "$img_base$ext";
488 : olson 1.61
489 : parrello 1.69 if (open(my $fh, "<$file"))
490 :     {
491 :     return($type, $fh);
492 :     }
493 : olson 1.61 }
494 :    
495 :     return undef;
496 :     }
497 : olson 1.7
498 : olson 1.61 sub delete_diagram
499 :     {
500 :     my($self, $id) = @_;
501 : parrello 1.60
502 : olson 1.61 my $dir = "$self->{dir}/diagrams/$id";
503 : olson 1.7
504 : olson 1.61 if (-d $dir)
505 :     {
506 : parrello 1.69 system("rm", "-r", $dir);
507 : olson 1.61 }
508 : olson 1.7 }
509 :    
510 : olson 1.61 sub rename_diagram
511 : olson 1.7 {
512 : olson 1.61 my($self, $id, $new_name) = @_;
513 : olson 1.7
514 : olson 1.61 my $dir = "$self->{dir}/diagrams/$id";
515 : olson 1.7
516 :     if (-d $dir)
517 :     {
518 : parrello 1.69 open(F, ">$dir/NAME");
519 :     $new_name =~ s/\n.*$//s;
520 :     print F "$new_name\n";
521 :     close(F);
522 : olson 1.61 }
523 :     }
524 :    
525 :     sub create_new_diagram
526 :     {
527 : olson 1.112 my($self, $fh, $html_fh, $name, $id, $overwrite) = @_;
528 : olson 1.61
529 :     #
530 :     # Get a new id.
531 :     #
532 :    
533 :     my $dir = "$self->{dir}/diagrams";
534 : olson 1.112 my $old_dir = "$self->{dir}/old_diagrams";
535 : olson 1.61
536 : parrello 1.108 Tracer::Insure($dir);
537 : olson 1.112 Tracer::Insure($old_dir);
538 : olson 1.61
539 :     my $path;
540 :    
541 :     if (defined($id))
542 :     {
543 : parrello 1.69 #
544 :     # Ensure this id doesn't already exist.
545 :     #
546 :    
547 :     $path = "$dir/$id";
548 :    
549 :     if (-d $path)
550 :     {
551 : olson 1.112 if (!$overwrite)
552 :     {
553 :     confess "Diagram id $id already exists in subsystem $self->{name}";
554 :     }
555 :     else
556 :     {
557 :     my $opath = "$old_dir/$id." . time;
558 :     rename($path, $opath);
559 :     }
560 : parrello 1.69 }
561 : olson 1.61
562 : olson 1.7 }
563 :     else
564 :     {
565 : parrello 1.69 $id = "d01";
566 : olson 1.61
567 : parrello 1.69 while (1)
568 :     {
569 :     $path = "$dir/$id";
570 :     last unless -e $path;
571 :     $id++;
572 :     }
573 : olson 1.61 }
574 :    
575 : parrello 1.108 Tracer::Insure($path);
576 : olson 1.61
577 :     if ($name)
578 :     {
579 : parrello 1.69 open(F, ">$path/NAME");
580 :     $name =~ s/\n.*$//s;
581 :     print F "$name\n";
582 :     close(F);
583 : olson 1.61 }
584 :    
585 :     #
586 :     # Write the file if we have one.
587 :     #
588 :    
589 :     if ($fh)
590 :     {
591 : parrello 1.69 my($ext, $buf);
592 : parrello 1.73
593 : parrello 1.69 if (read($fh, $buf, 4096))
594 :     {
595 :     my($ext) = $self->classify_image_type($buf);
596 :     open(D, ">$path/diagram$ext");
597 :     print D $buf;
598 : parrello 1.73
599 : parrello 1.69 while (read($fh, $buf, 4096))
600 :     {
601 :     print D $buf;
602 :     }
603 :     close(D);
604 :     }
605 :     close($fh);
606 : olson 1.7 }
607 : olson 1.65
608 :     #
609 :     # And write the HTML file if we have one.
610 :     #
611 :     if ($html_fh)
612 :     {
613 : parrello 1.69 my $buf;
614 :     open(D, ">$path/diagram.html");
615 : parrello 1.73
616 : parrello 1.69 while (read($html_fh, $buf, 4096))
617 :     {
618 :     print D $buf;
619 :     }
620 :     close(D);
621 :     close($html_fh);
622 : olson 1.65 }
623 : paarmann 1.98
624 :     return $id;
625 : olson 1.7 }
626 : parrello 1.60
627 : bartels 1.125 sub create_new_illustration
628 :     {
629 :     my( $self, $fh, $name, $id, $overwrite ) = @_;
630 :    
631 :     #
632 :     # Get a new id.
633 :     #
634 :    
635 :     my $dir = "$self->{dir}/diagrams";
636 :     my $old_dir = "$self->{dir}/old_diagrams";
637 :    
638 :     Tracer::Insure($dir);
639 :     Tracer::Insure($old_dir);
640 :    
641 :     my $path;
642 :    
643 :     if (defined($id))
644 :     {
645 :     #
646 :     # Ensure this id doesn't already exist.
647 :     #
648 :    
649 :     $path = "$dir/$id";
650 :    
651 :     if (-d $path)
652 :     {
653 :     if (!$overwrite)
654 :     {
655 :     confess "Diagram id $id already exists in subsystem $self->{name}";
656 :     }
657 :     else
658 :     {
659 :     my $opath = "$old_dir/$id." . time;
660 :     rename($path, $opath);
661 :     }
662 :     }
663 :    
664 :     }
665 :     else
666 :     {
667 :     $id = "d01";
668 :    
669 :     while (1)
670 :     {
671 :     $path = "$dir/$id";
672 :     last unless -e $path;
673 :     $id++;
674 :     }
675 :     }
676 :    
677 :     Tracer::Insure($path);
678 :    
679 :     if ($name)
680 :     {
681 :     open(F, ">$path/NAME");
682 :     $name =~ s/\n.*$//s;
683 :     print F "$name\n";
684 :     close(F);
685 :     }
686 :    
687 :     #
688 :     # Write the file if we have one.
689 :     #
690 :    
691 :     if ($fh)
692 :     {
693 :     my($ext, $buf);
694 :    
695 :     if (read($fh, $buf, 4096))
696 :     {
697 :     my($ext) = $self->classify_image_type($buf);
698 :     open(D, ">$path/diagram$ext");
699 :     print D $buf;
700 :    
701 :     while (read($fh, $buf, 4096))
702 :     {
703 :     print D $buf;
704 :     }
705 :     close(D);
706 :     }
707 :     close($fh);
708 :     }
709 :    
710 :     return $id;
711 :     }
712 :    
713 : olson 1.65 sub upload_new_image
714 :     {
715 :     my($self, $id, $fh) = @_;
716 :    
717 : olson 1.67 if (!$fh)
718 :     {
719 : parrello 1.69 warn "Subsystem::upload_new_image aborting: fh is undef\n";
720 :     return;
721 : olson 1.67 }
722 :    
723 : olson 1.65
724 :     my $dir = "$self->{dir}/diagrams/$id";
725 :    
726 : olson 1.67 if (not -d $dir)
727 :     {
728 : parrello 1.69 warn "Subsystem::upload_new_image aborting: $dir does not exist\n";
729 :     return;
730 : olson 1.67 }
731 : olson 1.65
732 :     #
733 :     # remove any old diagram images.
734 :     #
735 :    
736 :     for my $path (<$dir/diagram.{png,gif,jpg}>)
737 :     {
738 : parrello 1.69 unlink($path);
739 : olson 1.65 }
740 :    
741 :     my($ext, $buf);
742 : parrello 1.73
743 : olson 1.65 if (read($fh, $buf, 4096))
744 :     {
745 : parrello 1.69 my($ext) = $self->classify_image_type($buf);
746 : olson 1.67
747 : parrello 1.69 if (!open(D, ">$dir/diagram$ext"))
748 :     {
749 :     warn "Subsystem::upload_new_image open failed for $dir/diagram$ext: $!\n";
750 :     close($fh);
751 :     return;
752 :     }
753 :    
754 :     warn "Subsystem::upload_new_image classified new image as $ext\n";
755 :     print D $buf;
756 : parrello 1.73
757 : parrello 1.69 while (read($fh, $buf, 4096))
758 :     {
759 :     print D $buf;
760 :     }
761 :     close(D);
762 : olson 1.65 }
763 : olson 1.67 else
764 :     {
765 : parrello 1.69 warn "Subsystem::upload_new_image read failed for $fh: $!\n";
766 : olson 1.67 }
767 :    
768 :     warn "Subsystem::upload_new_image complete: " . `/bin/ls -l '$dir'`;
769 :    
770 : olson 1.65 close($fh);
771 :     }
772 :    
773 :     sub upload_new_html
774 :     {
775 :     my($self, $id, $fh) = @_;
776 :    
777 : olson 1.67 if (!$fh)
778 :     {
779 : parrello 1.69 warn "Subsystem::upload_new_html aborting: fh is undef\n";
780 :     return;
781 : olson 1.67 }
782 : olson 1.65
783 :     my $dir = "$self->{dir}/diagrams/$id";
784 :    
785 : olson 1.67 if (not -d $dir)
786 :     {
787 : parrello 1.69 warn "Subsystem::upload_new_html aborting: $dir does not exist\n";
788 :     return;
789 : olson 1.67 }
790 : olson 1.65
791 :     my($buf);
792 :    
793 : olson 1.67 if (!open(D, ">$dir/diagram.html"))
794 :     {
795 : parrello 1.69 warn "Subsystem::upload_new_html open failed for $dir/diagram.html: $!\n";
796 :     return;
797 : olson 1.67 }
798 : olson 1.65
799 : olson 1.67 my $rc;
800 :     while ($rc = read($fh, $buf, 4096))
801 : olson 1.65 {
802 : parrello 1.69 print D $buf;
803 : olson 1.65 }
804 : olson 1.67 if (!defined($rc))
805 :     {
806 : parrello 1.69 warn "Subsystem::upload_new_html read failed for $fh: $!\n";
807 : olson 1.67 }
808 :    
809 :     warn "Subsystem::upload_new_html complete: " . `/bin/ls -l '$dir'`;
810 :    
811 : olson 1.65 close(D);
812 :     close($fh);
813 :     }
814 :    
815 :     sub classify_image_type
816 :     {
817 :     my($self, $buf) = @_;
818 :    
819 :     my $ext;
820 : parrello 1.73
821 : olson 1.65 #
822 :     # Determine file type, for PNG / JPG / GIF. If we could be assured
823 :     # the ImageMagick identify app worked properly, we'd use that instead.
824 :     #
825 :     # Maybe later.
826 :     #
827 : parrello 1.73
828 : olson 1.65 if (substr($buf, 0, 8) eq "\x89\x50\x4e\x47\x0d\x0a\x1a\x0a")
829 :     {
830 : parrello 1.69 $ext = ".png";
831 : olson 1.65 }
832 :     elsif (substr($buf, 0, 3) eq "GIF")
833 :     {
834 : parrello 1.69 $ext = ".gif";
835 : olson 1.65 }
836 :     elsif (substr($buf, 0, 2) eq "\xff\xd8" and substr($buf, 6, 4) eq "JFIF")
837 :     {
838 : parrello 1.69 $ext = ".jpg";
839 : olson 1.65 }
840 :     else
841 :     {
842 : parrello 1.69 warn "Unknown file type in new diagram\n";
843 :     $ext = ".png";
844 : olson 1.65 }
845 :    
846 :     return $ext;
847 :     }
848 :    
849 :    
850 : olson 1.7 #
851 : olson 1.5 # Synchronize the database index for this subsystem to the
852 :     # subsystem data.
853 :     #
854 :     # We assume the table already exists.
855 : parrello 1.60 #
856 : olson 1.5
857 :     sub db_sync
858 :     {
859 :     my($self, $skip_delete) = @_;
860 :    
861 : olson 1.84 if ($self->{empty_ss})
862 :     {
863 :     warn "Not synching empty subsystem $self->{name}\n";
864 :     return;
865 :     }
866 :    
867 : olson 1.5 my $rdbH = $self->{fig}->db_handle();
868 :    
869 :     if (!$skip_delete)
870 :     {
871 : parrello 1.69 $self->delete_indices();
872 : overbeek 1.94 $self->delete_aux();
873 :     }
874 :    
875 :     my @aux_roles = map { $self->get_subsetC_roles($_) }
876 :     grep { $_ =~ /^(AUX|auxiliary)/ }
877 :     $self->get_subset_namesC;
878 :    
879 :     my $nameQ = quotemeta $self->{name};
880 :     foreach my $role (@aux_roles)
881 :     {
882 :     my $roleQ = quotemeta $role;
883 :     $rdbH->SQL("INSERT INTO aux_roles ( subsystem, role) VALUES ('$nameQ','$roleQ')");
884 : olson 1.5 }
885 :    
886 : olson 1.57 my $tmp = "$FIG_Config::temp/ixsub.$$";
887 :     open(TMP, ">$tmp") or die "Cannot open tmpfile $tmp: $!\n";
888 :    
889 : olson 1.5 #
890 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
891 :     #
892 :    
893 : olson 1.70 # my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?, ?)");
894 : olson 1.6
895 : olson 1.70 my @roles = $self->get_roles();
896 :     for my $genome ($self->get_genomes())
897 : olson 1.5 {
898 : olson 1.70 my $gidx = $self->get_genome_index($genome);
899 :     my $variant = $self->get_variant_code($gidx);
900 : olson 1.71 # print "Index $genome variant=$variant\n";
901 : olson 1.70 my $row = $self->get_row($gidx);
902 :    
903 :     for my $i (0..$#$row)
904 :     {
905 :     my $cell = $row->[$i];
906 :     my $role = $roles[$i];
907 :     if ($cell)
908 :     {
909 :     for my $peg (@$cell)
910 :     {
911 :     # $sth->execute($peg, $self->{name}, $role);
912 :     if ($self->{old_database})
913 :     {
914 :     print TMP "$peg\t$self->{name}\t$role\n";
915 :     }
916 :     else
917 :     {
918 :     print TMP "$peg\t$self->{name}\t$role\t$variant\n";
919 :     }
920 :     }
921 :     }
922 :     }
923 : olson 1.5 }
924 : olson 1.57 close(TMP);
925 :     $rdbH->load_table(file => $tmp,
926 : parrello 1.69 tbl => 'subsystem_index');
927 : olson 1.5 }
928 :    
929 : olson 1.22 #
930 :     # Delete this subsystem's entries from the database index.
931 :     #
932 :     sub delete_indices
933 :     {
934 :     my($self) = @_;
935 :    
936 :     my $rdbH = $self->{fig}->db_handle();
937 :    
938 : olson 1.70 $rdbH->SQL("DELETE FROM subsystem_index where subsystem = ?", undef, $self->{name});
939 : olson 1.22 }
940 :    
941 : overbeek 1.94 sub delete_aux
942 :     {
943 :     my($self) = @_;
944 :    
945 :     my $rdbH = $self->{fig}->db_handle();
946 :    
947 :     $rdbH->SQL("DELETE FROM aux_roles where subsystem = ?", undef, $self->{name});
948 :     }
949 :    
950 :     sub is_aux_role {
951 :     my($self,$role) = @_;
952 :    
953 :     my $rdbH = $self->{fig}->db_handle();
954 : overbeek 1.95 if (! $rdbH->table_exists('aux_roles')) { return 0 }
955 : overbeek 1.94 my $nameQ = quotemeta $self->{name};
956 :     my $roleQ = quotemeta $role;
957 :     my $q = "SELECT subsystem FROM aux_roles WHERE subsystem = '$nameQ' AND role = '$roleQ'";
958 :    
959 :     my $relational_db_response;
960 :     return (($relational_db_response = $rdbH->SQL($q)) && (@$relational_db_response > 0));
961 :     }
962 : parrello 1.119
963 : overbeek 1.94
964 : olson 1.1 sub load
965 :     {
966 :     my($self) = @_;
967 :    
968 :     #
969 :     # Load the subsystem.
970 :     #
971 :    
972 :     my $ssa;
973 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
974 :     {
975 : heiko 1.87 Trace("Spreadsheet does not exist in subsystem $self->{name}") if T(1);
976 : olson 1.84 $self->{empty_ss}++;
977 : parrello 1.69 return;
978 : olson 1.1 }
979 :    
980 :     local $/ = "//\n";
981 :    
982 :     my $roles = <$ssa>;
983 :     if ($roles)
984 :     {
985 : parrello 1.69 $roles =~ s,$/$,,;
986 :     #
987 :     # Split on newline, filter for non-empty lines.
988 :     #
989 :     my @roles = split("\n", $roles);
990 : parrello 1.60
991 : parrello 1.69 @roles = grep { $_ ne "" } @roles;
992 : parrello 1.60
993 : parrello 1.69 $self->load_roles(@roles);
994 : olson 1.1 }
995 :    
996 :     my $subsets = <$ssa>;
997 :     if ($subsets)
998 :     {
999 : parrello 1.69 $subsets =~ s,$/$,,;
1000 :     $self->load_subsets($subsets);
1001 : olson 1.1 }
1002 :    
1003 :     $/ = "\n";
1004 :    
1005 : overbeek 1.35 $self->load_row_subsets();
1006 : olson 1.1 $self->load_genomes($ssa);
1007 :    
1008 : bartels 1.126 # now load the empty cell information
1009 :     $self->load_emptycells();
1010 :    
1011 : olson 1.1 #
1012 :     # Now load the rest of the info.
1013 :     #
1014 :    
1015 : overbeek 1.58 $self->load_reactions();
1016 : olson 1.105 $self->load_hope_kegg_info();
1017 :     $self->load_hope_reactions();
1018 :     $self->load_hope_reaction_notes();
1019 :     $self->load_hope_reaction_links();
1020 :     $self->load_hope_curation_notes();
1021 : olson 1.1 $self->load_notes();
1022 : redwards 1.44 $self->load_classification();
1023 : olson 1.1 $self->load_version();
1024 :     $self->load_exchangable();
1025 : olson 1.17 $self->load_curation();
1026 : olson 1.84
1027 :     return 1;
1028 : olson 1.1 }
1029 :    
1030 : bartels 1.126 sub load_emptycells
1031 :     {
1032 :     my($self) = @_;
1033 :    
1034 :     my $absencehash = {};
1035 :     if (open(ECS,"<$self->{dir}/emptycells"))
1036 :     {
1037 :     while (defined($_ = <ECS>))
1038 :     {
1039 :     my ( $genome, $frabbr, $value ) = split( '\t', $_ );
1040 :     $absencehash->{ $genome }->{ $frabbr } = $value;
1041 :     }
1042 :     close(ECS);
1043 :     }
1044 :     $self->{emptycells} = $absencehash;
1045 :     }
1046 :    
1047 :    
1048 : olson 1.1 sub load_notes
1049 :     {
1050 :     my($self) = @_;
1051 :    
1052 : olson 1.110 #$self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
1053 :    
1054 :     my $nh = new FileHandle(File::Spec->catfile($self->{dir}, "notes"));
1055 :    
1056 :     $nh or return;
1057 :    
1058 :     my $section = "NOTES";
1059 :     my $text;
1060 :    
1061 :     my $all;
1062 :     $_ = <$nh>;
1063 :     while (defined($_))
1064 :     {
1065 :     $all .= $_;
1066 :     if (/^$notes_separator$/)
1067 :     {
1068 :     #
1069 :     # Next line after the separator is the new section name, a single word. If the
1070 :     # line doesn't match that, push it (and the current line) into the text and continue.
1071 :     #
1072 :     my $new_section = <$nh>;
1073 :     if ($new_section =~ /^(\w+)\s*$/)
1074 :     {
1075 :     $new_section = $1;
1076 :     $self->handle_note_section($section, $text) if defined($text);
1077 :     $section = $new_section;
1078 :     $text = '';
1079 :     $_ = <$nh>;
1080 :     }
1081 :     else
1082 :     {
1083 :     $text .= $_;
1084 :     $_ = $section;
1085 :     }
1086 :     }
1087 :     else
1088 :     {
1089 :     $text .= $_;
1090 :     $_ = <$nh>;
1091 :     }
1092 :     }
1093 :     $self->handle_note_section($section, $text);
1094 :     $self->{raw_notes} = $all;
1095 :     }
1096 :    
1097 :     sub handle_note_section
1098 :     {
1099 :     my($self, $section, $text) = @_;
1100 : parrello 1.119
1101 : parrello 1.111 # print "Got section $section text=$text\n";
1102 : olson 1.110
1103 :     my $sname = lc($section);
1104 :     if (defined($defined_sections{$sname}))
1105 :     {
1106 :     $self->{$sname} = $text;
1107 :     }
1108 :     else
1109 :     {
1110 :     $self->{other_sections}->{$section} = $text;
1111 :     warn "Loaded unknown section name $section\n";
1112 :     }
1113 : olson 1.1 }
1114 :    
1115 : olson 1.105 sub load_hope_kegg_info
1116 :     {
1117 :     my($self) =@_;
1118 :    
1119 : dejongh 1.118 $self->{hope_scenarios} = {};
1120 :    
1121 : olson 1.105 if (open(HOPE_KEGG,"<$self->{dir}/hope_kegg_info"))
1122 :     {
1123 :     my @lines = <HOPE_KEGG>;
1124 : parrello 1.119
1125 : olson 1.105 for (my $i = 0; $i < scalar @lines; $i += 6)
1126 :     {
1127 :     if (defined $lines[$i])
1128 :     {
1129 :     chomp $lines[$i];
1130 :     $self->add_hope_scenario($lines[$i]);
1131 :     }
1132 :     if (defined $lines[$i+1])
1133 :     {
1134 :     chomp $lines[$i+1];
1135 :     $self->set_hope_input_compounds($lines[$i], $lines[$i+1]);
1136 :     }
1137 :     if (defined $lines[$i+2])
1138 :     {
1139 :     chomp $lines[$i+2];
1140 :     $self->set_hope_output_compounds($lines[$i], $lines[$i+2]);
1141 :     }
1142 :     if (defined $lines[$i+3])
1143 :     {
1144 :     chomp $lines[$i+3];
1145 :     $self->set_hope_map_ids($lines[$i], $lines[$i+3]);
1146 :     }
1147 :     if (defined $lines[$i+4])
1148 :     {
1149 :     chomp $lines[$i+4];
1150 :     $self->set_hope_additional_reactions($lines[$i], $lines[$i+4]);
1151 :     }
1152 :     if (defined $lines[$i+5])
1153 :     {
1154 :     chomp $lines[$i+5];
1155 :     $self->set_hope_ignore_reactions($lines[$i], $lines[$i+5]);
1156 :     }
1157 :     }
1158 :    
1159 :     close(HOPE_KEGG);
1160 :     }
1161 :     }
1162 :    
1163 :     sub load_hope_curation_notes
1164 :     {
1165 :     my($self) = @_;
1166 :    
1167 : olson 1.109 $self->{hope_curation_notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "hope_curation_notes"));
1168 : olson 1.105 }
1169 :    
1170 : overbeek 1.58 sub load_reactions
1171 :     {
1172 :     my($self) = @_;
1173 :    
1174 :     my $reactions = undef;
1175 :     if (open(REACT,"<$self->{dir}/reactions"))
1176 :     {
1177 : parrello 1.69 while (defined($_ = <REACT>))
1178 :     {
1179 :     if ($_ =~ /^(\S.*\S)\t(\S+)/)
1180 :     {
1181 :     push(@{$reactions->{$1}},split(/,\s*/,$2));
1182 :     }
1183 :     }
1184 :     close(REACT);
1185 : overbeek 1.58 }
1186 :    
1187 :     $self->{reactions} = $reactions;
1188 :     }
1189 : olson 1.105 sub load_hope_reactions
1190 :     {
1191 :     my($self) = @_;
1192 :    
1193 : parrello 1.120 my $hope_reactions = FIGRules::GetHopeReactions($self, $self->{dir});
1194 : olson 1.105
1195 :     $self->{hope_reactions} = $hope_reactions;
1196 :     }
1197 :    
1198 :     sub load_hope_reaction_notes
1199 :     {
1200 :     my($self) = @_;
1201 :    
1202 :     my $hope_reaction_notes = {};
1203 :     if (open(HOPE_REACTION_NOTES,"<$self->{dir}/hope_reaction_notes"))
1204 :     {
1205 :     while (defined($_ = <HOPE_REACTION_NOTES>))
1206 :     {
1207 :     if ($_ =~ /^(\S.*\S)\t(.+)$/)
1208 :     {
1209 :     $hope_reaction_notes->{$1} = $2;
1210 :     }
1211 :     }
1212 :     close(HOPE_REACTION_NOTES);
1213 :     }
1214 :    
1215 :     $self->{hope_reaction_notes} = $hope_reaction_notes;
1216 :     }
1217 :    
1218 :     sub load_hope_reaction_links
1219 :     {
1220 :     my($self) = @_;
1221 : parrello 1.119
1222 : dejongh 1.118 my $hope_reaction_links = {};
1223 : olson 1.105 if (open(HOPE_REACTION_LINKS,"<$self->{dir}/hope_reaction_links"))
1224 :     {
1225 :     while (defined($_ = <HOPE_REACTION_LINKS>))
1226 :     {
1227 :     if ($_ =~ /^(\S.*\S)\t(.+)$/)
1228 :     {
1229 :     $hope_reaction_links->{$1} = $2;
1230 :     }
1231 :     }
1232 :     close(HOPE_REACTION_LINKS);
1233 :     }
1234 : parrello 1.119
1235 : olson 1.105 $self->{hope_reaction_links} = $hope_reaction_links;
1236 :     }
1237 : overbeek 1.58
1238 : redwards 1.44 sub load_classification
1239 :     {
1240 :     my($self) = @_;
1241 :    
1242 : olson 1.109 my $class = &FIG::file_read(File::Spec->catfile($self->{dir}, "CLASSIFICATION"));
1243 : overbeek 1.116 my @tmp = grep { $_ =~ /\S/ } split(/\n/,$class);
1244 :     $class = join("\n",@tmp);
1245 : redwards 1.44 if ($class) {$self->{classification} = [split /\t/, $class]} else {$self->{classification} = ['', '', '']}
1246 :     }
1247 :    
1248 : olson 1.17 sub load_curation
1249 :     {
1250 :     my($self) = @_;
1251 :    
1252 : overbeek 1.47 # my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
1253 :     #
1254 :     # $_ = $l[0];
1255 :     # chomp;
1256 : olson 1.17
1257 : overbeek 1.47 if (open(LOG,"<$self->{dir}/curation.log"))
1258 : olson 1.17 {
1259 : overbeek 1.115 my $last = 0;
1260 : parrello 1.69 while (defined($_ = <LOG>))
1261 :     {
1262 : overbeek 1.115 if (/^(\d+)\t(\S+)\s+started/)
1263 : parrello 1.69 {
1264 : overbeek 1.115 $self->{curator} = $2;
1265 :     $self->{created} = $1;
1266 : parrello 1.69 }
1267 : overbeek 1.115 if ((/^(\d+)/) && ($1 > $last))
1268 :     {
1269 :     $last = $1;
1270 :     }
1271 : parrello 1.69 }
1272 :     close(LOG);
1273 : overbeek 1.115 if ($last) { $self->{last_updated} = $last; }
1274 : olson 1.17 }
1275 :     }
1276 :    
1277 : olson 1.1 sub load_version
1278 :     {
1279 :     my($self) = @_;
1280 :    
1281 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
1282 :     my $l = $l[0];
1283 :     chomp $l;
1284 :     $self->{version} = $l;
1285 :     }
1286 :    
1287 :     sub load_exchangable
1288 :     {
1289 :     my($self) = @_;
1290 :    
1291 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
1292 :    
1293 :     if (-f $file)
1294 :     {
1295 : parrello 1.69 my($l, @l);
1296 : olson 1.1
1297 : parrello 1.69 @l = &FIG::file_head($file, 1);
1298 :     $l = $l[0];
1299 :     chomp $l;
1300 :     $self->{exchangable} = $l;
1301 : olson 1.1 }
1302 :     else
1303 :     {
1304 : parrello 1.69 $self->{exchangable} = 0;
1305 : olson 1.1 }
1306 :     }
1307 :    
1308 :    
1309 :     sub load_roles
1310 :     {
1311 :     my($self, @roles) = @_;
1312 :    
1313 : olson 1.5 $self->{abbr} = {};
1314 :     $self->{role_index} = {};
1315 :     $self->{roles} = [];
1316 :     $self->{role_abbrs} = [];
1317 :    
1318 : olson 1.25 my $i = 0;
1319 : olson 1.1 for my $role (@roles)
1320 :     {
1321 : parrello 1.69 my($abbr, $name) = split(/\t/, $role);
1322 :     $abbr =~ s/^\s+//;
1323 :     $abbr =~ s/\s+$//;
1324 :     $name =~ s/^\s+//;
1325 :     $name =~ s/\s+$//;
1326 :     # print "Role $i: abbr=$abbr name=$name\n";
1327 :    
1328 :     $self->{abbr}->{$abbr} = $name;
1329 :     $self->{role_index}->{$name} = $i;
1330 :     $self->{roles}->[$i] = $name;
1331 :     $self->{role_abbrs}->[$i] = $abbr;
1332 :     $i++;
1333 : olson 1.1 }
1334 :     }
1335 : parrello 1.60
1336 : olson 1.1 sub load_subsets
1337 :     {
1338 :     my($self, $subsets) = @_;
1339 :    
1340 :     #
1341 :     # Column and row subsets.
1342 :     #
1343 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
1344 :    
1345 :     #
1346 :     # Handle column subsets.
1347 :     #
1348 :    
1349 :     my @subsetsC = split(/\n/, $subsetsC);
1350 :    
1351 :     #
1352 :     # Determine active subset.
1353 :     #
1354 :    
1355 :     my $active_subsetC;
1356 :     if (@subsetsC > 0)
1357 :     {
1358 : parrello 1.69 $active_subsetC = pop(@subsetsC);
1359 : olson 1.1 }
1360 :     else
1361 :     {
1362 : parrello 1.69 $active_subsetC = 'All';
1363 : olson 1.1 }
1364 :    
1365 :     $self->{col_active_subset} = $active_subsetC;
1366 :    
1367 :     $self->{col_subsets} = [];
1368 : olson 1.5 $self->{col_subset_members} = {};
1369 : parrello 1.60
1370 : olson 1.1 for my $subset (@subsetsC)
1371 :     {
1372 : parrello 1.69 my($name, @members) = split(/\s+/, $subset);
1373 : olson 1.1
1374 : parrello 1.69 #
1375 :     # File format has members 1-based.
1376 :     #
1377 :    
1378 :     @members = map { $_ - 1 } @members;
1379 :    
1380 :     push(@{$self->{col_subsets}}, $name);
1381 :    
1382 :     #
1383 :     # Map role members from name to index if necessary.
1384 :     #
1385 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
1386 :     #
1387 :     @members = map {
1388 :     if (my $new = $self->{role_index}->{$_})
1389 :     {
1390 :     $new;
1391 :     }
1392 :     else
1393 :     {
1394 :     $_;
1395 :     }
1396 :     } @members;
1397 : olson 1.1
1398 : parrello 1.69 @{$self->{col_subset_members}->{$name}} = @members;
1399 : olson 1.1 }
1400 :    
1401 :     #
1402 :     # Now the row subsets.
1403 :     #
1404 :    
1405 :     chomp($subsetsR);
1406 :    
1407 :     if ($subsetsR =~ /(\S+.*\S+)/)
1408 :     {
1409 : parrello 1.69 $self->{row_active_subset} = $1;
1410 : olson 1.1 }
1411 :     else
1412 :     {
1413 : parrello 1.69 $self->{row_active_subset} = 'All';
1414 : olson 1.1 }
1415 : overbeek 1.35 $self->{row_subsets} = [];
1416 : olson 1.1 }
1417 :    
1418 :     sub load_genomes
1419 :     {
1420 :     my($self, $fh) = @_;
1421 :     my(%seen);
1422 :    
1423 : olson 1.5 $self->{spreadsheet} = [];
1424 : olson 1.29 $self->{spreadsheet_inv} = [];
1425 : olson 1.5 $self->{genome} = [];
1426 :     $self->{genome_index} = {};
1427 :     $self->{variant_code} = [];
1428 : parrello 1.91 $self->{peg_roles} = {};
1429 : olson 1.5
1430 : olson 1.25 my $nr = @{$self->{roles}};
1431 :    
1432 :     my $i = 0;
1433 : olson 1.1 while (<$fh>)
1434 :     {
1435 : parrello 1.69 next if ($_ =~ /^\/\//);
1436 :     chomp;
1437 :    
1438 :     my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
1439 :     $variant_code =~ s/ //g;
1440 : overbeek 1.82 next if ($seen{$genome} || (! $self->{fig}->is_genome($genome)));
1441 : parrello 1.69 $seen{$genome}++;
1442 :    
1443 :     my $j = 0;
1444 :    
1445 :     $self->{genome}->[$i] = $genome;
1446 :     $self->{genome_index}->{$genome} = $i;
1447 :     $self->{variant_code}->[$i] = $variant_code;
1448 : olson 1.1
1449 : parrello 1.69 my $thislen = @row;
1450 :    
1451 :     # if ($thislen != $nr)
1452 :     # {
1453 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
1454 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
1455 :     # }
1456 :    
1457 :     for my $j (0..$nr - 1)
1458 :     {
1459 :     my $entry = $row[$j];
1460 : overbeek 1.99 # OLD my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
1461 :     my $e2 = [map { ($_ =~ /^[a-zA-Z]+\.\d+$/) ? "fig|$genome.$_" : "fig|$genome.peg.$_" }
1462 :     split(/,/, $entry)
1463 :     ];
1464 : parrello 1.69 $self->{spreadsheet}->[$i]->[$j] = $e2;
1465 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
1466 : parrello 1.91 for my $fidj (@{$e2}) {
1467 :     push @{$self->{peg_roles}->{$fidj}}, $j;
1468 :     }
1469 : parrello 1.69 $j++;
1470 :     }
1471 :     $i++;
1472 : parrello 1.60
1473 : olson 1.1 }
1474 :     }
1475 :    
1476 : olson 1.92 sub add_virtual_genome
1477 :     {
1478 :     my($self, $name, $genome, $variant, $bindings) = @_;
1479 :    
1480 :     my $gidx = @{$self->{genome}};
1481 :    
1482 :     $self->{genome}->[$gidx] = $genome;
1483 :     $self->{genome_index}->{$genome} = $gidx;
1484 :     $self->{variant_code}->[$gidx] = $variant;
1485 :    
1486 :     for my $role (keys %$bindings)
1487 :     {
1488 :     my $role_idx = $self->get_role_index($role);
1489 :    
1490 :     my $plist = $bindings->{$role};
1491 : parrello 1.119
1492 : olson 1.92 # warn "Role $role maps to $role_idx with pegs @$plist\n";
1493 :    
1494 :     $self->{spreadsheet}->[$gidx]->[$role_idx] = $plist;
1495 :     $self->{spreadsheet_inv}->[$role_idx]->[$gidx] = $plist;
1496 :     for my $peg (@$plist)
1497 :     {
1498 :     # warn "Peg $peg => $role_idx\n";
1499 :     push(@{$self->{peg_roles}->{$peg}}, $role_idx);
1500 :     }
1501 :     }
1502 :     # warn "After add virtual: \n", Dumper($self), "\n";
1503 :     }
1504 :    
1505 : parrello 1.91 =head3 get_peg_roles
1506 :    
1507 : parrello 1.119 my @cols = $sub->get_peg_roles($peg);
1508 : parrello 1.91
1509 :     Return the column numbers in which the specified PEG appears.
1510 :    
1511 :     =over 4
1512 :    
1513 :     =item peg
1514 :    
1515 :     ID of the feature whose roles are desired.
1516 :    
1517 :     =item RETURN
1518 :    
1519 :     Returns a list of the column numbers in which the peg appears, or an empty
1520 :     list if it is not found.
1521 :    
1522 :     =back
1523 :    
1524 :     =cut
1525 :    
1526 :     sub get_peg_roles {
1527 :     # Get the parameters.
1528 :     my ($self, $peg) = @_;
1529 :     # Declare the return variable.
1530 :     my @retVal;
1531 :     # Find this peg's roles.
1532 :     if (exists $self->{peg_roles}->{$peg}) {
1533 :     @retVal = @{$self->{peg_roles}->{$peg}};
1534 :     }
1535 :     # Return the result.
1536 :     return @retVal;
1537 :     }
1538 :    
1539 : olson 1.117 =head3 get_all_pegs
1540 :    
1541 : parrello 1.119 my @pegs = $sub->get_all_pegs();
1542 : olson 1.117
1543 :     Return all pegs appearing in the subsystem.
1544 :    
1545 :     =cut
1546 :    
1547 :     sub get_all_pegs {
1548 :     my ($self) = @_;
1549 :     return keys %{$self->{peg_roles}};
1550 :     }
1551 :    
1552 : parrello 1.73 =head3 write_subsystem
1553 : olson 1.25
1554 :     Write the subsystem to the disk. Updates on-disk data with notes,
1555 :     etc. Perform backups when necessary.
1556 :    
1557 :     =cut
1558 :    
1559 :     sub write_subsystem
1560 :     {
1561 : olson 1.68 my($self, $force_backup) = @_;
1562 : olson 1.25
1563 :     my $dir = $self->{dir};
1564 :     my $fig = $self->{fig};
1565 :    
1566 :     #
1567 :     # We first move the existing spreadsheet and notes files (if present)
1568 :     # to spreadsheet~ and notes~, and current state.
1569 :     #
1570 :    
1571 :     my $ss_file = "$dir/spreadsheet";
1572 :     my $ss_bak = "$dir/spreadsheet~";
1573 :     my $notes_file = "$dir/notes";
1574 :     my $notes_bak = "$dir/notes~";
1575 : overbeek 1.58 my $reactions_file = "$dir/reactions";
1576 :     my $reactions_bak = "$dir/reactions~";
1577 : olson 1.105 my $hope_kegg_info_file = "$dir/hope_kegg_info";
1578 :     my $hope_kegg_info_bak = "$dir/hope_kegg_info~";
1579 :     my $hope_reactions_file = "$dir/hope_reactions";
1580 :     my $hope_reactions_bak = "$dir/hope_reactions~";
1581 :     my $hope_reaction_notes_file = "$dir/hope_reaction_notes";
1582 :     my $hope_reaction_notes_bak = "$dir/hope_reaction_notes~";
1583 :     my $hope_reaction_links_file = "$dir/hope_reaction_links";
1584 :     my $hope_reaction_links_bak = "$dir/hope_reaction_links~";
1585 :     my $hope_curation_notes_file = "$dir/hope_curation_notes";
1586 :     my $hope_curation_notes_bak = "$dir/hope_curation_notes~";
1587 : bartels 1.126 my $emptycells_file = "$dir/emptycells";
1588 :     my $emptycells_bak = "$dir/emptycells~";
1589 : redwards 1.44 my $classification_file = "$dir/CLASSIFICATION";
1590 : olson 1.25
1591 :     if (-f $ss_file)
1592 :     {
1593 : parrello 1.69 rename($ss_file, $ss_bak);
1594 : olson 1.25 }
1595 :    
1596 :     if (-f $notes_file)
1597 :     {
1598 : parrello 1.69 rename($notes_file, $notes_bak);
1599 : olson 1.25 }
1600 :    
1601 : overbeek 1.58 if (-f $reactions_file)
1602 :     {
1603 : parrello 1.69 rename($reactions_file, $reactions_bak) or warn "rename $reactions_file $reactions_bak failed $!";
1604 :     # print STDERR "wrote $reactions_bak\n";
1605 : overbeek 1.58 }
1606 :    
1607 : olson 1.105 if( -f $hope_kegg_info_file)
1608 :     {
1609 :     rename($hope_kegg_info_file, $hope_kegg_info_bak) or warn "rename $hope_kegg_info_file $hope_kegg_info_bak failed $!";
1610 :     }
1611 :    
1612 :     if (-f $hope_reactions_file)
1613 :     {
1614 :     rename($hope_reactions_file, $hope_reactions_bak) or warn "rename $hope_reactions_file $hope_reactions_bak failed $!";
1615 :     # print STDERR "wrote $hope_reactions_bak\n";
1616 :     }
1617 :    
1618 :     if (-f $hope_reaction_notes_file)
1619 :     {
1620 :     rename($hope_reaction_notes_file, $hope_reaction_notes_bak) or warn "rename $hope_reaction_notes_file $hope_reaction_notes_bak failed $!";
1621 :     # print STDERR "wrote $hope_reaction_notes_bak\n";
1622 :     }
1623 :    
1624 :     if (-f $hope_reaction_links_file)
1625 :     {
1626 :     rename($hope_reaction_links_file, $hope_reaction_links_bak) or warn "rename $hope_reaction_links_file $hope_reaction_links_bak failed $!";
1627 :     # print STDERR "wrote $hope_reaction_links_bak\n";
1628 :     }
1629 :    
1630 :     if (-f $hope_curation_notes_file)
1631 :     {
1632 :     rename($hope_curation_notes_file, $hope_curation_notes_bak) or warn "rename $hope_curation_notes_file $hope_curation_notes_bak failed $!";
1633 :     # print STDERR "wrote $hope_curation_notes_bak\n";
1634 :     }
1635 :    
1636 : bartels 1.126 if (-f $emptycells_file)
1637 :     {
1638 :     rename($emptycells_file, $emptycells_bak) or warn "rename $emptycells_file $emptycells_bak failed $!";
1639 :     # print STDERR "wrote $hope_curation_notes_bak\n";
1640 :     }
1641 :    
1642 : olson 1.25 #
1643 :     # Eval this whole chunk, so that if we get any fatal errors, we can
1644 :     # roll back to the old saved data.
1645 :     #
1646 : parrello 1.60
1647 : olson 1.25 eval {
1648 : parrello 1.69 my $fh;
1649 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
1650 :     $self->write_spreadsheet($fh);
1651 :     close($fh);
1652 :     chmod(0777,$ss_file);
1653 :    
1654 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
1655 : olson 1.110 for my $section (@section_order)
1656 :     {
1657 :     print $fh "$notes_separator\n";
1658 :     print $fh uc($section) . "\n";
1659 : bartels 1.121 my $textsection = $self->{ $section };
1660 :     chomp $textsection;
1661 :     print $fh $textsection."\n";
1662 : olson 1.110 }
1663 :     for my $osection (keys %{$self->{other_sections}})
1664 :     {
1665 :     print $fh "$notes_separator\n";
1666 :     print $fh uc($osection) . "\n";
1667 : bartels 1.121 my $textosection = $self->{other_sections}->{$osection};
1668 :     chomp $textosection;
1669 :     print $fh $textosection."\n";
1670 :     # print $fh $self->{other_sections}->{$osection};
1671 : olson 1.110 }
1672 :     # print $fh "$self->{notes}";
1673 : parrello 1.119
1674 : parrello 1.69 close($fh);
1675 :     chmod(0777,$notes_file);
1676 :    
1677 :     open($fh, ">$reactions_file") or die "Cannot open $reactions_file for writing: $!\n";
1678 :     my $reactions = $self->{reactions};
1679 :     foreach $_ (sort keys(%$reactions))
1680 :     {
1681 :     print $fh "$_\t" . join(",", @{$reactions->{$_}}), "\n";
1682 :     }
1683 :     close($fh);
1684 :     chmod(0777,$reactions_file);
1685 :    
1686 : olson 1.105 open($fh, ">$hope_kegg_info_file") or die "Cannot open $hope_kegg_info_file for writing: $!\n";
1687 :     foreach my $scenario_name (keys %{$self->{hope_scenarios}})
1688 :     {
1689 :     print $fh $scenario_name, "\n";
1690 :     my $scenario = $self->{hope_scenarios}->{$scenario_name};
1691 :     my $input_compounds = $scenario->{input_compounds};
1692 :     my $temp = join ",", @$input_compounds;
1693 :     print $fh $temp , "\n";
1694 :     my $output_compounds = $scenario->{output_compounds};
1695 :     my @output_compounds_lists;
1696 :     foreach my $cpd_list (@$output_compounds)
1697 :     {
1698 :     if (scalar @$cpd_list > 1)
1699 :     {
1700 :     push @output_compounds_lists, "(".join(",",@$cpd_list).")";
1701 :     }
1702 :     else
1703 :     {
1704 :     push @output_compounds_lists, @$cpd_list;
1705 :     }
1706 :     }
1707 :     $temp = join ",", @output_compounds_lists;
1708 : parrello 1.119 print $fh $temp , "\n";
1709 : olson 1.105 my $map_ids = $scenario->{map_ids};
1710 :     $temp = join ",", @$map_ids;
1711 : parrello 1.119 print $fh $temp , "\n";
1712 : olson 1.105 my $additional_reactions = $scenario->{additional_reactions};
1713 :     $temp = join ",", @$additional_reactions;
1714 : parrello 1.119 print $fh $temp , "\n";
1715 : olson 1.105 my $ignore_reactions = $scenario->{ignore_reactions};
1716 :     $temp = join ",", @$ignore_reactions;
1717 : parrello 1.119 print $fh $temp , "\n";
1718 : olson 1.105 }
1719 :    
1720 :     close($fh);
1721 :     chmod(0777,$hope_kegg_info_file);
1722 :    
1723 :     open($fh, ">$hope_reactions_file") or die "Cannot open $hope_reactions_file for writing: $!\n";
1724 :     my $hope_reactions = $self->{hope_reactions};
1725 :     foreach $_ (sort keys(%$hope_reactions))
1726 :     {
1727 :     print $fh "$_\t" . join(",", @{$hope_reactions->{$_}}), "\n";
1728 :     }
1729 :     close($fh);
1730 :     chmod(0777,$hope_reactions_file);
1731 :    
1732 :     open($fh, ">$hope_reaction_notes_file") or die "Cannot open $hope_reaction_notes_file for writing: $!\n";
1733 :     my $hope_reaction_notes = $self->{hope_reaction_notes};
1734 :     foreach $_ (sort keys(%$hope_reaction_notes))
1735 :     {
1736 :     print $fh "$_\t" . $hope_reaction_notes->{$_}, "\n";
1737 :     }
1738 :     close($fh);
1739 :     chmod(0777,$hope_reaction_notes_file);
1740 :    
1741 :     open($fh, ">$hope_reaction_links_file") or die "Cannot open $hope_reaction_links_file for writing: $!\n";
1742 :     my $hope_reaction_links = $self->{hope_reaction_links};
1743 :     foreach $_ (sort keys(%$hope_reaction_links))
1744 :     {
1745 :     print $fh "$_\t" . $hope_reaction_links->{$_}, "\n";
1746 :     }
1747 :     close($fh);
1748 :     chmod(0777,$hope_reaction_links_file);
1749 :    
1750 :     open($fh, ">$hope_curation_notes_file") or die "Cannot open $hope_curation_notes_file for writing: $!\n";
1751 :     print $fh "$self->{hope_curation_notes}";
1752 :     close($fh);
1753 :     chmod(0777,$hope_curation_notes_file);
1754 :    
1755 : bartels 1.128 open($fh, ">$emptycells_file") or die "Cannot open $emptycells_file for writing: $!\n";
1756 :     my $gahash = $self->{emptycells};
1757 : bartels 1.129 foreach my $k1 ( keys %$gahash ) {
1758 : bartels 1.128 foreach my $k2 ( keys %{ $gahash->{ $k1 } } ) {
1759 :     print $fh $k1."\t".$k2."\t".$gahash->{ $k1 }->{ $k2 }."\n";
1760 :     }
1761 :     }
1762 :     close($fh);
1763 :     chmod(0777,$emptycells_file);
1764 : bartels 1.126
1765 : parrello 1.69 open($fh, ">$classification_file") or die "Can not open $classification_file for writing: $!\n";
1766 :     print $fh join "\t", (@{$self->{classification}}), "\n";
1767 :     close($fh);
1768 :     chmod(0777,$classification_file);
1769 :    
1770 :     $self->update_curation_log();
1771 :    
1772 :     #
1773 :     # Write out the piddly stuff.
1774 :     #
1775 :    
1776 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
1777 :     print $fh "$self->{exchangable}\n";
1778 :     close($fh);
1779 :     chmod(0777,"EXCHANGABLE");
1780 :    
1781 :     #
1782 :     # Process backup files. This is the smae process that determines when the
1783 :     # version number should be bumped, so write the version file afterward.
1784 :     #
1785 :    
1786 :     $self->update_backups($force_backup);
1787 :    
1788 :     if ($self->{version} < 100) { $self->{version} += 100 }
1789 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/VERSION: $!\n";
1790 :     print $fh "$self->{version}\n";
1791 :     close($fh);
1792 :     chmod(0777,"VERSION");
1793 : olson 1.25 };
1794 :    
1795 :     if ($@ ne "")
1796 :     {
1797 : parrello 1.69 warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
1798 : olson 1.25 }
1799 : parrello 1.60
1800 : olson 1.25 }
1801 :    
1802 :     sub update_curation_log
1803 :     {
1804 :     my($self) = @_;
1805 :    
1806 :     my $fh;
1807 :     my $file = "$self->{dir}/curation.log";
1808 :    
1809 :     my $now = time;
1810 :     my $user = $self->{fig}->get_user();
1811 :    
1812 :     if (-f $file)
1813 :     {
1814 : parrello 1.69 open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
1815 : olson 1.25 }
1816 :     else
1817 :     {
1818 : parrello 1.69 open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
1819 :     print $fh "$now\t$user\tstarted\n";
1820 : olson 1.25 }
1821 :     print $fh "$now\t$user\tupdated\n";
1822 :     close($fh);
1823 :     }
1824 :    
1825 :     sub update_backups
1826 :     {
1827 : olson 1.68 my($self, $force_backup) = @_;
1828 : olson 1.25
1829 :     my $dir = $self->{dir};
1830 :     my $fig = $self->{fig};
1831 :    
1832 :     my $ss_file = "$dir/spreadsheet";
1833 :     my $ss_bak = "$dir/spreadsheet~";
1834 :     my $notes_file = "$dir/notes";
1835 :     my $notes_bak = "$dir/notes~";
1836 : overbeek 1.58 my $reactions_file = "$dir/reactions";
1837 :     my $reactions_bak = "$dir/reactions~";
1838 : olson 1.105 my $hope_reactions_file = "$dir/hope_reactions";
1839 :     my $hope_reactions_bak = "$dir/hope_reactions~";
1840 :     my $hope_reaction_notes_file = "$dir/hope_reaction_notes";
1841 :     my $hope_reaction_notes_bak = "$dir/hope_reaction_notes~";
1842 :     my $hope_reaction_links_file = "$dir/hope_reaction_links";
1843 :     my $hope_reaction_links_bak = "$dir/hope_reaction_links~";
1844 :     my $hope_curation_notes_file = "$dir/hope_curation_notes";
1845 :     my $hope_curation_notes_bak = "$dir/hope_curation_notes~";
1846 : bartels 1.126 my $emptycells_file = "$dir/emptycells";
1847 :     my $emptycells_bak = "$dir/emptycells~";
1848 : olson 1.105 my $hope_kegg_info_file = "$dir/hope_kegg_info";
1849 :     my $hope_kegg_info_bak = "$dir/hope_kegg_info~";
1850 : olson 1.25
1851 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
1852 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
1853 : olson 1.68 my $reactions_diff = (system("cmp", "-s", $reactions_file, $reactions_bak) != 0);
1854 : overbeek 1.59 # print STDERR "reactions_file=$reactions_file reactions_bak=$reactions_bak dif=$reactions_diff\n";
1855 : olson 1.105 my $hope_reactions_diff = (system("cmp", "-s", $hope_reactions_file, $hope_reactions_bak) != 0);
1856 :     my $hope_reaction_notes_diff = (system("cmp", "-s", $hope_reaction_notes_file, $hope_reaction_notes_bak) != 0);
1857 :     my $hope_reaction_links_diff = (system("cmp", "-s", $hope_reaction_links_file, $hope_reaction_links_bak) != 0);
1858 :     my $hope_curation_notes_diff = (system("cmp", "-s", $hope_curation_notes_file, $hope_curation_notes_bak) != 0);
1859 : bartels 1.126 my $emptycells_diff = (system("cmp", "-s", $emptycells_file, $emptycells_bak) != 0);
1860 : olson 1.105 my $hope_kegg_info_diff = (system("cmp", "-s", $hope_kegg_info_file, $hope_kegg_info_bak) != 0);
1861 : olson 1.25
1862 : olson 1.105 if ($force_backup or ($ss_diff > 10) or ($notes_diff > 10) or $reactions_diff or $hope_reactions_diff or $hope_reaction_notes_diff or $hope_reaction_links_diff or $hope_curation_notes_diff or $hope_kegg_info_diff)
1863 : olson 1.25 {
1864 : parrello 1.69 $self->make_backup();
1865 : olson 1.25 }
1866 :     }
1867 :    
1868 :     sub make_backup
1869 :     {
1870 :     my($self) = @_;
1871 :    
1872 :     my $dir = $self->{dir};
1873 :     my $bak = "$dir/Backup";
1874 :    
1875 :     $self->{fig}->verify_dir($bak);
1876 :    
1877 :     my $ts = time;
1878 :    
1879 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
1880 :     rename("$dir/notes~", "$bak/notes.$ts");
1881 : overbeek 1.58 rename("$dir/reactions~", "$bak/reactions.$ts");
1882 : olson 1.105 rename("$dir/hope_reactions~", "$bak/hope_reactions.$ts");
1883 :     rename("$dir/hope_reaction_notes~", "$bak/hope_reaction_notes.$ts");
1884 :     rename("$dir/hope_reaction_links~", "$bak/hope_reaction_links.$ts");
1885 :     rename("$dir/hope_curation_notes~", "$bak/hope_curation_notes.$ts");
1886 : bartels 1.126 rename("$dir/emptycells~", "$bak/emptycells.$ts");
1887 : olson 1.105 rename("$dir/hope_kegg_info~", "$bak/hope_kegg_info.$ts");
1888 : olson 1.25 $self->{version}++;
1889 :     }
1890 :    
1891 :    
1892 :    
1893 : parrello 1.73 =head3 write_spreadsheet
1894 : olson 1.25
1895 : parrello 1.119 $sub->write_spreadsheet($fh);
1896 : olson 1.25
1897 :     Write the spreadsheet for this subsystem to filehandle $fh.
1898 :    
1899 :     =cut
1900 :    
1901 :     sub write_spreadsheet
1902 :     {
1903 :     my($self, $fh) = @_;
1904 :    
1905 :     $self->_write_roles($fh);
1906 :     print $fh "//\n";
1907 :    
1908 :     $self->_write_subsets($fh);
1909 :     print $fh "//\n";
1910 :    
1911 :     $self->_write_spreadsheet($fh);
1912 :     }
1913 :    
1914 :     sub _write_roles
1915 :     {
1916 :     my($self, $fh) = @_;
1917 :    
1918 :     my(@roles, @abbrs);
1919 :    
1920 :     @roles = $self->get_roles();
1921 :     @abbrs = $self->get_abbrs();
1922 :    
1923 : olson 1.100 #
1924 : olson 1.101 # Check abbreviations for validity. We disallow spaces, commas, and colons,
1925 :     # and enforce uniqueness.
1926 : olson 1.100 #
1927 :    
1928 :     my %abbrs;
1929 : olson 1.101 map { s/[\s,:]*//g; } @abbrs;
1930 : olson 1.100 map { $abbrs{$_}++ } @abbrs;
1931 :    
1932 :     for (my $i = 0; $i < @abbrs; $i++)
1933 :     {
1934 :     my $a = $abbrs[$i];
1935 :     if ($abbrs{$a} > 1)
1936 :     {
1937 :     #
1938 :     # abbrev is not unique
1939 :     #
1940 :     $a = "${a}_" . ($i + 1);
1941 :     $abbrs[$i] = $a;
1942 :     }
1943 :     }
1944 :    
1945 : olson 1.25 while (@roles)
1946 :     {
1947 : parrello 1.69 my $role = shift(@roles);
1948 :     my $abbr = shift(@abbrs);
1949 : olson 1.25
1950 : parrello 1.69 print $fh "$abbr\t$role\n";
1951 : olson 1.25 }
1952 :     }
1953 :    
1954 :     sub _write_subsets
1955 :     {
1956 :     my($self, $fh) = @_;
1957 :    
1958 : overbeek 1.31 for my $sub ($self->get_subset_namesC())
1959 : olson 1.25 {
1960 : parrello 1.69 next if ($sub eq "All");
1961 :     my @members= $self->get_subsetC($sub);
1962 : olson 1.25
1963 : parrello 1.69 #
1964 :     # member list on disk is 1-based
1965 :     #
1966 : olson 1.25
1967 : parrello 1.69 @members = map { $_ + 1 } @members;
1968 : bartels 1.130
1969 : parrello 1.69 print $fh join("\t", $sub, @members), "\n";
1970 : olson 1.25 }
1971 : overbeek 1.39 my $active_row_subset = $self->{row_active_subset};
1972 :     my $active_col_subset = $self->{col_active_subset};
1973 : bartels 1.130
1974 : overbeek 1.39 print $fh "$active_col_subset\n";
1975 : olson 1.25
1976 :     #
1977 :     # separator
1978 :     #
1979 :    
1980 :     print $fh "\n";
1981 : parrello 1.60
1982 : olson 1.25 #
1983 :     # genome subsets.
1984 :     #
1985 :    
1986 : overbeek 1.39 print $fh "$active_row_subset\n";
1987 : olson 1.25 }
1988 :    
1989 :     sub _write_spreadsheet
1990 :     {
1991 :     my($self, $fh) = @_;
1992 :    
1993 :     my(@genomes);
1994 :    
1995 :     @genomes= $self->get_genomes();
1996 :    
1997 :     for (my $i = 0; $i < @genomes; $i++)
1998 :     {
1999 : parrello 1.69 my $genome = $genomes[$i];
2000 :     my $vc = $self->get_variant_code($i);
2001 :    
2002 :     my $row = $self->get_row($i);
2003 :    
2004 :     if ($vc eq "")
2005 :     {
2006 :     $vc = "0";
2007 :     }
2008 : olson 1.122
2009 :     #
2010 :     # Validate genome before writing.
2011 :     #
2012 :    
2013 :     if ($genome !~ /^\d+\.\d+/)
2014 :     {
2015 :     next;
2016 :     }
2017 :    
2018 :     # Not sure if we want this case or not.
2019 :     # if (!$self->{fig}->is_genome($genome))
2020 :     # {
2021 :     # next;
2022 :     # }
2023 :    
2024 : parrello 1.69 print $fh "$genome\t$vc";
2025 : olson 1.25
2026 : parrello 1.69 for my $entry (@$row)
2027 :     {
2028 :     my(@p);
2029 : olson 1.25
2030 : parrello 1.69 for my $peg (@$entry)
2031 :     {
2032 : overbeek 1.99 if ($peg =~ /fig\|$genome\.(([a-zA-Z]+)\.(\d+))$/)
2033 : parrello 1.69 {
2034 : overbeek 1.99 push(@p, ($2 eq "peg") ? $3 : $1);
2035 : parrello 1.69 }
2036 :     else
2037 :     {
2038 :     warn "Bad peg $peg in cell for $genome";
2039 :     }
2040 :     }
2041 :     print $fh "\t", join(",", @p);
2042 :     }
2043 :     print $fh "\n";
2044 : olson 1.25 }
2045 :     }
2046 :    
2047 : parrello 1.73 =head3 get_genomes
2048 : olson 1.25
2049 : parrello 1.119 my @genomeList = $sub->get_genomes();
2050 : olson 1.25
2051 : parrello 1.73 Return a list of the genome IDs for this subsystem. Each genome corresponds to a row
2052 :     in the subsystem spreadsheet. Indexing into this list returns the ID of the genome
2053 :     in the specified row.
2054 : olson 1.2
2055 :     =cut
2056 : olson 1.25
2057 : olson 1.2 sub get_genomes
2058 :     {
2059 :     my($self) = @_;
2060 :    
2061 :     my $glist = $self->{genome};
2062 :    
2063 : olson 1.84 return ref($glist) ? @$glist : ();
2064 : olson 1.2 }
2065 :    
2066 : parrello 1.73 =head3 get_variant_codes
2067 :    
2068 : parrello 1.119 my @codes = $sub->get_variant_codes();
2069 : olson 1.2
2070 : parrello 1.73 Return a list of the variant codes for each genome, in row index order. The variant
2071 :     code indicates which variation of the subsystem is used by the given genome.
2072 : olson 1.2
2073 :     =cut
2074 : olson 1.25
2075 : olson 1.2 sub get_variant_codes
2076 :     {
2077 :     my($self) = @_;
2078 :    
2079 :     my $glist = $self->{variant_code};
2080 :    
2081 : olson 1.25 return @$glist;
2082 :     }
2083 :    
2084 : parrello 1.73 =head3 get_variant_code
2085 :    
2086 : parrello 1.119 my $code = $sub->get_variant_code($gidx);
2087 : parrello 1.73
2088 :     Return the variant code for the specified genome. Each subsystem has multiple
2089 :     variants which involve slightly different chemical reactions, and each variant
2090 :     has an associated variant code. When a genome is connected to the spreadsheet,
2091 :     the subsystem variant used by the genome must be specified.
2092 :    
2093 :     =over 4
2094 :    
2095 :     =item gidx
2096 :    
2097 :     Row index for the genome whose variant code is desired.
2098 :    
2099 :     =item RETURN
2100 :    
2101 :     Returns the variant code for the specified genome.
2102 :    
2103 :     =back
2104 :    
2105 :     =cut
2106 :    
2107 : olson 1.25 sub get_variant_code
2108 :     {
2109 :     my($self, $gidx) = @_;
2110 : overbeek 1.46 my $c = $self->{variant_code}->[$gidx];
2111 :     $c =~ s/ //g;
2112 :     return $c;
2113 : olson 1.2 }
2114 :    
2115 : overbeek 1.34 sub set_variant_code
2116 :     {
2117 :     my($self, $gidx, $val) = @_;
2118 :     $self->{variant_code}->[$gidx] = $val;
2119 : olson 1.70 #
2120 :     # Update the index for all the pegs in this row.
2121 :     # (only if we have a new database)
2122 :     #
2123 :    
2124 :     if ($self->{old_database})
2125 :     {
2126 :     return;
2127 :     }
2128 : parrello 1.73
2129 : olson 1.70 my $rdbH = $self->{fig}->db_handle();
2130 :     my $dbh = $rdbH->{_dbh};
2131 :     my $cells = $self->get_row($gidx);
2132 :     my $sub_name = $self->{name};
2133 :    
2134 :     my $sth = $dbh->prepare(qq(UPDATE subsystem_index
2135 :     SET variant = ?
2136 :     WHERE (subsystem = ? AND
2137 :     role = ? AND
2138 :     protein = ?)
2139 :     ));
2140 :     for my $i (0 .. $#$cells)
2141 :     {
2142 :     my $cell = $cells->[$i];
2143 :     my $role = $self->get_role($i);
2144 :    
2145 :     for my $peg (@$cell)
2146 :     {
2147 :     $sth->execute($val, $sub_name, $role, $peg);
2148 : olson 1.79 #warn "Update variant $sub_name $role $peg v='$val'\n";
2149 : olson 1.70 }
2150 :     }
2151 :    
2152 : overbeek 1.34 return;
2153 :     }
2154 :    
2155 : olson 1.2 sub get_variant_code_for_genome
2156 :     {
2157 :     my($self, $genome) = @_;
2158 :     my $index = $self->{genome_index}->{$genome};
2159 : redwards 1.55 if (defined $index) {
2160 :     return $self->{variant_code}->[$index];
2161 :     }
2162 :     else {
2163 :     return undef;
2164 :     }
2165 : olson 1.2 }
2166 :    
2167 : parrello 1.73 =head3 get_roles
2168 :    
2169 : parrello 1.119 my @roles = $sub->get_roles();
2170 : parrello 1.73
2171 :     Return a list of the subsystem's roles. Each role corresponds to a column
2172 :     in the subsystem spreadsheet. The list entry at a specified position in
2173 :     the list will contain the ID of that column's role.
2174 :    
2175 :     =cut
2176 :    
2177 : olson 1.2 sub get_roles
2178 :     {
2179 :     my($self) = @_;
2180 :    
2181 :     my $rlist = $self->{roles};
2182 :    
2183 : olson 1.83 return ref($rlist) ? @$rlist : ();
2184 : olson 1.25 }
2185 :    
2186 :     sub get_abbrs
2187 :     {
2188 :     my($self) = @_;
2189 :    
2190 :     my $rlist = $self->{role_abbrs};
2191 :    
2192 : olson 1.83 return ref($rlist) ? @$rlist : ();
2193 : parrello 1.119 }
2194 : heiko 1.87
2195 : olson 1.96 =head3 get_abbr_for_role
2196 :    
2197 : parrello 1.119 my $abbr = $sub->get_abbr_for_role($name);
2198 : olson 1.96
2199 :     Return the abbreviation for the given role name.
2200 :    
2201 :     =cut
2202 :    
2203 :     sub get_abbr_for_role
2204 :     {
2205 :     my($self, $name) = @_;
2206 :     my $idx = $self->{role_index}->{$name};
2207 :     if (defined($idx))
2208 :     {
2209 :     return $self->{role_abbrs}->[$idx];
2210 :     }
2211 :     else
2212 :     {
2213 :     return undef;
2214 :     }
2215 :     }
2216 :    
2217 :    
2218 :     =head3 get_roles_for_genome
2219 :    
2220 : parrello 1.119 my $abbr = $sub->get_roles_for_genome($genome_id);
2221 : olson 1.96
2222 :     Return the list of roles for which the given genome has nonempty cells.
2223 :    
2224 :     =cut
2225 :    
2226 :     sub get_roles_for_genome
2227 :     {
2228 :     my($self, $genome) = @_;
2229 :    
2230 :     my $gidx = $self->{genome_index}->{$genome};
2231 :     return undef unless defined($gidx);
2232 :    
2233 :     my $row = $self->{spreadsheet}->[$gidx];
2234 :    
2235 :     my @out;
2236 :     for my $ridx (0 .. $#$row)
2237 :     {
2238 :     my $cell = $row->[$ridx];
2239 :     if (@$cell > 0)
2240 :     {
2241 :     push(@out, $self->{roles}->[$ridx]);
2242 :     }
2243 :     }
2244 :     return @out;
2245 :     }
2246 : olson 1.2
2247 : olson 1.29 sub roles_with_abbreviations
2248 :     {
2249 :     my($self) = @_;
2250 :    
2251 :     my @ret;
2252 :    
2253 :     for my $i (0..@{$self->{roles}} - 1)
2254 :     {
2255 : parrello 1.69 push(@ret, [$self->{role_abbrs}->[$i], $self->{roles}->[$i]]);
2256 : olson 1.29 }
2257 :     return @ret;
2258 :     }
2259 :    
2260 :    
2261 : olson 1.52 sub get_sorted_rows
2262 :     {
2263 :     my($self, $sort_order) = @_;
2264 :    
2265 :     my $fig = $self->{fig};
2266 :    
2267 :     my @rows;
2268 :     for (my $i = 0; $i < @{$self->{genome}}; $i++)
2269 :     {
2270 : parrello 1.69 my $gid = $self->{genome}->[$i];
2271 :     my $gs = $fig->genus_species($gid);
2272 : olson 1.52
2273 : parrello 1.69 my $q = quotemeta($gid);
2274 :     my $cells = [];
2275 :     for my $c (@{$self->{spreadsheet}->[$i]})
2276 :     {
2277 :     push(@$cells, [map { s/^fig\|$q\.peg\.//; $_ } @$c]);
2278 :     }
2279 : olson 1.52
2280 : parrello 1.69 push(@rows, [$self->{genome}->[$i], $gs, $self->{variant_code}->[$i], $cells]);
2281 : olson 1.52 }
2282 :    
2283 :     if ($sort_order eq "by_phylo")
2284 :     {
2285 : parrello 1.69 return(map { $_->[0] }
2286 :     sort { ($a->[1] cmp $b->[1]) or ($a->[0]->[1] cmp $b->[0]->[1]) }
2287 :     map { [$_, $fig->taxonomy_of($_->[0]) ] } @rows);
2288 : olson 1.52 }
2289 :     elsif ($sort_order eq "alphabetic")
2290 :     {
2291 : parrello 1.69 return sort { ($a->[1] cmp $b->[1]) or ($a->[0] <=> $b->[0]) } @rows;
2292 : olson 1.52 }
2293 :     elsif ($sort_order eq "by_tax_id")
2294 :     {
2295 : parrello 1.69 return sort { $a->[0] <=> $b->[0] } @rows;
2296 : olson 1.52 }
2297 :     else
2298 :     {
2299 : parrello 1.69 return @rows;
2300 : olson 1.52 }
2301 :     }
2302 :    
2303 :    
2304 : parrello 1.119 sub get_row
2305 : olson 1.1 {
2306 :     my($self, $row) = @_;
2307 :    
2308 :     return $self->{spreadsheet}->[$row];
2309 :     }
2310 :    
2311 : parrello 1.119 sub get_col
2312 : olson 1.1 {
2313 :     my($self, $col) = @_;
2314 :    
2315 :     return $self->{spreadsheet_inv}->[$col];
2316 :     }
2317 :    
2318 : parrello 1.119 sub get_cell
2319 : olson 1.1 {
2320 :     my($self, $row, $col) = @_;
2321 :    
2322 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
2323 : overbeek 1.37 if (! defined($cell))
2324 :     {
2325 : parrello 1.69 $cell = $self->{spreadsheet}->[$row]->[$col] = [];
2326 : overbeek 1.37 }
2327 : olson 1.5 return $cell;
2328 : olson 1.1 }
2329 :    
2330 : parrello 1.73 =head3 get_genome_index
2331 :    
2332 : parrello 1.119 my $idx = $sub->get_genome_index($genome);
2333 : parrello 1.73
2334 :     Return the row index for the genome with the specified ID.
2335 :    
2336 :     =over 4
2337 :    
2338 :     =item genome
2339 :    
2340 :     ID of the genome whose row index is desired.
2341 :    
2342 :     =item RETURN
2343 :    
2344 :     Returns the row index for the genome with the specified ID, or an undefined
2345 :     value if the genome does not participate in the subsystem.
2346 :    
2347 :     =back
2348 :    
2349 :     =cut
2350 :    
2351 : parrello 1.119 sub get_genome_index
2352 : olson 1.3 {
2353 :     my($self, $genome) = @_;
2354 :    
2355 :     return $self->{genome_index}->{$genome};
2356 :     }
2357 :    
2358 : parrello 1.119 sub get_genome
2359 : olson 1.3 {
2360 :     my($self, $gidx) = @_;
2361 :    
2362 :     return $self->{genome}->[$gidx];
2363 :     }
2364 :    
2365 : parrello 1.73 =head3 get_role_index
2366 :    
2367 : parrello 1.119 my $idx = $sub->get_role_index($role);
2368 : parrello 1.73
2369 :     Return the column index for the role with the specified ID.
2370 :    
2371 :     =over 4
2372 :    
2373 :     =item role
2374 :    
2375 :     ID (full name) of the role whose column index is desired.
2376 :    
2377 :     =item RETURN
2378 :    
2379 :     Returns the column index for the role with the specified name.
2380 :    
2381 :     =back
2382 :    
2383 :     =cut
2384 :    
2385 : parrello 1.119 sub get_role_index
2386 : olson 1.5 {
2387 :     my($self, $role) = @_;
2388 :    
2389 :     return $self->{role_index}->{$role};
2390 :     }
2391 :    
2392 : parrello 1.119 sub get_role
2393 : olson 1.3 {
2394 :     my($self, $ridx) = @_;
2395 :    
2396 :     return $self->{roles}->[$ridx];
2397 :     }
2398 :    
2399 : parrello 1.73 =head3 get_role_abbr
2400 :    
2401 : parrello 1.119 my $abbr = $sub->get_role_abbr($ridx);
2402 : parrello 1.73
2403 :     Return the abbreviation for the role in the specified column. The abbreviation
2404 :     is a shortened identifier that is not necessarily unique, but is more likely to
2405 :     fit in a column heading.
2406 :    
2407 :     =over 4
2408 :    
2409 :     =item ridx
2410 :    
2411 :     Column index for the role whose abbreviation is desired.
2412 :    
2413 :     =item RETURN
2414 :    
2415 :     Returns an abbreviated name for the role corresponding to the indexed column.
2416 :    
2417 :     =back
2418 :    
2419 :     =cut
2420 :    
2421 : parrello 1.119 sub get_role_abbr
2422 : olson 1.4 {
2423 :     my($self, $ridx) = @_;
2424 :    
2425 :     return $self->{role_abbrs}->[$ridx];
2426 :     }
2427 :    
2428 : parrello 1.119 sub get_role_from_abbr
2429 : olson 1.20 {
2430 :     my($self, $abbr) = @_;
2431 :    
2432 :     return $self->{abbr}->{$abbr};
2433 :     }
2434 :    
2435 : parrello 1.73 =head3 set_pegs_in_cell
2436 : olson 1.26
2437 : parrello 1.119 $sub->set_pegs_in_cell($genome, $role, $peg_list);
2438 : olson 1.26
2439 :     Set the cell for the given genome and role to $peg_list.
2440 :    
2441 :     =cut
2442 :    
2443 :     sub set_pegs_in_cell
2444 :     {
2445 :     my($self, $genome, $role, $peg_list) = @_;
2446 :     my($row, $col);
2447 :    
2448 :     #
2449 :     # If row isn't numeric, look it up in the genomes list.
2450 :     #
2451 : parrello 1.60
2452 : olson 1.26 if ($genome !~ /^\d+$/)
2453 :     {
2454 : parrello 1.69 $row = $self->{genome_index}->{$genome};
2455 : olson 1.26 }
2456 :     else
2457 :     {
2458 : parrello 1.69 $row = $genome
2459 : olson 1.26 }
2460 : parrello 1.60
2461 : overbeek 1.37 if (! defined($row))
2462 : olson 1.26 {
2463 : overbeek 1.123 # print &Dumper($self->{genome_index});
2464 : parrello 1.69 confess "Cannot find row for $genome\n";
2465 :     return undef;
2466 : olson 1.26 }
2467 :    
2468 :     #
2469 :     # If col isn't numeric, look it up in the roles and role abbreviations.
2470 :     #
2471 : parrello 1.60
2472 : olson 1.114 my $role_name;
2473 : olson 1.26 if ($role !~ /^\d+$/)
2474 :     {
2475 : parrello 1.69 #
2476 :     # See if it's an abbr
2477 :     #
2478 : olson 1.26
2479 : parrello 1.69 my $a = $self->{abbr}->{$role};
2480 :     $role = $a if $a;
2481 : olson 1.26
2482 : parrello 1.69 $col = $self->{role_index}->{$role};
2483 : olson 1.114 $role_name = $role;
2484 : olson 1.26 }
2485 :     else
2486 :     {
2487 : parrello 1.69 $col = $role;
2488 : olson 1.114 $role_name = $self->get_role($col);
2489 : olson 1.26 }
2490 : parrello 1.60
2491 : overbeek 1.37 if (! defined($col))
2492 : olson 1.26 {
2493 : parrello 1.69 print &Dumper($self->{role_index});
2494 :     confess "Cannot find col for $role\n";
2495 :     return undef;
2496 : olson 1.26 }
2497 :     my $cell = $self->get_cell($row, $col);
2498 :    
2499 : olson 1.70
2500 : overbeek 1.37 if (defined($cell))
2501 : olson 1.26 {
2502 : olson 1.70 my $sub_name = $self->{name};
2503 :     my $peg;
2504 :     my $rdbH = $self->{fig}->db_handle();
2505 :     my $dbh = $rdbH->{_dbh};
2506 :    
2507 :     my $variant = $self->get_variant_code($row);
2508 : parrello 1.73
2509 : olson 1.70 if (@$cell > 0)
2510 :     {
2511 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
2512 :     WHERE (subsystem = ? AND
2513 :     role = ? AND
2514 :     protein = ?)
2515 :     ));
2516 :     foreach $peg (@$cell)
2517 :     {
2518 : olson 1.114 $sth->execute($sub_name, $role_name, $peg);
2519 : olson 1.93 # warn "Deleting $sub_name $role $peg\n";
2520 : olson 1.70 }
2521 :     }
2522 : parrello 1.73
2523 : olson 1.70 @$cell = @$peg_list;
2524 :    
2525 :     if ($self->{old_database})
2526 :     {
2527 :     my $sth = $rdbH->{_dbh}->prepare(qq(INSERT INTO subsystem_index (protein,subsystem,role)
2528 :     VALUES (?, ?, ?)));
2529 :     foreach $peg (@$cell)
2530 :     {
2531 : olson 1.114 $sth->execute($peg, $sub_name, $role_name);
2532 : olson 1.93 # warn "Add old $peg $sub_name $role\n";
2533 : olson 1.70 }
2534 :     }
2535 :     else
2536 :     {
2537 :     my $sth = $rdbH->{_dbh}->prepare(qq(INSERT INTO subsystem_index (protein,subsystem,role,variant)
2538 :     VALUES (?, ?, ?, ?)));
2539 :     foreach $peg (@$cell)
2540 :     {
2541 : olson 1.114 $sth->execute($peg, $sub_name, $role_name, $variant);
2542 :     #warn "Add new $peg $sub_name $role_name v='$variant'\n";
2543 : olson 1.70 }
2544 :     }
2545 : olson 1.26 }
2546 :     else
2547 :     {
2548 : parrello 1.69 warn "set_pegs_in_cell: Could not find cell!";
2549 : olson 1.26 }
2550 :     }
2551 :    
2552 : parrello 1.73 =head3 get_pegs_from_cell
2553 :    
2554 : parrello 1.119 my @pegs = $sub->get_pegs_from_cell($rowstr, $colstr);
2555 : parrello 1.73
2556 :     Return a list of the peg IDs for the features in the specified spreadsheet cell.
2557 :    
2558 :     =over 4
2559 :    
2560 :     =item rowstr
2561 :    
2562 :     Genome row, specified either as a row index or a genome ID.
2563 :    
2564 :     =item colstr
2565 :    
2566 :     Role column, specified either as a column index, a role name, or a role
2567 :     abbreviation.
2568 :    
2569 :     =item RETURN
2570 :    
2571 :     Returns a list of PEG IDs. The PEGs in the list belong to the genome in the
2572 :     specified row and perform the role in the specified column. If the indicated
2573 :     row and column does not exist, returns an empty list.
2574 :    
2575 :     =back
2576 :    
2577 :     =cut
2578 :    
2579 : olson 1.1 sub get_pegs_from_cell
2580 :     {
2581 :     my($self, $rowstr, $colstr) = @_;
2582 :     my($row, $col);
2583 :    
2584 :     #
2585 :     # If row isn't numeric, look it up in the genomes list.
2586 :     #
2587 : parrello 1.60
2588 : olson 1.1 if ($rowstr !~ /^\d+$/)
2589 :     {
2590 : parrello 1.69 $row = $self->{genome_index}->{$rowstr};
2591 : olson 1.1 }
2592 :     else
2593 :     {
2594 : parrello 1.69 $row = $rowstr;
2595 : olson 1.1 }
2596 : parrello 1.60
2597 : overbeek 1.31 if (! defined($row))
2598 : olson 1.1 {
2599 : parrello 1.69 print &Dumper($self->{genome_index});
2600 :     confess "Cannot find row for $rowstr\n";
2601 :     return undef;
2602 : olson 1.1 }
2603 :    
2604 :     #
2605 :     # If col isn't numeric, look it up in the roles and role abbreviations.
2606 :     #
2607 : parrello 1.60
2608 : olson 1.1 if ($colstr !~ /^\d+$/)
2609 :     {
2610 : parrello 1.69 #
2611 :     # See if it's an abbr
2612 :     #
2613 : olson 1.1
2614 : parrello 1.69 my $a = $self->{abbr}->{$colstr};
2615 :     $colstr = $a if $a;
2616 : olson 1.1
2617 : parrello 1.69 $col = $self->{role_index}->{$colstr};
2618 : olson 1.1 }
2619 :     else
2620 :     {
2621 : parrello 1.69 $col = $colstr;
2622 : olson 1.1 }
2623 : overbeek 1.32
2624 : overbeek 1.31 if (! defined($col))
2625 : olson 1.1 {
2626 : parrello 1.69 warn "Cannot find col for $colstr\n";
2627 :     return undef;
2628 : olson 1.1 }
2629 : olson 1.12 my $cell = $self->get_cell($row, $col);
2630 : olson 1.1
2631 :     if ($cell)
2632 :     {
2633 : parrello 1.69 return @$cell;
2634 : olson 1.1 }
2635 :     else
2636 :     {
2637 : parrello 1.69 return undef;
2638 : olson 1.1 }
2639 :     }
2640 :    
2641 : olson 1.25 #
2642 :     # Subset support
2643 :     #
2644 :    
2645 : olson 1.30 sub get_active_subsetC
2646 :     {
2647 :     my($self) = @_;
2648 :    
2649 :     return $self->{col_active_subset};
2650 :     }
2651 :    
2652 :     sub get_active_subsetR
2653 :     {
2654 :     my($self) = @_;
2655 :    
2656 :     return $self->{row_active_subset};
2657 :     }
2658 :    
2659 :     sub set_active_subsetC
2660 :     {
2661 :     my($self, $subset) = @_;
2662 :    
2663 :     $self->{col_active_subset} = $subset;
2664 :     }
2665 :    
2666 :    
2667 :     sub set_active_subsetR
2668 :     {
2669 :     my($self, $subset) = @_;
2670 :    
2671 :     $self->{row_active_subset} = $subset;
2672 :     }
2673 :    
2674 : parrello 1.119 # This method is deprecated. Use get_subset_namesC.
2675 : olson 1.25 sub get_subset_names
2676 : olson 1.17 {
2677 :     my($self) = @_;
2678 : olson 1.25
2679 : overbeek 1.31 return $self->get_subset_namesC;
2680 :     }
2681 :    
2682 : parrello 1.73 =head3 get_subset_namesC
2683 :    
2684 : parrello 1.119 my @subsetNames = $sub->get_subset_namesC();
2685 : parrello 1.73
2686 :     Return a list of the names for all the column (role) subsets. Given a subset
2687 :     name, you can use the L</get_subsetC_roles> method to get the roles in the
2688 :     subset.
2689 :    
2690 :     =cut
2691 :    
2692 : overbeek 1.31 sub get_subset_namesC
2693 :     {
2694 :     my($self) = @_;
2695 : overbeek 1.131 my $col_subsets = $self->{col_subsets};
2696 :     return ("All",defined($col_subsets) ? @$col_subsets : ());
2697 :     # return ("All",@{$self->{col_subsets}});
2698 : overbeek 1.31 }
2699 :    
2700 :     sub get_subset_namesR
2701 :     {
2702 :     my($self) = @_;
2703 :    
2704 : overbeek 1.35 return ("All",@{$self->{row_subsets}});
2705 : olson 1.17 }
2706 :    
2707 : parrello 1.73 =head3 get_subsetC_roles
2708 :    
2709 : parrello 1.119 my @roles = $sub->get_subsetC_roles($subname);
2710 : parrello 1.73
2711 :     Return the names of the roles contained in the specified role (column) subset.
2712 :    
2713 :     =over 4
2714 :    
2715 :     =item subname
2716 :    
2717 :     Name of the role subset whose roles are desired.
2718 :    
2719 :     =item RETURN
2720 :    
2721 :     Returns a list of the role names for the columns in the named subset.
2722 :    
2723 :     =back
2724 :    
2725 :     =cut
2726 :    
2727 : overbeek 1.33 sub get_subsetC_roles
2728 :     {
2729 :     my($self, $subname) = @_;
2730 :     return map { $self->get_role($_) } $self->get_subsetC($subname);
2731 :     }
2732 :    
2733 : overbeek 1.31 sub get_subsetC
2734 :     {
2735 :     my($self, $subname) = @_;
2736 : overbeek 1.33 if ($subname eq "All") { return map { $self->get_role_index($_) } $self->get_roles }
2737 : overbeek 1.31
2738 : olson 1.52 if (!defined($self->{col_subset_members}->{$subname}))
2739 :     {
2740 : parrello 1.69 $self->{col_subset_members}->{$subname} = [];
2741 : olson 1.52 }
2742 : parrello 1.60
2743 : overbeek 1.31 return @{$self->{col_subset_members}->{$subname}};
2744 :     }
2745 :    
2746 : olson 1.25 sub get_subset
2747 : olson 1.17 {
2748 : olson 1.25 my($self, $subname) = @_;
2749 : overbeek 1.33 return $self->get_subsetC($subname);
2750 : overbeek 1.31 }
2751 :    
2752 : parrello 1.104 =head3 get_subsetR
2753 :    
2754 : parrello 1.119 my @genomes = $sub->get_subsetR($subName);
2755 : parrello 1.104
2756 :     Return the genomes in the row subset indicated by the specified subset name.
2757 :    
2758 :     =over 4
2759 :    
2760 :     =item subName
2761 :    
2762 :     Name of the desired row subset, or C<All> to get all of the rows.
2763 :    
2764 :     =item RETURN
2765 :    
2766 :     Returns a list of genome IDs corresponding to the named subset.
2767 :    
2768 :     =back
2769 :    
2770 :     =cut
2771 :    
2772 :     sub get_subsetR {
2773 : overbeek 1.31 my($self, $subname) = @_;
2774 :     my($pair,$id,$members,$genome);
2775 :    
2776 :     if ($subname eq "All") { return $self->get_genomes }
2777 : overbeek 1.38 my %genomes = map { $_ => 1 } $self->get_genomes;
2778 :    
2779 :     return grep { $genomes{$_} } @{$self->{row_subset_members}->{$subname}};
2780 : overbeek 1.35 }
2781 :    
2782 :     sub load_row_subsets {
2783 :     my($self) = @_;
2784 :     my($id,$members,$pair);
2785 : overbeek 1.31
2786 : overbeek 1.35 my $taxonomic_groups = $self->{fig}->taxonomic_groups_of_complete(10);
2787 :     foreach $pair (@$taxonomic_groups)
2788 : overbeek 1.31 {
2789 : parrello 1.69 ($id,$members) = @$pair;
2790 :     if ($id ne "All")
2791 :     {
2792 :     push(@{$self->{row_subsets}},$id);
2793 :     }
2794 :     $self->{row_subset_members}->{$id} = $members;
2795 : overbeek 1.31 }
2796 : olson 1.25 }
2797 :    
2798 : parrello 1.73 =head3 load_row_subsets_by_kv
2799 : redwards 1.48
2800 :     Load a row subset based on a key/value pair. This will take a single key/value pair and only show that subset
2801 :    
2802 :     It is just a modification of load_row_subsets to deal with kv pairs
2803 :    
2804 :     This takes a required argument: the key that the genome must have, and a second optional argument, the value that key must hold.
2805 :    
2806 :     =cut
2807 :    
2808 :     sub load_row_subsets_by_kv {
2809 :     my ($self, $key, $want) = @_;
2810 :     my($id,$members,$pair);
2811 :     my $keep;
2812 : olson 1.102 #
2813 :     # First do a single call to retrieve all the values for the subset key.
2814 :     #
2815 : bartels 1.130 my @attr_values = ();
2816 :     if ( $key eq 'hundred_hundred' ) {
2817 :     @attr_values = $self->{fig}->get_attributes($self->{genome}, 'collection', $key);
2818 :     }
2819 :     else {
2820 :     @attr_values = $self->{fig}->get_attributes($self->{genome}, $key);
2821 :     }
2822 :    
2823 : olson 1.102 my %amap;
2824 :     map { push(@{$amap{$_->[0]}}, [@$_]); } @attr_values;
2825 :    
2826 : redwards 1.48 foreach my $genome (@{$self->{genome}}) {
2827 : olson 1.102 #my @results=$self->{fig}->get_attributes($genome, $key);
2828 :     my $results = $amap{$genome};
2829 :     next unless $results;
2830 :     foreach my $res (@$results) {
2831 : redwards 1.51 my ($gotid, $gottag, $value, $url)=@$res;
2832 : overbeek 1.85 next if ($value && $want && $value ne $want);
2833 :     next if ($gotid ne $genome);
2834 : redwards 1.50 push @$keep, $genome;
2835 :     last;
2836 :     }
2837 : redwards 1.48 }
2838 :     $self->{row_subset_members}->{$key}=$keep;
2839 :     }
2840 : overbeek 1.35
2841 : parrello 1.73 =head3 set_subsetC
2842 : olson 1.25
2843 : parrello 1.119 $sub->set_subsetC($name, $members);
2844 : olson 1.25
2845 :     Create a subset with the given name and members.
2846 :    
2847 :     $members is a list of role names.
2848 :    
2849 :     =cut
2850 :    
2851 : overbeek 1.31 sub set_subsetC
2852 : olson 1.25 {
2853 :     my($self, $subname, $list) = @_;
2854 :    
2855 :     my $nl = [map { $self->get_role_index($_) } @$list];
2856 : parrello 1.60
2857 : olson 1.25 $self->_set_subset($subname, $nl);
2858 :     }
2859 :    
2860 : overbeek 1.31 sub set_subset
2861 :     {
2862 :     my($self, $subname, $list) = @_;
2863 :    
2864 :     $self->set_subsetsC($subname,$list);
2865 :     }
2866 :    
2867 : parrello 1.73 =head3 _set_subset
2868 : olson 1.25
2869 :     Create a subset with the given name and members.
2870 :    
2871 :     Internal version - here, members is a list of role indices.
2872 :    
2873 :     =cut
2874 :    
2875 :     sub _set_subset
2876 :     {
2877 :     my($self, $subname, $list) = @_;
2878 :     $self->{col_subset_members}->{$subname} = $list;
2879 : overbeek 1.37 my($i,$x);
2880 :     $x = $self->{col_subsets};
2881 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
2882 :     if ($i == @$x)
2883 :     {
2884 : parrello 1.69 push(@$x,$subname);
2885 : overbeek 1.37 }
2886 :     }
2887 : parrello 1.60
2888 : overbeek 1.37 sub delete_subsetC
2889 :     {
2890 :     my($self, $subname) = @_;
2891 :     my($i,$x);
2892 :    
2893 :     $x = $self->{col_subsets};
2894 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
2895 :     if ($i < @$x)
2896 :     {
2897 : parrello 1.69 splice(@$x,$i,1);
2898 : overbeek 1.37 }
2899 :     delete $self->{col_subset_members}->{$subname};
2900 : olson 1.25 }
2901 : parrello 1.60
2902 : olson 1.25 #
2903 :     # Role manipulation.
2904 :     #
2905 :    
2906 :    
2907 : parrello 1.73 =head3 set_roles
2908 : olson 1.25
2909 : parrello 1.119 $sub->set_roles($role_list);
2910 : olson 1.25
2911 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
2912 :    
2913 :     If a role already exists, it is used. If it does not exist, it is created empty.
2914 :    
2915 :     =cut
2916 :    
2917 :     sub set_roles
2918 :     {
2919 :     my($self, $roles) = @_;
2920 :    
2921 :     #
2922 :     # We do this by first creating a new spreadsheet.
2923 :     #
2924 :     # It is easiest to do this by manipulating the inverted spreadsheet
2925 :     # (role-major), and then creating the non-inverted spreadsheet from it.
2926 :     #
2927 :    
2928 :     my $oldss = $self->{spreadsheet};
2929 :     my $oldssinv = $self->{spreadsheet_inv};
2930 :    
2931 :     my $ss = [];
2932 :     my $ssinv = [];
2933 :    
2934 :     my $g = $self->{genome};
2935 :     my $ng = @$g;
2936 :    
2937 :     my $old_roles = $self->{role_index};
2938 :    
2939 :     my @role_index_conversion;
2940 : olson 1.70 my @old_role_list = @{$self->{roles}};
2941 : olson 1.25
2942 : olson 1.70 #
2943 :     # Since we're setting up completely new roles, wipe the
2944 :     # existing state.
2945 :     #
2946 : olson 1.25
2947 :     $self->{abbr} = {};
2948 :     $self->{role_index} = {};
2949 :     $self->{roles} = [];
2950 :     $self->{role_abbrs} = [];
2951 :    
2952 : olson 1.70 #
2953 :     # Initialize %defunct_roles with the list of all roles.
2954 :     # Remove entries as we walk the list of new roles below.
2955 :     # Any that are remaining need to be pulled from the index.
2956 :     #
2957 : olson 1.25
2958 : olson 1.70 my %defunct_roles = map { $_ => 1 } @old_role_list;
2959 : parrello 1.73
2960 : olson 1.70 # warn "Defunct at start: ", Dumper(\%defunct_roles);
2961 : olson 1.25 for (my $idx = 0; $idx < @$roles; $idx++)
2962 :     {
2963 : parrello 1.69 my $role = $roles->[$idx]->[0];
2964 :     my $abbr = $roles->[$idx]->[1];
2965 :    
2966 :     my $old_idx = $old_roles->{$role};
2967 : olson 1.25
2968 : olson 1.70 if (defined($old_idx))
2969 :     {
2970 :     # warn "Found old idx $old_idx for $role $idx\n";
2971 :     # warn $oldssinv->[$old_idx];
2972 :     $ssinv->[$idx] = $oldssinv->[$old_idx];
2973 :    
2974 :     $role_index_conversion[$old_idx] = $idx;
2975 :    
2976 :     #
2977 :     # We're keeping it, so it's not defunct anymore.
2978 :     #
2979 :     delete $defunct_roles{$role};
2980 :     }
2981 :     else
2982 :     {
2983 :     # warn "Did not find old role for $role $idx\n";
2984 :     # warn Dumper($old_roles);
2985 :     my $l = [];
2986 :     for (my $j = 0; $j < $ng; $j++)
2987 :     {
2988 :     $l->[$j] = [];
2989 :     }
2990 :    
2991 :     $ssinv->[$idx] = $l;
2992 :     }
2993 :    
2994 : parrello 1.73
2995 : olson 1.70 #
2996 :     # While we're here, update the new role and abbrev indexes
2997 :     #
2998 :     $self->{role_index}->{$role} = $idx;
2999 :     $self->{abbr}->{$abbr} = $role;
3000 :     $self->{roles}->[$idx] = $role;
3001 :     $self->{role_abbrs}->[$idx] = $abbr;
3002 :     }
3003 : olson 1.25
3004 : olson 1.70 #
3005 :     # Now we delete the pegs showing up for the list of defunct roles.
3006 :     #
3007 :     # warn "Defunct at finish: ", Dumper(\%defunct_roles);
3008 : parrello 1.73
3009 : olson 1.70 my $rdbH = $self->{fig}->db_handle();
3010 :     my $dbh = $rdbH->{_dbh};
3011 :     my $sub_name = $self->{name};
3012 : parrello 1.73
3013 : olson 1.70 my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
3014 :     WHERE (subsystem = ? AND
3015 :     role = ? AND
3016 :     protein = ?)
3017 :     ));
3018 : parrello 1.73
3019 :    
3020 : olson 1.70 for my $defunct_role (keys(%defunct_roles))
3021 :     {
3022 :     my $defunct_role_idx = $old_roles->{$defunct_role};
3023 :     my $col = $oldssinv->[$defunct_role_idx];
3024 :     # warn "Handle defunct role $defunct_role idx=$defunct_role_idx\n", Dumper($col);
3025 : parrello 1.73
3026 : olson 1.70 for my $cell (@$col)
3027 :     {
3028 :     for my $peg (@$cell)
3029 :     {
3030 :     $sth->execute($sub_name, $defunct_role, $peg);
3031 :     warn "Deleting $sub_name $defunct_role $peg\n";
3032 :     }
3033 :     }
3034 : olson 1.25 }
3035 : parrello 1.73
3036 : olson 1.25
3037 :     #
3038 :     # Now create the uninverted spreadsheet.
3039 :     #
3040 :    
3041 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
3042 :     {
3043 : parrello 1.69 my $row = [];
3044 :     $ss->[$gidx] = $row;
3045 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
3046 :     {
3047 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
3048 :     }
3049 : olson 1.25 }
3050 :    
3051 :     $self->{spreadsheet} = $ss;
3052 :     $self->{spreadsheet_inv} = $ssinv;
3053 :    
3054 :     #
3055 :     # Fix up the subsets.
3056 :     #
3057 :    
3058 :    
3059 : overbeek 1.37 for my $subset (grep { $_ ne "All" } $self->get_subset_names())
3060 : olson 1.25 {
3061 : parrello 1.69 my $n = [];
3062 :     for my $idx ($self->get_subset($subset))
3063 :     {
3064 :     my $new = $role_index_conversion[$idx];
3065 :     if (defined($new))
3066 :     {
3067 :     push(@$n, $new);
3068 :     }
3069 :     }
3070 :     $self->_set_subset($subset, $n);
3071 : olson 1.25 }
3072 :    
3073 :     }
3074 :    
3075 : bartels 1.125
3076 :    
3077 : parrello 1.73 =head3 add_role($role, $abbr)
3078 : olson 1.25
3079 :     Add the given role to the spreadsheet.
3080 :    
3081 :     This causes a new column to be added, with empty values in each cell.
3082 :    
3083 :     We do nothing if the role is already present.
3084 :    
3085 :     Return the index of the new role.
3086 :    
3087 :     =cut
3088 :    
3089 :     sub add_role
3090 :     {
3091 :     my($self, $role, $abbr) = @_;
3092 :    
3093 :     if (defined($self->get_role_index($role)))
3094 :     {
3095 : parrello 1.69 warn "Role $role already present\n";
3096 :     return undef;
3097 : olson 1.25 }
3098 :    
3099 :     #
3100 :     # Add to the roles list. It goes at the end.
3101 :     #
3102 :    
3103 :     my $idx = @{$self->{roles}};
3104 :     $self->{roles}->[$idx] = $role;
3105 :     $self->{role_abbrs}->[$idx] = $abbr;
3106 :     $self->{role_index}->{$role} = $idx;
3107 :     $self->{abbr}->{$abbr} = $role;
3108 :    
3109 :     #
3110 :     # Update the spreadsheet.
3111 :     # On the standard one, we have to go through all the rows adding
3112 :     # a columnt to each.
3113 :     #
3114 :     # On the inverted one, we add a column with [] in each entry.
3115 :     #
3116 :    
3117 :     my $ng = @{$self->{genome}};
3118 :     my $newcol = [];
3119 :    
3120 :     for (my $i = 0; $i < $ng; $i++)
3121 :     {
3122 : parrello 1.69 my $cell = [];
3123 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
3124 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
3125 :     $newcol->[$i] = $cell;
3126 : olson 1.25 }
3127 :    
3128 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
3129 :    
3130 :     return $idx;
3131 :     }
3132 :    
3133 : bartels 1.125
3134 :     =head3 change_role( $oldrole, $newrole )
3135 :    
3136 :     Change just the function of a role
3137 :    
3138 :     =cut
3139 :    
3140 :     sub change_role
3141 :     {
3142 :     my( $self, $oldrole, $newrole) = @_;
3143 :    
3144 :     my $oldindex = $self->get_role_index( $oldrole );
3145 :     unless ( defined( $oldindex ) ) {
3146 :     return ( 0, "The role $oldrole does not exist in this subsystem.<BR>\n" );
3147 :     }
3148 :    
3149 :     my $abbr = $self->{role_abbrs}->[$oldindex];
3150 :    
3151 :     $self->{roles}->[$oldindex] = $newrole;
3152 :     delete $self->{role_index}->{$oldrole};
3153 :     $self->{role_index}->{$newrole} = $oldindex;
3154 :     $self->{abbr}->{$abbr} = $newrole;
3155 :    
3156 :     return ( 1 );
3157 :     }
3158 :    
3159 : parrello 1.73 =head3 remove_role
3160 : olson 1.25
3161 :     Remove the role from the spreadsheet.
3162 :    
3163 :     We do nothing if the role is not present.
3164 :    
3165 :     =cut
3166 :    
3167 :     sub remove_role
3168 :     {
3169 :     my($self, $role) = @_;
3170 :    
3171 :     my $idx = $self->get_role_index($role);
3172 :     if (!defined($idx))
3173 :     {
3174 : parrello 1.69 warn "Role $role not present\n";
3175 :     return undef;
3176 : olson 1.25 }
3177 :    
3178 :     #
3179 : olson 1.70 # Update the index. Again, do this before removing roles
3180 :     # so we have full data to work with.
3181 :     # We walk the role's column of the spreadsheet removing pegs from the index.
3182 :     #
3183 :    
3184 :     my $rdbH = $self->{fig}->db_handle();
3185 :     my $dbh = $rdbH->{_dbh};
3186 :     my $sub_name = $self->{name};
3187 :    
3188 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
3189 :     WHERE (subsystem = ? AND
3190 :     role = ? AND
3191 :     protein = ?)
3192 :     ));
3193 :     my $col = $self->get_col($idx);
3194 :     for my $cell (@$col)
3195 :     {
3196 :     for my $peg (@$cell)
3197 :     {
3198 :     $sth->execute($sub_name, $role, $peg);
3199 :     warn "Deleting $sub_name $role $peg\n";
3200 :     }
3201 :     }
3202 :    
3203 :     #
3204 : parrello 1.60 # Remove from the roles list.
3205 : olson 1.25 #
3206 :    
3207 :     my $abbr = $self->{role_abbrs}->[$idx];
3208 : parrello 1.60
3209 : olson 1.25 splice(@{$self->{roles}}, $idx, 1);
3210 :     splice(@{$self->{role_abbrs}}, $idx, 1);
3211 :     delete $self->{role_index}->{$role};
3212 :     delete $self->{abbr}->{$abbr};
3213 :    
3214 : olson 1.70
3215 : olson 1.25 #
3216 :     # Update the spreadsheet.
3217 :     # On the standard one, we have to go through all the rows removing
3218 :     # the column from each.
3219 :     #
3220 :     # On the inverted one, we just remove the column.
3221 :     #
3222 :    
3223 :     my $ng = @{$self->{genome}};
3224 :     my $newcol = [];
3225 :    
3226 :     for (my $i = 0; $i < $ng; $i++)
3227 :     {
3228 : parrello 1.69 splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
3229 : olson 1.25 }
3230 :    
3231 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
3232 :    
3233 :     #
3234 :     # We need to rewrite the subsets. if $idx was present in one, it is
3235 :     # removed. Any index >$idx is decremented.
3236 :     #
3237 :    
3238 :     for my $subset ($self->get_subset_names())
3239 :     {
3240 : parrello 1.69 my @n;
3241 : olson 1.25
3242 : parrello 1.69 for my $sidx ($self->get_subset($subset))
3243 :     {
3244 :     if ($sidx < $idx)
3245 :     {
3246 :     push(@n, $sidx);
3247 :     }
3248 :     elsif ($sidx > $idx)
3249 :     {
3250 :     push(@n, $sidx - 1);
3251 :     }
3252 :     }
3253 : olson 1.25
3254 : parrello 1.69 $self->_set_subset($subset, [@n]);
3255 : olson 1.25 }
3256 :     }
3257 :    
3258 : parrello 1.73 =head3 add_genome($genome, $abbr)
3259 : olson 1.25
3260 :     Add the given genome to the spreadsheet.
3261 :    
3262 :     This causes a new row to be added, with empty values in each cell.
3263 :    
3264 :     We do nothing if the genome is already present.
3265 :    
3266 :     Return the index of the new genome.
3267 :    
3268 :     =cut
3269 :    
3270 :     sub add_genome
3271 :     {
3272 :     my($self, $genome) = @_;
3273 :    
3274 :     my $idx = $self->get_genome_index($genome);
3275 : bartels 1.124 if ( defined( $idx ) ) {
3276 :     warn "Genome $genome already present\n";
3277 :     return $idx;
3278 : olson 1.25 }
3279 :    
3280 :     #
3281 :     # Add to the genomes list. It goes at the end.
3282 :     #
3283 :    
3284 : parrello 1.64 $idx = @{$self->{genome}};
3285 : olson 1.26 $self->{variant_code}->[$idx] = 0;
3286 : olson 1.25 $self->{genome}->[$idx] = $genome;
3287 :     $self->{genome_index}->{$genome} = $idx;
3288 :    
3289 :     #
3290 :     # Update the spreadsheet.
3291 :     # On the inverted one, we have to go through all the columns adding
3292 :     # a row to each.
3293 :     #
3294 :     # On the regular one, we add a row with [] in each entry.
3295 :     #
3296 :    
3297 :     my $nr = @{$self->{roles}};
3298 :     my $newrow = [];
3299 :    
3300 :     for my $i (0.. $nr - 1)
3301 :     {
3302 : parrello 1.69 my $cell = [];
3303 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
3304 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
3305 :     $newrow->[$i] = $cell;
3306 : olson 1.25 }
3307 :    
3308 :     $self->{spreadsheet}->[$idx] = $newrow;
3309 :    
3310 :     return $idx;
3311 :     }
3312 :    
3313 : parrello 1.73 =head3 remove_genome
3314 : olson 1.25
3315 :     Remove the genome from the spreadsheet.
3316 :    
3317 :     We do nothing if the genome is not present.
3318 :    
3319 :     =cut
3320 :    
3321 :     sub remove_genome
3322 :     {
3323 :     my($self, $genome) = @_;
3324 :    
3325 :     my $idx = $self->get_genome_index($genome);
3326 :     if (!defined($idx))
3327 :     {
3328 : parrello 1.69 warn "Genome $genome not present\n";
3329 :     return undef;
3330 : olson 1.25 }
3331 :    
3332 :     #
3333 : olson 1.70 # Remove from database index (before we delete stuff from here,
3334 :     # so we have access to th e data structures).
3335 :     #
3336 :    
3337 :     my $rdbH = $self->{fig}->db_handle();
3338 :     my $dbh = $rdbH->{_dbh};
3339 :     my $cells = $self->get_row($idx);
3340 :     my $sub_name = $self->{name};
3341 :    
3342 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
3343 :     WHERE (subsystem = ? AND
3344 :     role = ? AND
3345 :     protein = ?)
3346 :     ));
3347 :     for my $i (0 .. $#$cells)
3348 :     {
3349 :     my $cell = $cells->[$i];
3350 :     my $role = $self->get_role($i);
3351 :    
3352 :     for my $peg (@$cell)
3353 :     {
3354 :     $sth->execute($sub_name, $role, $peg);
3355 :     warn "Deleting $sub_name $role $peg\n";
3356 :     }
3357 :     }
3358 :    
3359 :     #
3360 : parrello 1.60 # Remove from the genomes list.
3361 : olson 1.25 #
3362 :    
3363 :     splice(@{$self->{genome}}, $idx, 1);
3364 : overbeek 1.43
3365 :     my $genome1;
3366 :     foreach $genome1 (@{$self->{genome}})
3367 :     {
3368 : parrello 1.69 if ($self->{genome_index}->{$genome1} > $idx)
3369 :     {
3370 :     $self->{genome_index}->{$genome1}--;
3371 :     }
3372 : overbeek 1.43 }
3373 : olson 1.25 splice(@{$self->{variant_code}}, $idx, 1);
3374 :    
3375 :     delete $self->{genome_index}->{$genome};
3376 :    
3377 :     #
3378 :     # Update the spreadsheet.
3379 :     # On the inverted one, we have to go through all the columns removing
3380 :     # the row from each.
3381 :     #
3382 :     # On the standard one, we just remove the row.
3383 :     #
3384 :    
3385 :     my $nr = @{$self->{roles}};
3386 :    
3387 :     for my $i (0 .. $nr - 1)
3388 :     {
3389 : parrello 1.69 splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
3390 : olson 1.25 }
3391 :    
3392 :     splice(@{$self->{spreadsheet}}, $idx, 1);
3393 :    
3394 :     }
3395 :    
3396 : parrello 1.119 sub get_name
3397 : olson 1.25 {
3398 :     my($self) = @_;
3399 : overbeek 1.53 my $name = $self->{name};
3400 :     $name =~ s/ /_/g;
3401 :     return $name;
3402 : olson 1.25 }
3403 : parrello 1.60
3404 : parrello 1.119 sub get_dir
3405 : overbeek 1.41 {
3406 :     my($self) = @_;
3407 :     return $self->{dir};
3408 :     }
3409 : olson 1.25
3410 : parrello 1.60
3411 : parrello 1.119 sub get_version
3412 : olson 1.25 {
3413 :     my($self) = @_;
3414 :     return $self->{version};
3415 : olson 1.17 }
3416 :    
3417 : parrello 1.73 =head3 get_notes
3418 :    
3419 : parrello 1.119 my $text = $sub->get_notes();
3420 : parrello 1.73
3421 :     Return the descriptive notes for this subsystem.
3422 :    
3423 :     =cut
3424 :    
3425 : parrello 1.119 sub get_notes
3426 : olson 1.26 {
3427 :     my($self) = @_;
3428 :    
3429 :     return $self->{notes};
3430 :     }
3431 :    
3432 : olson 1.110 =head3 get_description
3433 :    
3434 : parrello 1.119 my $text = $sub->get_description();
3435 : olson 1.110
3436 :     Return the description for this subsystem.
3437 :    
3438 :     =cut
3439 :    
3440 :     sub get_description
3441 :     {
3442 :     my($self) = @_;
3443 :    
3444 :     return $self->{description};
3445 :     }
3446 :    
3447 : bartels 1.124 =head3 get_variants
3448 :    
3449 :     my $text = $sub->get_variants();
3450 :    
3451 :     Return the variants for this subsystem.
3452 :    
3453 :     =cut
3454 :    
3455 :     sub get_variants
3456 :     {
3457 :     my($self) = @_;
3458 :    
3459 :     my $text = $self->{variants};
3460 :     my %vars;
3461 :    
3462 :     my @lines = split( "\n", $text );
3463 :     foreach ( @lines ) {
3464 :     my ( $v, $d ) = split( "\t", $_ );
3465 :     $vars{ $v } = $d;
3466 :     }
3467 :    
3468 :     return \%vars;
3469 :     }
3470 :    
3471 : olson 1.110 =head3 get_literature
3472 :    
3473 : parrello 1.119 my $text = $sub->get_literature();
3474 : olson 1.110
3475 :     Return the literature for this subsystem.
3476 :    
3477 :     =cut
3478 :    
3479 :     sub get_literature
3480 :     {
3481 :     my($self) = @_;
3482 :    
3483 :     return $self->{literature};
3484 :     }
3485 :    
3486 : parrello 1.73 =head3 get_reactions
3487 :    
3488 : parrello 1.119 my $reactHash = $sub->get_reactions();
3489 : parrello 1.73
3490 :     Return a reference to a hash that maps each role ID to a list of the reactions
3491 :     catalyzed by the role.
3492 :    
3493 :     =cut
3494 :    
3495 : overbeek 1.58 sub get_reactions
3496 :     {
3497 :     my($self) = @_;
3498 :    
3499 :     return $self->{reactions};
3500 :     }
3501 :    
3502 : overbeek 1.59 sub set_reaction {
3503 :     my($self,$role,$rstring) = @_;
3504 :    
3505 :     $self->{reactions}->{$role} = [split(/,\s*/,$rstring)];
3506 :     }
3507 :    
3508 : olson 1.105 sub get_hope_scenario_names
3509 :     {
3510 :     my($self) = @_;
3511 :    
3512 :     return sort keys %{$self->{hope_scenarios}};
3513 :     }
3514 :    
3515 :     sub change_hope_scenario_name
3516 :     {
3517 :     my($self, $old_name, $new_name) = @_;
3518 :     my $hope_scenarios = $self->{hope_scenarios};
3519 :     my $scenario = $hope_scenarios->{$old_name};
3520 :     delete $hope_scenarios->{$old_name};
3521 :     $hope_scenarios->{$new_name} = $scenario;
3522 :     }
3523 :    
3524 :     sub add_hope_scenario
3525 :     {
3526 :     my($self, $new_name) = @_;
3527 :     $new_name =~ s/\// /g;
3528 :     $self->{hope_scenarios}->{$new_name} = { input_compounds => [], output_compounds => [], map_ids => [], additional_reactions => [], ignore_reactions => [] };
3529 :     }
3530 :    
3531 :     sub delete_hope_scenario
3532 :     {
3533 :     my($self, $scenario_name) = @_;
3534 :    
3535 :     delete $self->{hope_scenarios}->{$scenario_name};
3536 :     }
3537 :    
3538 :     sub get_hope_input_compounds
3539 :     {
3540 :     my($self, $scenario_name) = @_;
3541 : parrello 1.119
3542 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{input_compounds}};
3543 : olson 1.105 }
3544 :    
3545 :     sub set_hope_input_compounds
3546 :     {
3547 :     my($self,$scenario_name,$compounds) = @_;
3548 :     $compounds =~ s/^\s+//g;
3549 :     $compounds =~ s/\s+$//g;
3550 :     $compounds =~ s/,\s+/,/g;
3551 :     $compounds =~ s/\s+,/,/g;
3552 :     $compounds =~ s/\s+/,/g;
3553 :     $self->{hope_scenarios}->{$scenario_name}->{input_compounds} = [split(/,/,$compounds)];
3554 :     }
3555 :    
3556 :     sub get_hope_output_compounds
3557 :     {
3558 :     my($self,$scenario_name) = @_;
3559 : parrello 1.119
3560 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{output_compounds}};
3561 : olson 1.105 }
3562 :    
3563 :     sub set_hope_output_compounds
3564 :     {
3565 :     my($self,$scenario_name,$compounds) = @_;
3566 :     $compounds =~ s/^\s+//g;
3567 :     $compounds =~ s/\s+$//g;
3568 :     $compounds =~ s/,\s+/,/g;
3569 :     $compounds =~ s/\s+,/,/g;
3570 :     $compounds =~ s/\s+/,/g;
3571 :    
3572 :     # allow one level of nesting with parentheses
3573 :     my @output_compounds_lists;
3574 :     my @inner_list;
3575 :    
3576 :     foreach my $cpd (split(/,/,$compounds))
3577 :     {
3578 :     if ($cpd =~ /\(/)
3579 :     {
3580 :     $cpd =~ s/\(//g;
3581 :     push @inner_list, $cpd;
3582 :     }
3583 :     elsif (scalar @inner_list > 0 && $cpd =~ /\)/)
3584 :     {
3585 :     $cpd =~ s/\)//g;
3586 :     push @inner_list, $cpd;
3587 :     my @new_inner_list = @inner_list;
3588 :     push @output_compounds_lists, \@new_inner_list;
3589 :     @inner_list = ();
3590 :     }
3591 :     elsif (scalar @inner_list > 0)
3592 :     {
3593 :     push @inner_list, $cpd;
3594 :     }
3595 :     else
3596 :     {
3597 :     push @output_compounds_lists, [$cpd];
3598 :     }
3599 :     }
3600 :    
3601 :     $self->{hope_scenarios}->{$scenario_name}->{output_compounds} = \@output_compounds_lists;
3602 :     }
3603 :    
3604 :     sub get_hope_map_ids
3605 :     {
3606 :     my($self,$scenario_name) = @_;
3607 : parrello 1.119
3608 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{map_ids}};
3609 : olson 1.105 }
3610 :    
3611 :     sub set_hope_map_ids
3612 :     {
3613 :     my($self,$scenario_name,$ids) = @_;
3614 :     $ids =~ s/^\s+//g;
3615 :     $ids =~ s/\s+$//g;
3616 :     $ids =~ s/,\s+/,/g;
3617 :     $ids =~ s/\s+,/,/g;
3618 :     $ids =~ s/\s+/,/g;
3619 :     $self->{hope_scenarios}->{$scenario_name}->{map_ids} = [split(/,/,$ids)];
3620 :     }
3621 :    
3622 :     sub get_hope_additional_reactions
3623 :     {
3624 :     my($self,$scenario_name) = @_;
3625 : parrello 1.119
3626 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{additional_reactions}};
3627 : olson 1.105 }
3628 :    
3629 :     sub set_hope_additional_reactions
3630 :     {
3631 :     my($self,$scenario_name,$rids) = @_;
3632 :     $rids =~ s/^\s+//g;
3633 :     $rids =~ s/\s+$//g;
3634 :     $rids =~ s/,\s+/,/g;
3635 :     $rids =~ s/\s+,/,/g;
3636 :     $rids =~ s/\s+/,/g;
3637 :     $self->{hope_scenarios}->{$scenario_name}->{additional_reactions} = [split(/,/,$rids)];
3638 :     }
3639 :    
3640 :     sub get_hope_ignore_reactions
3641 :     {
3642 :     my($self,$scenario_name) = @_;
3643 : parrello 1.119
3644 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{ignore_reactions}};
3645 : olson 1.105 }
3646 :    
3647 :     sub set_hope_ignore_reactions
3648 :     {
3649 :     my($self,$scenario_name,$rids) = @_;
3650 :     $rids =~ s/^\s+//g;
3651 :     $rids =~ s/\s+$//g;
3652 :     $rids =~ s/,\s+/,/g;
3653 :     $rids =~ s/\s+,/,/g;
3654 :     $rids =~ s/\s+/,/g;
3655 :     $self->{hope_scenarios}->{$scenario_name}->{ignore_reactions} = [split(/,/,$rids)];
3656 :     }
3657 :    
3658 : dejongh 1.106 sub get_hope_reactions_for_genome
3659 :     {
3660 :     my($self, $genome) = @_;
3661 :     my $index = $self->{genome_index}->{$genome};
3662 :     if (defined $index) {
3663 :     my @roles = $self->get_roles;
3664 : dejongh 1.118 my %hope_reactions = $self->get_hope_reactions;
3665 : dejongh 1.106
3666 : dejongh 1.107 my %ss_reactions;
3667 : dejongh 1.106
3668 :     foreach my $role (@roles)
3669 :     {
3670 : dejongh 1.107 my @peg_list = $self->get_pegs_from_cell($genome,$role);
3671 :    
3672 :     if (defined $hope_reactions{$role} && scalar @peg_list > 0)
3673 : parrello 1.119
3674 : dejongh 1.106 {
3675 : dejongh 1.107 foreach my $reaction (@{$hope_reactions{$role}})
3676 :     {
3677 :     push @{$ss_reactions{$reaction}}, @peg_list;
3678 :     }
3679 : dejongh 1.106 }
3680 :     }
3681 :    
3682 : dejongh 1.118 return %ss_reactions;
3683 : dejongh 1.106 }
3684 :     else {
3685 :     return undef;
3686 :     }
3687 :     }
3688 :    
3689 : olson 1.105 sub get_hope_reactions
3690 :     {
3691 :     my($self) = @_;
3692 :    
3693 : dejongh 1.118 return %{$self->{hope_reactions}};
3694 : olson 1.105 }
3695 :    
3696 : bartels 1.126 sub get_emptycells
3697 :     {
3698 :     my($self) = @_;
3699 :    
3700 :     return $self->{emptycells};
3701 :     }
3702 :    
3703 : olson 1.105 sub set_hope_reaction {
3704 :     my($self,$role,$rids) = @_;
3705 :     $rids =~ s/,\s+/,/g;
3706 :     $rids =~ s/\s+/,/g;
3707 :     $self->{hope_reactions}->{$role} = [split(/,/,$rids)];
3708 :     }
3709 :    
3710 :     sub get_hope_reaction_notes
3711 :     {
3712 :     my($self) = @_;
3713 :    
3714 : dejongh 1.118 return %{$self->{hope_reaction_notes}};
3715 : olson 1.105 }
3716 :    
3717 :     sub set_hope_reaction_note {
3718 :     my($self,$role,$rstring) = @_;
3719 :    
3720 :     $self->{hope_reaction_notes}->{$role} = $rstring;
3721 :     }
3722 :    
3723 :     sub get_hope_reaction_links
3724 :     {
3725 :     my($self) = @_;
3726 :    
3727 : dejongh 1.118 return %{$self->{hope_reaction_links}};
3728 : olson 1.105 }
3729 :    
3730 :     sub set_hope_reaction_link {
3731 :     my($self,$role,$rstring) = @_;
3732 :    
3733 :     $self->{hope_reaction_links}->{$role} = $rstring;
3734 :     }
3735 :    
3736 : parrello 1.119 sub get_hope_curation_notes
3737 : olson 1.105 {
3738 :     my($self) = @_;
3739 :    
3740 :     return $self->{hope_curation_notes};
3741 :     }
3742 :    
3743 :     sub set_hope_curation_notes
3744 :     {
3745 :     my($self, $hope_curation_notes) = @_;
3746 :    
3747 :     $self->{hope_curation_notes} = $hope_curation_notes;
3748 :     }
3749 : overbeek 1.59
3750 : bartels 1.126 sub set_emptycells
3751 :     {
3752 :     my($self, $emptycells) = @_;
3753 :    
3754 :     $self->{emptycells} = $emptycells;
3755 :     }
3756 :    
3757 : olson 1.26 sub set_notes
3758 :     {
3759 :     my($self, $notes) = @_;
3760 :    
3761 : olson 1.28 $self->{notes} = $notes;
3762 : olson 1.26 }
3763 :    
3764 : olson 1.110 sub set_description
3765 :     {
3766 :     my($self, $desc) = @_;
3767 :    
3768 :     $self->{description} = $desc;
3769 :     }
3770 :    
3771 : bartels 1.124 sub set_variants
3772 :     {
3773 :     my($self, $var) = @_;
3774 :    
3775 :     my $text = '';
3776 :     foreach my $k ( sort keys %$var ) {
3777 :     $text .= "$k\t".$var->{ $k }."\n";
3778 :     }
3779 :    
3780 :     $self->{variants} = $text;
3781 :     }
3782 :    
3783 : olson 1.110 sub set_literature
3784 :     {
3785 :     my($self, $lit) = @_;
3786 :    
3787 :     $self->{literature} = $lit;
3788 :     }
3789 :    
3790 : redwards 1.44 sub get_classification
3791 :     {
3792 :     my($self) = @_;
3793 :    
3794 :     return $self->{classification};
3795 :     }
3796 :    
3797 :     sub set_classification
3798 :     {
3799 :     my($self, $classification) = @_;
3800 :    
3801 :     $self->{classification}=$classification;
3802 :     }
3803 :    
3804 :    
3805 : parrello 1.73 =head3 get_curator
3806 :    
3807 : parrello 1.119 my $userName = $sub->get_curator();
3808 : parrello 1.73
3809 :     Return the name of this subsystem's official curator.
3810 :    
3811 :     =cut
3812 : parrello 1.60
3813 : parrello 1.119 sub get_curator
3814 : olson 1.17 {
3815 :     my($self) = @_;
3816 :     return $self->{curator};
3817 :     }
3818 : overbeek 1.47
3819 : overbeek 1.115 sub get_created
3820 :     {
3821 :     my($self) = @_;
3822 :     return $self->{created};
3823 :     }
3824 :    
3825 :     sub get_last_updated
3826 :     {
3827 :     my($self) = @_;
3828 :     return $self->{last_updated};
3829 :     }
3830 :    
3831 : olson 1.25 #
3832 :     # Subsystem copying logic
3833 :     #
3834 :    
3835 : parrello 1.73 =head3 add_to_subsystem($subsystem_name, $columns, $notes_flag)
3836 : olson 1.25
3837 :     Merge the given columns from $subsystem_name into this subsystem. Append the
3838 :     notes from the subsystem if $notes_flag is true.
3839 :    
3840 :     =cut
3841 :    
3842 :     sub add_to_subsystem
3843 :     {
3844 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
3845 :    
3846 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
3847 :    
3848 :     if (!$ss)
3849 :     {
3850 : parrello 1.69 warn "Cannot open subsystem '$subsystem_name' to copy from";
3851 :     return;
3852 : olson 1.25 }
3853 :    
3854 :     #
3855 :     # Merge the data from the other subsystem.
3856 :     #
3857 :     # First we assure ourselves that we have the appropriate roles. While
3858 :     # we do this, build the list of row indices (in this subsystem) that
3859 :     # map to the roles we are adding.
3860 :     #
3861 :    
3862 :     #
3863 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
3864 :     #
3865 : parrello 1.60
3866 : olson 1.25 my @local_roles;
3867 :    
3868 :     #
3869 :     # his_roles = list of role indices corresponding to the remote roles.
3870 :     #
3871 : overbeek 1.36 if ($cols->[0] eq "all")
3872 :     {
3873 : parrello 1.69 $cols = [$ss->get_roles];
3874 : overbeek 1.36 }
3875 :    
3876 : olson 1.25 my @his_roles;
3877 : parrello 1.60
3878 : olson 1.25 for my $his_role (@$cols)
3879 :     {
3880 : parrello 1.69 my $idx = $self->get_role_index($his_role);
3881 :     my $his_idx = $ss->get_role_index($his_role);
3882 :    
3883 :     if (!defined($his_idx))
3884 :     {
3885 :     confess "Cannot map his role $his_role\n";
3886 :     }
3887 :     push(@his_roles, $his_idx);
3888 : olson 1.25
3889 : parrello 1.69 if (!defined($idx))
3890 :     {
3891 :     my $his_abbr = $ss->get_role_abbr($his_idx);
3892 : parrello 1.60
3893 : parrello 1.69 $idx = $self->add_role($his_role, $his_abbr);
3894 :     # print "Adding missing role $his_role idx=$idx\n";
3895 :     }
3896 :     else
3897 :     {
3898 :     # print "Found existing role $his_role idx=$idx\n";
3899 :     }
3900 : olson 1.25
3901 : parrello 1.69
3902 :     $local_roles[$his_idx] = $idx;
3903 : olson 1.25 }
3904 :    
3905 :     #
3906 :     # Similar scan to ensure that we have rows for the genomes
3907 :     # that are in the other subsystem.
3908 :     #
3909 :    
3910 :     my @local_genomes;
3911 :    
3912 :     my @his_genomes = $ss->get_genomes();
3913 :    
3914 :     for my $his_idx (0..@his_genomes - 1)
3915 :     {
3916 : parrello 1.69 my $genome = $his_genomes[$his_idx];
3917 :    
3918 : overbeek 1.37
3919 : parrello 1.69 my $my_idx = $self->get_genome_index($genome);
3920 : parrello 1.60
3921 : parrello 1.69 if (!defined($my_idx))
3922 :     {
3923 :     #
3924 :     # Not there, need to add.
3925 :     #
3926 : olson 1.25
3927 : parrello 1.69 $my_idx = $self->add_genome($genome);
3928 :     # print "Adding missing genome $genome idx=$my_idx\n";
3929 :     }
3930 :     else
3931 :     {
3932 :     # print "Found existing genome $genome idx=$my_idx\n";
3933 :     }
3934 : parrello 1.60
3935 : parrello 1.69 $local_genomes[$his_idx] = $my_idx;
3936 : olson 1.25 }
3937 :    
3938 : parrello 1.60
3939 : olson 1.25 #
3940 :     # Now that we have our local roles set up to receive the data,
3941 :     # process the incoming roles one at a time.
3942 :     #
3943 :    
3944 :    
3945 :     for my $his_role (@his_roles)
3946 :     {
3947 : parrello 1.69 my $my_col = $self->get_col($local_roles[$his_role]);
3948 :     my $his_col = $ss->get_col($his_role);
3949 : olson 1.25
3950 : parrello 1.69 #
3951 :     # $his_col is the information for $his_role, indexed by
3952 :     # genome in @his_genomes.
3953 :     #
3954 :     # $my_col is hte information for my copy of $his_role,
3955 :     # indexed by genome in MY genome list.
3956 :     #
3957 : olson 1.25
3958 : parrello 1.69 my $my_role = $local_roles[$his_role];
3959 : olson 1.25
3960 : parrello 1.69 # print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
3961 : olson 1.25
3962 : parrello 1.69 for my $his_gidx (0 .. @his_genomes - 1)
3963 :     {
3964 :     my $hisent = $his_col->[$his_gidx];
3965 : olson 1.25
3966 : parrello 1.69 my $my_gidx = $local_genomes[$his_gidx];
3967 : parrello 1.60
3968 : overbeek 1.37
3969 : parrello 1.69 my $myent = $my_col->[$my_gidx];
3970 : olson 1.25
3971 : parrello 1.69 # print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
3972 : olson 1.25
3973 : parrello 1.69 my %new;
3974 :     map { $new{$_}++ } @$hisent;
3975 :     map { $new{$_}++ } @$myent;
3976 : olson 1.25
3977 : parrello 1.69 @$myent = keys(%new);
3978 : olson 1.25
3979 : parrello 1.69 # print " new entry: @$myent\n";
3980 :     }
3981 : olson 1.25 }
3982 : olson 1.26
3983 :     #
3984 :     # Fix up the variant codes.
3985 :     #
3986 :    
3987 :     for my $his_gidx (0 .. @his_genomes - 1)
3988 :     {
3989 : parrello 1.69 my $his_code = $ss->get_variant_code($his_gidx);
3990 :     my $my_gidx = $local_genomes[$his_gidx];
3991 : olson 1.26
3992 : parrello 1.69 if (!$self->get_variant_code($my_gidx))
3993 :     {
3994 :     $self->{variant_code}->[$my_gidx] = $his_code;
3995 :     }
3996 : olson 1.26 }
3997 :    
3998 :     #
3999 :     # If we are to add notes, append the other subsystem's notes text.
4000 :     #
4001 :    
4002 :     if ($add_notes)
4003 :     {
4004 : parrello 1.69 my $his_notes = $ss->get_notes();
4005 : olson 1.26
4006 : parrello 1.69 $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
4007 : olson 1.26 }
4008 : olson 1.25 }
4009 : olson 1.17
4010 : olson 1.1 sub dump
4011 :     {
4012 :     my($self) = @_;
4013 :    
4014 :     for my $k (keys(%$self))
4015 :     {
4016 : parrello 1.69 next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
4017 :     print "Key \"$k\": ", Dumper($self->{$k});
4018 : olson 1.1 }
4019 :     }
4020 : parrello 1.60
4021 : olson 1.14 #
4022 :     # Increment the subsystem's version number.
4023 :     #
4024 :     sub incr_version {
4025 :     my($self) = @_;
4026 :    
4027 :     my $dir = $self->{dir};
4028 :     my $vfile = "$dir/VERSION";
4029 :     my($ver);
4030 :    
4031 :     if (open(my $fh,"<$vfile"))
4032 :     {
4033 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
4034 :     {
4035 :     $ver = $1;
4036 :     }
4037 :     else
4038 :     {
4039 :     $ver = 0;
4040 :     }
4041 :     close($fh);
4042 :     }
4043 :     else
4044 :     {
4045 :     $ver = 0;
4046 :     }
4047 :    
4048 :     $ver++;
4049 :    
4050 :     open(my $fh, ">$vfile") || die "could not open $vfile";
4051 :     print $fh "$ver\n";
4052 :     close($fh);
4053 :    
4054 :     chmod(0777, $vfile);
4055 :    
4056 :     $self->load_version();
4057 :     }
4058 : olson 1.1
4059 : heiko 1.78
4060 :     =head3 functional_role_instances
4061 :    
4062 : parrello 1.119 my @role_instances = $sub->functional_role_instances($role);
4063 : heiko 1.78
4064 :     Returns the set of genes for a functional role that belong to
4065 :     genomes with functional variants (> 0).
4066 :    
4067 : heiko 1.87 If the flag $strict is set to true,
4068 :     an additional check for the correct function assignment is performed.
4069 :     If the name of the functional role does not occur exaclty in the
4070 :     latest function assignment of the PEG, it is not included in the
4071 :     returned array. A simple index check is done.
4072 :    
4073 : heiko 1.78 =cut
4074 :    
4075 :     sub functional_role_instances {
4076 : parrello 1.119
4077 : heiko 1.87 my ($self, $role, $strict) = @_;
4078 : heiko 1.78 my $i =0;
4079 :    
4080 :     my @instances;
4081 :    
4082 :     foreach my $cell (@{$self->get_col($self->get_role_index($role))}) {
4083 : parrello 1.119
4084 : heiko 1.78 if ((scalar @$cell > 0) && ($self->get_variant_code($i) > 0)) {
4085 :     foreach (@$cell) {
4086 : heiko 1.87
4087 : parrello 1.119
4088 : heiko 1.87 unless ($strict) {
4089 :     push @instances, $_;
4090 :     } else {
4091 :     # check if the peg is still in sync with the role assignment
4092 :     # will tolerate multiple role assignments but no mismatches
4093 :     my $current_function = $self->{fig}->function_of($_);
4094 : parrello 1.119 if (index($current_function, $role) != -1) {
4095 : heiko 1.87 push @instances, $_;
4096 :     } else {
4097 :     print STDERR "[Warning] Function of $_ out of sync for role $role in subsystem ".$self->get_name()."\n";
4098 :     }
4099 :     }
4100 : heiko 1.78 }
4101 :     }
4102 :     $i++;
4103 : parrello 1.119 }
4104 : heiko 1.78
4105 :    
4106 :     return @instances if wantarray;
4107 :     return \@instances;
4108 :    
4109 :     }
4110 :    
4111 :    
4112 :    
4113 :    
4114 : parrello 1.75 =head3 get_dir_from_name
4115 :    
4116 : parrello 1.119 my $dirName = Subsystem::get_dir_from_name($name);
4117 : parrello 1.75
4118 :     Return the name of the directory containing the SEED data for the specified
4119 :     subsystem.
4120 :    
4121 :     =over 4
4122 :    
4123 :     =item name
4124 :    
4125 :     Name of the subsystem whose directory is desired.
4126 :    
4127 :     =item RETURN
4128 :    
4129 :     Returns the fully-qualified directory name for the subsystem.
4130 :    
4131 :     =back
4132 :    
4133 :     =cut
4134 :    
4135 : olson 1.1 sub get_dir_from_name
4136 :     {
4137 :     my($name) = @_;
4138 :    
4139 :     my $b = $name;
4140 :     $b =~ s/ /_/g;
4141 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
4142 :     return $dir;
4143 :     }
4144 :    
4145 : olson 1.12 #
4146 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
4147 :     #
4148 :     # The code here is a reconstruction of Bill's "go" script in perl with
4149 :     # data pulled from the local SEED configuration.
4150 :     #
4151 :    
4152 :     sub extend_with_billogix
4153 :     {
4154 : olson 1.42 my($self, $muser, $genomes) = @_;
4155 : olson 1.12 my($isMaster, $user);
4156 : parrello 1.60
4157 : olson 1.12 my $now = time();
4158 :    
4159 :     if ($muser =~ /master:(.*)/)
4160 :     {
4161 : parrello 1.69 $isMaster = 1;
4162 :     $user = $1;
4163 : olson 1.12 }
4164 :     else
4165 :     {
4166 : parrello 1.69 $isMaster = 0;
4167 :     $user = $muser;
4168 : olson 1.12 }
4169 :    
4170 :     #
4171 : olson 1.42 # initialize the genome list to all complete genomes, if none was passed in.
4172 :     #
4173 :    
4174 :     if (!$genomes)
4175 :     {
4176 : parrello 1.69 $genomes = [$self->{fig}->genomes("complete")];
4177 :     warn "getting genome list from fig $self->{fig}";
4178 : olson 1.42 }
4179 :    
4180 :     #
4181 :     # Ensure genome list is of the right form.
4182 :     #
4183 :    
4184 :     if (ref($genomes) ne "ARRAY")
4185 :     {
4186 : parrello 1.69 warn "billogix: genome list is not a list reference";
4187 :     return;
4188 : olson 1.42 }
4189 :    
4190 :     for my $g (@$genomes)
4191 :     {
4192 : parrello 1.69 if ($g !~ /^\d+\.\d+/)
4193 :     {
4194 :     warn "billogix: genome '$g' is not of the proper form, aborting billogix run.";
4195 :     return;
4196 :     }
4197 : olson 1.42 }
4198 : parrello 1.60
4199 : olson 1.42 my $genome_list = "[" . join(", ", map { "'$_'" } @$genomes) . "]";
4200 :    
4201 :     warn "Genomes: $genome_list\n";
4202 :     warn Dumper($genomes);
4203 : parrello 1.60
4204 : olson 1.42 #
4205 : olson 1.12 # Find the executable.
4206 :     #
4207 :    
4208 :     my $exe = "$FIG_Config::bin/billogix";
4209 :    
4210 :     if (! -x $exe)
4211 :     {
4212 : parrello 1.69 warn "Cannot find billogix exe at $exe\n";
4213 :     return;
4214 : olson 1.12 }
4215 : parrello 1.60
4216 : olson 1.12 my $ss_name = $self->{name};
4217 : olson 1.18
4218 :     $ss_name =~ s/\s+/_/g;
4219 : parrello 1.60
4220 : olson 1.14 my $ss_dir = "$self->{dir}/";
4221 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
4222 : olson 1.12 &FIG::verify_dir($assign_dir);
4223 :    
4224 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
4225 :     my $job_id = "${when}:sss:$ss_name";
4226 :    
4227 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
4228 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
4229 : olson 1.12
4230 :     #
4231 :     # Have the prereq stuff, now start up the app.
4232 :     #
4233 :    
4234 :     $ENV{LOCALSZ} = "80000";
4235 :     $ENV{GLOBALSZ} = "80000";
4236 :     $ENV{TRAILSZ} = "30000";
4237 : olson 1.13
4238 :     my $arch = &FIG::get_current_arch();
4239 :    
4240 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
4241 :    
4242 :     #
4243 :     # Need to ensure pl2wam is in our path
4244 :     #
4245 :    
4246 :     $ENV{PATH} = "${FIG_Config::ext_bin}:$ENV{PATH}";
4247 : olson 1.12
4248 : olson 1.23 #
4249 :     # We're going to divide the run into $n_chunks chunks.
4250 :     #
4251 :    
4252 :     my $n_chunks = 10;
4253 :    
4254 :     my($log);
4255 :     open($log, ">$ss_dir/$job_id.log");
4256 :    
4257 :     for (my $this_chunk = 1; $this_chunk <= $n_chunks; $this_chunk++)
4258 :     {
4259 : parrello 1.69 my $app_input = <<EOINP;
4260 : olson 1.12 ['\$BILLOGIX/top'].
4261 :     loadup.
4262 : olson 1.42 asserta(job_genome_list($genome_list)).
4263 : olson 1.23 asserta(part($this_chunk, $n_chunks)).
4264 : olson 1.12 asserta(url_default_seed('$seed')).
4265 : olson 1.13 asserta(url_export_part('$export_part')).
4266 : olson 1.12 asserta(ss_directory('$ss_dir')).
4267 :     asserta(assign_directory('$assign_dir')).
4268 :     asserta(job_id('$job_id')).
4269 :     extend_test3('$ss_name').
4270 :     EOINP
4271 :    
4272 : olson 1.23 print STDERR <<EOF;
4273 : olson 1.12 Starting app
4274 :    
4275 : olson 1.23 chunk $this_chunk of $n_chunks
4276 : olson 1.12 ss_name = $ss_name
4277 :     ss_dir = $ss_dir
4278 :     user = $user
4279 :     assign_dir = $assign_dir
4280 :     exe = $exe
4281 : olson 1.13 libdir = $ENV{BILLOGIX}
4282 :     path = $ENV{PATH}
4283 : olson 1.12
4284 :     App input
4285 :     $app_input
4286 :     EOF
4287 :     # feh, put in a block to reset perlmode indentation.
4288 : olson 1.23 {
4289 : parrello 1.69 my($app_read, $app_write);
4290 : parrello 1.60
4291 : parrello 1.69 #
4292 :     # Start the actual application with stdin and stdout redirected
4293 :     # to pipes.
4294 :     #
4295 :     # We write $app_input to the stdin pipe, and close it.
4296 :     # Then loop reading stdout, logging that output.
4297 :     #