[Bio] / FigKernelPackages / Subsystem.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/Subsystem.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.135 - (view) (download) (as text)

1 : olson 1.76 #
2 :     # Copyright (c) 2003-2006 University of Chicago and Fellowship
3 :     # for Interpretations of Genomes. All Rights Reserved.
4 :     #
5 :     # This file is part of the SEED Toolkit.
6 : parrello 1.119 #
7 : olson 1.76 # The SEED Toolkit is free software. You can redistribute
8 :     # it and/or modify it under the terms of the SEED Toolkit
9 : parrello 1.119 # Public License.
10 : olson 1.76 #
11 :     # You should have received a copy of the SEED Toolkit Public License
12 :     # along with this program; if not write to the University of Chicago
13 :     # at info@ci.uchicago.edu or the Fellowship for Interpretation of
14 :     # Genomes at veronika@thefig.info or download a copy from
15 :     # http://www.theseed.org/LICENSE.TXT.
16 :     #
17 :    
18 : olson 1.1 package Subsystem;
19 :    
20 : olson 1.25 use Carp;
21 : olson 1.10
22 : olson 1.12 use POSIX;
23 : olson 1.7 use DirHandle;
24 : olson 1.1 use Data::Dumper;
25 : olson 1.14 use File::Copy;
26 : olson 1.1 use File::Spec;
27 : olson 1.12 use IPC::Open2;
28 : olson 1.113 use FileHandle;
29 : parrello 1.77 use Tracer;
30 : olson 1.1
31 :     use strict;
32 :    
33 : olson 1.110 my $notes_separator = "###############################";
34 : bartels 1.124 my @section_order = qw(description notes literature variants);
35 : olson 1.110 my %defined_sections = map { $_ => 1 } @section_order;
36 :    
37 : parrello 1.73 =head1 Subsystem Manipulation
38 : olson 1.2
39 :     Any manipulation of subsystem data should happen through this interface.
40 : parrello 1.60 This allows us to assure ourselves that the relational tables that
41 :     mirror and index the subsystem data are kept up to date with the
42 : olson 1.2 canonical version of the subsystem information in the flat-files
43 :     kept in $FIG_Config::data/Subsystems.
44 :    
45 : olson 1.25 =head2 Objects.
46 :    
47 :     We define the following perl objects:
48 :    
49 :     Subsystem: represents a subsystem. It can be read from disk and
50 :     written to disk, and manipulated via its methods when in memory.
51 :    
52 :     If we were completely on the OO side of the world, we would also
53 :     define the following set of objects. However, we are not, so they are
54 :     only objects in a conceptual sense. They are implemented using the
55 : parrello 1.60 basic perl datatypes.
56 : olson 1.25
57 :     Role: represents a single role. A role has a name and an abbreviation.
58 :    
59 :     RoleSubset: represents a subset of available roles. A subset has a
60 :     name and a list of role names that comprise the subset.
61 :    
62 : olson 1.2 =head2 Thoughts on locking
63 :    
64 :     It is currently dangerous for multiple users to modify spreadsheets at once.
65 :     It will likely remain dangerous while the subsystem backend is fairly
66 :     stateless, as it is with the CGI mechanism.
67 :    
68 :     We'd like to make this a little safer. One mechanism might be to allow
69 :     a user to open a subsystem for modification, and others for readonly access.
70 :     For this to work we have to be able to tell which users is allowed; current
71 :     implementation uses the curator of the subsystem for this purpose.
72 :    
73 :     NB: This module does not currently attempt to handle locking or exclusion.
74 :     It is up to the caller (user application, CGI script, etc) to do so.
75 :     It does attempt to use locking internally where appropriate.
76 :    
77 :     =head2 Data structures
78 :    
79 :     We maintain the following data structures (all members of %$self).
80 :    
81 :     =over 4
82 :    
83 :     =item dir
84 :    
85 :     Directory in which the subsystem is stored.
86 :    
87 :     =item notes
88 :    
89 :     The current notes contents for the subsystem
90 :    
91 :     =item version
92 :    
93 :     Current subsystem version.
94 :    
95 :     =item exchangable
96 :    
97 :     1 if subsystem is exchangable, 0 otherwise.
98 :    
99 :     =item roles
100 :    
101 : olson 1.25 List of role names.
102 : olson 1.2
103 :     =item role_index
104 :    
105 :     hash that maps from role name to index
106 :    
107 :     =item role_abbrs
108 :    
109 :     list of role abbreviations
110 :    
111 :     =item abbr
112 :    
113 :     hash mapping from role abbreviation to role name
114 :    
115 :     =item col_subsets
116 :    
117 :     list of column subset names
118 :    
119 :     =item col_subset_members
120 :    
121 :     hash that maps from column subset name to subset members
122 :    
123 :     =item col_active_subset
124 :    
125 :     currently-active column subset
126 :    
127 :     =item row_active_subset
128 :    
129 :     currently-active row subset
130 :    
131 :     =item genome
132 :    
133 : olson 1.25 List of genome IDs.
134 : olson 1.2
135 :     =item variant_code
136 :    
137 : olson 1.25 List of variant codes.
138 : olson 1.2
139 :     =item genome_index
140 :    
141 :     Hash mapping from genome ID to genome index.
142 :    
143 :     =item spreadsheet
144 :    
145 :     Spreadsheet data. Structured as a list of rows, each of which
146 :     is a list of entries. An entry is a list of PEG numbers.
147 :    
148 :     =item spreadsheet_inv
149 :    
150 :     Inverted structure of spreadsheet - list of columns, each of which is a list
151 :     of rows.
152 :    
153 :     =back
154 :    
155 : parrello 1.73 =head2 Public Methods
156 : olson 1.25
157 : parrello 1.73 =head3 new
158 : olson 1.25
159 : parrello 1.119 my $sub = Subsystem->new($subName, $fig, $createFlag);
160 : olson 1.25
161 : parrello 1.73 Load the subsystem. If it does not exist, and $createFlag is true, create
162 :     a new, empty subsystem.
163 : olson 1.25
164 : parrello 1.73 =over 4
165 : olson 1.25
166 : parrello 1.73 =item subName
167 : olson 1.25
168 : parrello 1.73 Name of the desired subsystem.
169 : olson 1.25
170 : parrello 1.73 =item fig
171 : olson 1.25
172 : parrello 1.73 FIG object for accessing the SEED data store.
173 : olson 1.25
174 : parrello 1.73 =item createFlag
175 : overbeek 1.31
176 : parrello 1.73 TRUE if an empty subsystem should be created with the given name, else FALSE. If a
177 :     subsystem with the name already exists, this parameter has no effect.
178 : olson 1.25
179 :     =back
180 :    
181 : olson 1.2 =cut
182 : olson 1.1
183 :     sub new
184 :     {
185 :     my($class, $name, $fig, $create) = @_;
186 :    
187 :     my $ssa_dir = get_dir_from_name($name);
188 :     #
189 :     # For loading, the subsystem directory must already exist.
190 :     #
191 : parrello 1.60
192 : olson 1.25 if (! -d $ssa_dir and not $create)
193 : olson 1.1 {
194 : parrello 1.69 # warn "Subsystem $name does not exist\n";
195 :     return undef;
196 : olson 1.1 }
197 : olson 1.56
198 : redwards 1.72 # RAE: Please do this:
199 :     $name =~ s/^\s+//; $name =~ s/\s+$//;
200 : olson 1.56 $name =~ s/ /_/g;
201 :    
202 : olson 1.1 my $self = {
203 : parrello 1.69 dir => $ssa_dir,
204 :     name => $name,
205 :     fig => $fig,
206 : olson 1.1 };
207 :    
208 :     bless($self, $class);
209 :    
210 : olson 1.70 #
211 :     # Check to see if the database we're running against has a variant column.
212 :     #
213 :     $self->detect_db_version();
214 :    
215 : olson 1.25 if ($create)
216 :     {
217 : parrello 1.69 $self->create_subsystem();
218 : olson 1.25 }
219 :     else
220 :     {
221 : parrello 1.69 $self->load();
222 : olson 1.25 }
223 : olson 1.1
224 :     return $self;
225 :     }
226 :    
227 : olson 1.70 sub detect_db_version
228 :     {
229 :     my($self) = @_;
230 :     my $db = $self->{fig}->db_handle();
231 :     my $dbh = $db->{_dbh};
232 :     local $dbh->{RaiseError} = 1;
233 :     local $dbh->{PrintError} = 0;
234 :    
235 :     eval {
236 :     my $x = $db->SQL("select variant from subsystem_index where subsystem = '' limit 1");
237 :     };
238 :    
239 :     #
240 :     # If this failed, it's an old database.
241 :     #
242 :     if ($@ =~ /variant/)
243 :     {
244 :     warn "Please rerun index_subsystems: current table does not have a variant column\n";
245 :     $self->{old_database} = 1;
246 :     }
247 :     }
248 :    
249 :    
250 : olson 1.19 sub new_from_dir
251 :     {
252 :     my($class, $dir, $fig) = @_;
253 :    
254 :     my $ssa_dir = $dir;
255 : olson 1.29 my $name = $dir;
256 :     $name =~ s,.*/,,;
257 : olson 1.19
258 :     #
259 :     # For loading, the subsystem directory must already exist.
260 :     #
261 : parrello 1.60
262 : olson 1.19 my $self = {
263 : parrello 1.69 dir => $ssa_dir,
264 :     name => $name,
265 :     fig => $fig,
266 : olson 1.19 };
267 :    
268 :     bless($self, $class);
269 :    
270 :     $self->load();
271 :    
272 :     return $self;
273 :     }
274 :    
275 : parrello 1.73 =head3 create_subsystem
276 : olson 1.25
277 :     Create a new subsystem. This creates the subsystem directory in the
278 :     correct place ($FIG_Config::data/Subsystems), and populates it with
279 :     the correct initial data.
280 :    
281 :     =cut
282 :    
283 : olson 1.1 sub create_subsystem
284 :     {
285 : olson 1.25 my($self) = @_;
286 :    
287 :     my $dir = $self->{dir};
288 :     my $fig = $self->{fig};
289 :    
290 :     if (-d $dir)
291 :     {
292 : parrello 1.69 warn "Not creating: Subsystem directory $dir already exists";
293 :     return;
294 : olson 1.25 }
295 :    
296 :     $fig->verify_dir($dir);
297 :    
298 :     #
299 :     # Initialize empty data structures.
300 :     #
301 : parrello 1.60
302 : olson 1.25 $self->{genome} = [];
303 :     $self->{genome_index} = {};
304 :     $self->{variant_code} = [];
305 :    
306 :     $self->{abbr} = {};
307 :     $self->{role_index} = {};
308 :     $self->{roles} = [];
309 :     $self->{role_abbrs} = [];
310 : olson 1.1
311 : olson 1.25 $self->{spreadsheet} = [];
312 :     $self->{spreadsheet_inv} = [];
313 :    
314 : bartels 1.126 # added by DB for empty cell annotation
315 : bartels 1.128 $self->{emptycells} = {};
316 : bartels 1.126
317 : olson 1.25 $self->{col_subsets} = [];
318 :     $self->{col_subset_members} = {};
319 :    
320 : overbeek 1.31 $self->{row_subsets} = [];
321 :     $self->{row_subset_members} = {};
322 : overbeek 1.35 $self->load_row_subsets();
323 : overbeek 1.31
324 : olson 1.25 $self->{row_active_subset} = "All";
325 :     $self->{col_active_subset} = "All";
326 :    
327 :     $self->{version} = 0;
328 :     $self->{exchangable} = 0;
329 : overbeek 1.45 $self->{classification} = [];
330 : olson 1.25
331 :     $self->write_subsystem();
332 : olson 1.1 }
333 :    
334 : parrello 1.75 =head3 get_diagrams
335 :    
336 : parrello 1.119 my @list = $sub->get_diagrams();
337 : parrello 1.75
338 :     Return a list of the diagrams associated with this subsystem. Each diagram
339 :     is represented in the return list as a 4-tuple C<[diagram_id, diagram_name,
340 :     page_link, img_link]> where
341 :    
342 :     =over 4
343 :    
344 :     =item diagram_id
345 :    
346 :     ID code for this diagram.
347 :    
348 :     =item diagram_name
349 :    
350 :     Displayable name of the diagram.
351 :    
352 :     =item page_link
353 :    
354 :     URL of an HTML page containing information about the diagram.
355 :    
356 :     =item img_link
357 :    
358 :     URL of an HTML page containing an image for the diagram.
359 :    
360 :     =back
361 : olson 1.7
362 : parrello 1.75 Note that the URLs are in fact for CGI scripts with parameters that point them
363 :     to the correct place.
364 : olson 1.7
365 : parrello 1.75 =cut
366 : olson 1.61
367 : parrello 1.75 sub get_diagrams {
368 :     # Get the parameters.
369 :     my ($self) = @_;
370 :     # Look for all the sub-directories in the subsystem's diagram directory. Each
371 :     # one of these will be a diagram ID. If the diagram directory doesn't exist,
372 :     # we'll get an empty list.
373 :     my @ids = GetDiagramIDs($self->{dir});
374 :     # Declare the return variable.
375 : olson 1.61 my @ret;
376 : parrello 1.75 # Loop through the diagram IDs found (if any).
377 :     for my $id (@ids) {
378 :     # Get the name and URLs for this diagram.
379 : parrello 1.69 my(@diag) = $self->get_diagram($id);
380 : parrello 1.75 # If we found a name and URLs, then this diagram must be added to the
381 :     # return list.
382 :     if (@diag) {
383 : parrello 1.69 push(@ret, [$id, @diag]);
384 :     }
385 : olson 1.61 }
386 : parrello 1.75 # Return the list of diagrams.
387 : olson 1.61 return @ret;
388 :     }
389 :    
390 : parrello 1.75 =head3 get_diagram
391 :    
392 : parrello 1.119 my ($name, $pageURL, $imgURL) = $sub->get_diagram($id);
393 : parrello 1.75
394 :     Get the information (if any) for the specified diagram. The diagram corresponds
395 :     to a subdirectory of the subsystem's C<diagrams> directory. For example, if the
396 :     diagram ID is C<d03>, the diagram's subdirectory would be C<$dir/diagrams/d03>,
397 :     where I<$dir> is the subsystem directory. The diagram's name is extracted from
398 :     a tiny file containing the name, and then the links are computed using the
399 :     subsystem name and the diagram ID. The parameters are as follows.
400 :    
401 :     =over 4
402 :    
403 :     =item id
404 :    
405 :     ID code for the desired diagram.
406 :    
407 :     =item RETURN
408 :    
409 :     Returns a three-element list. The first element is the diagram name, the second
410 :     a URL for displaying information about the diagram, and the third a URL for
411 :     displaying the diagram image.
412 :    
413 :     =back
414 :    
415 :     =cut
416 :    
417 : olson 1.61 sub get_diagram
418 :     {
419 :     my($self, $id) = @_;
420 :    
421 : parrello 1.75 my $name = GetDiagramName($self->{dir}, $id);
422 : parrello 1.108 my ($link, $img_link) = ComputeDiagramURLs($self, $self->{name}, $id);
423 : olson 1.61
424 :     return($name, $link, $img_link);
425 :     }
426 :    
427 : olson 1.66 sub get_diagram_html_file
428 :     {
429 :     my($self, $id) = @_;
430 :    
431 :     my $ddir = "$self->{dir}/diagrams/$id";
432 :    
433 :     return unless -d $ddir;
434 :    
435 :     my $html = "$ddir/diagram.html";
436 :    
437 :     if (-f $html)
438 :     {
439 : parrello 1.69 return $html;
440 : olson 1.66 }
441 :     else
442 :     {
443 : parrello 1.69 return undef;
444 : olson 1.66 }
445 :     }
446 :    
447 : paarmann 1.97 sub is_new_diagram {
448 :     my ($self, $id) = @_;
449 :    
450 :     my $image_map = $self->get_diagram_html_file($id);
451 :     if ($image_map) {
452 : parrello 1.119
453 : paarmann 1.97 open(IN, "$image_map") or die "Unable to open file $image_map.";
454 :     my $header = <IN>;
455 :     close(IN);
456 : parrello 1.119
457 : paarmann 1.97 if ($header =~ /\<map name=\"GraffleExport\"\>/) {
458 :     return 1;
459 :     }
460 :     }
461 :    
462 :     return undef;
463 :     }
464 :    
465 :     sub get_link_for_new_diagram {
466 :     my ($self, $id) = @_;
467 :    
468 :     my $ss_name = $self->{name};
469 :     return "./diagram.cgi?subsystem_name=$ss_name&diagram=$id";
470 :     }
471 :    
472 : parrello 1.90
473 : olson 1.61 sub open_diagram_image
474 :     {
475 :     my($self, $id) = @_;
476 :    
477 :     my $img_base = "$self->{dir}/diagrams/$id/diagram";
478 :    
479 :     my @types = ([".png", "image/png"],
480 : parrello 1.69 [".gif", "image/gif"],
481 :     [".jpg", "image/jpeg"]);
482 : olson 1.61
483 :     for my $tent (@types)
484 :     {
485 : parrello 1.69 my($ext, $type) = @$tent;
486 : olson 1.61
487 : parrello 1.69 my $file = "$img_base$ext";
488 : olson 1.61
489 : parrello 1.69 if (open(my $fh, "<$file"))
490 :     {
491 :     return($type, $fh);
492 :     }
493 : olson 1.61 }
494 :    
495 :     return undef;
496 :     }
497 : olson 1.7
498 : olson 1.61 sub delete_diagram
499 :     {
500 :     my($self, $id) = @_;
501 : parrello 1.60
502 : olson 1.61 my $dir = "$self->{dir}/diagrams/$id";
503 : olson 1.7
504 : olson 1.61 if (-d $dir)
505 :     {
506 : parrello 1.69 system("rm", "-r", $dir);
507 : olson 1.61 }
508 : olson 1.7 }
509 :    
510 : olson 1.61 sub rename_diagram
511 : olson 1.7 {
512 : olson 1.61 my($self, $id, $new_name) = @_;
513 : olson 1.7
514 : olson 1.61 my $dir = "$self->{dir}/diagrams/$id";
515 : olson 1.7
516 :     if (-d $dir)
517 :     {
518 : parrello 1.69 open(F, ">$dir/NAME");
519 :     $new_name =~ s/\n.*$//s;
520 :     print F "$new_name\n";
521 :     close(F);
522 : olson 1.61 }
523 :     }
524 :    
525 :     sub create_new_diagram
526 :     {
527 : olson 1.112 my($self, $fh, $html_fh, $name, $id, $overwrite) = @_;
528 : olson 1.61
529 :     #
530 :     # Get a new id.
531 :     #
532 :    
533 :     my $dir = "$self->{dir}/diagrams";
534 : olson 1.112 my $old_dir = "$self->{dir}/old_diagrams";
535 : olson 1.61
536 : parrello 1.108 Tracer::Insure($dir);
537 : olson 1.112 Tracer::Insure($old_dir);
538 : olson 1.61
539 :     my $path;
540 :    
541 :     if (defined($id))
542 :     {
543 : parrello 1.69 #
544 :     # Ensure this id doesn't already exist.
545 :     #
546 :    
547 :     $path = "$dir/$id";
548 :    
549 :     if (-d $path)
550 :     {
551 : olson 1.112 if (!$overwrite)
552 :     {
553 :     confess "Diagram id $id already exists in subsystem $self->{name}";
554 :     }
555 :     else
556 :     {
557 :     my $opath = "$old_dir/$id." . time;
558 :     rename($path, $opath);
559 :     }
560 : parrello 1.69 }
561 : olson 1.61
562 : olson 1.7 }
563 :     else
564 :     {
565 : parrello 1.69 $id = "d01";
566 : olson 1.61
567 : parrello 1.69 while (1)
568 :     {
569 :     $path = "$dir/$id";
570 :     last unless -e $path;
571 :     $id++;
572 :     }
573 : olson 1.61 }
574 :    
575 : parrello 1.108 Tracer::Insure($path);
576 : olson 1.61
577 :     if ($name)
578 :     {
579 : parrello 1.69 open(F, ">$path/NAME");
580 :     $name =~ s/\n.*$//s;
581 :     print F "$name\n";
582 :     close(F);
583 : olson 1.61 }
584 :    
585 :     #
586 :     # Write the file if we have one.
587 :     #
588 :    
589 :     if ($fh)
590 :     {
591 : parrello 1.69 my($ext, $buf);
592 : parrello 1.73
593 : parrello 1.69 if (read($fh, $buf, 4096))
594 :     {
595 :     my($ext) = $self->classify_image_type($buf);
596 :     open(D, ">$path/diagram$ext");
597 :     print D $buf;
598 : parrello 1.73
599 : parrello 1.69 while (read($fh, $buf, 4096))
600 :     {
601 :     print D $buf;
602 :     }
603 :     close(D);
604 :     }
605 :     close($fh);
606 : olson 1.7 }
607 : olson 1.65
608 :     #
609 :     # And write the HTML file if we have one.
610 :     #
611 :     if ($html_fh)
612 :     {
613 : parrello 1.69 my $buf;
614 :     open(D, ">$path/diagram.html");
615 : parrello 1.73
616 : parrello 1.69 while (read($html_fh, $buf, 4096))
617 :     {
618 :     print D $buf;
619 :     }
620 :     close(D);
621 :     close($html_fh);
622 : olson 1.65 }
623 : paarmann 1.98
624 :     return $id;
625 : olson 1.7 }
626 : parrello 1.60
627 : bartels 1.125 sub create_new_illustration
628 :     {
629 :     my( $self, $fh, $name, $id, $overwrite ) = @_;
630 :    
631 :     #
632 :     # Get a new id.
633 :     #
634 :    
635 :     my $dir = "$self->{dir}/diagrams";
636 :     my $old_dir = "$self->{dir}/old_diagrams";
637 :    
638 :     Tracer::Insure($dir);
639 :     Tracer::Insure($old_dir);
640 :    
641 :     my $path;
642 :    
643 :     if (defined($id))
644 :     {
645 :     #
646 :     # Ensure this id doesn't already exist.
647 :     #
648 :    
649 :     $path = "$dir/$id";
650 :    
651 :     if (-d $path)
652 :     {
653 :     if (!$overwrite)
654 :     {
655 :     confess "Diagram id $id already exists in subsystem $self->{name}";
656 :     }
657 :     else
658 :     {
659 :     my $opath = "$old_dir/$id." . time;
660 :     rename($path, $opath);
661 :     }
662 :     }
663 :    
664 :     }
665 :     else
666 :     {
667 :     $id = "d01";
668 :    
669 :     while (1)
670 :     {
671 :     $path = "$dir/$id";
672 :     last unless -e $path;
673 :     $id++;
674 :     }
675 :     }
676 :    
677 :     Tracer::Insure($path);
678 :    
679 :     if ($name)
680 :     {
681 :     open(F, ">$path/NAME");
682 :     $name =~ s/\n.*$//s;
683 :     print F "$name\n";
684 :     close(F);
685 :     }
686 :    
687 :     #
688 :     # Write the file if we have one.
689 :     #
690 :    
691 :     if ($fh)
692 :     {
693 :     my($ext, $buf);
694 :    
695 :     if (read($fh, $buf, 4096))
696 :     {
697 :     my($ext) = $self->classify_image_type($buf);
698 :     open(D, ">$path/diagram$ext");
699 :     print D $buf;
700 :    
701 :     while (read($fh, $buf, 4096))
702 :     {
703 :     print D $buf;
704 :     }
705 :     close(D);
706 :     }
707 :     close($fh);
708 :     }
709 :    
710 :     return $id;
711 :     }
712 :    
713 : olson 1.65 sub upload_new_image
714 :     {
715 :     my($self, $id, $fh) = @_;
716 :    
717 : olson 1.67 if (!$fh)
718 :     {
719 : parrello 1.69 warn "Subsystem::upload_new_image aborting: fh is undef\n";
720 :     return;
721 : olson 1.67 }
722 :    
723 : olson 1.65
724 :     my $dir = "$self->{dir}/diagrams/$id";
725 :    
726 : olson 1.67 if (not -d $dir)
727 :     {
728 : parrello 1.69 warn "Subsystem::upload_new_image aborting: $dir does not exist\n";
729 :     return;
730 : olson 1.67 }
731 : olson 1.65
732 :     #
733 :     # remove any old diagram images.
734 :     #
735 :    
736 :     for my $path (<$dir/diagram.{png,gif,jpg}>)
737 :     {
738 : parrello 1.69 unlink($path);
739 : olson 1.65 }
740 :    
741 :     my($ext, $buf);
742 : parrello 1.73
743 : olson 1.65 if (read($fh, $buf, 4096))
744 :     {
745 : parrello 1.69 my($ext) = $self->classify_image_type($buf);
746 : olson 1.67
747 : parrello 1.69 if (!open(D, ">$dir/diagram$ext"))
748 :     {
749 :     warn "Subsystem::upload_new_image open failed for $dir/diagram$ext: $!\n";
750 :     close($fh);
751 :     return;
752 :     }
753 :    
754 :     warn "Subsystem::upload_new_image classified new image as $ext\n";
755 :     print D $buf;
756 : parrello 1.73
757 : parrello 1.69 while (read($fh, $buf, 4096))
758 :     {
759 :     print D $buf;
760 :     }
761 :     close(D);
762 : olson 1.65 }
763 : olson 1.67 else
764 :     {
765 : parrello 1.69 warn "Subsystem::upload_new_image read failed for $fh: $!\n";
766 : olson 1.67 }
767 :    
768 :     warn "Subsystem::upload_new_image complete: " . `/bin/ls -l '$dir'`;
769 :    
770 : olson 1.65 close($fh);
771 :     }
772 :    
773 :     sub upload_new_html
774 :     {
775 :     my($self, $id, $fh) = @_;
776 :    
777 : olson 1.67 if (!$fh)
778 :     {
779 : parrello 1.69 warn "Subsystem::upload_new_html aborting: fh is undef\n";
780 :     return;
781 : olson 1.67 }
782 : olson 1.65
783 :     my $dir = "$self->{dir}/diagrams/$id";
784 :    
785 : olson 1.67 if (not -d $dir)
786 :     {
787 : parrello 1.69 warn "Subsystem::upload_new_html aborting: $dir does not exist\n";
788 :     return;
789 : olson 1.67 }
790 : olson 1.65
791 :     my($buf);
792 :    
793 : olson 1.67 if (!open(D, ">$dir/diagram.html"))
794 :     {
795 : parrello 1.69 warn "Subsystem::upload_new_html open failed for $dir/diagram.html: $!\n";
796 :     return;
797 : olson 1.67 }
798 : olson 1.65
799 : olson 1.67 my $rc;
800 :     while ($rc = read($fh, $buf, 4096))
801 : olson 1.65 {
802 : parrello 1.69 print D $buf;
803 : olson 1.65 }
804 : olson 1.67 if (!defined($rc))
805 :     {
806 : parrello 1.69 warn "Subsystem::upload_new_html read failed for $fh: $!\n";
807 : olson 1.67 }
808 :    
809 :     warn "Subsystem::upload_new_html complete: " . `/bin/ls -l '$dir'`;
810 :    
811 : olson 1.65 close(D);
812 :     close($fh);
813 :     }
814 :    
815 :     sub classify_image_type
816 :     {
817 :     my($self, $buf) = @_;
818 :    
819 :     my $ext;
820 : parrello 1.73
821 : olson 1.65 #
822 :     # Determine file type, for PNG / JPG / GIF. If we could be assured
823 :     # the ImageMagick identify app worked properly, we'd use that instead.
824 :     #
825 :     # Maybe later.
826 :     #
827 : parrello 1.73
828 : olson 1.65 if (substr($buf, 0, 8) eq "\x89\x50\x4e\x47\x0d\x0a\x1a\x0a")
829 :     {
830 : parrello 1.69 $ext = ".png";
831 : olson 1.65 }
832 :     elsif (substr($buf, 0, 3) eq "GIF")
833 :     {
834 : parrello 1.69 $ext = ".gif";
835 : olson 1.65 }
836 :     elsif (substr($buf, 0, 2) eq "\xff\xd8" and substr($buf, 6, 4) eq "JFIF")
837 :     {
838 : parrello 1.69 $ext = ".jpg";
839 : olson 1.65 }
840 :     else
841 :     {
842 : parrello 1.69 warn "Unknown file type in new diagram\n";
843 :     $ext = ".png";
844 : olson 1.65 }
845 :    
846 :     return $ext;
847 :     }
848 :    
849 :    
850 : olson 1.7 #
851 : olson 1.5 # Synchronize the database index for this subsystem to the
852 :     # subsystem data.
853 :     #
854 :     # We assume the table already exists.
855 : parrello 1.60 #
856 : olson 1.5
857 :     sub db_sync
858 :     {
859 :     my($self, $skip_delete) = @_;
860 :    
861 : olson 1.84 if ($self->{empty_ss})
862 :     {
863 :     warn "Not synching empty subsystem $self->{name}\n";
864 :     return;
865 :     }
866 :    
867 : olson 1.5 my $rdbH = $self->{fig}->db_handle();
868 :    
869 :     if (!$skip_delete)
870 :     {
871 : parrello 1.69 $self->delete_indices();
872 : overbeek 1.94 $self->delete_aux();
873 :     }
874 :    
875 :     my @aux_roles = map { $self->get_subsetC_roles($_) }
876 :     grep { $_ =~ /^(AUX|auxiliary)/ }
877 :     $self->get_subset_namesC;
878 :    
879 :     my $nameQ = quotemeta $self->{name};
880 :     foreach my $role (@aux_roles)
881 :     {
882 :     my $roleQ = quotemeta $role;
883 :     $rdbH->SQL("INSERT INTO aux_roles ( subsystem, role) VALUES ('$nameQ','$roleQ')");
884 : olson 1.5 }
885 :    
886 : olson 1.57 my $tmp = "$FIG_Config::temp/ixsub.$$";
887 :     open(TMP, ">$tmp") or die "Cannot open tmpfile $tmp: $!\n";
888 :    
889 : olson 1.5 #
890 :     # We run thru all the cells, writing an entry in the database for the peg/subsystem/role.
891 :     #
892 :    
893 : olson 1.70 # my $sth = $rdbH->{_dbh}->prepare("INSERT INTO subsystem_index values(?, ?, ?, ?)");
894 : olson 1.6
895 : olson 1.70 my @roles = $self->get_roles();
896 :     for my $genome ($self->get_genomes())
897 : olson 1.5 {
898 : olson 1.70 my $gidx = $self->get_genome_index($genome);
899 :     my $variant = $self->get_variant_code($gidx);
900 : olson 1.71 # print "Index $genome variant=$variant\n";
901 : olson 1.70 my $row = $self->get_row($gidx);
902 :    
903 :     for my $i (0..$#$row)
904 :     {
905 :     my $cell = $row->[$i];
906 :     my $role = $roles[$i];
907 :     if ($cell)
908 :     {
909 :     for my $peg (@$cell)
910 :     {
911 :     # $sth->execute($peg, $self->{name}, $role);
912 :     if ($self->{old_database})
913 :     {
914 :     print TMP "$peg\t$self->{name}\t$role\n";
915 :     }
916 :     else
917 :     {
918 :     print TMP "$peg\t$self->{name}\t$role\t$variant\n";
919 :     }
920 :     }
921 :     }
922 :     }
923 : olson 1.5 }
924 : olson 1.57 close(TMP);
925 :     $rdbH->load_table(file => $tmp,
926 : parrello 1.69 tbl => 'subsystem_index');
927 : olson 1.5 }
928 :    
929 : olson 1.22 #
930 :     # Delete this subsystem's entries from the database index.
931 :     #
932 :     sub delete_indices
933 :     {
934 :     my($self) = @_;
935 :    
936 :     my $rdbH = $self->{fig}->db_handle();
937 :    
938 : olson 1.70 $rdbH->SQL("DELETE FROM subsystem_index where subsystem = ?", undef, $self->{name});
939 : olson 1.22 }
940 :    
941 : overbeek 1.94 sub delete_aux
942 :     {
943 :     my($self) = @_;
944 :    
945 :     my $rdbH = $self->{fig}->db_handle();
946 :    
947 :     $rdbH->SQL("DELETE FROM aux_roles where subsystem = ?", undef, $self->{name});
948 :     }
949 :    
950 :     sub is_aux_role {
951 :     my($self,$role) = @_;
952 :    
953 :     my $rdbH = $self->{fig}->db_handle();
954 : overbeek 1.95 if (! $rdbH->table_exists('aux_roles')) { return 0 }
955 : overbeek 1.94 my $nameQ = quotemeta $self->{name};
956 :     my $roleQ = quotemeta $role;
957 :     my $q = "SELECT subsystem FROM aux_roles WHERE subsystem = '$nameQ' AND role = '$roleQ'";
958 :    
959 :     my $relational_db_response;
960 :     return (($relational_db_response = $rdbH->SQL($q)) && (@$relational_db_response > 0));
961 :     }
962 : parrello 1.119
963 : overbeek 1.94
964 : olson 1.1 sub load
965 :     {
966 :     my($self) = @_;
967 :    
968 :     #
969 :     # Load the subsystem.
970 :     #
971 :    
972 :     my $ssa;
973 :     if (!open($ssa,"<$self->{dir}/spreadsheet"))
974 :     {
975 : heiko 1.87 Trace("Spreadsheet does not exist in subsystem $self->{name}") if T(1);
976 : olson 1.84 $self->{empty_ss}++;
977 : parrello 1.69 return;
978 : olson 1.1 }
979 :    
980 :     local $/ = "//\n";
981 :    
982 :     my $roles = <$ssa>;
983 :     if ($roles)
984 :     {
985 : parrello 1.69 $roles =~ s,$/$,,;
986 :     #
987 :     # Split on newline, filter for non-empty lines.
988 :     #
989 :     my @roles = split("\n", $roles);
990 : parrello 1.60
991 : parrello 1.69 @roles = grep { $_ ne "" } @roles;
992 : parrello 1.60
993 : parrello 1.69 $self->load_roles(@roles);
994 : olson 1.1 }
995 :    
996 :     my $subsets = <$ssa>;
997 :     if ($subsets)
998 :     {
999 : parrello 1.69 $subsets =~ s,$/$,,;
1000 :     $self->load_subsets($subsets);
1001 : olson 1.1 }
1002 :    
1003 :     $/ = "\n";
1004 :    
1005 : overbeek 1.35 $self->load_row_subsets();
1006 : olson 1.1 $self->load_genomes($ssa);
1007 :    
1008 : bartels 1.126 # now load the empty cell information
1009 :     $self->load_emptycells();
1010 :    
1011 : olson 1.1 #
1012 :     # Now load the rest of the info.
1013 :     #
1014 :    
1015 : overbeek 1.58 $self->load_reactions();
1016 : olson 1.105 $self->load_hope_kegg_info();
1017 :     $self->load_hope_reactions();
1018 :     $self->load_hope_reaction_notes();
1019 :     $self->load_hope_reaction_links();
1020 :     $self->load_hope_curation_notes();
1021 : olson 1.1 $self->load_notes();
1022 : redwards 1.44 $self->load_classification();
1023 : olson 1.1 $self->load_version();
1024 :     $self->load_exchangable();
1025 : olson 1.17 $self->load_curation();
1026 : olson 1.84
1027 :     return 1;
1028 : olson 1.1 }
1029 :    
1030 : bartels 1.126 sub load_emptycells
1031 :     {
1032 :     my($self) = @_;
1033 :    
1034 :     my $absencehash = {};
1035 :     if (open(ECS,"<$self->{dir}/emptycells"))
1036 :     {
1037 :     while (defined($_ = <ECS>))
1038 :     {
1039 : bartels 1.135 my ( $frabbr, $genome, $value ) = split( "\t", $_ );
1040 :     chomp $value;
1041 :     $absencehash->{ $frabbr }->{ $genome } = $value;
1042 : bartels 1.126 }
1043 :     close(ECS);
1044 :     }
1045 :     $self->{emptycells} = $absencehash;
1046 :     }
1047 :    
1048 :    
1049 : olson 1.1 sub load_notes
1050 :     {
1051 :     my($self) = @_;
1052 :    
1053 : olson 1.110 #$self->{notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "notes"));
1054 :    
1055 :     my $nh = new FileHandle(File::Spec->catfile($self->{dir}, "notes"));
1056 :    
1057 :     $nh or return;
1058 :    
1059 :     my $section = "NOTES";
1060 :     my $text;
1061 :    
1062 :     my $all;
1063 :     $_ = <$nh>;
1064 :     while (defined($_))
1065 :     {
1066 :     $all .= $_;
1067 :     if (/^$notes_separator$/)
1068 :     {
1069 :     #
1070 :     # Next line after the separator is the new section name, a single word. If the
1071 :     # line doesn't match that, push it (and the current line) into the text and continue.
1072 :     #
1073 :     my $new_section = <$nh>;
1074 :     if ($new_section =~ /^(\w+)\s*$/)
1075 :     {
1076 :     $new_section = $1;
1077 :     $self->handle_note_section($section, $text) if defined($text);
1078 :     $section = $new_section;
1079 :     $text = '';
1080 :     $_ = <$nh>;
1081 :     }
1082 :     else
1083 :     {
1084 :     $text .= $_;
1085 :     $_ = $section;
1086 :     }
1087 :     }
1088 :     else
1089 :     {
1090 :     $text .= $_;
1091 :     $_ = <$nh>;
1092 :     }
1093 :     }
1094 :     $self->handle_note_section($section, $text);
1095 :     $self->{raw_notes} = $all;
1096 :     }
1097 :    
1098 :     sub handle_note_section
1099 :     {
1100 :     my($self, $section, $text) = @_;
1101 : parrello 1.119
1102 : parrello 1.111 # print "Got section $section text=$text\n";
1103 : olson 1.110
1104 :     my $sname = lc($section);
1105 :     if (defined($defined_sections{$sname}))
1106 :     {
1107 :     $self->{$sname} = $text;
1108 :     }
1109 :     else
1110 :     {
1111 :     $self->{other_sections}->{$section} = $text;
1112 :     warn "Loaded unknown section name $section\n";
1113 :     }
1114 : olson 1.1 }
1115 :    
1116 : olson 1.105 sub load_hope_kegg_info
1117 :     {
1118 :     my($self) =@_;
1119 :    
1120 : dejongh 1.118 $self->{hope_scenarios} = {};
1121 :    
1122 : olson 1.105 if (open(HOPE_KEGG,"<$self->{dir}/hope_kegg_info"))
1123 :     {
1124 :     my @lines = <HOPE_KEGG>;
1125 : parrello 1.119
1126 : olson 1.105 for (my $i = 0; $i < scalar @lines; $i += 6)
1127 :     {
1128 :     if (defined $lines[$i])
1129 :     {
1130 :     chomp $lines[$i];
1131 :     $self->add_hope_scenario($lines[$i]);
1132 :     }
1133 :     if (defined $lines[$i+1])
1134 :     {
1135 :     chomp $lines[$i+1];
1136 :     $self->set_hope_input_compounds($lines[$i], $lines[$i+1]);
1137 :     }
1138 :     if (defined $lines[$i+2])
1139 :     {
1140 :     chomp $lines[$i+2];
1141 :     $self->set_hope_output_compounds($lines[$i], $lines[$i+2]);
1142 :     }
1143 :     if (defined $lines[$i+3])
1144 :     {
1145 :     chomp $lines[$i+3];
1146 :     $self->set_hope_map_ids($lines[$i], $lines[$i+3]);
1147 :     }
1148 :     if (defined $lines[$i+4])
1149 :     {
1150 :     chomp $lines[$i+4];
1151 :     $self->set_hope_additional_reactions($lines[$i], $lines[$i+4]);
1152 :     }
1153 :     if (defined $lines[$i+5])
1154 :     {
1155 :     chomp $lines[$i+5];
1156 :     $self->set_hope_ignore_reactions($lines[$i], $lines[$i+5]);
1157 :     }
1158 :     }
1159 :    
1160 :     close(HOPE_KEGG);
1161 :     }
1162 :     }
1163 :    
1164 :     sub load_hope_curation_notes
1165 :     {
1166 :     my($self) = @_;
1167 :    
1168 : olson 1.109 $self->{hope_curation_notes} = &FIG::file_read(File::Spec->catfile($self->{dir}, "hope_curation_notes"));
1169 : olson 1.105 }
1170 :    
1171 : overbeek 1.58 sub load_reactions
1172 :     {
1173 :     my($self) = @_;
1174 :    
1175 :     my $reactions = undef;
1176 :     if (open(REACT,"<$self->{dir}/reactions"))
1177 :     {
1178 : parrello 1.69 while (defined($_ = <REACT>))
1179 :     {
1180 :     if ($_ =~ /^(\S.*\S)\t(\S+)/)
1181 :     {
1182 :     push(@{$reactions->{$1}},split(/,\s*/,$2));
1183 :     }
1184 :     }
1185 :     close(REACT);
1186 : overbeek 1.58 }
1187 :    
1188 :     $self->{reactions} = $reactions;
1189 :     }
1190 : olson 1.105 sub load_hope_reactions
1191 :     {
1192 :     my($self) = @_;
1193 :    
1194 : parrello 1.120 my $hope_reactions = FIGRules::GetHopeReactions($self, $self->{dir});
1195 : olson 1.105
1196 :     $self->{hope_reactions} = $hope_reactions;
1197 :     }
1198 :    
1199 :     sub load_hope_reaction_notes
1200 :     {
1201 :     my($self) = @_;
1202 :    
1203 :     my $hope_reaction_notes = {};
1204 :     if (open(HOPE_REACTION_NOTES,"<$self->{dir}/hope_reaction_notes"))
1205 :     {
1206 :     while (defined($_ = <HOPE_REACTION_NOTES>))
1207 :     {
1208 :     if ($_ =~ /^(\S.*\S)\t(.+)$/)
1209 :     {
1210 :     $hope_reaction_notes->{$1} = $2;
1211 :     }
1212 :     }
1213 :     close(HOPE_REACTION_NOTES);
1214 :     }
1215 :    
1216 :     $self->{hope_reaction_notes} = $hope_reaction_notes;
1217 :     }
1218 :    
1219 :     sub load_hope_reaction_links
1220 :     {
1221 :     my($self) = @_;
1222 : parrello 1.119
1223 : dejongh 1.118 my $hope_reaction_links = {};
1224 : olson 1.105 if (open(HOPE_REACTION_LINKS,"<$self->{dir}/hope_reaction_links"))
1225 :     {
1226 :     while (defined($_ = <HOPE_REACTION_LINKS>))
1227 :     {
1228 :     if ($_ =~ /^(\S.*\S)\t(.+)$/)
1229 :     {
1230 :     $hope_reaction_links->{$1} = $2;
1231 :     }
1232 :     }
1233 :     close(HOPE_REACTION_LINKS);
1234 :     }
1235 : parrello 1.119
1236 : olson 1.105 $self->{hope_reaction_links} = $hope_reaction_links;
1237 :     }
1238 : overbeek 1.58
1239 : redwards 1.44 sub load_classification
1240 :     {
1241 :     my($self) = @_;
1242 :    
1243 : olson 1.109 my $class = &FIG::file_read(File::Spec->catfile($self->{dir}, "CLASSIFICATION"));
1244 : overbeek 1.116 my @tmp = grep { $_ =~ /\S/ } split(/\n/,$class);
1245 :     $class = join("\n",@tmp);
1246 : redwards 1.44 if ($class) {$self->{classification} = [split /\t/, $class]} else {$self->{classification} = ['', '', '']}
1247 :     }
1248 :    
1249 : olson 1.17 sub load_curation
1250 :     {
1251 :     my($self) = @_;
1252 :    
1253 : overbeek 1.47 # my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "curation.log"), 1);
1254 :     #
1255 :     # $_ = $l[0];
1256 :     # chomp;
1257 : olson 1.17
1258 : overbeek 1.47 if (open(LOG,"<$self->{dir}/curation.log"))
1259 : olson 1.17 {
1260 : overbeek 1.115 my $last = 0;
1261 : parrello 1.69 while (defined($_ = <LOG>))
1262 :     {
1263 : overbeek 1.115 if (/^(\d+)\t(\S+)\s+started/)
1264 : parrello 1.69 {
1265 : overbeek 1.115 $self->{curator} = $2;
1266 :     $self->{created} = $1;
1267 : parrello 1.69 }
1268 : overbeek 1.115 if ((/^(\d+)/) && ($1 > $last))
1269 :     {
1270 :     $last = $1;
1271 :     }
1272 : parrello 1.69 }
1273 :     close(LOG);
1274 : overbeek 1.115 if ($last) { $self->{last_updated} = $last; }
1275 : olson 1.17 }
1276 :     }
1277 :    
1278 : olson 1.1 sub load_version
1279 :     {
1280 :     my($self) = @_;
1281 :    
1282 :     my @l = &FIG::file_head(File::Spec->catfile($self->{dir}, "VERSION"), 1);
1283 :     my $l = $l[0];
1284 :     chomp $l;
1285 :     $self->{version} = $l;
1286 :     }
1287 :    
1288 :     sub load_exchangable
1289 :     {
1290 :     my($self) = @_;
1291 :    
1292 :     my $file = File::Spec->catfile($self->{dir}, "EXCHANGABLE");
1293 :    
1294 :     if (-f $file)
1295 :     {
1296 : parrello 1.69 my($l, @l);
1297 : olson 1.1
1298 : parrello 1.69 @l = &FIG::file_head($file, 1);
1299 :     $l = $l[0];
1300 :     chomp $l;
1301 :     $self->{exchangable} = $l;
1302 : olson 1.1 }
1303 :     else
1304 :     {
1305 : parrello 1.69 $self->{exchangable} = 0;
1306 : olson 1.1 }
1307 :     }
1308 :    
1309 :    
1310 :     sub load_roles
1311 :     {
1312 :     my($self, @roles) = @_;
1313 :    
1314 : olson 1.5 $self->{abbr} = {};
1315 :     $self->{role_index} = {};
1316 :     $self->{roles} = [];
1317 :     $self->{role_abbrs} = [];
1318 :    
1319 : olson 1.25 my $i = 0;
1320 : olson 1.1 for my $role (@roles)
1321 :     {
1322 : parrello 1.69 my($abbr, $name) = split(/\t/, $role);
1323 :     $abbr =~ s/^\s+//;
1324 :     $abbr =~ s/\s+$//;
1325 :     $name =~ s/^\s+//;
1326 :     $name =~ s/\s+$//;
1327 :     # print "Role $i: abbr=$abbr name=$name\n";
1328 :    
1329 :     $self->{abbr}->{$abbr} = $name;
1330 :     $self->{role_index}->{$name} = $i;
1331 :     $self->{roles}->[$i] = $name;
1332 :     $self->{role_abbrs}->[$i] = $abbr;
1333 :     $i++;
1334 : olson 1.1 }
1335 :     }
1336 : parrello 1.60
1337 : olson 1.1 sub load_subsets
1338 :     {
1339 :     my($self, $subsets) = @_;
1340 :    
1341 :     #
1342 :     # Column and row subsets.
1343 :     #
1344 :     my($subsetsC, $subsetsR) = split(/\n\n/, $subsets);
1345 :    
1346 :     #
1347 :     # Handle column subsets.
1348 :     #
1349 :    
1350 :     my @subsetsC = split(/\n/, $subsetsC);
1351 :    
1352 :     #
1353 :     # Determine active subset.
1354 :     #
1355 :    
1356 :     my $active_subsetC;
1357 :     if (@subsetsC > 0)
1358 :     {
1359 : parrello 1.69 $active_subsetC = pop(@subsetsC);
1360 : olson 1.1 }
1361 :     else
1362 :     {
1363 : parrello 1.69 $active_subsetC = 'All';
1364 : olson 1.1 }
1365 :    
1366 :     $self->{col_active_subset} = $active_subsetC;
1367 :    
1368 :     $self->{col_subsets} = [];
1369 : olson 1.5 $self->{col_subset_members} = {};
1370 : parrello 1.60
1371 : olson 1.1 for my $subset (@subsetsC)
1372 :     {
1373 : parrello 1.69 my($name, @members) = split(/\s+/, $subset);
1374 : olson 1.1
1375 : parrello 1.69 #
1376 :     # File format has members 1-based.
1377 :     #
1378 :    
1379 :     @members = map { $_ - 1 } @members;
1380 :    
1381 :     push(@{$self->{col_subsets}}, $name);
1382 :    
1383 :     #
1384 :     # Map role members from name to index if necessary.
1385 :     #
1386 :     # Is it really necessary? ssa2 code was looking up in %pos for this.
1387 :     #
1388 :     @members = map {
1389 :     if (my $new = $self->{role_index}->{$_})
1390 :     {
1391 :     $new;
1392 :     }
1393 :     else
1394 :     {
1395 :     $_;
1396 :     }
1397 :     } @members;
1398 : olson 1.1
1399 : parrello 1.69 @{$self->{col_subset_members}->{$name}} = @members;
1400 : olson 1.1 }
1401 :    
1402 :     #
1403 :     # Now the row subsets.
1404 :     #
1405 :    
1406 :     chomp($subsetsR);
1407 :    
1408 :     if ($subsetsR =~ /(\S+.*\S+)/)
1409 :     {
1410 : parrello 1.69 $self->{row_active_subset} = $1;
1411 : olson 1.1 }
1412 :     else
1413 :     {
1414 : parrello 1.69 $self->{row_active_subset} = 'All';
1415 : olson 1.1 }
1416 : overbeek 1.35 $self->{row_subsets} = [];
1417 : olson 1.1 }
1418 :    
1419 :     sub load_genomes
1420 :     {
1421 :     my($self, $fh) = @_;
1422 :     my(%seen);
1423 :    
1424 : olson 1.5 $self->{spreadsheet} = [];
1425 : olson 1.29 $self->{spreadsheet_inv} = [];
1426 : olson 1.5 $self->{genome} = [];
1427 :     $self->{genome_index} = {};
1428 :     $self->{variant_code} = [];
1429 : parrello 1.91 $self->{peg_roles} = {};
1430 : olson 1.5
1431 : olson 1.25 my $nr = @{$self->{roles}};
1432 :    
1433 :     my $i = 0;
1434 : olson 1.1 while (<$fh>)
1435 :     {
1436 : parrello 1.69 next if ($_ =~ /^\/\//);
1437 :     chomp;
1438 :    
1439 :     my($genome, $variant_code, @row) = split(/\t/, $_, $nr + 2);
1440 :     $variant_code =~ s/ //g;
1441 : overbeek 1.132 next if ($seen{$genome} || (($genome =~ /^(\d+\.\d+)/) && (! $self->{fig}->is_genome($1))));
1442 : parrello 1.69 $seen{$genome}++;
1443 :    
1444 : overbeek 1.132 $genome =~ /^(\d+\.\d+)/;
1445 :     my $just_genome = $1;
1446 :    
1447 : parrello 1.69 my $j = 0;
1448 :    
1449 :     $self->{genome}->[$i] = $genome;
1450 :     $self->{genome_index}->{$genome} = $i;
1451 :     $self->{variant_code}->[$i] = $variant_code;
1452 : olson 1.1
1453 : parrello 1.69 my $thislen = @row;
1454 :    
1455 :     # if ($thislen != $nr)
1456 :     # {
1457 :     # warn "Genome $genome has wrong column count ($thislen != $nr)\n";
1458 :     # warn "<$_> $genome $variant_code '", join(":", @row), "'\n";
1459 :     # }
1460 :    
1461 :     for my $j (0..$nr - 1)
1462 :     {
1463 :     my $entry = $row[$j];
1464 : overbeek 1.99 # OLD my $e2 = [map("fig|$genome.peg.$_", split(/,/, $entry))];
1465 : overbeek 1.132 my $e2 = [map { ($_ =~ /^[a-zA-Z]+\.\d+$/) ? "fig|$just_genome.$_" : "fig|$just_genome.peg.$_" }
1466 : overbeek 1.99 split(/,/, $entry)
1467 :     ];
1468 : parrello 1.69 $self->{spreadsheet}->[$i]->[$j] = $e2;
1469 :     $self->{spreadsheet_inv}->[$j]->[$i] = $e2;
1470 : parrello 1.91 for my $fidj (@{$e2}) {
1471 :     push @{$self->{peg_roles}->{$fidj}}, $j;
1472 :     }
1473 : parrello 1.69 $j++;
1474 :     }
1475 :     $i++;
1476 : parrello 1.60
1477 : olson 1.1 }
1478 :     }
1479 :    
1480 : olson 1.92 sub add_virtual_genome
1481 :     {
1482 :     my($self, $name, $genome, $variant, $bindings) = @_;
1483 :    
1484 :     my $gidx = @{$self->{genome}};
1485 :    
1486 :     $self->{genome}->[$gidx] = $genome;
1487 :     $self->{genome_index}->{$genome} = $gidx;
1488 :     $self->{variant_code}->[$gidx] = $variant;
1489 :    
1490 :     for my $role (keys %$bindings)
1491 :     {
1492 :     my $role_idx = $self->get_role_index($role);
1493 :    
1494 :     my $plist = $bindings->{$role};
1495 : parrello 1.119
1496 : olson 1.92 # warn "Role $role maps to $role_idx with pegs @$plist\n";
1497 :    
1498 :     $self->{spreadsheet}->[$gidx]->[$role_idx] = $plist;
1499 :     $self->{spreadsheet_inv}->[$role_idx]->[$gidx] = $plist;
1500 :     for my $peg (@$plist)
1501 :     {
1502 :     # warn "Peg $peg => $role_idx\n";
1503 :     push(@{$self->{peg_roles}->{$peg}}, $role_idx);
1504 :     }
1505 :     }
1506 :     # warn "After add virtual: \n", Dumper($self), "\n";
1507 :     }
1508 :    
1509 : overbeek 1.132 =head3 in_genome($genome,$peg)
1510 :    
1511 :     if ($sub->in_genome($genome,$peg))
1512 :     {
1513 :     process a PEG from the genome or region of a genome
1514 :     }
1515 :    
1516 :     Return a boolean: "true" -> PEG falls within the genome or region of a genome
1517 :    
1518 :     =over 4
1519 :    
1520 :     =item genome
1521 :    
1522 :     either \d+\.\d+ (a typical genome ID) OR
1523 :     \d+\.\d+:Contig_Beg_End
1524 :    
1525 :     where Contig is a string of non-whitespace characters
1526 :     Beg is an integer
1527 :     End is an integer
1528 :    
1529 :     =item peg
1530 :    
1531 :     ID of the peg we are checking
1532 :    
1533 :     =item RETURN
1534 :    
1535 :     Returns a boolean
1536 :    
1537 :     =back
1538 :    
1539 :     =cut
1540 :    
1541 :     sub in_genome {
1542 :     my ($self, $genome,$fid) = @_;
1543 :    
1544 :     if ($genome =~ /^(\d+\.\d+)(:(\S+)_(\d+)_(\d+))?$/)
1545 :     {
1546 :     my $just_genome = $1;
1547 :     my($contig,$beg,$end) = $2 ? ($3,$4,$5) : (undef,undef,undef);
1548 :     my $fidG = &FIG::genome_of($fid);
1549 :     if (! $contig) { return ($just_genome eq $fidG) }
1550 :     my $fig = $self->{fig};
1551 :     my $loc = $fig->feature_location($fid);
1552 : overbeek 1.133 my($contig1,$beg1,$end1) = $fig->boundaries_of($loc);
1553 : overbeek 1.132 return (($contig1 eq $contig) &&
1554 :     &FIG::between($beg,$beg1,$end) &&
1555 :     &FIG::between($beg,$end1,$end));
1556 :     }
1557 :     else
1558 :     {
1559 :     return 0;
1560 :     }
1561 :     }
1562 :    
1563 : parrello 1.91 =head3 get_peg_roles
1564 :    
1565 : parrello 1.119 my @cols = $sub->get_peg_roles($peg);
1566 : parrello 1.91
1567 :     Return the column numbers in which the specified PEG appears.
1568 :    
1569 :     =over 4
1570 :    
1571 :     =item peg
1572 :    
1573 :     ID of the feature whose roles are desired.
1574 :    
1575 :     =item RETURN
1576 :    
1577 :     Returns a list of the column numbers in which the peg appears, or an empty
1578 :     list if it is not found.
1579 :    
1580 :     =back
1581 :    
1582 :     =cut
1583 :    
1584 :     sub get_peg_roles {
1585 :     # Get the parameters.
1586 :     my ($self, $peg) = @_;
1587 :     # Declare the return variable.
1588 :     my @retVal;
1589 :     # Find this peg's roles.
1590 :     if (exists $self->{peg_roles}->{$peg}) {
1591 :     @retVal = @{$self->{peg_roles}->{$peg}};
1592 :     }
1593 :     # Return the result.
1594 :     return @retVal;
1595 :     }
1596 :    
1597 : olson 1.117 =head3 get_all_pegs
1598 :    
1599 : parrello 1.119 my @pegs = $sub->get_all_pegs();
1600 : olson 1.117
1601 :     Return all pegs appearing in the subsystem.
1602 :    
1603 :     =cut
1604 :    
1605 :     sub get_all_pegs {
1606 :     my ($self) = @_;
1607 :     return keys %{$self->{peg_roles}};
1608 :     }
1609 :    
1610 : parrello 1.73 =head3 write_subsystem
1611 : olson 1.25
1612 :     Write the subsystem to the disk. Updates on-disk data with notes,
1613 :     etc. Perform backups when necessary.
1614 :    
1615 :     =cut
1616 :    
1617 :     sub write_subsystem
1618 :     {
1619 : olson 1.68 my($self, $force_backup) = @_;
1620 : olson 1.25
1621 :     my $dir = $self->{dir};
1622 :     my $fig = $self->{fig};
1623 :    
1624 :     #
1625 :     # We first move the existing spreadsheet and notes files (if present)
1626 :     # to spreadsheet~ and notes~, and current state.
1627 :     #
1628 :    
1629 :     my $ss_file = "$dir/spreadsheet";
1630 :     my $ss_bak = "$dir/spreadsheet~";
1631 :     my $notes_file = "$dir/notes";
1632 :     my $notes_bak = "$dir/notes~";
1633 : overbeek 1.58 my $reactions_file = "$dir/reactions";
1634 :     my $reactions_bak = "$dir/reactions~";
1635 : olson 1.105 my $hope_kegg_info_file = "$dir/hope_kegg_info";
1636 :     my $hope_kegg_info_bak = "$dir/hope_kegg_info~";
1637 :     my $hope_reactions_file = "$dir/hope_reactions";
1638 :     my $hope_reactions_bak = "$dir/hope_reactions~";
1639 :     my $hope_reaction_notes_file = "$dir/hope_reaction_notes";
1640 :     my $hope_reaction_notes_bak = "$dir/hope_reaction_notes~";
1641 :     my $hope_reaction_links_file = "$dir/hope_reaction_links";
1642 :     my $hope_reaction_links_bak = "$dir/hope_reaction_links~";
1643 :     my $hope_curation_notes_file = "$dir/hope_curation_notes";
1644 :     my $hope_curation_notes_bak = "$dir/hope_curation_notes~";
1645 : bartels 1.126 my $emptycells_file = "$dir/emptycells";
1646 :     my $emptycells_bak = "$dir/emptycells~";
1647 : redwards 1.44 my $classification_file = "$dir/CLASSIFICATION";
1648 : olson 1.25
1649 :     if (-f $ss_file)
1650 :     {
1651 : parrello 1.69 rename($ss_file, $ss_bak);
1652 : olson 1.25 }
1653 :    
1654 :     if (-f $notes_file)
1655 :     {
1656 : parrello 1.69 rename($notes_file, $notes_bak);
1657 : olson 1.25 }
1658 :    
1659 : overbeek 1.58 if (-f $reactions_file)
1660 :     {
1661 : parrello 1.69 rename($reactions_file, $reactions_bak) or warn "rename $reactions_file $reactions_bak failed $!";
1662 :     # print STDERR "wrote $reactions_bak\n";
1663 : overbeek 1.58 }
1664 :    
1665 : olson 1.105 if( -f $hope_kegg_info_file)
1666 :     {
1667 :     rename($hope_kegg_info_file, $hope_kegg_info_bak) or warn "rename $hope_kegg_info_file $hope_kegg_info_bak failed $!";
1668 :     }
1669 :    
1670 :     if (-f $hope_reactions_file)
1671 :     {
1672 :     rename($hope_reactions_file, $hope_reactions_bak) or warn "rename $hope_reactions_file $hope_reactions_bak failed $!";
1673 :     # print STDERR "wrote $hope_reactions_bak\n";
1674 :     }
1675 :    
1676 :     if (-f $hope_reaction_notes_file)
1677 :     {
1678 :     rename($hope_reaction_notes_file, $hope_reaction_notes_bak) or warn "rename $hope_reaction_notes_file $hope_reaction_notes_bak failed $!";
1679 :     # print STDERR "wrote $hope_reaction_notes_bak\n";
1680 :     }
1681 :    
1682 :     if (-f $hope_reaction_links_file)
1683 :     {
1684 :     rename($hope_reaction_links_file, $hope_reaction_links_bak) or warn "rename $hope_reaction_links_file $hope_reaction_links_bak failed $!";
1685 :     # print STDERR "wrote $hope_reaction_links_bak\n";
1686 :     }
1687 :    
1688 :     if (-f $hope_curation_notes_file)
1689 :     {
1690 :     rename($hope_curation_notes_file, $hope_curation_notes_bak) or warn "rename $hope_curation_notes_file $hope_curation_notes_bak failed $!";
1691 :     # print STDERR "wrote $hope_curation_notes_bak\n";
1692 :     }
1693 :    
1694 : bartels 1.126 if (-f $emptycells_file)
1695 :     {
1696 :     rename($emptycells_file, $emptycells_bak) or warn "rename $emptycells_file $emptycells_bak failed $!";
1697 :     # print STDERR "wrote $hope_curation_notes_bak\n";
1698 :     }
1699 :    
1700 : olson 1.25 #
1701 :     # Eval this whole chunk, so that if we get any fatal errors, we can
1702 :     # roll back to the old saved data.
1703 :     #
1704 : parrello 1.60
1705 : olson 1.25 eval {
1706 : parrello 1.69 my $fh;
1707 :     open($fh, ">$ss_file") or die "Cannot open $ss_file for writing: $!\n";
1708 :     $self->write_spreadsheet($fh);
1709 :     close($fh);
1710 :     chmod(0777,$ss_file);
1711 :    
1712 :     open($fh, ">$notes_file") or die "Cannot open $notes_file for writing: $!\n";
1713 : olson 1.110 for my $section (@section_order)
1714 :     {
1715 :     print $fh "$notes_separator\n";
1716 :     print $fh uc($section) . "\n";
1717 : bartels 1.121 my $textsection = $self->{ $section };
1718 :     chomp $textsection;
1719 :     print $fh $textsection."\n";
1720 : olson 1.110 }
1721 :     for my $osection (keys %{$self->{other_sections}})
1722 :     {
1723 :     print $fh "$notes_separator\n";
1724 :     print $fh uc($osection) . "\n";
1725 : bartels 1.121 my $textosection = $self->{other_sections}->{$osection};
1726 :     chomp $textosection;
1727 :     print $fh $textosection."\n";
1728 :     # print $fh $self->{other_sections}->{$osection};
1729 : olson 1.110 }
1730 :     # print $fh "$self->{notes}";
1731 : parrello 1.119
1732 : parrello 1.69 close($fh);
1733 :     chmod(0777,$notes_file);
1734 :    
1735 :     open($fh, ">$reactions_file") or die "Cannot open $reactions_file for writing: $!\n";
1736 :     my $reactions = $self->{reactions};
1737 :     foreach $_ (sort keys(%$reactions))
1738 :     {
1739 :     print $fh "$_\t" . join(",", @{$reactions->{$_}}), "\n";
1740 :     }
1741 :     close($fh);
1742 :     chmod(0777,$reactions_file);
1743 :    
1744 : olson 1.105 open($fh, ">$hope_kegg_info_file") or die "Cannot open $hope_kegg_info_file for writing: $!\n";
1745 :     foreach my $scenario_name (keys %{$self->{hope_scenarios}})
1746 :     {
1747 :     print $fh $scenario_name, "\n";
1748 :     my $scenario = $self->{hope_scenarios}->{$scenario_name};
1749 :     my $input_compounds = $scenario->{input_compounds};
1750 :     my $temp = join ",", @$input_compounds;
1751 :     print $fh $temp , "\n";
1752 :     my $output_compounds = $scenario->{output_compounds};
1753 :     my @output_compounds_lists;
1754 :     foreach my $cpd_list (@$output_compounds)
1755 :     {
1756 :     if (scalar @$cpd_list > 1)
1757 :     {
1758 :     push @output_compounds_lists, "(".join(",",@$cpd_list).")";
1759 :     }
1760 :     else
1761 :     {
1762 :     push @output_compounds_lists, @$cpd_list;
1763 :     }
1764 :     }
1765 :     $temp = join ",", @output_compounds_lists;
1766 : parrello 1.119 print $fh $temp , "\n";
1767 : olson 1.105 my $map_ids = $scenario->{map_ids};
1768 :     $temp = join ",", @$map_ids;
1769 : parrello 1.119 print $fh $temp , "\n";
1770 : olson 1.105 my $additional_reactions = $scenario->{additional_reactions};
1771 :     $temp = join ",", @$additional_reactions;
1772 : parrello 1.119 print $fh $temp , "\n";
1773 : olson 1.105 my $ignore_reactions = $scenario->{ignore_reactions};
1774 :     $temp = join ",", @$ignore_reactions;
1775 : parrello 1.119 print $fh $temp , "\n";
1776 : olson 1.105 }
1777 :    
1778 :     close($fh);
1779 :     chmod(0777,$hope_kegg_info_file);
1780 :    
1781 :     open($fh, ">$hope_reactions_file") or die "Cannot open $hope_reactions_file for writing: $!\n";
1782 :     my $hope_reactions = $self->{hope_reactions};
1783 :     foreach $_ (sort keys(%$hope_reactions))
1784 :     {
1785 :     print $fh "$_\t" . join(",", @{$hope_reactions->{$_}}), "\n";
1786 :     }
1787 :     close($fh);
1788 :     chmod(0777,$hope_reactions_file);
1789 :    
1790 :     open($fh, ">$hope_reaction_notes_file") or die "Cannot open $hope_reaction_notes_file for writing: $!\n";
1791 :     my $hope_reaction_notes = $self->{hope_reaction_notes};
1792 :     foreach $_ (sort keys(%$hope_reaction_notes))
1793 :     {
1794 :     print $fh "$_\t" . $hope_reaction_notes->{$_}, "\n";
1795 :     }
1796 :     close($fh);
1797 :     chmod(0777,$hope_reaction_notes_file);
1798 :    
1799 :     open($fh, ">$hope_reaction_links_file") or die "Cannot open $hope_reaction_links_file for writing: $!\n";
1800 :     my $hope_reaction_links = $self->{hope_reaction_links};
1801 :     foreach $_ (sort keys(%$hope_reaction_links))
1802 :     {
1803 :     print $fh "$_\t" . $hope_reaction_links->{$_}, "\n";
1804 :     }
1805 :     close($fh);
1806 :     chmod(0777,$hope_reaction_links_file);
1807 :    
1808 :     open($fh, ">$hope_curation_notes_file") or die "Cannot open $hope_curation_notes_file for writing: $!\n";
1809 :     print $fh "$self->{hope_curation_notes}";
1810 :     close($fh);
1811 :     chmod(0777,$hope_curation_notes_file);
1812 :    
1813 : bartels 1.128 open($fh, ">$emptycells_file") or die "Cannot open $emptycells_file for writing: $!\n";
1814 :     my $gahash = $self->{emptycells};
1815 : bartels 1.129 foreach my $k1 ( keys %$gahash ) {
1816 : bartels 1.128 foreach my $k2 ( keys %{ $gahash->{ $k1 } } ) {
1817 :     print $fh $k1."\t".$k2."\t".$gahash->{ $k1 }->{ $k2 }."\n";
1818 :     }
1819 :     }
1820 :     close($fh);
1821 :     chmod(0777,$emptycells_file);
1822 : bartels 1.126
1823 : parrello 1.69 open($fh, ">$classification_file") or die "Can not open $classification_file for writing: $!\n";
1824 :     print $fh join "\t", (@{$self->{classification}}), "\n";
1825 :     close($fh);
1826 :     chmod(0777,$classification_file);
1827 :    
1828 :     $self->update_curation_log();
1829 :    
1830 :     #
1831 :     # Write out the piddly stuff.
1832 :     #
1833 :    
1834 :     open($fh, ">$dir/EXCHANGABLE") or die "Cannot write $dir/EXCHANGABLE: $!\n";
1835 :     print $fh "$self->{exchangable}\n";
1836 :     close($fh);
1837 :     chmod(0777,"EXCHANGABLE");
1838 :    
1839 :     #
1840 :     # Process backup files. This is the smae process that determines when the
1841 :     # version number should be bumped, so write the version file afterward.
1842 :     #
1843 :    
1844 :     $self->update_backups($force_backup);
1845 :    
1846 :     if ($self->{version} < 100) { $self->{version} += 100 }
1847 :     open($fh, ">$dir/VERSION") or die "Cannot write $dir/VERSION: $!\n";
1848 :     print $fh "$self->{version}\n";
1849 :     close($fh);
1850 :     chmod(0777,"VERSION");
1851 : olson 1.25 };
1852 :    
1853 :     if ($@ ne "")
1854 :     {
1855 : parrello 1.69 warn "Spreadsheet write failed, reverting to backup. Error was\n$@\n";
1856 : olson 1.25 }
1857 : parrello 1.60
1858 : olson 1.25 }
1859 :    
1860 :     sub update_curation_log
1861 :     {
1862 :     my($self) = @_;
1863 :    
1864 :     my $fh;
1865 :     my $file = "$self->{dir}/curation.log";
1866 :    
1867 :     my $now = time;
1868 :     my $user = $self->{fig}->get_user();
1869 :    
1870 :     if (-f $file)
1871 :     {
1872 : parrello 1.69 open($fh, ">>$file") or die "Cannot open $file for writing: $!\n";
1873 : olson 1.25 }
1874 :     else
1875 :     {
1876 : parrello 1.69 open($fh, ">$file") or die "Cannot open $file for writing: $!\n";
1877 :     print $fh "$now\t$user\tstarted\n";
1878 : olson 1.25 }
1879 :     print $fh "$now\t$user\tupdated\n";
1880 :     close($fh);
1881 :     }
1882 :    
1883 :     sub update_backups
1884 :     {
1885 : olson 1.68 my($self, $force_backup) = @_;
1886 : olson 1.25
1887 :     my $dir = $self->{dir};
1888 :     my $fig = $self->{fig};
1889 :    
1890 :     my $ss_file = "$dir/spreadsheet";
1891 :     my $ss_bak = "$dir/spreadsheet~";
1892 :     my $notes_file = "$dir/notes";
1893 :     my $notes_bak = "$dir/notes~";
1894 : overbeek 1.58 my $reactions_file = "$dir/reactions";
1895 :     my $reactions_bak = "$dir/reactions~";
1896 : olson 1.105 my $hope_reactions_file = "$dir/hope_reactions";
1897 :     my $hope_reactions_bak = "$dir/hope_reactions~";
1898 :     my $hope_reaction_notes_file = "$dir/hope_reaction_notes";
1899 :     my $hope_reaction_notes_bak = "$dir/hope_reaction_notes~";
1900 :     my $hope_reaction_links_file = "$dir/hope_reaction_links";
1901 :     my $hope_reaction_links_bak = "$dir/hope_reaction_links~";
1902 :     my $hope_curation_notes_file = "$dir/hope_curation_notes";
1903 :     my $hope_curation_notes_bak = "$dir/hope_curation_notes~";
1904 : bartels 1.126 my $emptycells_file = "$dir/emptycells";
1905 :     my $emptycells_bak = "$dir/emptycells~";
1906 : bartels 1.134 my $hope_kegg_info_file = "$dir/hope_kegg_info";
1907 : olson 1.105 my $hope_kegg_info_bak = "$dir/hope_kegg_info~";
1908 : olson 1.25
1909 :     my $ss_diff = abs((-s $ss_file) - (-s $ss_bak));
1910 :     my $notes_diff = abs((-s $notes_file) - (-s $notes_bak));
1911 : olson 1.68 my $reactions_diff = (system("cmp", "-s", $reactions_file, $reactions_bak) != 0);
1912 : olson 1.105 my $hope_reactions_diff = (system("cmp", "-s", $hope_reactions_file, $hope_reactions_bak) != 0);
1913 :     my $hope_reaction_notes_diff = (system("cmp", "-s", $hope_reaction_notes_file, $hope_reaction_notes_bak) != 0);
1914 :     my $hope_reaction_links_diff = (system("cmp", "-s", $hope_reaction_links_file, $hope_reaction_links_bak) != 0);
1915 :     my $hope_curation_notes_diff = (system("cmp", "-s", $hope_curation_notes_file, $hope_curation_notes_bak) != 0);
1916 : bartels 1.126 my $emptycells_diff = (system("cmp", "-s", $emptycells_file, $emptycells_bak) != 0);
1917 : olson 1.105 my $hope_kegg_info_diff = (system("cmp", "-s", $hope_kegg_info_file, $hope_kegg_info_bak) != 0);
1918 : olson 1.25
1919 : olson 1.105 if ($force_backup or ($ss_diff > 10) or ($notes_diff > 10) or $reactions_diff or $hope_reactions_diff or $hope_reaction_notes_diff or $hope_reaction_links_diff or $hope_curation_notes_diff or $hope_kegg_info_diff)
1920 : olson 1.25 {
1921 : parrello 1.69 $self->make_backup();
1922 : olson 1.25 }
1923 :     }
1924 :    
1925 :     sub make_backup
1926 :     {
1927 :     my($self) = @_;
1928 :    
1929 :     my $dir = $self->{dir};
1930 :     my $bak = "$dir/Backup";
1931 :    
1932 :     $self->{fig}->verify_dir($bak);
1933 :    
1934 :     my $ts = time;
1935 :    
1936 :     rename("$dir/spreadsheet~", "$bak/spreadsheet.$ts");
1937 :     rename("$dir/notes~", "$bak/notes.$ts");
1938 : overbeek 1.58 rename("$dir/reactions~", "$bak/reactions.$ts");
1939 : olson 1.105 rename("$dir/hope_reactions~", "$bak/hope_reactions.$ts");
1940 :     rename("$dir/hope_reaction_notes~", "$bak/hope_reaction_notes.$ts");
1941 :     rename("$dir/hope_reaction_links~", "$bak/hope_reaction_links.$ts");
1942 :     rename("$dir/hope_curation_notes~", "$bak/hope_curation_notes.$ts");
1943 : bartels 1.126 rename("$dir/emptycells~", "$bak/emptycells.$ts");
1944 : olson 1.105 rename("$dir/hope_kegg_info~", "$bak/hope_kegg_info.$ts");
1945 : olson 1.25 $self->{version}++;
1946 :     }
1947 :    
1948 :    
1949 :    
1950 : parrello 1.73 =head3 write_spreadsheet
1951 : olson 1.25
1952 : parrello 1.119 $sub->write_spreadsheet($fh);
1953 : olson 1.25
1954 :     Write the spreadsheet for this subsystem to filehandle $fh.
1955 :    
1956 :     =cut
1957 :    
1958 :     sub write_spreadsheet
1959 :     {
1960 :     my($self, $fh) = @_;
1961 :    
1962 :     $self->_write_roles($fh);
1963 :     print $fh "//\n";
1964 :    
1965 :     $self->_write_subsets($fh);
1966 :     print $fh "//\n";
1967 :    
1968 :     $self->_write_spreadsheet($fh);
1969 :     }
1970 :    
1971 :     sub _write_roles
1972 :     {
1973 :     my($self, $fh) = @_;
1974 :    
1975 :     my(@roles, @abbrs);
1976 :    
1977 :     @roles = $self->get_roles();
1978 :     @abbrs = $self->get_abbrs();
1979 :    
1980 : olson 1.100 #
1981 : olson 1.101 # Check abbreviations for validity. We disallow spaces, commas, and colons,
1982 :     # and enforce uniqueness.
1983 : olson 1.100 #
1984 :    
1985 :     my %abbrs;
1986 : olson 1.101 map { s/[\s,:]*//g; } @abbrs;
1987 : olson 1.100 map { $abbrs{$_}++ } @abbrs;
1988 :    
1989 :     for (my $i = 0; $i < @abbrs; $i++)
1990 :     {
1991 :     my $a = $abbrs[$i];
1992 :     if ($abbrs{$a} > 1)
1993 :     {
1994 :     #
1995 :     # abbrev is not unique
1996 :     #
1997 :     $a = "${a}_" . ($i + 1);
1998 :     $abbrs[$i] = $a;
1999 :     }
2000 :     }
2001 :    
2002 : olson 1.25 while (@roles)
2003 :     {
2004 : parrello 1.69 my $role = shift(@roles);
2005 :     my $abbr = shift(@abbrs);
2006 : olson 1.25
2007 : parrello 1.69 print $fh "$abbr\t$role\n";
2008 : olson 1.25 }
2009 :     }
2010 :    
2011 :     sub _write_subsets
2012 :     {
2013 :     my($self, $fh) = @_;
2014 :    
2015 : overbeek 1.31 for my $sub ($self->get_subset_namesC())
2016 : olson 1.25 {
2017 : parrello 1.69 next if ($sub eq "All");
2018 :     my @members= $self->get_subsetC($sub);
2019 : olson 1.25
2020 : parrello 1.69 #
2021 :     # member list on disk is 1-based
2022 :     #
2023 : olson 1.25
2024 : parrello 1.69 @members = map { $_ + 1 } @members;
2025 : bartels 1.130
2026 : parrello 1.69 print $fh join("\t", $sub, @members), "\n";
2027 : olson 1.25 }
2028 : overbeek 1.39 my $active_row_subset = $self->{row_active_subset};
2029 :     my $active_col_subset = $self->{col_active_subset};
2030 : bartels 1.130
2031 : overbeek 1.39 print $fh "$active_col_subset\n";
2032 : olson 1.25
2033 :     #
2034 :     # separator
2035 :     #
2036 :    
2037 :     print $fh "\n";
2038 : parrello 1.60
2039 : olson 1.25 #
2040 :     # genome subsets.
2041 :     #
2042 :    
2043 : overbeek 1.39 print $fh "$active_row_subset\n";
2044 : olson 1.25 }
2045 :    
2046 :     sub _write_spreadsheet
2047 :     {
2048 :     my($self, $fh) = @_;
2049 :    
2050 :     my(@genomes);
2051 :    
2052 :     @genomes= $self->get_genomes();
2053 :    
2054 :     for (my $i = 0; $i < @genomes; $i++)
2055 :     {
2056 : parrello 1.69 my $genome = $genomes[$i];
2057 :     my $vc = $self->get_variant_code($i);
2058 :    
2059 :     my $row = $self->get_row($i);
2060 :    
2061 :     if ($vc eq "")
2062 :     {
2063 :     $vc = "0";
2064 :     }
2065 : olson 1.122
2066 :     #
2067 :     # Validate genome before writing.
2068 :     #
2069 :    
2070 :     if ($genome !~ /^\d+\.\d+/)
2071 :     {
2072 :     next;
2073 :     }
2074 :    
2075 :     # Not sure if we want this case or not.
2076 :     # if (!$self->{fig}->is_genome($genome))
2077 :     # {
2078 :     # next;
2079 :     # }
2080 :    
2081 : parrello 1.69 print $fh "$genome\t$vc";
2082 : olson 1.25
2083 : parrello 1.69 for my $entry (@$row)
2084 :     {
2085 :     my(@p);
2086 : olson 1.25
2087 : parrello 1.69 for my $peg (@$entry)
2088 :     {
2089 : overbeek 1.133 $genome =~ /^(\d+\.\d+)/;
2090 :     my $just_genome = $1;
2091 :     if ($peg =~ /fig\|$just_genome\.(([a-zA-Z]+)\.(\d+))$/)
2092 : parrello 1.69 {
2093 : overbeek 1.99 push(@p, ($2 eq "peg") ? $3 : $1);
2094 : parrello 1.69 }
2095 :     else
2096 :     {
2097 :     warn "Bad peg $peg in cell for $genome";
2098 :     }
2099 :     }
2100 :     print $fh "\t", join(",", @p);
2101 :     }
2102 :     print $fh "\n";
2103 : olson 1.25 }
2104 :     }
2105 :    
2106 : parrello 1.73 =head3 get_genomes
2107 : olson 1.25
2108 : parrello 1.119 my @genomeList = $sub->get_genomes();
2109 : olson 1.25
2110 : parrello 1.73 Return a list of the genome IDs for this subsystem. Each genome corresponds to a row
2111 :     in the subsystem spreadsheet. Indexing into this list returns the ID of the genome
2112 :     in the specified row.
2113 : olson 1.2
2114 :     =cut
2115 : olson 1.25
2116 : olson 1.2 sub get_genomes
2117 :     {
2118 :     my($self) = @_;
2119 :    
2120 :     my $glist = $self->{genome};
2121 :    
2122 : olson 1.84 return ref($glist) ? @$glist : ();
2123 : olson 1.2 }
2124 :    
2125 : parrello 1.73 =head3 get_variant_codes
2126 :    
2127 : parrello 1.119 my @codes = $sub->get_variant_codes();
2128 : olson 1.2
2129 : parrello 1.73 Return a list of the variant codes for each genome, in row index order. The variant
2130 :     code indicates which variation of the subsystem is used by the given genome.
2131 : olson 1.2
2132 :     =cut
2133 : olson 1.25
2134 : olson 1.2 sub get_variant_codes
2135 :     {
2136 :     my($self) = @_;
2137 :    
2138 :     my $glist = $self->{variant_code};
2139 :    
2140 : olson 1.25 return @$glist;
2141 :     }
2142 :    
2143 : parrello 1.73 =head3 get_variant_code
2144 :    
2145 : parrello 1.119 my $code = $sub->get_variant_code($gidx);
2146 : parrello 1.73
2147 :     Return the variant code for the specified genome. Each subsystem has multiple
2148 :     variants which involve slightly different chemical reactions, and each variant
2149 :     has an associated variant code. When a genome is connected to the spreadsheet,
2150 :     the subsystem variant used by the genome must be specified.
2151 :    
2152 :     =over 4
2153 :    
2154 :     =item gidx
2155 :    
2156 :     Row index for the genome whose variant code is desired.
2157 :    
2158 :     =item RETURN
2159 :    
2160 :     Returns the variant code for the specified genome.
2161 :    
2162 :     =back
2163 :    
2164 :     =cut
2165 :    
2166 : olson 1.25 sub get_variant_code
2167 :     {
2168 :     my($self, $gidx) = @_;
2169 : overbeek 1.46 my $c = $self->{variant_code}->[$gidx];
2170 :     $c =~ s/ //g;
2171 :     return $c;
2172 : olson 1.2 }
2173 :    
2174 : overbeek 1.34 sub set_variant_code
2175 :     {
2176 :     my($self, $gidx, $val) = @_;
2177 :     $self->{variant_code}->[$gidx] = $val;
2178 : olson 1.70 #
2179 :     # Update the index for all the pegs in this row.
2180 :     # (only if we have a new database)
2181 :     #
2182 :    
2183 :     if ($self->{old_database})
2184 :     {
2185 :     return;
2186 :     }
2187 : parrello 1.73
2188 : olson 1.70 my $rdbH = $self->{fig}->db_handle();
2189 :     my $dbh = $rdbH->{_dbh};
2190 :     my $cells = $self->get_row($gidx);
2191 :     my $sub_name = $self->{name};
2192 :    
2193 :     my $sth = $dbh->prepare(qq(UPDATE subsystem_index
2194 :     SET variant = ?
2195 :     WHERE (subsystem = ? AND
2196 :     role = ? AND
2197 :     protein = ?)
2198 :     ));
2199 :     for my $i (0 .. $#$cells)
2200 :     {
2201 :     my $cell = $cells->[$i];
2202 :     my $role = $self->get_role($i);
2203 :    
2204 :     for my $peg (@$cell)
2205 :     {
2206 :     $sth->execute($val, $sub_name, $role, $peg);
2207 : olson 1.79 #warn "Update variant $sub_name $role $peg v='$val'\n";
2208 : olson 1.70 }
2209 :     }
2210 :    
2211 : overbeek 1.34 return;
2212 :     }
2213 :    
2214 : olson 1.2 sub get_variant_code_for_genome
2215 :     {
2216 :     my($self, $genome) = @_;
2217 :     my $index = $self->{genome_index}->{$genome};
2218 : redwards 1.55 if (defined $index) {
2219 :     return $self->{variant_code}->[$index];
2220 :     }
2221 :     else {
2222 :     return undef;
2223 :     }
2224 : olson 1.2 }
2225 :    
2226 : parrello 1.73 =head3 get_roles
2227 :    
2228 : parrello 1.119 my @roles = $sub->get_roles();
2229 : parrello 1.73
2230 :     Return a list of the subsystem's roles. Each role corresponds to a column
2231 :     in the subsystem spreadsheet. The list entry at a specified position in
2232 :     the list will contain the ID of that column's role.
2233 :    
2234 :     =cut
2235 :    
2236 : olson 1.2 sub get_roles
2237 :     {
2238 :     my($self) = @_;
2239 :    
2240 :     my $rlist = $self->{roles};
2241 :    
2242 : olson 1.83 return ref($rlist) ? @$rlist : ();
2243 : olson 1.25 }
2244 :    
2245 :     sub get_abbrs
2246 :     {
2247 :     my($self) = @_;
2248 :    
2249 :     my $rlist = $self->{role_abbrs};
2250 :    
2251 : olson 1.83 return ref($rlist) ? @$rlist : ();
2252 : parrello 1.119 }
2253 : heiko 1.87
2254 : olson 1.96 =head3 get_abbr_for_role
2255 :    
2256 : parrello 1.119 my $abbr = $sub->get_abbr_for_role($name);
2257 : olson 1.96
2258 :     Return the abbreviation for the given role name.
2259 :    
2260 :     =cut
2261 :    
2262 :     sub get_abbr_for_role
2263 :     {
2264 :     my($self, $name) = @_;
2265 :     my $idx = $self->{role_index}->{$name};
2266 :     if (defined($idx))
2267 :     {
2268 :     return $self->{role_abbrs}->[$idx];
2269 :     }
2270 :     else
2271 :     {
2272 :     return undef;
2273 :     }
2274 :     }
2275 :    
2276 :    
2277 :     =head3 get_roles_for_genome
2278 :    
2279 : parrello 1.119 my $abbr = $sub->get_roles_for_genome($genome_id);
2280 : olson 1.96
2281 :     Return the list of roles for which the given genome has nonempty cells.
2282 :    
2283 :     =cut
2284 :    
2285 :     sub get_roles_for_genome
2286 :     {
2287 :     my($self, $genome) = @_;
2288 :    
2289 :     my $gidx = $self->{genome_index}->{$genome};
2290 :     return undef unless defined($gidx);
2291 :    
2292 :     my $row = $self->{spreadsheet}->[$gidx];
2293 :    
2294 :     my @out;
2295 :     for my $ridx (0 .. $#$row)
2296 :     {
2297 :     my $cell = $row->[$ridx];
2298 :     if (@$cell > 0)
2299 :     {
2300 :     push(@out, $self->{roles}->[$ridx]);
2301 :     }
2302 :     }
2303 :     return @out;
2304 :     }
2305 : olson 1.2
2306 : olson 1.29 sub roles_with_abbreviations
2307 :     {
2308 :     my($self) = @_;
2309 :    
2310 :     my @ret;
2311 :    
2312 :     for my $i (0..@{$self->{roles}} - 1)
2313 :     {
2314 : parrello 1.69 push(@ret, [$self->{role_abbrs}->[$i], $self->{roles}->[$i]]);
2315 : olson 1.29 }
2316 :     return @ret;
2317 :     }
2318 :    
2319 :    
2320 : olson 1.52 sub get_sorted_rows
2321 :     {
2322 :     my($self, $sort_order) = @_;
2323 :    
2324 :     my $fig = $self->{fig};
2325 :    
2326 :     my @rows;
2327 :     for (my $i = 0; $i < @{$self->{genome}}; $i++)
2328 :     {
2329 : parrello 1.69 my $gid = $self->{genome}->[$i];
2330 : overbeek 1.132 $gid =~ s/:.*$//;
2331 :    
2332 : parrello 1.69 my $gs = $fig->genus_species($gid);
2333 : olson 1.52
2334 : parrello 1.69 my $q = quotemeta($gid);
2335 :     my $cells = [];
2336 :     for my $c (@{$self->{spreadsheet}->[$i]})
2337 :     {
2338 :     push(@$cells, [map { s/^fig\|$q\.peg\.//; $_ } @$c]);
2339 :     }
2340 : olson 1.52
2341 : parrello 1.69 push(@rows, [$self->{genome}->[$i], $gs, $self->{variant_code}->[$i], $cells]);
2342 : olson 1.52 }
2343 :    
2344 :     if ($sort_order eq "by_phylo")
2345 :     {
2346 : parrello 1.69 return(map { $_->[0] }
2347 :     sort { ($a->[1] cmp $b->[1]) or ($a->[0]->[1] cmp $b->[0]->[1]) }
2348 :     map { [$_, $fig->taxonomy_of($_->[0]) ] } @rows);
2349 : olson 1.52 }
2350 :     elsif ($sort_order eq "alphabetic")
2351 :     {
2352 : parrello 1.69 return sort { ($a->[1] cmp $b->[1]) or ($a->[0] <=> $b->[0]) } @rows;
2353 : olson 1.52 }
2354 :     elsif ($sort_order eq "by_tax_id")
2355 :     {
2356 : parrello 1.69 return sort { $a->[0] <=> $b->[0] } @rows;
2357 : olson 1.52 }
2358 :     else
2359 :     {
2360 : parrello 1.69 return @rows;
2361 : olson 1.52 }
2362 :     }
2363 :    
2364 :    
2365 : parrello 1.119 sub get_row
2366 : olson 1.1 {
2367 :     my($self, $row) = @_;
2368 :    
2369 :     return $self->{spreadsheet}->[$row];
2370 :     }
2371 :    
2372 : parrello 1.119 sub get_col
2373 : olson 1.1 {
2374 :     my($self, $col) = @_;
2375 :    
2376 :     return $self->{spreadsheet_inv}->[$col];
2377 :     }
2378 :    
2379 : parrello 1.119 sub get_cell
2380 : olson 1.1 {
2381 :     my($self, $row, $col) = @_;
2382 :    
2383 : olson 1.5 my $cell = $self->{spreadsheet}->[$row]->[$col];
2384 : overbeek 1.37 if (! defined($cell))
2385 :     {
2386 : parrello 1.69 $cell = $self->{spreadsheet}->[$row]->[$col] = [];
2387 : overbeek 1.37 }
2388 : olson 1.5 return $cell;
2389 : olson 1.1 }
2390 :    
2391 : parrello 1.73 =head3 get_genome_index
2392 :    
2393 : parrello 1.119 my $idx = $sub->get_genome_index($genome);
2394 : parrello 1.73
2395 :     Return the row index for the genome with the specified ID.
2396 :    
2397 :     =over 4
2398 :    
2399 :     =item genome
2400 :    
2401 :     ID of the genome whose row index is desired.
2402 :    
2403 :     =item RETURN
2404 :    
2405 :     Returns the row index for the genome with the specified ID, or an undefined
2406 :     value if the genome does not participate in the subsystem.
2407 :    
2408 :     =back
2409 :    
2410 :     =cut
2411 :    
2412 : parrello 1.119 sub get_genome_index
2413 : olson 1.3 {
2414 :     my($self, $genome) = @_;
2415 :    
2416 :     return $self->{genome_index}->{$genome};
2417 :     }
2418 :    
2419 : parrello 1.119 sub get_genome
2420 : olson 1.3 {
2421 :     my($self, $gidx) = @_;
2422 :    
2423 :     return $self->{genome}->[$gidx];
2424 :     }
2425 :    
2426 : parrello 1.73 =head3 get_role_index
2427 :    
2428 : parrello 1.119 my $idx = $sub->get_role_index($role);
2429 : parrello 1.73
2430 :     Return the column index for the role with the specified ID.
2431 :    
2432 :     =over 4
2433 :    
2434 :     =item role
2435 :    
2436 :     ID (full name) of the role whose column index is desired.
2437 :    
2438 :     =item RETURN
2439 :    
2440 :     Returns the column index for the role with the specified name.
2441 :    
2442 :     =back
2443 :    
2444 :     =cut
2445 :    
2446 : parrello 1.119 sub get_role_index
2447 : olson 1.5 {
2448 :     my($self, $role) = @_;
2449 :    
2450 :     return $self->{role_index}->{$role};
2451 :     }
2452 :    
2453 : parrello 1.119 sub get_role
2454 : olson 1.3 {
2455 :     my($self, $ridx) = @_;
2456 :    
2457 :     return $self->{roles}->[$ridx];
2458 :     }
2459 :    
2460 : parrello 1.73 =head3 get_role_abbr
2461 :    
2462 : parrello 1.119 my $abbr = $sub->get_role_abbr($ridx);
2463 : parrello 1.73
2464 :     Return the abbreviation for the role in the specified column. The abbreviation
2465 :     is a shortened identifier that is not necessarily unique, but is more likely to
2466 :     fit in a column heading.
2467 :    
2468 :     =over 4
2469 :    
2470 :     =item ridx
2471 :    
2472 :     Column index for the role whose abbreviation is desired.
2473 :    
2474 :     =item RETURN
2475 :    
2476 :     Returns an abbreviated name for the role corresponding to the indexed column.
2477 :    
2478 :     =back
2479 :    
2480 :     =cut
2481 :    
2482 : parrello 1.119 sub get_role_abbr
2483 : olson 1.4 {
2484 :     my($self, $ridx) = @_;
2485 :    
2486 :     return $self->{role_abbrs}->[$ridx];
2487 :     }
2488 :    
2489 : parrello 1.119 sub get_role_from_abbr
2490 : olson 1.20 {
2491 :     my($self, $abbr) = @_;
2492 :    
2493 :     return $self->{abbr}->{$abbr};
2494 :     }
2495 :    
2496 : parrello 1.73 =head3 set_pegs_in_cell
2497 : olson 1.26
2498 : parrello 1.119 $sub->set_pegs_in_cell($genome, $role, $peg_list);
2499 : olson 1.26
2500 :     Set the cell for the given genome and role to $peg_list.
2501 :    
2502 :     =cut
2503 :    
2504 :     sub set_pegs_in_cell
2505 :     {
2506 :     my($self, $genome, $role, $peg_list) = @_;
2507 :     my($row, $col);
2508 :    
2509 :     #
2510 :     # If row isn't numeric, look it up in the genomes list.
2511 :     #
2512 : parrello 1.60
2513 : olson 1.26 if ($genome !~ /^\d+$/)
2514 :     {
2515 : parrello 1.69 $row = $self->{genome_index}->{$genome};
2516 : olson 1.26 }
2517 :     else
2518 :     {
2519 : parrello 1.69 $row = $genome
2520 : olson 1.26 }
2521 : parrello 1.60
2522 : overbeek 1.37 if (! defined($row))
2523 : olson 1.26 {
2524 : overbeek 1.123 # print &Dumper($self->{genome_index});
2525 : parrello 1.69 confess "Cannot find row for $genome\n";
2526 :     return undef;
2527 : olson 1.26 }
2528 :    
2529 :     #
2530 :     # If col isn't numeric, look it up in the roles and role abbreviations.
2531 :     #
2532 : parrello 1.60
2533 : olson 1.114 my $role_name;
2534 : olson 1.26 if ($role !~ /^\d+$/)
2535 :     {
2536 : parrello 1.69 #
2537 :     # See if it's an abbr
2538 :     #
2539 : olson 1.26
2540 : parrello 1.69 my $a = $self->{abbr}->{$role};
2541 :     $role = $a if $a;
2542 : olson 1.26
2543 : parrello 1.69 $col = $self->{role_index}->{$role};
2544 : olson 1.114 $role_name = $role;
2545 : olson 1.26 }
2546 :     else
2547 :     {
2548 : parrello 1.69 $col = $role;
2549 : olson 1.114 $role_name = $self->get_role($col);
2550 : olson 1.26 }
2551 : parrello 1.60
2552 : overbeek 1.37 if (! defined($col))
2553 : olson 1.26 {
2554 : parrello 1.69 print &Dumper($self->{role_index});
2555 :     confess "Cannot find col for $role\n";
2556 :     return undef;
2557 : olson 1.26 }
2558 :     my $cell = $self->get_cell($row, $col);
2559 :    
2560 : olson 1.70
2561 : overbeek 1.37 if (defined($cell))
2562 : olson 1.26 {
2563 : olson 1.70 my $sub_name = $self->{name};
2564 :     my $peg;
2565 :     my $rdbH = $self->{fig}->db_handle();
2566 :     my $dbh = $rdbH->{_dbh};
2567 :    
2568 :     my $variant = $self->get_variant_code($row);
2569 : parrello 1.73
2570 : olson 1.70 if (@$cell > 0)
2571 :     {
2572 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
2573 :     WHERE (subsystem = ? AND
2574 :     role = ? AND
2575 :     protein = ?)
2576 :     ));
2577 :     foreach $peg (@$cell)
2578 :     {
2579 : olson 1.114 $sth->execute($sub_name, $role_name, $peg);
2580 : olson 1.93 # warn "Deleting $sub_name $role $peg\n";
2581 : olson 1.70 }
2582 :     }
2583 : parrello 1.73
2584 : olson 1.70 @$cell = @$peg_list;
2585 :    
2586 :     if ($self->{old_database})
2587 :     {
2588 :     my $sth = $rdbH->{_dbh}->prepare(qq(INSERT INTO subsystem_index (protein,subsystem,role)
2589 :     VALUES (?, ?, ?)));
2590 :     foreach $peg (@$cell)
2591 :     {
2592 : olson 1.114 $sth->execute($peg, $sub_name, $role_name);
2593 : olson 1.93 # warn "Add old $peg $sub_name $role\n";
2594 : olson 1.70 }
2595 :     }
2596 :     else
2597 :     {
2598 :     my $sth = $rdbH->{_dbh}->prepare(qq(INSERT INTO subsystem_index (protein,subsystem,role,variant)
2599 :     VALUES (?, ?, ?, ?)));
2600 :     foreach $peg (@$cell)
2601 :     {
2602 : olson 1.114 $sth->execute($peg, $sub_name, $role_name, $variant);
2603 :     #warn "Add new $peg $sub_name $role_name v='$variant'\n";
2604 : olson 1.70 }
2605 :     }
2606 : olson 1.26 }
2607 :     else
2608 :     {
2609 : parrello 1.69 warn "set_pegs_in_cell: Could not find cell!";
2610 : olson 1.26 }
2611 :     }
2612 :    
2613 : parrello 1.73 =head3 get_pegs_from_cell
2614 :    
2615 : parrello 1.119 my @pegs = $sub->get_pegs_from_cell($rowstr, $colstr);
2616 : parrello 1.73
2617 :     Return a list of the peg IDs for the features in the specified spreadsheet cell.
2618 :    
2619 :     =over 4
2620 :    
2621 :     =item rowstr
2622 :    
2623 :     Genome row, specified either as a row index or a genome ID.
2624 :    
2625 :     =item colstr
2626 :    
2627 :     Role column, specified either as a column index, a role name, or a role
2628 :     abbreviation.
2629 :    
2630 :     =item RETURN
2631 :    
2632 :     Returns a list of PEG IDs. The PEGs in the list belong to the genome in the
2633 :     specified row and perform the role in the specified column. If the indicated
2634 :     row and column does not exist, returns an empty list.
2635 :    
2636 :     =back
2637 :    
2638 :     =cut
2639 :    
2640 : olson 1.1 sub get_pegs_from_cell
2641 :     {
2642 :     my($self, $rowstr, $colstr) = @_;
2643 :     my($row, $col);
2644 :    
2645 :     #
2646 :     # If row isn't numeric, look it up in the genomes list.
2647 :     #
2648 : parrello 1.60
2649 : olson 1.1 if ($rowstr !~ /^\d+$/)
2650 :     {
2651 : parrello 1.69 $row = $self->{genome_index}->{$rowstr};
2652 : olson 1.1 }
2653 :     else
2654 :     {
2655 : parrello 1.69 $row = $rowstr;
2656 : olson 1.1 }
2657 : parrello 1.60
2658 : overbeek 1.31 if (! defined($row))
2659 : olson 1.1 {
2660 : parrello 1.69 print &Dumper($self->{genome_index});
2661 :     confess "Cannot find row for $rowstr\n";
2662 :     return undef;
2663 : olson 1.1 }
2664 :    
2665 :     #
2666 :     # If col isn't numeric, look it up in the roles and role abbreviations.
2667 :     #
2668 : parrello 1.60
2669 : olson 1.1 if ($colstr !~ /^\d+$/)
2670 :     {
2671 : parrello 1.69 #
2672 :     # See if it's an abbr
2673 :     #
2674 : olson 1.1
2675 : parrello 1.69 my $a = $self->{abbr}->{$colstr};
2676 :     $colstr = $a if $a;
2677 : olson 1.1
2678 : parrello 1.69 $col = $self->{role_index}->{$colstr};
2679 : olson 1.1 }
2680 :     else
2681 :     {
2682 : parrello 1.69 $col = $colstr;
2683 : olson 1.1 }
2684 : overbeek 1.32
2685 : overbeek 1.31 if (! defined($col))
2686 : olson 1.1 {
2687 : parrello 1.69 warn "Cannot find col for $colstr\n";
2688 :     return undef;
2689 : olson 1.1 }
2690 : olson 1.12 my $cell = $self->get_cell($row, $col);
2691 : olson 1.1
2692 :     if ($cell)
2693 :     {
2694 : parrello 1.69 return @$cell;
2695 : olson 1.1 }
2696 :     else
2697 :     {
2698 : parrello 1.69 return undef;
2699 : olson 1.1 }
2700 :     }
2701 :    
2702 : olson 1.25 #
2703 :     # Subset support
2704 :     #
2705 :    
2706 : olson 1.30 sub get_active_subsetC
2707 :     {
2708 :     my($self) = @_;
2709 :    
2710 :     return $self->{col_active_subset};
2711 :     }
2712 :    
2713 :     sub get_active_subsetR
2714 :     {
2715 :     my($self) = @_;
2716 :    
2717 :     return $self->{row_active_subset};
2718 :     }
2719 :    
2720 :     sub set_active_subsetC
2721 :     {
2722 :     my($self, $subset) = @_;
2723 :    
2724 :     $self->{col_active_subset} = $subset;
2725 :     }
2726 :    
2727 :    
2728 :     sub set_active_subsetR
2729 :     {
2730 :     my($self, $subset) = @_;
2731 :    
2732 :     $self->{row_active_subset} = $subset;
2733 :     }
2734 :    
2735 : parrello 1.119 # This method is deprecated. Use get_subset_namesC.
2736 : olson 1.25 sub get_subset_names
2737 : olson 1.17 {
2738 :     my($self) = @_;
2739 : olson 1.25
2740 : overbeek 1.31 return $self->get_subset_namesC;
2741 :     }
2742 :    
2743 : parrello 1.73 =head3 get_subset_namesC
2744 :    
2745 : parrello 1.119 my @subsetNames = $sub->get_subset_namesC();
2746 : parrello 1.73
2747 :     Return a list of the names for all the column (role) subsets. Given a subset
2748 :     name, you can use the L</get_subsetC_roles> method to get the roles in the
2749 :     subset.
2750 :    
2751 :     =cut
2752 :    
2753 : overbeek 1.31 sub get_subset_namesC
2754 :     {
2755 :     my($self) = @_;
2756 : overbeek 1.131 my $col_subsets = $self->{col_subsets};
2757 :     return ("All",defined($col_subsets) ? @$col_subsets : ());
2758 :     # return ("All",@{$self->{col_subsets}});
2759 : overbeek 1.31 }
2760 :    
2761 :     sub get_subset_namesR
2762 :     {
2763 :     my($self) = @_;
2764 :    
2765 : overbeek 1.35 return ("All",@{$self->{row_subsets}});
2766 : olson 1.17 }
2767 :    
2768 : parrello 1.73 =head3 get_subsetC_roles
2769 :    
2770 : parrello 1.119 my @roles = $sub->get_subsetC_roles($subname);
2771 : parrello 1.73
2772 :     Return the names of the roles contained in the specified role (column) subset.
2773 :    
2774 :     =over 4
2775 :    
2776 :     =item subname
2777 :    
2778 :     Name of the role subset whose roles are desired.
2779 :    
2780 :     =item RETURN
2781 :    
2782 :     Returns a list of the role names for the columns in the named subset.
2783 :    
2784 :     =back
2785 :    
2786 :     =cut
2787 :    
2788 : overbeek 1.33 sub get_subsetC_roles
2789 :     {
2790 :     my($self, $subname) = @_;
2791 :     return map { $self->get_role($_) } $self->get_subsetC($subname);
2792 :     }
2793 :    
2794 : overbeek 1.31 sub get_subsetC
2795 :     {
2796 :     my($self, $subname) = @_;
2797 : overbeek 1.33 if ($subname eq "All") { return map { $self->get_role_index($_) } $self->get_roles }
2798 : overbeek 1.31
2799 : olson 1.52 if (!defined($self->{col_subset_members}->{$subname}))
2800 :     {
2801 : parrello 1.69 $self->{col_subset_members}->{$subname} = [];
2802 : olson 1.52 }
2803 : parrello 1.60
2804 : overbeek 1.31 return @{$self->{col_subset_members}->{$subname}};
2805 :     }
2806 :    
2807 : olson 1.25 sub get_subset
2808 : olson 1.17 {
2809 : olson 1.25 my($self, $subname) = @_;
2810 : overbeek 1.33 return $self->get_subsetC($subname);
2811 : overbeek 1.31 }
2812 :    
2813 : parrello 1.104 =head3 get_subsetR
2814 :    
2815 : parrello 1.119 my @genomes = $sub->get_subsetR($subName);
2816 : parrello 1.104
2817 :     Return the genomes in the row subset indicated by the specified subset name.
2818 :    
2819 :     =over 4
2820 :    
2821 :     =item subName
2822 :    
2823 :     Name of the desired row subset, or C<All> to get all of the rows.
2824 :    
2825 :     =item RETURN
2826 :    
2827 :     Returns a list of genome IDs corresponding to the named subset.
2828 :    
2829 :     =back
2830 :    
2831 :     =cut
2832 :    
2833 :     sub get_subsetR {
2834 : overbeek 1.31 my($self, $subname) = @_;
2835 :     my($pair,$id,$members,$genome);
2836 :    
2837 :     if ($subname eq "All") { return $self->get_genomes }
2838 : overbeek 1.38 my %genomes = map { $_ => 1 } $self->get_genomes;
2839 :    
2840 :     return grep { $genomes{$_} } @{$self->{row_subset_members}->{$subname}};
2841 : overbeek 1.35 }
2842 :    
2843 :     sub load_row_subsets {
2844 :     my($self) = @_;
2845 :     my($id,$members,$pair);
2846 : overbeek 1.31
2847 : overbeek 1.35 my $taxonomic_groups = $self->{fig}->taxonomic_groups_of_complete(10);
2848 :     foreach $pair (@$taxonomic_groups)
2849 : overbeek 1.31 {
2850 : parrello 1.69 ($id,$members) = @$pair;
2851 :     if ($id ne "All")
2852 :     {
2853 :     push(@{$self->{row_subsets}},$id);
2854 :     }
2855 :     $self->{row_subset_members}->{$id} = $members;
2856 : overbeek 1.31 }
2857 : olson 1.25 }
2858 :    
2859 : parrello 1.73 =head3 load_row_subsets_by_kv
2860 : redwards 1.48
2861 :     Load a row subset based on a key/value pair. This will take a single key/value pair and only show that subset
2862 :    
2863 :     It is just a modification of load_row_subsets to deal with kv pairs
2864 :    
2865 :     This takes a required argument: the key that the genome must have, and a second optional argument, the value that key must hold.
2866 :    
2867 :     =cut
2868 :    
2869 :     sub load_row_subsets_by_kv {
2870 :     my ($self, $key, $want) = @_;
2871 :     my($id,$members,$pair);
2872 :     my $keep;
2873 : olson 1.102 #
2874 :     # First do a single call to retrieve all the values for the subset key.
2875 :     #
2876 : bartels 1.130 my @attr_values = ();
2877 :     if ( $key eq 'hundred_hundred' ) {
2878 :     @attr_values = $self->{fig}->get_attributes($self->{genome}, 'collection', $key);
2879 :     }
2880 :     else {
2881 :     @attr_values = $self->{fig}->get_attributes($self->{genome}, $key);
2882 :     }
2883 :    
2884 : olson 1.102 my %amap;
2885 :     map { push(@{$amap{$_->[0]}}, [@$_]); } @attr_values;
2886 :    
2887 : redwards 1.48 foreach my $genome (@{$self->{genome}}) {
2888 : olson 1.102 #my @results=$self->{fig}->get_attributes($genome, $key);
2889 :     my $results = $amap{$genome};
2890 :     next unless $results;
2891 :     foreach my $res (@$results) {
2892 : redwards 1.51 my ($gotid, $gottag, $value, $url)=@$res;
2893 : overbeek 1.85 next if ($value && $want && $value ne $want);
2894 :     next if ($gotid ne $genome);
2895 : redwards 1.50 push @$keep, $genome;
2896 :     last;
2897 :     }
2898 : redwards 1.48 }
2899 :     $self->{row_subset_members}->{$key}=$keep;
2900 :     }
2901 : overbeek 1.35
2902 : parrello 1.73 =head3 set_subsetC
2903 : olson 1.25
2904 : parrello 1.119 $sub->set_subsetC($name, $members);
2905 : olson 1.25
2906 :     Create a subset with the given name and members.
2907 :    
2908 :     $members is a list of role names.
2909 :    
2910 :     =cut
2911 :    
2912 : overbeek 1.31 sub set_subsetC
2913 : olson 1.25 {
2914 :     my($self, $subname, $list) = @_;
2915 :    
2916 :     my $nl = [map { $self->get_role_index($_) } @$list];
2917 : parrello 1.60
2918 : olson 1.25 $self->_set_subset($subname, $nl);
2919 :     }
2920 :    
2921 : overbeek 1.31 sub set_subset
2922 :     {
2923 :     my($self, $subname, $list) = @_;
2924 :    
2925 :     $self->set_subsetsC($subname,$list);
2926 :     }
2927 :    
2928 : parrello 1.73 =head3 _set_subset
2929 : olson 1.25
2930 :     Create a subset with the given name and members.
2931 :    
2932 :     Internal version - here, members is a list of role indices.
2933 :    
2934 :     =cut
2935 :    
2936 :     sub _set_subset
2937 :     {
2938 :     my($self, $subname, $list) = @_;
2939 :     $self->{col_subset_members}->{$subname} = $list;
2940 : overbeek 1.37 my($i,$x);
2941 :     $x = $self->{col_subsets};
2942 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
2943 :     if ($i == @$x)
2944 :     {
2945 : parrello 1.69 push(@$x,$subname);
2946 : overbeek 1.37 }
2947 :     }
2948 : parrello 1.60
2949 : overbeek 1.37 sub delete_subsetC
2950 :     {
2951 :     my($self, $subname) = @_;
2952 :     my($i,$x);
2953 :    
2954 :     $x = $self->{col_subsets};
2955 :     for ($i=0; ($i < @$x) && ($x->[$i] ne $subname); $i++) {}
2956 :     if ($i < @$x)
2957 :     {
2958 : parrello 1.69 splice(@$x,$i,1);
2959 : overbeek 1.37 }
2960 :     delete $self->{col_subset_members}->{$subname};
2961 : olson 1.25 }
2962 : parrello 1.60
2963 : olson 1.25 #
2964 :     # Role manipulation.
2965 :     #
2966 :    
2967 :    
2968 : parrello 1.73 =head3 set_roles
2969 : olson 1.25
2970 : parrello 1.119 $sub->set_roles($role_list);
2971 : olson 1.25
2972 :     Set the list of roles. C<$role_list> is a list of tuples C<[$role_name, $abbreviation]>.
2973 :    
2974 :     If a role already exists, it is used. If it does not exist, it is created empty.
2975 :    
2976 :     =cut
2977 :    
2978 :     sub set_roles
2979 :     {
2980 :     my($self, $roles) = @_;
2981 :    
2982 :     #
2983 :     # We do this by first creating a new spreadsheet.
2984 :     #
2985 :     # It is easiest to do this by manipulating the inverted spreadsheet
2986 :     # (role-major), and then creating the non-inverted spreadsheet from it.
2987 :     #
2988 :    
2989 :     my $oldss = $self->{spreadsheet};
2990 :     my $oldssinv = $self->{spreadsheet_inv};
2991 :    
2992 :     my $ss = [];
2993 :     my $ssinv = [];
2994 :    
2995 :     my $g = $self->{genome};
2996 :     my $ng = @$g;
2997 :    
2998 :     my $old_roles = $self->{role_index};
2999 :    
3000 :     my @role_index_conversion;
3001 : olson 1.70 my @old_role_list = @{$self->{roles}};
3002 : olson 1.25
3003 : olson 1.70 #
3004 :     # Since we're setting up completely new roles, wipe the
3005 :     # existing state.
3006 :     #
3007 : olson 1.25
3008 :     $self->{abbr} = {};
3009 :     $self->{role_index} = {};
3010 :     $self->{roles} = [];
3011 :     $self->{role_abbrs} = [];
3012 :    
3013 : olson 1.70 #
3014 :     # Initialize %defunct_roles with the list of all roles.
3015 :     # Remove entries as we walk the list of new roles below.
3016 :     # Any that are remaining need to be pulled from the index.
3017 :     #
3018 : olson 1.25
3019 : olson 1.70 my %defunct_roles = map { $_ => 1 } @old_role_list;
3020 : parrello 1.73
3021 : olson 1.70 # warn "Defunct at start: ", Dumper(\%defunct_roles);
3022 : olson 1.25 for (my $idx = 0; $idx < @$roles; $idx++)
3023 :     {
3024 : parrello 1.69 my $role = $roles->[$idx]->[0];
3025 :     my $abbr = $roles->[$idx]->[1];
3026 :    
3027 :     my $old_idx = $old_roles->{$role};
3028 : olson 1.25
3029 : olson 1.70 if (defined($old_idx))
3030 :     {
3031 :     # warn "Found old idx $old_idx for $role $idx\n";
3032 :     # warn $oldssinv->[$old_idx];
3033 :     $ssinv->[$idx] = $oldssinv->[$old_idx];
3034 :    
3035 :     $role_index_conversion[$old_idx] = $idx;
3036 :    
3037 :     #
3038 :     # We're keeping it, so it's not defunct anymore.
3039 :     #
3040 :     delete $defunct_roles{$role};
3041 :     }
3042 :     else
3043 :     {
3044 :     # warn "Did not find old role for $role $idx\n";
3045 :     # warn Dumper($old_roles);
3046 :     my $l = [];
3047 :     for (my $j = 0; $j < $ng; $j++)
3048 :     {
3049 :     $l->[$j] = [];
3050 :     }
3051 :    
3052 :     $ssinv->[$idx] = $l;
3053 :     }
3054 :    
3055 : parrello 1.73
3056 : olson 1.70 #
3057 :     # While we're here, update the new role and abbrev indexes
3058 :     #
3059 :     $self->{role_index}->{$role} = $idx;
3060 :     $self->{abbr}->{$abbr} = $role;
3061 :     $self->{roles}->[$idx] = $role;
3062 :     $self->{role_abbrs}->[$idx] = $abbr;
3063 :     }
3064 : olson 1.25
3065 : olson 1.70 #
3066 :     # Now we delete the pegs showing up for the list of defunct roles.
3067 :     #
3068 :     # warn "Defunct at finish: ", Dumper(\%defunct_roles);
3069 : parrello 1.73
3070 : olson 1.70 my $rdbH = $self->{fig}->db_handle();
3071 :     my $dbh = $rdbH->{_dbh};
3072 :     my $sub_name = $self->{name};
3073 : parrello 1.73
3074 : olson 1.70 my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
3075 :     WHERE (subsystem = ? AND
3076 :     role = ? AND
3077 :     protein = ?)
3078 :     ));
3079 : parrello 1.73
3080 :    
3081 : olson 1.70 for my $defunct_role (keys(%defunct_roles))
3082 :     {
3083 :     my $defunct_role_idx = $old_roles->{$defunct_role};
3084 :     my $col = $oldssinv->[$defunct_role_idx];
3085 :     # warn "Handle defunct role $defunct_role idx=$defunct_role_idx\n", Dumper($col);
3086 : parrello 1.73
3087 : olson 1.70 for my $cell (@$col)
3088 :     {
3089 :     for my $peg (@$cell)
3090 :     {
3091 :     $sth->execute($sub_name, $defunct_role, $peg);
3092 :     warn "Deleting $sub_name $defunct_role $peg\n";
3093 :     }
3094 :     }
3095 : olson 1.25 }
3096 : parrello 1.73
3097 : olson 1.25
3098 :     #
3099 :     # Now create the uninverted spreadsheet.
3100 :     #
3101 :    
3102 :     for (my $gidx = 0; $gidx < $ng; $gidx++)
3103 :     {
3104 : parrello 1.69 my $row = [];
3105 :     $ss->[$gidx] = $row;
3106 :     for (my $ridx = 0; $ridx < @$roles; $ridx++)
3107 :     {
3108 :     $row->[$ridx] = $ssinv->[$ridx]->[$gidx];
3109 :     }
3110 : olson 1.25 }
3111 :    
3112 :     $self->{spreadsheet} = $ss;
3113 :     $self->{spreadsheet_inv} = $ssinv;
3114 :    
3115 :     #
3116 :     # Fix up the subsets.
3117 :     #
3118 :    
3119 :    
3120 : overbeek 1.37 for my $subset (grep { $_ ne "All" } $self->get_subset_names())
3121 : olson 1.25 {
3122 : parrello 1.69 my $n = [];
3123 :     for my $idx ($self->get_subset($subset))
3124 :     {
3125 :     my $new = $role_index_conversion[$idx];
3126 :     if (defined($new))
3127 :     {
3128 :     push(@$n, $new);
3129 :     }
3130 :     }
3131 :     $self->_set_subset($subset, $n);
3132 : olson 1.25 }
3133 :    
3134 :     }
3135 :    
3136 : bartels 1.125
3137 :    
3138 : parrello 1.73 =head3 add_role($role, $abbr)
3139 : olson 1.25
3140 :     Add the given role to the spreadsheet.
3141 :    
3142 :     This causes a new column to be added, with empty values in each cell.
3143 :    
3144 :     We do nothing if the role is already present.
3145 :    
3146 :     Return the index of the new role.
3147 :    
3148 :     =cut
3149 :    
3150 :     sub add_role
3151 :     {
3152 :     my($self, $role, $abbr) = @_;
3153 :    
3154 :     if (defined($self->get_role_index($role)))
3155 :     {
3156 : parrello 1.69 warn "Role $role already present\n";
3157 :     return undef;
3158 : olson 1.25 }
3159 :    
3160 :     #
3161 :     # Add to the roles list. It goes at the end.
3162 :     #
3163 :    
3164 :     my $idx = @{$self->{roles}};
3165 :     $self->{roles}->[$idx] = $role;
3166 :     $self->{role_abbrs}->[$idx] = $abbr;
3167 :     $self->{role_index}->{$role} = $idx;
3168 :     $self->{abbr}->{$abbr} = $role;
3169 :    
3170 :     #
3171 :     # Update the spreadsheet.
3172 :     # On the standard one, we have to go through all the rows adding
3173 :     # a columnt to each.
3174 :     #
3175 :     # On the inverted one, we add a column with [] in each entry.
3176 :     #
3177 :    
3178 :     my $ng = @{$self->{genome}};
3179 :     my $newcol = [];
3180 :    
3181 :     for (my $i = 0; $i < $ng; $i++)
3182 :     {
3183 : parrello 1.69 my $cell = [];
3184 :     # print "nr: Adding cell $cell for gidx=$i ridx=$idx\n";
3185 :     $self->{spreadsheet}->[$i]->[$idx] = $cell;
3186 :     $newcol->[$i] = $cell;
3187 : olson 1.25 }
3188 :    
3189 :     $self->{spreadsheet_inv}->[$idx] = $newcol;
3190 :    
3191 :     return $idx;
3192 :     }
3193 :    
3194 : bartels 1.125
3195 :     =head3 change_role( $oldrole, $newrole )
3196 :    
3197 :     Change just the function of a role
3198 :    
3199 :     =cut
3200 :    
3201 :     sub change_role
3202 :     {
3203 :     my( $self, $oldrole, $newrole) = @_;
3204 :    
3205 :     my $oldindex = $self->get_role_index( $oldrole );
3206 :     unless ( defined( $oldindex ) ) {
3207 :     return ( 0, "The role $oldrole does not exist in this subsystem.<BR>\n" );
3208 :     }
3209 :    
3210 :     my $abbr = $self->{role_abbrs}->[$oldindex];
3211 :    
3212 :     $self->{roles}->[$oldindex] = $newrole;
3213 :     delete $self->{role_index}->{$oldrole};
3214 :     $self->{role_index}->{$newrole} = $oldindex;
3215 :     $self->{abbr}->{$abbr} = $newrole;
3216 :    
3217 :     return ( 1 );
3218 :     }
3219 :    
3220 : parrello 1.73 =head3 remove_role
3221 : olson 1.25
3222 :     Remove the role from the spreadsheet.
3223 :    
3224 :     We do nothing if the role is not present.
3225 :    
3226 :     =cut
3227 :    
3228 :     sub remove_role
3229 :     {
3230 :     my($self, $role) = @_;
3231 :    
3232 :     my $idx = $self->get_role_index($role);
3233 :     if (!defined($idx))
3234 :     {
3235 : parrello 1.69 warn "Role $role not present\n";
3236 :     return undef;
3237 : olson 1.25 }
3238 :    
3239 :     #
3240 : olson 1.70 # Update the index. Again, do this before removing roles
3241 :     # so we have full data to work with.
3242 :     # We walk the role's column of the spreadsheet removing pegs from the index.
3243 :     #
3244 :    
3245 :     my $rdbH = $self->{fig}->db_handle();
3246 :     my $dbh = $rdbH->{_dbh};
3247 :     my $sub_name = $self->{name};
3248 :    
3249 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
3250 :     WHERE (subsystem = ? AND
3251 :     role = ? AND
3252 :     protein = ?)
3253 :     ));
3254 :     my $col = $self->get_col($idx);
3255 :     for my $cell (@$col)
3256 :     {
3257 :     for my $peg (@$cell)
3258 :     {
3259 :     $sth->execute($sub_name, $role, $peg);
3260 :     warn "Deleting $sub_name $role $peg\n";
3261 :     }
3262 :     }
3263 :    
3264 :     #
3265 : parrello 1.60 # Remove from the roles list.
3266 : olson 1.25 #
3267 :    
3268 :     my $abbr = $self->{role_abbrs}->[$idx];
3269 : parrello 1.60
3270 : olson 1.25 splice(@{$self->{roles}}, $idx, 1);
3271 :     splice(@{$self->{role_abbrs}}, $idx, 1);
3272 :     delete $self->{role_index}->{$role};
3273 :     delete $self->{abbr}->{$abbr};
3274 :    
3275 : olson 1.70
3276 : olson 1.25 #
3277 :     # Update the spreadsheet.
3278 :     # On the standard one, we have to go through all the rows removing
3279 :     # the column from each.
3280 :     #
3281 :     # On the inverted one, we just remove the column.
3282 :     #
3283 :    
3284 :     my $ng = @{$self->{genome}};
3285 :     my $newcol = [];
3286 :    
3287 :     for (my $i = 0; $i < $ng; $i++)
3288 :     {
3289 : parrello 1.69 splice(@{$self->{spreadsheet}->[$i]}, $idx, 1);
3290 : olson 1.25 }
3291 :    
3292 :     splice(@{$self->{spreadsheet_inv}}, $idx, 1);
3293 :    
3294 :     #
3295 :     # We need to rewrite the subsets. if $idx was present in one, it is
3296 :     # removed. Any index >$idx is decremented.
3297 :     #
3298 :    
3299 :     for my $subset ($self->get_subset_names())
3300 :     {
3301 : parrello 1.69 my @n;
3302 : olson 1.25
3303 : parrello 1.69 for my $sidx ($self->get_subset($subset))
3304 :     {
3305 :     if ($sidx < $idx)
3306 :     {
3307 :     push(@n, $sidx);
3308 :     }
3309 :     elsif ($sidx > $idx)
3310 :     {
3311 :     push(@n, $sidx - 1);
3312 :     }
3313 :     }
3314 : olson 1.25
3315 : parrello 1.69 $self->_set_subset($subset, [@n]);
3316 : olson 1.25 }
3317 :     }
3318 :    
3319 : parrello 1.73 =head3 add_genome($genome, $abbr)
3320 : olson 1.25
3321 :     Add the given genome to the spreadsheet.
3322 :    
3323 :     This causes a new row to be added, with empty values in each cell.
3324 :    
3325 :     We do nothing if the genome is already present.
3326 :    
3327 :     Return the index of the new genome.
3328 :    
3329 :     =cut
3330 :    
3331 :     sub add_genome
3332 :     {
3333 :     my($self, $genome) = @_;
3334 :    
3335 :     my $idx = $self->get_genome_index($genome);
3336 : bartels 1.124 if ( defined( $idx ) ) {
3337 :     warn "Genome $genome already present\n";
3338 :     return $idx;
3339 : olson 1.25 }
3340 :    
3341 :     #
3342 :     # Add to the genomes list. It goes at the end.
3343 :     #
3344 :    
3345 : parrello 1.64 $idx = @{$self->{genome}};
3346 : olson 1.26 $self->{variant_code}->[$idx] = 0;
3347 : olson 1.25 $self->{genome}->[$idx] = $genome;
3348 :     $self->{genome_index}->{$genome} = $idx;
3349 :    
3350 :     #
3351 :     # Update the spreadsheet.
3352 :     # On the inverted one, we have to go through all the columns adding
3353 :     # a row to each.
3354 :     #
3355 :     # On the regular one, we add a row with [] in each entry.
3356 :     #
3357 :    
3358 :     my $nr = @{$self->{roles}};
3359 :     my $newrow = [];
3360 :    
3361 :     for my $i (0.. $nr - 1)
3362 :     {
3363 : parrello 1.69 my $cell = [];
3364 :     # print "ng: Adding cell $cell for gidx=$idx ridx=$i\n";
3365 :     $self->{spreadsheet_inv}->[$i]->[$idx] = $cell;
3366 :     $newrow->[$i] = $cell;
3367 : olson 1.25 }
3368 :    
3369 :     $self->{spreadsheet}->[$idx] = $newrow;
3370 :    
3371 :     return $idx;
3372 :     }
3373 :    
3374 : parrello 1.73 =head3 remove_genome
3375 : olson 1.25
3376 :     Remove the genome from the spreadsheet.
3377 :    
3378 :     We do nothing if the genome is not present.
3379 :    
3380 :     =cut
3381 :    
3382 :     sub remove_genome
3383 :     {
3384 :     my($self, $genome) = @_;
3385 :    
3386 :     my $idx = $self->get_genome_index($genome);
3387 :     if (!defined($idx))
3388 :     {
3389 : parrello 1.69 warn "Genome $genome not present\n";
3390 :     return undef;
3391 : olson 1.25 }
3392 :    
3393 :     #
3394 : olson 1.70 # Remove from database index (before we delete stuff from here,
3395 :     # so we have access to th e data structures).
3396 :     #
3397 :    
3398 :     my $rdbH = $self->{fig}->db_handle();
3399 :     my $dbh = $rdbH->{_dbh};
3400 :     my $cells = $self->get_row($idx);
3401 :     my $sub_name = $self->{name};
3402 :    
3403 :     my $sth = $dbh->prepare(qq(DELETE FROM subsystem_index
3404 :     WHERE (subsystem = ? AND
3405 :     role = ? AND
3406 :     protein = ?)
3407 :     ));
3408 :     for my $i (0 .. $#$cells)
3409 :     {
3410 :     my $cell = $cells->[$i];
3411 :     my $role = $self->get_role($i);
3412 :    
3413 :     for my $peg (@$cell)
3414 :     {
3415 :     $sth->execute($sub_name, $role, $peg);
3416 :     warn "Deleting $sub_name $role $peg\n";
3417 :     }
3418 :     }
3419 :    
3420 :     #
3421 : parrello 1.60 # Remove from the genomes list.
3422 : olson 1.25 #
3423 :    
3424 :     splice(@{$self->{genome}}, $idx, 1);
3425 : overbeek 1.43
3426 :     my $genome1;
3427 :     foreach $genome1 (@{$self->{genome}})
3428 :     {
3429 : parrello 1.69 if ($self->{genome_index}->{$genome1} > $idx)
3430 :     {
3431 :     $self->{genome_index}->{$genome1}--;
3432 :     }
3433 : overbeek 1.43 }
3434 : olson 1.25 splice(@{$self->{variant_code}}, $idx, 1);
3435 :    
3436 :     delete $self->{genome_index}->{$genome};
3437 :    
3438 :     #
3439 :     # Update the spreadsheet.
3440 :     # On the inverted one, we have to go through all the columns removing
3441 :     # the row from each.
3442 :     #
3443 :     # On the standard one, we just remove the row.
3444 :     #
3445 :    
3446 :     my $nr = @{$self->{roles}};
3447 :    
3448 :     for my $i (0 .. $nr - 1)
3449 :     {
3450 : parrello 1.69 splice(@{$self->{spreadsheet_inv}->[$i]}, $idx, 1);
3451 : olson 1.25 }
3452 :    
3453 :     splice(@{$self->{spreadsheet}}, $idx, 1);
3454 :    
3455 :     }
3456 :    
3457 : parrello 1.119 sub get_name
3458 : olson 1.25 {
3459 :     my($self) = @_;
3460 : overbeek 1.53 my $name = $self->{name};
3461 :     $name =~ s/ /_/g;
3462 :     return $name;
3463 : olson 1.25 }
3464 : parrello 1.60
3465 : parrello 1.119 sub get_dir
3466 : overbeek 1.41 {
3467 :     my($self) = @_;
3468 :     return $self->{dir};
3469 :     }
3470 : olson 1.25
3471 : parrello 1.60
3472 : parrello 1.119 sub get_version
3473 : olson 1.25 {
3474 :     my($self) = @_;
3475 :     return $self->{version};
3476 : olson 1.17 }
3477 :    
3478 : parrello 1.73 =head3 get_notes
3479 :    
3480 : parrello 1.119 my $text = $sub->get_notes();
3481 : parrello 1.73
3482 :     Return the descriptive notes for this subsystem.
3483 :    
3484 :     =cut
3485 :    
3486 : parrello 1.119 sub get_notes
3487 : olson 1.26 {
3488 :     my($self) = @_;
3489 :    
3490 :     return $self->{notes};
3491 :     }
3492 :    
3493 : olson 1.110 =head3 get_description
3494 :    
3495 : parrello 1.119 my $text = $sub->get_description();
3496 : olson 1.110
3497 :     Return the description for this subsystem.
3498 :    
3499 :     =cut
3500 :    
3501 :     sub get_description
3502 :     {
3503 :     my($self) = @_;
3504 :    
3505 :     return $self->{description};
3506 :     }
3507 :    
3508 : bartels 1.124 =head3 get_variants
3509 :    
3510 :     my $text = $sub->get_variants();
3511 :    
3512 :     Return the variants for this subsystem.
3513 :    
3514 :     =cut
3515 :    
3516 :     sub get_variants
3517 :     {
3518 :     my($self) = @_;
3519 :    
3520 :     my $text = $self->{variants};
3521 :     my %vars;
3522 :    
3523 :     my @lines = split( "\n", $text );
3524 :     foreach ( @lines ) {
3525 :     my ( $v, $d ) = split( "\t", $_ );
3526 :     $vars{ $v } = $d;
3527 :     }
3528 :    
3529 :     return \%vars;
3530 :     }
3531 :    
3532 : olson 1.110 =head3 get_literature
3533 :    
3534 : parrello 1.119 my $text = $sub->get_literature();
3535 : olson 1.110
3536 :     Return the literature for this subsystem.
3537 :    
3538 :     =cut
3539 :    
3540 :     sub get_literature
3541 :     {
3542 :     my($self) = @_;
3543 :    
3544 :     return $self->{literature};
3545 :     }
3546 :    
3547 : parrello 1.73 =head3 get_reactions
3548 :    
3549 : parrello 1.119 my $reactHash = $sub->get_reactions();
3550 : parrello 1.73
3551 :     Return a reference to a hash that maps each role ID to a list of the reactions
3552 :     catalyzed by the role.
3553 :    
3554 :     =cut
3555 :    
3556 : overbeek 1.58 sub get_reactions
3557 :     {
3558 :     my($self) = @_;
3559 :    
3560 :     return $self->{reactions};
3561 :     }
3562 :    
3563 : overbeek 1.59 sub set_reaction {
3564 :     my($self,$role,$rstring) = @_;
3565 :    
3566 :     $self->{reactions}->{$role} = [split(/,\s*/,$rstring)];
3567 :     }
3568 :    
3569 : olson 1.105 sub get_hope_scenario_names
3570 :     {
3571 :     my($self) = @_;
3572 :    
3573 :     return sort keys %{$self->{hope_scenarios}};
3574 :     }
3575 :    
3576 :     sub change_hope_scenario_name
3577 :     {
3578 :     my($self, $old_name, $new_name) = @_;
3579 :     my $hope_scenarios = $self->{hope_scenarios};
3580 :     my $scenario = $hope_scenarios->{$old_name};
3581 :     delete $hope_scenarios->{$old_name};
3582 :     $hope_scenarios->{$new_name} = $scenario;
3583 :     }
3584 :    
3585 :     sub add_hope_scenario
3586 :     {
3587 :     my($self, $new_name) = @_;
3588 :     $new_name =~ s/\// /g;
3589 :     $self->{hope_scenarios}->{$new_name} = { input_compounds => [], output_compounds => [], map_ids => [], additional_reactions => [], ignore_reactions => [] };
3590 :     }
3591 :    
3592 :     sub delete_hope_scenario
3593 :     {
3594 :     my($self, $scenario_name) = @_;
3595 :    
3596 :     delete $self->{hope_scenarios}->{$scenario_name};
3597 :     }
3598 :    
3599 :     sub get_hope_input_compounds
3600 :     {
3601 :     my($self, $scenario_name) = @_;
3602 : parrello 1.119
3603 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{input_compounds}};
3604 : olson 1.105 }
3605 :    
3606 :     sub set_hope_input_compounds
3607 :     {
3608 :     my($self,$scenario_name,$compounds) = @_;
3609 :     $compounds =~ s/^\s+//g;
3610 :     $compounds =~ s/\s+$//g;
3611 :     $compounds =~ s/,\s+/,/g;
3612 :     $compounds =~ s/\s+,/,/g;
3613 :     $compounds =~ s/\s+/,/g;
3614 :     $self->{hope_scenarios}->{$scenario_name}->{input_compounds} = [split(/,/,$compounds)];
3615 :     }
3616 :    
3617 :     sub get_hope_output_compounds
3618 :     {
3619 :     my($self,$scenario_name) = @_;
3620 : parrello 1.119
3621 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{output_compounds}};
3622 : olson 1.105 }
3623 :    
3624 :     sub set_hope_output_compounds
3625 :     {
3626 :     my($self,$scenario_name,$compounds) = @_;
3627 :     $compounds =~ s/^\s+//g;
3628 :     $compounds =~ s/\s+$//g;
3629 :     $compounds =~ s/,\s+/,/g;
3630 :     $compounds =~ s/\s+,/,/g;
3631 :     $compounds =~ s/\s+/,/g;
3632 :    
3633 :     # allow one level of nesting with parentheses
3634 :     my @output_compounds_lists;
3635 :     my @inner_list;
3636 :    
3637 :     foreach my $cpd (split(/,/,$compounds))
3638 :     {
3639 :     if ($cpd =~ /\(/)
3640 :     {
3641 :     $cpd =~ s/\(//g;
3642 :     push @inner_list, $cpd;
3643 :     }
3644 :     elsif (scalar @inner_list > 0 && $cpd =~ /\)/)
3645 :     {
3646 :     $cpd =~ s/\)//g;
3647 :     push @inner_list, $cpd;
3648 :     my @new_inner_list = @inner_list;
3649 :     push @output_compounds_lists, \@new_inner_list;
3650 :     @inner_list = ();
3651 :     }
3652 :     elsif (scalar @inner_list > 0)
3653 :     {
3654 :     push @inner_list, $cpd;
3655 :     }
3656 :     else
3657 :     {
3658 :     push @output_compounds_lists, [$cpd];
3659 :     }
3660 :     }
3661 :    
3662 :     $self->{hope_scenarios}->{$scenario_name}->{output_compounds} = \@output_compounds_lists;
3663 :     }
3664 :    
3665 :     sub get_hope_map_ids
3666 :     {
3667 :     my($self,$scenario_name) = @_;
3668 : parrello 1.119
3669 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{map_ids}};
3670 : olson 1.105 }
3671 :    
3672 :     sub set_hope_map_ids
3673 :     {
3674 :     my($self,$scenario_name,$ids) = @_;
3675 :     $ids =~ s/^\s+//g;
3676 :     $ids =~ s/\s+$//g;
3677 :     $ids =~ s/,\s+/,/g;
3678 :     $ids =~ s/\s+,/,/g;
3679 :     $ids =~ s/\s+/,/g;
3680 :     $self->{hope_scenarios}->{$scenario_name}->{map_ids} = [split(/,/,$ids)];
3681 :     }
3682 :    
3683 :     sub get_hope_additional_reactions
3684 :     {
3685 :     my($self,$scenario_name) = @_;
3686 : parrello 1.119
3687 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{additional_reactions}};
3688 : olson 1.105 }
3689 :    
3690 :     sub set_hope_additional_reactions
3691 :     {
3692 :     my($self,$scenario_name,$rids) = @_;
3693 :     $rids =~ s/^\s+//g;
3694 :     $rids =~ s/\s+$//g;
3695 :     $rids =~ s/,\s+/,/g;
3696 :     $rids =~ s/\s+,/,/g;
3697 :     $rids =~ s/\s+/,/g;
3698 :     $self->{hope_scenarios}->{$scenario_name}->{additional_reactions} = [split(/,/,$rids)];
3699 :     }
3700 :    
3701 :     sub get_hope_ignore_reactions
3702 :     {
3703 :     my($self,$scenario_name) = @_;
3704 : parrello 1.119
3705 : dejongh 1.118 return @{$self->{hope_scenarios}->{$scenario_name}->{ignore_reactions}};
3706 : olson 1.105 }
3707 :    
3708 :     sub set_hope_ignore_reactions
3709 :     {
3710 :     my($self,$scenario_name,$rids) = @_;
3711 :     $rids =~ s/^\s+//g;
3712 :     $rids =~ s/\s+$//g;
3713 :     $rids =~ s/,\s+/,/g;
3714 :     $rids =~ s/\s+,/,/g;
3715 :     $rids =~ s/\s+/,/g;
3716 :     $self->{hope_scenarios}->{$scenario_name}->{ignore_reactions} = [split(/,/,$rids)];
3717 :     }
3718 :    
3719 : dejongh 1.106 sub get_hope_reactions_for_genome
3720 :     {
3721 :     my($self, $genome) = @_;
3722 :     my $index = $self->{genome_index}->{$genome};
3723 :     if (defined $index) {
3724 :     my @roles = $self->get_roles;
3725 : dejongh 1.118 my %hope_reactions = $self->get_hope_reactions;
3726 : dejongh 1.106
3727 : dejongh 1.107 my %ss_reactions;
3728 : dejongh 1.106
3729 :     foreach my $role (@roles)
3730 :     {
3731 : dejongh 1.107 my @peg_list = $self->get_pegs_from_cell($genome,$role);
3732 :    
3733 :     if (defined $hope_reactions{$role} && scalar @peg_list > 0)
3734 : parrello 1.119
3735 : dejongh 1.106 {
3736 : dejongh 1.107 foreach my $reaction (@{$hope_reactions{$role}})
3737 :     {
3738 :     push @{$ss_reactions{$reaction}}, @peg_list;
3739 :     }
3740 : dejongh 1.106 }
3741 :     }
3742 :    
3743 : dejongh 1.118 return %ss_reactions;
3744 : dejongh 1.106 }
3745 :     else {
3746 :     return undef;
3747 :     }
3748 :     }
3749 :    
3750 : olson 1.105 sub get_hope_reactions
3751 :     {
3752 :     my($self) = @_;
3753 :    
3754 : dejongh 1.118 return %{$self->{hope_reactions}};
3755 : olson 1.105 }
3756 :    
3757 : bartels 1.126 sub get_emptycells
3758 :     {
3759 :     my($self) = @_;
3760 :    
3761 :     return $self->{emptycells};
3762 :     }
3763 :    
3764 : olson 1.105 sub set_hope_reaction {
3765 :     my($self,$role,$rids) = @_;
3766 :     $rids =~ s/,\s+/,/g;
3767 :     $rids =~ s/\s+/,/g;
3768 :     $self->{hope_reactions}->{$role} = [split(/,/,$rids)];
3769 :     }
3770 :    
3771 :     sub get_hope_reaction_notes
3772 :     {
3773 :     my($self) = @_;
3774 :    
3775 : dejongh 1.118 return %{$self->{hope_reaction_notes}};
3776 : olson 1.105 }
3777 :    
3778 :     sub set_hope_reaction_note {
3779 :     my($self,$role,$rstring) = @_;
3780 :    
3781 :     $self->{hope_reaction_notes}->{$role} = $rstring;
3782 :     }
3783 :    
3784 :     sub get_hope_reaction_links
3785 :     {
3786 :     my($self) = @_;
3787 :    
3788 : dejongh 1.118 return %{$self->{hope_reaction_links}};
3789 : olson 1.105 }
3790 :    
3791 :     sub set_hope_reaction_link {
3792 :     my($self,$role,$rstring) = @_;
3793 :    
3794 :     $self->{hope_reaction_links}->{$role} = $rstring;
3795 :     }
3796 :    
3797 : parrello 1.119 sub get_hope_curation_notes
3798 : olson 1.105 {
3799 :     my($self) = @_;
3800 :    
3801 :     return $self->{hope_curation_notes};
3802 :     }
3803 :    
3804 :     sub set_hope_curation_notes
3805 :     {
3806 :     my($self, $hope_curation_notes) = @_;
3807 :    
3808 :     $self->{hope_curation_notes} = $hope_curation_notes;
3809 :     }
3810 : overbeek 1.59
3811 : bartels 1.126 sub set_emptycells
3812 :     {
3813 :     my($self, $emptycells) = @_;
3814 :    
3815 :     $self->{emptycells} = $emptycells;
3816 :     }
3817 :    
3818 : olson 1.26 sub set_notes
3819 :     {
3820 :     my($self, $notes) = @_;
3821 :    
3822 : olson 1.28 $self->{notes} = $notes;
3823 : olson 1.26 }
3824 :    
3825 : olson 1.110 sub set_description
3826 :     {
3827 :     my($self, $desc) = @_;
3828 :    
3829 :     $self->{description} = $desc;
3830 :     }
3831 :    
3832 : bartels 1.124 sub set_variants
3833 :     {
3834 :     my($self, $var) = @_;
3835 :    
3836 :     my $text = '';
3837 :     foreach my $k ( sort keys %$var ) {
3838 :     $text .= "$k\t".$var->{ $k }."\n";
3839 :     }
3840 :    
3841 :     $self->{variants} = $text;
3842 :     }
3843 :    
3844 : olson 1.110 sub set_literature
3845 :     {
3846 :     my($self, $lit) = @_;
3847 :    
3848 :     $self->{literature} = $lit;
3849 :     }
3850 :    
3851 : redwards 1.44 sub get_classification
3852 :     {
3853 :     my($self) = @_;
3854 :    
3855 :     return $self->{classification};
3856 :     }
3857 :    
3858 :     sub set_classification
3859 :     {
3860 :     my($self, $classification) = @_;
3861 :    
3862 :     $self->{classification}=$classification;
3863 :     }
3864 :    
3865 :    
3866 : parrello 1.73 =head3 get_curator
3867 :    
3868 : parrello 1.119 my $userName = $sub->get_curator();
3869 : parrello 1.73
3870 :     Return the name of this subsystem's official curator.
3871 :    
3872 :     =cut
3873 : parrello 1.60
3874 : parrello 1.119 sub get_curator
3875 : olson 1.17 {
3876 :     my($self) = @_;
3877 :     return $self->{curator};
3878 :     }
3879 : overbeek 1.47
3880 : overbeek 1.115 sub get_created
3881 :     {
3882 :     my($self) = @_;
3883 :     return $self->{created};
3884 :     }
3885 :    
3886 :     sub get_last_updated
3887 :     {
3888 :     my($self) = @_;
3889 :     return $self->{last_updated};
3890 :     }
3891 :    
3892 : olson 1.25 #
3893 :     # Subsystem copying logic
3894 :     #
3895 :    
3896 : parrello 1.73 =head3 add_to_subsystem($subsystem_name, $columns, $notes_flag)
3897 : olson 1.25
3898 :     Merge the given columns from $subsystem_name into this subsystem. Append the
3899 :     notes from the subsystem if $notes_flag is true.
3900 :    
3901 :     =cut
3902 :    
3903 :     sub add_to_subsystem
3904 :     {
3905 :     my($self, $subsystem_name, $cols, $add_notes) = @_;
3906 :    
3907 :     my $ss = $self->{fig}->get_subsystem($subsystem_name);
3908 :    
3909 :     if (!$ss)
3910 :     {
3911 : parrello 1.69 warn "Cannot open subsystem '$subsystem_name' to copy from";
3912 :     return;
3913 : olson 1.25 }
3914 :    
3915 :     #
3916 :     # Merge the data from the other subsystem.
3917 :     #
3918 :     # First we assure ourselves that we have the appropriate roles. While
3919 :     # we do this, build the list of row indices (in this subsystem) that
3920 :     # map to the roles we are adding.
3921 :     #
3922 :    
3923 :     #
3924 :     # local_roles[$his_role] = $my_role (map from other role idx to local role idx)
3925 :     #
3926 : parrello 1.60
3927 : olson 1.25 my @local_roles;
3928 :    
3929 :     #
3930 :     # his_roles = list of role indices corresponding to the remote roles.
3931 :     #
3932 : overbeek 1.36 if ($cols->[0] eq "all")
3933 :     {
3934 : parrello 1.69 $cols = [$ss->get_roles];
3935 : overbeek 1.36 }
3936 :    
3937 : olson 1.25 my @his_roles;
3938 : parrello 1.60
3939 : olson 1.25 for my $his_role (@$cols)
3940 :     {
3941 : parrello 1.69 my $idx = $self->get_role_index($his_role);
3942 :     my $his_idx = $ss->get_role_index($his_role);
3943 :    
3944 :     if (!defined($his_idx))
3945 :     {
3946 :     confess "Cannot map his role $his_role\n";
3947 :     }
3948 :     push(@his_roles, $his_idx);
3949 : olson 1.25
3950 : parrello 1.69 if (!defined($idx))
3951 :     {
3952 :     my $his_abbr = $ss->get_role_abbr($his_idx);
3953 : parrello 1.60
3954 : parrello 1.69 $idx = $self->add_role($his_role, $his_abbr);
3955 :     # print "Adding missing role $his_role idx=$idx\n";
3956 :     }
3957 :     else
3958 :     {
3959 :     # print "Found existing role $his_role idx=$idx\n";
3960 :     }
3961 : olson 1.25
3962 : parrello 1.69
3963 :     $local_roles[$his_idx] = $idx;
3964 : olson 1.25 }
3965 :    
3966 :     #
3967 :     # Similar scan to ensure that we have rows for the genomes
3968 :     # that are in the other subsystem.
3969 :     #
3970 :    
3971 :     my @local_genomes;
3972 :    
3973 :     my @his_genomes = $ss->get_genomes();
3974 :    
3975 :     for my $his_idx (0..@his_genomes - 1)
3976 :     {
3977 : parrello 1.69 my $genome = $his_genomes[$his_idx];
3978 :    
3979 : overbeek 1.37
3980 : parrello 1.69 my $my_idx = $self->get_genome_index($genome);
3981 : parrello 1.60
3982 : parrello 1.69 if (!defined($my_idx))
3983 :     {
3984 :     #
3985 :     # Not there, need to add.
3986 :     #
3987 : olson 1.25
3988 : parrello 1.69 $my_idx = $self->add_genome($genome);
3989 :     # print "Adding missing genome $genome idx=$my_idx\n";
3990 :     }
3991 :     else
3992 :     {
3993 :     # print "Found existing genome $genome idx=$my_idx\n";
3994 :     }
3995 : parrello 1.60
3996 : parrello 1.69 $local_genomes[$his_idx] = $my_idx;
3997 : olson 1.25 }
3998 :    
3999 : parrello 1.60
4000 : olson 1.25 #
4001 :     # Now that we have our local roles set up to receive the data,
4002 :     # process the incoming roles one at a time.
4003 :     #
4004 :    
4005 :    
4006 :     for my $his_role (@his_roles)
4007 :     {
4008 : parrello 1.69 my $my_col = $self->get_col($local_roles[$his_role]);
4009 :     my $his_col = $ss->get_col($his_role);
4010 : olson 1.25
4011 : parrello 1.69 #
4012 :     # $his_col is the information for $his_role, indexed by
4013 :     # genome in @his_genomes.
4014 :     #
4015 :     # $my_col is hte information for my copy of $his_role,
4016 :     # indexed by genome in MY genome list.
4017 :     #
4018 : olson 1.25
4019 : parrello 1.69 my $my_role = $local_roles[$his_role];
4020 : olson 1.25
4021 : parrello 1.69 # print "merging: $self->{roles}->[$my_role] $ss->{roles}->[$his_role] his_role=$his_role my_role=$my_role\n";
4022 : olson 1.25
4023 : parrello 1.69 for my $his_gidx (0 .. @his_genomes - 1)
4024 :     {
4025 :     my $hisent = $his_col->[$his_gidx];
4026 : olson 1.25
4027 : parrello 1.69 my $my_gidx = $local_genomes[$his_gidx];
4028 : parrello 1.60
4029 : overbeek 1.37
4030 : parrello 1.69 my $myent = $my_col->[$my_gidx];
4031 : olson 1.25
4032 : parrello 1.69 # print " his_gidx=$his_gidx my_gidx=$my_gidx hisent=@$hisent myent=@$myent\n";
4033 : olson 1.25
4034 : parrello 1.69 my %new;
4035 :     map { $new{$_}++ } @$hisent;
4036 :     map { $new{$_}++ } @$myent;
4037 : olson 1.25
4038 : parrello 1.69 @$myent = keys(%new);
4039 : olson 1.25
4040 : parrello 1.69 # print " new entry: @$myent\n";
4041 :     }
4042 : olson 1.25 }
4043 : olson 1.26
4044 :     #
4045 :     # Fix up the variant codes.
4046 :     #
4047 :    
4048 :     for my $his_gidx (0 .. @his_genomes - 1)
4049 :     {
4050 : parrello 1.69 my $his_code = $ss->get_variant_code($his_gidx);
4051 :     my $my_gidx = $local_genomes[$his_gidx];
4052 : olson 1.26
4053 : parrello 1.69 if (!$self->get_variant_code($my_gidx))
4054 :     {
4055 :     $self->{variant_code}->[$my_gidx] = $his_code;
4056 :     }
4057 : olson 1.26 }
4058 :    
4059 :     #
4060 :     # If we are to add notes, append the other subsystem's notes text.
4061 :     #
4062 :    
4063 :     if ($add_notes)
4064 :     {
4065 : parrello 1.69 my $his_notes = $ss->get_notes();
4066 : olson 1.26
4067 : parrello 1.69 $self->{notes} .= "\nNotes copied from $ss->{name}:\n$his_notes\n";
4068 : olson 1.26 }
4069 : olson 1.25 }
4070 : olson 1.17
4071 : olson 1.1 sub dump
4072 :     {
4073 :     my($self) = @_;
4074 :    
4075 :     for my $k (keys(%$self))
4076 :     {
4077 : parrello 1.69 next if $k eq "spreadsheet" or $k eq "spreadsheet_inv";
4078 :     print "Key \"$k\": ", Dumper($self->{$k});
4079 : olson 1.1 }
4080 :     }
4081 : parrello 1.60
4082 : olson 1.14 #
4083 :     # Increment the subsystem's version number.
4084 :     #
4085 :     sub incr_version {
4086 :     my($self) = @_;
4087 :    
4088 :     my $dir = $self->{dir};
4089 :     my $vfile = "$dir/VERSION";
4090 :     my($ver);
4091 :    
4092 :     if (open(my $fh,"<$vfile"))
4093 :     {
4094 :     if (defined($ver = <$fh>) && ($ver =~ /^(\S+)/))
4095 :     {
4096 :     $ver = $1;
4097 :     }
4098 :     else
4099 :     {
4100 :     $ver = 0;
4101 :     }
4102 :     close($fh);
4103 :     }
4104 :     else
4105 :     {
4106 :     $ver = 0;
4107 :     }
4108 :    
4109 :     $ver++;
4110 :    
4111 :     open(my $fh, ">$vfile") || die "could not open $vfile";
4112 :     print $fh "$ver\n";
4113 :     close($fh);
4114 :    
4115 :     chmod(0777, $vfile);
4116 :    
4117 :     $self->load_version();
4118 :     }
4119 : olson 1.1
4120 : heiko 1.78
4121 :     =head3 functional_role_instances
4122 :    
4123 : parrello 1.119 my @role_instances = $sub->functional_role_instances($role);
4124 : heiko 1.78
4125 :     Returns the set of genes for a functional role that belong to
4126 :     genomes with functional variants (> 0).
4127 :    
4128 : heiko 1.87 If the flag $strict is set to true,
4129 :     an additional check for the correct function assignment is performed.
4130 :     If the name of the functional role does not occur exaclty in the
4131 :     latest function assignment of the PEG, it is not included in the
4132 :     returned array. A simple index check is done.
4133 :    
4134 : heiko 1.78 =cut
4135 :    
4136 :     sub functional_role_instances {
4137 : parrello 1.119
4138 : heiko 1.87 my ($self, $role, $strict) = @_;
4139 : heiko 1.78 my $i =0;
4140 :    
4141 :     my @instances;
4142 :    
4143 :     foreach my $cell (@{$self->get_col($self->get_role_index($role))}) {
4144 : parrello 1.119
4145 : heiko 1.78 if ((scalar @$cell > 0) && ($self->get_variant_code($i) > 0)) {
4146 :     foreach (@$cell) {
4147 : heiko 1.87
4148 : parrello 1.119
4149 : heiko 1.87 unless ($strict) {
4150 :     push @instances, $_;
4151 :     } else {
4152 :     # check if the peg is still in sync with the role assignment
4153 :     # will tolerate multiple role assignments but no mismatches
4154 :     my $current_function = $self->{fig}->function_of($_);
4155 : parrello 1.119 if (index($current_function, $role) != -1) {
4156 : heiko 1.87 push @instances, $_;
4157 :     } else {
4158 :     print STDERR "[Warning] Function of $_ out of sync for role $role in subsystem ".$self->get_name()."\n";
4159 :     }
4160 :     }
4161 : heiko 1.78 }
4162 :     }
4163 :     $i++;
4164 : parrello 1.119 }
4165 : heiko 1.78
4166 :    
4167 :     return @instances if wantarray;
4168 :     return \@instances;
4169 :    
4170 :     }
4171 :    
4172 :    
4173 :    
4174 :    
4175 : parrello 1.75 =head3 get_dir_from_name
4176 :    
4177 : parrello 1.119 my $dirName = Subsystem::get_dir_from_name($name);
4178 : parrello 1.75
4179 :     Return the name of the directory containing the SEED data for the specified
4180 :     subsystem.
4181 :    
4182 :     =over 4
4183 :    
4184 :     =item name
4185 :    
4186 :     Name of the subsystem whose directory is desired.
4187 :    
4188 :     =item RETURN
4189 :    
4190 :     Returns the fully-qualified directory name for the subsystem.
4191 :    
4192 :     =back
4193 :    
4194 :     =cut
4195 :    
4196 : olson 1.1 sub get_dir_from_name
4197 :     {
4198 :     my($name) = @_;
4199 :    
4200 :     my $b = $name;
4201 :     $b =~ s/ /_/g;
4202 :     my $dir = File::Spec->catfile($FIG_Config::data, 'Subsystems', $b);
4203 :     return $dir;
4204 :     }
4205 :    
4206 : olson 1.12 #
4207 :     # Code for dealing with Bill McCune's prolog code for extending subsystems.
4208 :     #
4209 :     # The code here is a reconstruction of Bill's "go" script in perl with
4210 :     # data pulled from the local SEED configuration.
4211 :     #
4212 :    
4213 :     sub extend_with_billogix
4214 :     {
4215 : olson 1.42 my($self, $muser, $genomes) = @_;
4216 : olson 1.12 my($isMaster, $user);
4217 : parrello 1.60
4218 : olson 1.12 my $now = time();
4219 :    
4220 :     if ($muser =~ /master:(.*)/)
4221 :     {
4222 : parrello 1.69 $isMaster = 1;
4223 :     $user = $1;
4224 : olson 1.12 }
4225 :     else
4226 :     {
4227 : parrello 1.69 $isMaster = 0;
4228 :     $user = $muser;
4229 : olson 1.12 }
4230 :    
4231 :     #
4232 : olson 1.42 # initialize the genome list to all complete genomes, if none was passed in.
4233 :     #
4234 :    
4235 :     if (!$genomes)
4236 :     {
4237 : parrello 1.69 $genomes = [$self->{fig}->genomes("complete")];
4238 :     warn "getting genome list from fig $self->{fig}";
4239 : olson 1.42 }
4240 :    
4241 :     #
4242 :     # Ensure genome list is of the right form.
4243 :     #
4244 :    
4245 :     if (ref($genomes) ne "ARRAY")
4246 :     {
4247 : parrello 1.69 warn "billogix: genome list is not a list reference";
4248 :     return;
4249 : olson 1.42 }
4250 :    
4251 :     for my $g (@$genomes)
4252 :     {
4253 : parrello 1.69 if ($g !~ /^\d+\.\d+/)
4254 :     {
4255 :     warn "billogix: genome '$g' is not of the proper form, aborting billogix run.";
4256 :     return;
4257 :     }
4258 : olson 1.42 }
4259 : parrello 1.60
4260 : olson 1.42 my $genome_list = "[" . join(", ", map { "'$_'" } @$genomes) . "]";
4261 :    
4262 :     warn "Genomes: $genome_list\n";
4263 :     warn Dumper($genomes);
4264 : parrello 1.60
4265 : olson 1.42 #
4266 : olson 1.12 # Find the executable.
4267 :     #
4268 :    
4269 :     my $exe = "$FIG_Config::bin/billogix";
4270 :    
4271 :     if (! -x $exe)
4272 :     {
4273 : parrello 1.69 warn "Cannot find billogix exe at $exe\n";
4274 :     return;
4275 : olson 1.12 }
4276 : parrello 1.60
4277 : olson 1.12 my $ss_name = $self->{name};
4278 : olson 1.18
4279 :     $ss_name =~ s/\s+/_/g;
4280 : parrello 1.60
4281 : olson 1.14 my $ss_dir = "$self->{dir}/";
4282 : olson 1.15 my $assign_dir = "$FIG_Config::data/Assignments/$user/";
4283 : olson 1.12 &FIG::verify_dir($assign_dir);
4284 :    
4285 : olson 1.16 my $when= strftime("%m-%d-%y:%H:%M:%S", localtime($now));
4286 :     my $job_id = "${when}:sss:$ss_name";
4287 :    
4288 : olson 1.12 my $seed = &FIG::cgi_url() . "/";
4289 : olson 1.13 my $export_part = "ssa.cgi?user=$muser&request=delete_or_export_ssa&export=";
4290 : olson 1.12
4291 :     #
4292 :     # Have the prereq stuff, now start up the app.
4293 :     #
4294 :    
4295 :     $ENV{LOCALSZ} = "80000";
4296 :     $ENV{GLOBALSZ} = "80000";
4297 :     $ENV{TRAILSZ} = "30000";
4298 : olson 1.13
4299 :     my $arch = &FIG::get_current_arch();
4300 :    
4301 :     $ENV{BILLOGIX} = "$FIG_Config::fig_disk/dist/releases/current/$arch/lib/Billogix";
4302 :    
4303 : &n