[Bio] / FigKernelPackages / FigGFF.pm Repository:
ViewVC logotype

Annotation of /FigKernelPackages/FigGFF.pm

Parent Directory Parent Directory | Revision Log Revision Log


Revision 1.22 - (view) (download) (as text)

1 : olson 1.1 #
2 : olson 1.20 # Copyright (c) 2003-2006 University of Chicago and Fellowship
3 :     # for Interpretations of Genomes. All Rights Reserved.
4 :     #
5 :     # This file is part of the SEED Toolkit.
6 :     #
7 :     # The SEED Toolkit is free software. You can redistribute
8 :     # it and/or modify it under the terms of the SEED Toolkit
9 :     # Public License.
10 :     #
11 :     # You should have received a copy of the SEED Toolkit Public License
12 :     # along with this program; if not write to the University of Chicago
13 :     # at info@ci.uchicago.edu or the Fellowship for Interpretation of
14 :     # Genomes at veronika@thefig.info or download a copy from
15 :     # http://www.theseed.org/LICENSE.TXT.
16 :     #
17 :    
18 :     #
19 : olson 1.1 # FIG GFF utilities.
20 :     #
21 :    
22 :     #
23 :     # A GFFWriter handles the generation of GFF files from SEED data structures.
24 :     #
25 :    
26 : olson 1.4 package FigGFF;
27 :    
28 :     use strict;
29 :    
30 :     use base qw(Exporter);
31 :     use vars qw(@EXPORT);
32 : overbeek 1.16 @EXPORT = qw(map_seed_alias_to_dbxref map_dbxref_to_seed_alias);
33 : olson 1.4
34 :     #
35 :     # General GFF-related routines.
36 :     #
37 :    
38 :    
39 :     #
40 :     # Alias translation.
41 :     #
42 :     # These routines map between the SEED aliases and the standard
43 :     # dbxref names as defined here:
44 :     #
45 :     # ftp://ftp.geneontology.org/pub/go/doc/GO.xrf_abbs
46 :     #
47 :     # In particular:
48 :     #
49 :     # abbreviation: NCBI_gi
50 :     # database: NCBI databases.
51 :     # object: Identifier.
52 :     # example_id: NCBI_gi:10727410
53 :     # generic_url: http://www.ncbi.nlm.nih.gov/
54 :     # url_syntax:
55 :     # url_example: http://www.ncbi.nlm.nih.gov:80/entrez/query.fcgi?cmd=Retrieve&db=nucleotide&list_uids=10727410&dopt=GenBank
56 :     #
57 :     # abbreviation: NCBI_NP
58 :     # database: NCBI RefSeq.
59 :     # object: Protein identifier.
60 :     # example_id: NCBI_NP:123456
61 :     # generic_url: http://www.ncbi.nlm.nih.gov/
62 :     # url_syntax:
63 :     #
64 :     # abbreviation: KEGG
65 :     # database: Kyoto Encyclopedia of Genes and Genomes.
66 :     # generic_url: http://www.genome.ad.jp/kegg/
67 :    
68 :     sub map_seed_alias_to_dbxref
69 :     {
70 :     my($alias) = @_;
71 :    
72 :     $_ = $alias;
73 :     if (/^NP_(\d+.*)/)
74 :     {
75 : parrello 1.19 return "NCBI_NP:$1";
76 : olson 1.4 }
77 : efrank 1.17 elsif (/^NM_(\d+.*)/)
78 :     {
79 : parrello 1.19 return "NCBI_NM:$1";
80 : efrank 1.17 }
81 : olson 1.4 elsif (/^gi\|(\d+)/)
82 :     {
83 : parrello 1.19 return "NCBI_gi:$1";
84 : olson 1.4 }
85 :     elsif (/^kegg\|(\S+):(\S+)/)
86 :     {
87 : parrello 1.19 return "KEGG:$1 $2";
88 : olson 1.4 }
89 :     elsif (/^uni\|(\S+)/)
90 :     {
91 : parrello 1.19 return "UniProt:$1";
92 : olson 1.4 }
93 :     elsif (/^sp\|(\S+)/)
94 :     {
95 : parrello 1.19 return "Swiss-Prot:$1";
96 : olson 1.4 }
97 :    
98 :     return undef;
99 :     }
100 :    
101 :     #
102 :     # And map back again.
103 :     #
104 :    
105 :     sub map_dbxref_to_seed_alias
106 :     {
107 :     my($dbxref) = @_;
108 :    
109 : redwards 1.7 # if it is not a valid xref just return it
110 : overbeek 1.16 return $dbxref unless $dbxref =~ m/:/;
111 : redwards 1.7
112 : olson 1.4 my($type, $ref) = split(/:/, $dbxref, 2);
113 :    
114 : overbeek 1.16 if (lc($type) eq "ncbi_np")
115 : olson 1.4 {
116 : parrello 1.19 return "$ref";
117 : efrank 1.17 }
118 :     elsif (lc($type) eq "ncbi_nm")
119 :     {
120 : parrello 1.19 return "$ref";
121 : olson 1.4 }
122 : overbeek 1.16 elsif (lc($type) eq "ncbi_pid")
123 :     {
124 : parrello 1.19 return "$ref";
125 : overbeek 1.16 }
126 :     elsif (lc($type) eq "ncbi_gi")
127 : olson 1.4 {
128 : parrello 1.19 return "gi|$ref";
129 : olson 1.4 }
130 : efrank 1.17 elsif (lc($type) eq "kegg")
131 : olson 1.4 {
132 : parrello 1.19 $ref =~ s/ /:/;
133 :     return "kegg|$ref";
134 : olson 1.4 }
135 : efrank 1.17 elsif (lc($type) eq "uniprot")
136 : olson 1.4 {
137 : parrello 1.19 return "uni|$ref";
138 : olson 1.4 }
139 : efrank 1.17 elsif (lc($type) eq "swiss-prot")
140 : olson 1.4 {
141 : parrello 1.19 return "sp|$ref";
142 : olson 1.4 }
143 :    
144 : redwards 1.7 return $dbxref; # just return itself if we don't know what it is.
145 : olson 1.4 }
146 : olson 1.1
147 :     package GFFWriter;
148 :    
149 :     use strict;
150 :     use FIG;
151 : olson 1.4 use FigGFF;
152 : olson 1.1
153 :     use Carp;
154 :     use URI::Escape;
155 :     use Data::Dumper;
156 :    
157 :     sub new
158 :     {
159 :     my($class, $fig, %options) = @_;
160 :    
161 :     my $default_options = {
162 : parrello 1.19 escapespace => 0,
163 :     outputfasta => 1,
164 :     linelength => 60,
165 : olson 1.1 };
166 :    
167 :     map { $default_options->{$_} = $options{$_} } keys(%options);
168 :    
169 : redwards 1.6 # added contig_start_cache and contig_end_cache because we have something like
170 : parrello 1.19 # sequence-region contigname 1 10000
171 : redwards 1.6 # in general we will set contig_start_cache == 1
172 :     # and contig_end_cache == contig_length_cache
173 :    
174 : olson 1.1 my $self = {
175 : parrello 1.19 options => $default_options,
176 :     contig_length_cache => {},
177 :     contig_start_cache => {},
178 :     contig_end_cache => {},
179 :     fig => $fig,
180 : olson 1.1 };
181 :    
182 :     return bless $self, $class;
183 :     }
184 :    
185 :    
186 :     =head1 gff3_for_feature
187 :    
188 :     Returns the GFF3 information for a given feature.
189 :    
190 :     The return is a pair ($contig_data, $fasta_sequences) that can be passed
191 :     into write_gff3().
192 :    
193 :     $contig_data is a hashref mapping a contig name to a list of GFF3 file lines
194 :     for the sequences in that contig.
195 :    
196 :     =cut
197 :    
198 :     sub gff3_for_feature
199 :     {
200 : olson 1.4 my($self, $fid, $user, $user_note, $in_aliases, $in_loc) = @_;
201 : olson 1.1
202 :     #
203 :     # Options we need to figure out somehow.
204 :     #
205 :     my $options = $self->{options};
206 :    
207 :     my $escapespace = $options->{escapespace};
208 :     my $outputfasta = $options->{outputfasta};
209 : olson 1.2
210 :     my %outputtype;
211 :     map { $outputtype{$_} = 1 } @{$options->{outputtype}};
212 : olson 1.1
213 :     my $fastasequences = '';
214 :     my $contig_data;
215 :     my $linelength = $options->{linelength};
216 :    
217 : olson 1.3 my $beg = $self->{options}->{beg};
218 :     my $end = $self->{options}->{end};
219 :    
220 : olson 1.1 my $fig = $self->{fig};
221 :    
222 :     #
223 :     # Do this first to make sure that we really have a feature.
224 :     #
225 : olson 1.4 my @location = ref($in_loc) ? @$in_loc : $fig->feature_location($fid);
226 : olson 1.1 if (@location == 0 or !defined($location[0]))
227 :     {
228 : parrello 1.19 warn "No location found for feature $fid\n";
229 :     return ({}, "");
230 : olson 1.1 }
231 :    
232 :     ###########
233 :     #
234 :     # Begin figuring out the column 9 information about notes and aliases and GO terms
235 :     # All the information is temporarily stored in @alias or @note, and at the end is joined
236 :     # into $allnote
237 :     #
238 :     ###########
239 :    
240 :     #
241 :     # the notes for the last column
242 :     #
243 :     my $note;
244 :     #
245 :     # all the aliases we are going to use
246 :     #
247 :     my @alias;
248 : olson 1.4 my @xref;
249 : olson 1.1
250 : olson 1.2 if ($options->{with_assignments})
251 : olson 1.1 {
252 : parrello 1.19 my $func = $fig->function_of($fid, $user);
253 :     if ($func)
254 :     {
255 :     push @$note, ("Note=" . uri_escape($func));
256 :     }
257 : olson 1.1 }
258 : olson 1.2
259 :     if ($options->{with_aliases})
260 :     {
261 : parrello 1.19 # now find aliases
262 :     my @feat_aliases = ref($in_aliases) ? @$in_aliases : $fig->feature_aliases($fid);
263 :     foreach my $alias (@feat_aliases)
264 :     {
265 :     my $mapped = FigGFF::map_seed_alias_to_dbxref($alias);
266 :     if ($mapped)
267 :     {
268 :     push(@xref, $mapped);
269 :     }
270 :     else
271 :     {
272 :     push(@alias, $alias);
273 :     }
274 :     }
275 : olson 1.2 }
276 : olson 1.1
277 :     # now just join all the aliases and put them into @$note so we can add it to the array
278 :     if (@alias)
279 :     {
280 : parrello 1.19 push @$note, "Alias=". join (",", map { uri_escape($_) } @alias);
281 : olson 1.1 }
282 : olson 1.2
283 :     #
284 :     # If we have user note passed in, add it.
285 :     #
286 :    
287 :     if ($user_note)
288 :     {
289 : parrello 1.19 push @$note, $user_note;
290 : olson 1.2 }
291 : olson 1.1
292 :     # the LAST thing I am going to add as a note is the FIG id so that I can grep it out easily
293 : olson 1.4 #
294 :     # for now, make SEED xref the first in the list so we can search for DBxref=SEEd
295 :     #
296 :    
297 :     unshift(@xref, "SEED:$fid");
298 :    
299 :     push(@$note, "Dbxref=" . join(",", map { uri_escape($_) } @xref));
300 : olson 1.1
301 :     # finally join all the notes into a long string that can be added as column 9
302 :     my $allnotes;
303 :     $allnotes = join ";", @$note;
304 :    
305 :     # do we want to convert '%20' to ' '
306 :     unless ($escapespace)
307 :     {
308 : parrello 1.19 $allnotes =~ s/\%20/ /g;
309 : olson 1.1 }
310 :    
311 :     ###########
312 :     #
313 :     # End figuring out the column 9 information about notes and aliases and GO terms
314 :     #
315 :     ###########
316 :    
317 :     #
318 :     # Cache contig lengths.
319 :     #
320 :     my $len = $self->{contig_length_cache};
321 :    
322 :     my $genome = $fig->genome_of($fid);
323 :    
324 :     foreach my $loc (@location)
325 :     {
326 : parrello 1.19 $loc =~ /^(.*)\_(\d+)\_(\d+)$/;
327 :     my ($contig, $start, $stop) = ($1, $2, $3);
328 :     my $original_contig=$contig;
329 :    
330 :     #
331 :     # the contig name must be escaped
332 :     #
333 :     $contig = uri_escape($contig);
334 :    
335 :     #my $contig_key = "$genome:$contig";
336 :     my $contig_key = $contig;
337 :    
338 :     unless (defined $len->{$contig})
339 :     {
340 :     $len->{$contig}=$fig->contig_ln($genome, $original_contig);
341 :     }
342 :     my $strand='+';
343 :    
344 :     #
345 :     # These were bounds-checking for dumping all of a genome.
346 :     #
347 :     #next if (defined $beg && ($start < $beg || $stop < $beg));
348 :     #next if (defined $end && ($start > $end || $stop > $end));
349 : olson 1.1
350 : parrello 1.19 if ($start > $stop)
351 :     {
352 :     ($start, $stop, $strand)=($stop, $start, '-');
353 :     }
354 :     elsif ($start == $stop)
355 :     {
356 :     $strand=".";
357 :     }
358 : olson 1.1
359 : parrello 1.19 my $type=$fig->ftype($fid);
360 : olson 1.1
361 : parrello 1.19 if ($type eq "peg")
362 :     {
363 :     # it is a protein coding gene
364 :     # create an artificial id that is just the fid.(\d+) information
365 :     # we will use this to create ids in the form cds.xxx; trn.xxxx; pro.xxx; gen.xxx;
366 :     $fid =~ /\.peg\.(\d+)/;
367 :     my $geneid=$1;
368 : olson 1.1
369 : parrello 1.19 ############## KLUDGE
370 :     #
371 :     # At the moment the outputs for transcript, gene, CDS, and pro are all the same.
372 :     # This is clearly a kludge and wrong, but it will work at the moment
373 :     #
374 : olson 1.1
375 : parrello 1.19 # defined some truncations
376 :     my %trunc=(
377 :     "transcript" => "trn",
378 :     "gene" => "gen",
379 :     "protein" => "pro",
380 :     "cds" => "cds",
381 :     );
382 :    
383 :     # SO terms:
384 :     # transcript: SO:0000673
385 :     # gene: SO:0000704
386 :     # cds: SO:0000316
387 :     # protein: NOT VALID: should be protein_coding_primary_transcript SO:0000120
388 :    
389 :     #
390 :     # For now, we will only output CDS features, and include
391 :     # the translation as an attribute (attribuute name is
392 :     # translation_id, value is a key that corresponds to a FASTA
393 :     # section at the end of the file).
394 :     #
395 :    
396 :     my $type = "cds";
397 :    
398 :     my $protein_id = "pro.$geneid";
399 :     my $cds_id = "cds.$geneid";
400 :    
401 :     # we want to store some sequences to be output
402 :     if ($outputfasta)
403 :     {
404 :     my $addseq = $fig->get_translation($fid);
405 :    
406 :     #
407 :     # the chomp is so that we know for sure to add the line back
408 :     #
409 :     $addseq =~ s/(.{$linelength})/$1\n/g;
410 :     chomp($addseq);
411 :     $fastasequences .= ">$protein_id\n$addseq\n";
412 :    
413 :     $addseq = uc($fig->dna_seq($genome, @location));
414 :     $addseq =~ s/(.{$linelength})/$1\n/g; chomp($addseq);
415 :    
416 :     $fastasequences .= ">$cds_id\n$addseq\n";
417 :    
418 :     $allnotes .= ";translation_id=$protein_id";
419 :     }
420 :    
421 :     push (@{$contig_data->{$contig_key}},
422 :     (join "\t",
423 :     ($contig, "The SEED", $type, $start, $stop, ".", $strand, ".", "ID=$cds_id;$allnotes")));
424 :     }
425 :     elsif ($type eq "rna")
426 :     {
427 :     $fid =~ /\.rna\.(\d+)/;
428 :     my $geneid=$1;
429 :     #
430 :     # tRNA is a valid SOFA term == SO:0000253
431 :     #
432 :     my ($id, $type)=("rna.$geneid", "tRNA");
433 :     if ($outputfasta)
434 :     {
435 :     my $addseq = $fig->dna_seq($genome, @location);
436 :     $addseq =~ s/(.{$linelength})/$1\n/g; chomp($addseq);
437 :     $fastasequences .= ">$id\n$addseq\n";
438 :     }
439 :     push (@{$contig_data->{$contig_key}}, (join "\t", ($contig, "The SEED", $type, $start, $stop, ".", $strand, ".", "ID=$id;$allnotes")));
440 :     } # end the if type == rna
441 :     else
442 :     {
443 :     die "Don't know what type: |$type| is";
444 :     }
445 : olson 1.1 }
446 :     return ($contig_data, $fastasequences);
447 :     }
448 :    
449 :     =head1 write_gff3
450 :    
451 :     Write a set of gff3 per-contig data and fasta sequence data to a file or filehandle.
452 :    
453 :     $genome is the genome these contigs are a part of.
454 :     $contig_list is a list of contig-data hashes as returned by gff_for_feature.
455 :     $fast_list is a list of fasta data strings.
456 :    
457 :     =cut
458 :    
459 :     sub write_gff3
460 :     {
461 :     my($self, $output, $genome, $contig_list, $fasta_list) = @_;
462 :    
463 :     my $fig = $self->{fig};
464 :    
465 :     my $len = $self->{contig_length_cache};
466 :     my $fh;
467 :    
468 :     my $beg = $self->{options}->{beg};
469 :     my $end = $self->{options}->{end};
470 :    
471 :     my $close_output;
472 :    
473 :     if (ref($output))
474 :     {
475 : parrello 1.19 $fh = $output;
476 : olson 1.1 }
477 :     else
478 :     {
479 : parrello 1.19 open($fh, ">$output") or confess "Cannot open output '$output': $!";
480 :     $close_output = 1;
481 : olson 1.1 }
482 :    
483 :     #
484 :     # Build a data structure from the list of contigs
485 :     # that has a list of lists of data per contig name.
486 :     # (Do this so we don't copy all of the contig data itself, as it
487 :     # could be quite large).
488 :     #
489 :     my %contigs;
490 :    
491 :     #
492 :     # iterate over the given list of contig hashes.
493 :     #
494 :     for my $chash (@$contig_list)
495 :     {
496 : parrello 1.19 #
497 :     # Then for each contig in the individual contig hashes,
498 :     # add the data list to %contigs.
499 :     #
500 :     for my $contig (keys %$chash)
501 :     {
502 :     push(@{$contigs{$contig}}, $chash->{$contig});
503 :     }
504 : olson 1.1 }
505 :    
506 :     foreach my $contig (sort keys %contigs)
507 :     {
508 : parrello 1.19 print $fh "##sequence-region\t$contig\t";
509 :     if (defined $beg) {
510 :     print $fh "$beg\t";
511 :     } else {
512 :     print $fh "1\t";
513 :     }
514 :     if (defined $end) {
515 :     print $fh "$end\n";
516 :     } else {
517 :     print $fh "$len->{$contig}\n";
518 :     }
519 :     for my $list (@{$contigs{$contig}})
520 :     {
521 :     print $fh join("\n", @$list), "\n";
522 :     }
523 : olson 1.1 }
524 :    
525 :     print $fh "##FASTA\n";
526 :     # print out the cds and pro if we need them
527 :    
528 :     if ($self->{options}->{outputfasta})
529 :     {
530 : parrello 1.19 for my $fastasequences (@$fasta_list)
531 :     {
532 :     print $fh $fastasequences;
533 :     }
534 : olson 1.1 }
535 :    
536 :     my $ll = $self->{options}->{linelength};
537 :     foreach my $contig (sort keys %contigs)
538 :     {
539 : parrello 1.19 my $len=$fig->contig_ln($genome, $contig);
540 :     my $dna_seq=$fig->dna_seq($genome, $contig . "_1_". $len);
541 :     if (defined $beg)
542 :     {
543 :     unless (defined $end) {
544 :     $end=$len;
545 :     }
546 :     $dna_seq = substr($dna_seq, $beg, $end);
547 :     }
548 :     elsif (defined $end)
549 :     {
550 :     $beg=1;
551 :     $dna_seq = substr($dna_seq, $beg, $end);
552 :     }
553 : olson 1.1
554 : parrello 1.19 my $contig=uri_escape($contig);
555 : olson 1.1
556 : parrello 1.19 $dna_seq =~ s/(.{$ll})/$1\n/g;
557 :     chomp($dna_seq); # just remove the last \n if there is one
558 :     print $fh ">$contig\n$dna_seq\n";
559 : olson 1.1 }
560 :    
561 :     close($fh) if $close_output;
562 :     }
563 :    
564 : olson 1.2 package GFFParser;
565 :    
566 :     use strict;
567 :     use URI::Escape;
568 :     use Carp;
569 :     use Data::Dumper;
570 :    
571 :     use base qw(Class::Accessor);
572 :    
573 : redwards 1.22 __PACKAGE__->mk_accessors(qw(fig current_file features_by_genome feature_index features filename fasta_data contig_checksum genome_checksum contigs));
574 :    
575 :     my $count;
576 :    
577 :     =pod
578 :    
579 :     =head1 GFFParser
580 :    
581 :     A parser for GFF3 files.
582 : olson 1.2
583 : redwards 1.22 =head2 new()
584 :    
585 :     Instantiate
586 :     my $fgff = GFFParser->new($fig);
587 :    
588 :     =cut
589 : olson 1.2
590 :    
591 :     #
592 :     # GFF file parser. Creates GFFFiles.
593 :     #
594 :    
595 :     sub new
596 :     {
597 :     my($class, $fig) = @_;
598 :    
599 :     my $self = {
600 : parrello 1.19 fig => $fig,
601 : olson 1.2 };
602 :    
603 :     return bless($self, $class);
604 :     }
605 :    
606 : redwards 1.22 =head2 parse()
607 :    
608 :     Takes a filename as an argument, and returns a file object.
609 :    
610 :     The file object is a reference to a hash with the following keys:
611 :     features_by_genome
612 :     An array of all the features in this genome
613 :     feature_index
614 :     A hash with a key of the features by ID and the value being the GFFFeature
615 :     features
616 :     All the features in the genome, as an array with each element being a GFFFeature element
617 :     filename
618 :     The filename of the file that was parsed
619 :     fasta_data
620 :     A hash with the key being the ID and the value being the sequence
621 :    
622 :     Not sure about:
623 :     contig_checksum
624 :     genome_checksum
625 :     contigs
626 :     fig
627 :    
628 :     This is method now stores the data internally, so you can then access the data as:
629 :     $fgff->features_by_genome->{}
630 :     $fgff->feature_index->{}
631 :     $fgff->features->{}
632 :     $fgff->filename->{}
633 :     $fgff->fasta_data->{}
634 :     $fgff->contig_checksum->{}
635 :     $fgff->genome_checksum->{}
636 :     $fgff->contigs->{}
637 :     $fgff->fig->{}
638 :     =cut
639 :    
640 : olson 1.2 sub parse
641 :     {
642 :     my($self, $file) = @_;
643 :    
644 :     my($fh, $close_handle);
645 :    
646 :     my $fobj = GFFFile->new($self->fig);
647 :     $self->current_file($fobj);
648 :    
649 :     if (ref($file) ? (ref($file) eq 'GLOB'
650 : parrello 1.19 || UNIVERSAL::isa($file, 'GLOB')
651 :     || UNIVERSAL::isa($file, 'IO::Handle'))
652 :     : (ref(\$file) eq 'GLOB'))
653 : olson 1.2 {
654 : parrello 1.19 $fh = $file;
655 : olson 1.2 }
656 :     else
657 :     {
658 : redwards 1.22 if ($file =~ /\.gz$/) {open($fh, "gunzip -c $file |") or confess "can't open a pipe to gunzip $file"}
659 :     else {open($fh, "<$file") or confess "Cannot open $file: $!";}
660 : parrello 1.19 $fobj->filename($file);
661 :     $close_handle = 1;
662 : olson 1.2 }
663 :    
664 :     #
665 :     # Start parsing by verifying this is a gff3 file.
666 :     #
667 :    
668 :     $_ = <$fh>;
669 :    
670 :     if (m,^\#gff-version\t(\S+),)
671 :     {
672 : parrello 1.19 if ($1 != 3)
673 :     {
674 :     confess "Invalid GFF File: version is not 3";
675 :     }
676 : olson 1.2 }
677 :    
678 :     #
679 :     # Now parse.
680 :     #
681 :    
682 :     while (<$fh>)
683 :     {
684 : parrello 1.19 chomp;
685 :     next unless ($_); # ignore empty lines
686 :     #
687 :     # Check first for the fasta directive so we can run off and parse that
688 :     # separately.
689 :     #
690 : overbeek 1.21
691 : parrello 1.19
692 :     if (/^>/)
693 :     {
694 :     $self->parse_fasta($fh, $_);
695 :     last;
696 :     }
697 :     elsif (/^\#\#FASTA/)
698 :     {
699 :     # print "Got fasta directive\n";
700 :     $_ = <$fh>;
701 :     chomp;
702 :     $self->parse_fasta($fh, $_);
703 :     last;
704 :     }
705 :     elsif (/^\#\s/)
706 :     {
707 :     #
708 :     # comment.
709 :     #
710 :     next;
711 :     }
712 : overbeek 1.21 elsif (/^\#$/)
713 :     {
714 :     #
715 :     # blank line starting with #
716 :     #
717 :     next;
718 :     }
719 : parrello 1.19 elsif (/^\#\#(\S+)(?:\t(.*))?/)
720 :     {
721 :     #
722 :     # GFF3 directive.
723 :     #
724 :    
725 :     $self->parse_gff3_directive($1, $2);
726 :    
727 :     }
728 :     elsif (/^\#(\S+)(?:\t(.*))?/)
729 :     {
730 :     #
731 :     # Directive.
732 :     #
733 :    
734 :     if (lc($1) eq "seed")
735 :     {
736 :     $self->parse_seed_directive($2);
737 :     }
738 :     else
739 :     {
740 :     $self->parse_local_directive($1, $2);
741 :     }
742 :    
743 :     }
744 :     elsif (/^([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)$/)
745 :     {
746 :     $self->parse_feature($1, $2, $3, $4, $5, $6, $7, $8, $9);
747 :     }
748 :     else
749 :     {
750 :     die "bad line: '$_'\n";
751 :     }
752 : olson 1.2 }
753 : redwards 1.22
754 :     foreach my $k (qw[features_by_genome feature_index features filename fasta_data contig_checksum genome_checksum contigs])
755 :     {
756 :     $self->{$k}=$fobj->{$k};
757 :     }
758 : olson 1.2
759 :     return $fobj;
760 :     }
761 :    
762 : redwards 1.22 =head2 feature_tree
763 :    
764 :     Generate and return a feature tree for the features in the GFF3 file. Most features have Parent/Child relationships, eg. an exon is a child of a gene, and a CDS is a child of an mRNA. This method will return the tree so that you can recurse up and down it.
765 :    
766 :     =cut
767 :    
768 :     sub feature_tree {
769 :     my $self=shift;
770 :     return $self->{'tree'} if (defined $self->{'tree'});
771 :     my $tree;
772 :     my $fc;
773 :     foreach my $k (keys %{$self->features_by_genome})
774 :     {
775 :     # first create a hash with only parents, and an array that houses thei children
776 :     my $children;
777 :     foreach my $feat (@{$self->features_by_genome->{$k}})
778 :     {
779 :     my $parent;
780 :     if (defined $feat->{'Parent'}) {$parent=$feat->{'Parent'}}
781 :     elsif (defined $feat->{'attributes'}->{'Parent'}) {$parent=$feat->{'attributes'}->{'Parent'}}
782 :    
783 :     if (defined $parent) {push @{$children->{$parent}}, $feat->{'ID'}}
784 :     else {$tree->{$feat->{'ID'}}=undef}
785 :     }
786 :    
787 :     # now add them to a tree
788 :     $self->_add2tree($tree, [keys %$tree], $children);
789 :     }
790 :     $self->{'tree'}=$tree;
791 :     return $tree;
792 :     }
793 :    
794 :     sub _add2tree {
795 :     my ($self, $tree, $parents, $children)=@_;
796 :     foreach my $parent (@$parents)
797 :     {
798 :     if ($children->{$parent})
799 :     {
800 :     map {$tree->{$parent}->{$_}=undef} @{$children->{$parent}};
801 :     $self->_add2tree($tree->{$parent}, $children->{$parent}, $children);
802 :     }
803 :     }
804 :     }
805 :    
806 :    
807 :    
808 :    
809 :    
810 :     =head2 parse_gff3_directive()
811 :    
812 :     Pases the directives within the files (e.g. headers, flags for FASTA, and so on).
813 :    
814 :     =cut
815 :    
816 :    
817 :    
818 : olson 1.2 sub parse_gff3_directive
819 :     {
820 :     my($self, $directive, $rest) = @_;
821 :    
822 : redwards 1.6 $directive = lc($directive);
823 : redwards 1.11 # this should catch both #seed and ##seed :-)
824 :     if ($directive eq "seed")
825 : redwards 1.6 {
826 : redwards 1.11 return $self->parse_seed_directive($rest);
827 : redwards 1.6 }
828 : redwards 1.11
829 :     my @rest=split /\t/, $rest;
830 :    
831 :     # removed genome, genome_md5, origin, taxnomy as they are not real gff directives. These are in seed_directives below
832 :     if ($directive eq "project")
833 : redwards 1.6 {
834 : redwards 1.11 # I am not sure if PROJECT is a seed directive or a GFF directive
835 : parrello 1.19 $self->current_file->project($rest[0]);
836 : redwards 1.6 }
837 :     elsif ($directive eq "sequence-region")
838 :     {
839 : parrello 1.19 $self->current_file->contigs($rest[0]);
840 :     $self->{contig_length_cache}->{$rest[0]}=$rest[2]-$rest[1];
841 :     $self->{contig_start_cache}->{$rest[0]}=$rest[1];
842 :     $self->{contig_end_cache}->{$rest[0]}=$rest[2];
843 : redwards 1.6 }
844 :     else
845 :     {
846 : olson 1.10 print STDERR "Have gff3 directive '$directive' rest='$rest'\n";
847 : redwards 1.6 }
848 :    
849 : olson 1.2 }
850 :    
851 : redwards 1.22 =head2 parse_seed_directive()
852 :    
853 :     Parse out seed information that we hide in the headers, eg, project, name, taxid, and so on. These are our internal representations, but are generally treated as comments by other gff3 parsers
854 :    
855 :     =cut
856 :    
857 : olson 1.2 sub parse_seed_directive
858 :     {
859 :     my($self, $rest) = @_;
860 :    
861 :     my($verb, @rest) = split(/\t/, $rest);
862 :    
863 : redwards 1.6 # are we case sensitive? I don't think so
864 : redwards 1.11 $verb=lc($verb);
865 :    
866 : olson 1.12 if ($verb eq "genome_id")
867 : redwards 1.11 {
868 : parrello 1.19 $self->current_file->genome_id($rest[0]);
869 : olson 1.12 }
870 :     elsif ($verb eq "name")
871 :     {
872 : parrello 1.19 $self->current_file->genome_name($rest[0]);
873 : redwards 1.11 }
874 :     elsif ($verb eq "genome_md5")
875 :     {
876 : parrello 1.19 $self->current_file->set_genome_checksum($rest[0]);
877 : redwards 1.11 }
878 :     elsif ($verb eq "project")
879 :     {
880 :     # I am not sure if PROJECT is a seed directive or a GFF directive
881 : parrello 1.19 $self->current_file->project($rest[0]);
882 : redwards 1.11 }
883 :     elsif ($verb eq "taxonomy")
884 :     {
885 : olson 1.12 $self->current_file->taxonomy($rest[0]);
886 :     }
887 :     elsif ($verb eq "taxon_id")
888 :     {
889 :     $self->current_file->taxon_id($rest[0]);
890 : redwards 1.11 }
891 :     elsif ($verb eq "anno_start")
892 : olson 1.2 {
893 : parrello 1.19 $self->current_file->anno_start($rest[0]);
894 : olson 1.2 }
895 :     elsif ($verb eq "anno_end")
896 :     {
897 : parrello 1.19 $self->current_file->anno_start($rest[0]);
898 : olson 1.2 }
899 :     elsif ($verb eq "contig_md5")
900 :     {
901 : parrello 1.19 $self->current_file->set_contig_checksum(@rest[0,1,2]);
902 : olson 1.2 }
903 :     }
904 :    
905 : redwards 1.22 =head2 parse_local_directive()
906 :    
907 :     I haven't seen one of these :)
908 :    
909 :     =cut
910 :    
911 : olson 1.2 sub parse_local_directive
912 :     {
913 :     my($self, $directive, $rest) = @_;
914 :    
915 : olson 1.10 print STDERR "Have local directive '$directive' rest='$rest'\n";
916 : olson 1.2 }
917 :    
918 : redwards 1.22 =head2 parse_feature
919 :    
920 :     Reads a feature line and stuffs it into the right places, as appropriate.
921 :    
922 :     =cut
923 :    
924 : olson 1.2 sub parse_feature
925 :     {
926 :     my($self, $seqid, $source, $type, $start, $end, $score, $strand, $phase, $attributes) = @_;
927 :    
928 :     #print "data: seqid=$seqid source=$source type=$type start=$start end=$end\n";
929 :     #print " score=$score strand=$strand phase=$phase\n";
930 :     #print " $attributes\n";
931 :    
932 :     #
933 :     # Parse this feature, creating a GFFFeature object for it.
934 :     #
935 :    
936 :     my $feature = GFFFeature->new($self->fig);
937 :    
938 :     $feature->seqid($seqid);
939 :     $feature->source($source);
940 :     $feature->type($type);
941 :     $feature->start($start);
942 :     $feature->end($end);
943 :     $feature->score($score);
944 :     $feature->strand($strand);
945 :     $feature->phase($phase);
946 :    
947 :     my $athash = {};
948 :    
949 :     for my $attr (split(/;/, $attributes))
950 :     {
951 : parrello 1.19 my($name, $value) = split(/=/, $attr);
952 : olson 1.2
953 : parrello 1.19 my @values = map { uri_unescape($_) } split(/,/, $value);
954 : olson 1.4
955 : parrello 1.19 # handle the aliases
956 :     if ($name eq "Alias") {
957 :     foreach my $val (@values)
958 :     {
959 :     $val = FigGFF::map_dbxref_to_seed_alias($val);
960 :     }
961 :     }
962 :    
963 :     #
964 :     # This might be a little goofy for the users, but we will use it
965 :     # for now:
966 :     #
967 :     # if there is more than one value, the value is a ref to a list
968 :     # of the values.
969 :     #
970 :     # Otherwise, the value is a scalar.
971 :     #
972 :    
973 :     if (@values > 1)
974 :     {
975 :     #
976 :     # Yes, you can do this ... I had to look it up :-).
977 :     #
978 :     # It's in 'man perlfaq3'.
979 :     #
980 :    
981 :     $value = \@values;
982 :     }
983 :     else
984 :     {
985 :     $value = $values[0];
986 :     }
987 :    
988 :    
989 :     $athash->{$name} = $value;
990 :    
991 :     #
992 :     # Handle the GFF3-defined attributes.
993 :     #
994 :     # These show up as Class::Accessor's on the feature object.
995 :     #
996 :    
997 :     if ($GFFFeature::GFF_Tags{$name})
998 :     {
999 :     $feature->set($name, $value);
1000 :    
1001 :     if ($name eq "Dbxref")
1002 :     {
1003 :     #
1004 :     # If we have a SEED:figid DBxref, set the genome and fig_id attributes.
1005 :     #
1006 :    
1007 :     my @seed_xref = grep /^"?SEED:/, @values;
1008 :     if (@seed_xref and $seed_xref[0] =~ /^"?SEED:(fig\|(\d+\.\d+)\..*)/)
1009 :     {
1010 :     $feature->genome($2);
1011 :     $feature->fig_id($1);
1012 :     }
1013 :    
1014 :     }
1015 :     }
1016 : olson 1.2 }
1017 :     $feature->attributes($athash);
1018 :    
1019 : parrello 1.19
1020 : olson 1.2 $self->current_file->add_feature($feature);
1021 :     }
1022 :    
1023 :     #
1024 :     # We come in here with the first line of the fasta already read
1025 :     # in order to support the backward-compatiblity syntax that
1026 :     # lets a file skip the ##FASTA directive if it wishes.
1027 :     #
1028 : redwards 1.22
1029 :     =head2 parse_fasta()
1030 :    
1031 :     Read the fasta sequence into memory
1032 :    
1033 :     =cut
1034 :    
1035 : olson 1.2 sub parse_fasta
1036 :     {
1037 :     my($self, $fh, $first_line) = @_;
1038 :     my($cur, $cur_id);
1039 :    
1040 : overbeek 1.18 for ($_ = $first_line; defined($_); $_ = <$fh>, chomp)
1041 : olson 1.2 {
1042 : parrello 1.19 if (/^>\s*(\S+)/)
1043 :     {
1044 :     if ($cur)
1045 :     {
1046 :     $self->handle_fasta_block($cur_id, $cur);
1047 :     }
1048 :    
1049 :     $cur = '';
1050 :     $cur_id = $1;
1051 :     }
1052 :     else
1053 :     {
1054 :     s/^\s*$//;
1055 :     s/\s*$//;
1056 :     if (/\s/)
1057 :     {
1058 :     die "FASTA data had embedded space: $_\n";
1059 :     }
1060 :     $cur .= $_;
1061 :     }
1062 : olson 1.2 }
1063 :     if ($cur)
1064 :     {
1065 : parrello 1.19 $self->handle_fasta_block($cur_id, $cur);
1066 : olson 1.2 }
1067 :     }
1068 :    
1069 :     sub handle_fasta_block
1070 :     {
1071 :     my($self, $id, $data) = @_;
1072 :    
1073 :     my $len = length($data);
1074 : redwards 1.7 $self->current_file->fasta_data($id, $data);
1075 : olson 1.2 }
1076 :    
1077 : redwards 1.22 =pod
1078 :    
1079 :     =head1 GFFFeature
1080 :    
1081 :     A GFFFeature that acceesses the data
1082 :    
1083 :     =head2 methods
1084 :    
1085 :     fig seqid source type start end score strand phase attributes genome fig_id
1086 :    
1087 :     =cut
1088 :    
1089 : olson 1.2 package GFFFeature;
1090 :    
1091 :     use strict;
1092 :     use base qw(Class::Accessor);
1093 :    
1094 :     our @GFF_Tags = qw(ID Name Alias Parent Target Gap Note Dbxref Ontology_term);
1095 :     our %GFF_Tags;
1096 :    
1097 :     map { $GFF_Tags{$_} = 1 } @GFF_Tags;
1098 :    
1099 : olson 1.12 __PACKAGE__->mk_accessors(qw(fig seqid source type start end score strand phase attributes
1100 : parrello 1.19 genome fig_id),
1101 :     @GFF_Tags);
1102 : olson 1.2
1103 :    
1104 :     sub new
1105 :     {
1106 :     my($class, $fig) = @_;
1107 :    
1108 :     my $self = {
1109 : parrello 1.19 fig => $fig,
1110 : olson 1.2 };
1111 :    
1112 :     return bless($self, $class);
1113 :     }
1114 :    
1115 : olson 1.4 sub find_local_feature
1116 :     {
1117 :     my($self, $local_genome) = @_;
1118 :     my $db = $self->fig->db_handle;
1119 :    
1120 :     # For debugging.
1121 :     undef $local_genome;
1122 :     if ($local_genome)
1123 :     {
1124 : parrello 1.19 #
1125 :     # It's a precise match. We need to determine if we have this
1126 :     # particular feature in this SEED (it is possible for one to
1127 :     # have exported an annotation for a feature that was added
1128 :     # to a genome after its initial release).
1129 :     #
1130 :     # We do this by searching for a local feature with the same contig,
1131 :     # start, and stop as this feature.
1132 :     #
1133 :    
1134 :     my $qry = qq(SELECT id
1135 :     FROM features
1136 :     WHERE (genome = ? AND
1137 :     contig = ? AND
1138 :     minloc = ? AND
1139 :     maxloc = ?));
1140 :     my $res = $db->SQL($qry, undef, $local_genome, $self->seqid,
1141 :     $self->start, $self->end);
1142 : olson 1.4
1143 : parrello 1.19 return map { $_->[0] } @$res;
1144 : olson 1.4 }
1145 :    
1146 :     #
1147 :     # Otherwise, we need to try a set of heuristics to match
1148 :     # this id.
1149 :     #
1150 :    
1151 :     #
1152 :     # Try matching aliases first.
1153 :     #
1154 :    
1155 :     my @aliases = grep { !/^\"?SEED/ } ref($self->Dbxref) ? @{$self->Dbxref} : ($self->Dbxref);
1156 :    
1157 :     my @maliases = map { FigGFF::map_dbxref_to_seed_alias($_) } @aliases;
1158 :    
1159 :     print "Found aliases @aliases\n";
1160 :     print "Found mapped aliases @maliases\n";
1161 :    
1162 :     for my $malias (@maliases)
1163 :     {
1164 : parrello 1.19 my $fid = $self->fig->by_alias($malias);
1165 :     if ($fid)
1166 :     {
1167 :     print "Mapped $malias to $fid\n";
1168 :     }
1169 : olson 1.4 }
1170 :    
1171 :     }
1172 :    
1173 :    
1174 : olson 1.2 package GFFFile;
1175 :    
1176 :     use strict;
1177 :     use base qw(Class::Accessor);
1178 :    
1179 : olson 1.12 __PACKAGE__->mk_accessors(qw(fig filename features feature_index anno_start anno_end taxon_id genome_id));
1180 : olson 1.2
1181 :     #
1182 :     # Package to hold the contents of a GFF file, and to hold the code
1183 :     # for mapping its contents to the local SEED.
1184 :     #
1185 :     # Created by GFFParser->parse.
1186 :     #
1187 :    
1188 :     sub new
1189 :     {
1190 :     my($class, $fig) = @_;
1191 :    
1192 :     my $self = {
1193 : parrello 1.19 fig => $fig,
1194 :     features => [],
1195 :     contigs => [],
1196 :     feature_index => {},
1197 :     genome_checksum => '',
1198 :     contig_checksum => {},
1199 :     features_by_genome => {},
1200 : olson 1.2 };
1201 :     return bless($self, $class);
1202 :     }
1203 :    
1204 :     sub add_feature
1205 :     {
1206 :     my($self, $feature) = @_;
1207 :    
1208 :     push(@{$self->features}, $feature);
1209 :     $self->feature_index->{$feature->ID} = $feature;
1210 : olson 1.4 push(@{$self->{features_by_genome}->{$feature->genome}}, $feature);
1211 :     }
1212 :    
1213 :     sub features_for_genome
1214 :     {
1215 :     my($self, $genome) = @_;
1216 :    
1217 :     return $self->{features_by_genome}->{$genome};
1218 :     }
1219 :    
1220 :     sub genome_checksum
1221 :     {
1222 :     my($self) = @_;
1223 :    
1224 : olson 1.12 return $self->{genome_checksum};
1225 : olson 1.2 }
1226 :    
1227 :     sub set_genome_checksum
1228 :     {
1229 : olson 1.12 my($self, $md5sum) = @_;
1230 :     $self->{genome_checksum} = $md5sum;
1231 : olson 1.2 }
1232 :    
1233 :     sub set_contig_checksum
1234 :     {
1235 :     my($self, $genome, $contig, $md5sum) = @_;
1236 :     $self->{contig_checksum}->{$genome}->{$contig} = $md5sum;
1237 :     }
1238 :    
1239 : redwards 1.7 =head2 fasta_data()
1240 :    
1241 :     Get or set the fasta data. Given an id and some data will set the data for that id. Given an id will return the data for that id. Called without arguments will return a reference to a hash of sequences.
1242 : redwards 1.6
1243 : redwards 1.7 This means that if you give it an id and sequence it will return that sequence. Hmmm.
1244 :    
1245 :     =cut
1246 :    
1247 :     sub fasta_data
1248 : olson 1.2 {
1249 :     my($self, $id, $data) = @_;
1250 : redwards 1.7 $id && $data && ($self->{fasta_data}->{$id} = $data);
1251 :     $id && return $self->{fasta_data}->{$id};
1252 :     return $self->{fasta_data};
1253 : olson 1.2 }
1254 :    
1255 :    
1256 : redwards 1.6 =head2 contigs()
1257 :    
1258 :     Add a contig to the list, or return a reference to an array of contigs
1259 :    
1260 :     =cut
1261 :    
1262 :     sub contigs
1263 :     {
1264 :     my($self, $contig) = @_;
1265 : redwards 1.9 if ($contig && $contig =~ /\w\w\_\d+\.\d+/) {
1266 :     print STDERR "WARNING: $contig appears to have a version number. We should standardize on timming that somewhere\n";
1267 :     }
1268 : redwards 1.6 $contig && (push @{$self->{contigs}}, $contig);
1269 :     return $self->{contigs};
1270 :     }
1271 :    
1272 :     =head2 contig_length()
1273 :    
1274 :     Get or set the length of a specfic contig.
1275 :     my $length=$fob->contig_length($contig, $length);
1276 :     my $length=$fob->contig_length($contig);
1277 :    
1278 :     =cut
1279 :    
1280 :     sub contig_length
1281 :     {
1282 :     my($self, $contig, $length) = @_;
1283 :     $length && ($self->{contig_length_cache}->{$contig}=$length);
1284 :     return $self->{contig_length_cache}->{$contig};
1285 :     }
1286 :    
1287 :     =head1 Information about the source of the sequence.
1288 :    
1289 :     These are things that we have parsed out the GFF3 file, or want to add into the GFF3 file. We can use these methods to get or set them as required. In general, if a value is supplied that will be used as the new value.
1290 :    
1291 :     =cut
1292 :    
1293 :     =head2 genome_id()
1294 :    
1295 :     Get or set a genome id for this file.
1296 :    
1297 :     =cut
1298 :    
1299 :     sub genome_id
1300 :     {
1301 :     my($self, $genomeid) = @_;
1302 :     $genomeid && ($self->{genome_id}=$genomeid);
1303 :     return $self->{genome_id};
1304 :     }
1305 :    
1306 :     =head2 genome_name()
1307 :    
1308 :     Get or set a genome id for this file.
1309 :    
1310 :     =cut
1311 :    
1312 :     sub genome_name
1313 :     {
1314 :     my($self, $genomename) = @_;
1315 :     $genomename && ($self->{genome_name}=$genomename);
1316 :     return $self->{genome_name};
1317 :     }
1318 :    
1319 :     =head2 project()
1320 :    
1321 :     Get or set the project.
1322 :    
1323 :     =cut
1324 :    
1325 :     sub project
1326 :     {
1327 :     my ($self, $pro) = @_;
1328 :     $pro && ($self->{project}=$pro);
1329 :     return $self->{project};
1330 :     }
1331 :    
1332 :     =head2 taxonomy()
1333 :    
1334 :     Get or set the taxonomy
1335 :    
1336 :     =cut
1337 :    
1338 :     sub taxonomy
1339 :     {
1340 :     my($self, $tax) = @_;
1341 :     $tax && ($self->{taxonomy}=$tax);
1342 :     return $self->{taxonomy};
1343 :     }
1344 :    
1345 :    
1346 :    
1347 :    
1348 :    
1349 : olson 1.1 1;

MCS Webmaster
ViewVC Help
Powered by ViewVC 1.0.3