/stdhome

To get this branch, use:
bzr branch http://bzr.ed.am/stdhome

« back to all changes in this revision

Viewing changes to lib/stdhome/walker/walker.py

  • Committer: Tim Marston
  • Date: 2014-04-18 14:46:42 UTC
  • Revision ID: tim@ed.am-20140418144642-kr3vmc8fgnxgkbza
implemented symlink substitution and ignore list in status walker (and added
some verbose messages)

Show diffs side-by-side

added added

removed removed

Lines of Context:
 
1
# walker.py
 
2
#
 
3
# Copyright (C) 2013 to 2014 Tim Marston <tim@edm.am>
 
4
#
 
5
# This file is part of stdhome (hereafter referred to as "this program").
 
6
# See http://ed.am/dev/stdhome for more information.
 
7
#
 
8
# This program is free software: you can redistribute it and/or modify
 
9
# it under the terms of the GNU General Public License as published by
 
10
# the Free Software Foundation, either version 3 of the License, or
 
11
# (at your option) any later version.
 
12
#
 
13
# This program is distributed in the hope that it will be useful,
 
14
# but WITHOUT ANY WARRANTY; without even the implied warranty of
 
15
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 
16
# GNU General Public License for more details.
 
17
#
 
18
# You should have received a copy of the GNU General Public License
 
19
# along with this program.  If not, see <http://www.gnu.org/licenses/>.
 
20
 
 
21
 
 
22
import os
 
23
 
 
24
 
 
25
class Walker:
 
26
        """Classes which derive from the Walker class are intended to walk through
 
27
        (traverse) a single list of filenames in two locations.  They must provide
 
28
        the two locations (src_dir and dst_dir) and a list of relative filenames
 
29
        (walk_list).  For each files in the walk list, the process() method is
 
30
        called, allowing the deriving class to perform some kind of processing.  See
 
31
        process() for more information.
 
32
        """
 
33
 
 
34
        def walk( self ):
 
35
                """Iterates over self.walk_list, calling process() for each entry in turn.  For
 
36
                directory entries, where process() returns False, subsequent entries in
 
37
                walk_list that fall under the directory are skipped.
 
38
                """
 
39
 
 
40
                skip = ''
 
41
 
 
42
                for rel_file in self.walk_list:
 
43
 
 
44
                        # if we're skipping, skip entries in subdirectories, or turn off
 
45
                        # skipping if it no longer matches
 
46
                        if skip:
 
47
                                if skip == rel_file[ : len( skip ) ]:
 
48
                                        continue
 
49
                                else:
 
50
                                        skip = ''
 
51
 
 
52
                        src = Walker.File( os.path.join( self.src_dir, rel_file ) )
 
53
                        dst = Walker.File( os.path.join( self.dst_dir, rel_file ) )
 
54
 
 
55
                        # process ths entry
 
56
                        recurse = self.process( rel_file, src, dst )
 
57
 
 
58
                        # Set up skipping, as required.  Note that we don't check to see if
 
59
                        # we're dealing with a directory here.  We can't, because we've no
 
60
                        # way of knowing what to check.  It could be src_type or dst_type
 
61
                        # (if src_dir or dst_dir was used to generate the walk list) or it
 
62
                        # could be neither (if the walk list came from somewhere else).  But
 
63
                        # it shouldn't matter.  We adding an os.pathset to the end of the
 
64
                        # filename, so it wuill only match files that are descendents of a
 
65
                        # directory with the name of this file.
 
66
                        if not recurse: skip = rel_file + os.sep
 
67
 
 
68
 
 
69
        class File:
 
70
 
 
71
                def __init__( self, full_file ):
 
72
                        self.file = full_file
 
73
                        if not os.path.exists( self.file ):
 
74
                                self.type = '_'
 
75
                        elif os.path.isfile( self.file ):
 
76
                                self.type = 'f'
 
77
                        elif os.path.isdir( self.file ):
 
78
                                self.type = 'd'
 
79
                        else:
 
80
                                self.type = '?'
 
81
                        if os.path.islink( self.file ):
 
82
                                self.link_type = self.type
 
83
                                self.type = 'l'
 
84
                        else:
 
85
                                self.link_type = False
 
86
 
 
87
                def get_type_name( self ):
 
88
                        if self.type == 'l': return 'symlink'
 
89
                        elif self.type == 'f': return 'file'
 
90
                        elif self.type == 'd': return 'directory'
 
91
                        elif self.type == '_': return 'missing'
 
92
                        else: return 'unknown'
 
93
 
 
94
                def __str__( self ):
 
95
                        type = self.type
 
96
                        if( self.link_type ): type += '/' + self.link_type
 
97
                        return 'File( %s (%s) )' % ( self.file, type )
 
98
 
 
99
 
 
100
        @staticmethod
 
101
        def generate_walk_list( full_dir, rel_file = '' ):
 
102
                """Returns a list of files and directories in full_dir, specified as relative
 
103
                files (relative to full_dir), breadth first.
 
104
                """
 
105
 
 
106
                # ignore some files
 
107
                if rel_file in { '.bzr', '.bzrignore', '.stdhome', '.stdhomerc' }:
 
108
                        return list()
 
109
 
 
110
                full_file = os.path.join( full_dir, rel_file )
 
111
 
 
112
                # files and links are returned
 
113
                if os.path.isfile( full_file ) or os.path.islink( full_file ):
 
114
                        return [ rel_file ]
 
115
 
 
116
                # directories are returned and recursed in to
 
117
                elif os.path.isdir( full_file ):
 
118
                        ret = [ rel_file ] if rel_file != '' else []
 
119
                        for file in os.listdir( full_file ):
 
120
                                ret.extend( Walker.generate_walk_list(
 
121
                                        full_dir, os.path.join( rel_file, file ) ) )
 
122
                        return sorted( ret )
 
123
 
 
124
                # other kinds are invalid
 
125
                else:
 
126
                        raise RuntimeError(
 
127
                                'unknown/exotic file: %s' % full_file )