/stdhome

To get this branch, use:
bzr branch http://bzr.ed.am/stdhome

« back to all changes in this revision

Viewing changes to lib/stdhome/vcs/bzr.py

  • Committer: Tim Marston
  • Date: 2014-02-26 19:10:31 UTC
  • Revision ID: tim@ed.am-20140226191031-elcqy5j09h2syn2j
moved copy-in, copy-out and deployment conflict checking to a set of "walkers";
bzr vcs back-end now parses affected files during update; deployment state now
includes affected files

Show diffs side-by-side

added added

removed removed

19
19
# along with this program.  If not, see <http://www.gnu.org/licenses/>.
20
20
 
21
21
 
22
 
import io
23
 
import os
24
 
import re
25
 
import shutil
26
 
import subprocess
 
22
import subprocess, os, re, shutil
27
23
from subprocess import Popen
28
 
 
 
24
import StringIO
 
25
from vcs import Vcs
29
26
from stdhome import the
30
27
 
31
 
from .vcs import Vcs
32
 
 
33
 
 
34
 
class BzrVcs( Vcs ):
 
28
 
 
29
class VcsBzr( Vcs ):
35
30
 
36
31
 
37
32
        def __init__( self, dir ):
39
34
 
40
35
                @param dir the fully-qualified directory to work in.
41
36
                """
42
 
 
43
37
                self.dir = dir
44
 
                self.ignored_files = [ '.bzr', '.bzrignore' ]
45
 
 
46
 
 
47
 
        def has_authority( self ):
48
 
                """Check that the directory is under this VCS's control.
49
 
                """
50
 
 
51
 
                return os.path.exists( os.path.join( self.dir, '.bzr' ) )
52
 
 
53
 
 
54
 
        def expand_repo_url( self, url ):
55
 
                """Convert a simple hostname in to an URL that the VCS can use.
56
 
                """
57
 
 
58
 
                return 'bzr+ssh://%s/%s/%s' % ( url, the.dir, the.repo.name )
59
38
 
60
39
 
61
40
        def init( self ):
66
45
                os.mkdir( self.dir )
67
46
 
68
47
                # bzr init
69
 
                try:
70
 
                        self.run( [ 'bzr', 'init', '.' ] )
71
 
                except self.VcsError as e:
 
48
                p = Popen( [ 'bzr', 'init', '.' ], cwd = self.dir,
 
49
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
50
                output = p.communicate()[ 0 ]
 
51
                if p.returncode > 0:
72
52
 
73
53
                        # attempt to clean-up dir
74
54
                        try:
76
56
                        except OSError:
77
57
                                pass
78
58
 
79
 
                        raise
 
59
                        raise self.VcsError( 'bzr init failed', output )
80
60
 
81
61
 
82
62
        def checkout( self, url ):
89
69
                os.mkdir( self.dir )
90
70
 
91
71
                # bzr co
92
 
                try:
93
 
                        self.run( [ 'bzr', 'checkout', url, '.' ] )
94
 
                except self.VcsError as e:
 
72
                p = Popen( [ 'bzr', 'co', url, '.' ], cwd = self.dir,
 
73
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
74
                output = p.communicate()[ 0 ]
 
75
                if p.returncode > 0:
95
76
 
96
77
                        # attempt to clean-up dir
97
78
                        try:
99
80
                        except OSError:
100
81
                                pass
101
82
 
102
 
                        raise
103
 
 
104
 
 
105
 
        def get_revno( self ):
106
 
                """Obtain some sort of revision identifier
107
 
                """
108
 
 
109
 
                # bzr revno
110
 
                output = self.run( [ 'bzr', 'revno', '--tree' ] )
111
 
 
112
 
                # parse revno
113
 
                buf = io.StringIO( output )
114
 
                return buf.readline().rstrip()
115
 
 
116
 
 
117
 
        def revert( self, revno = None ):
 
83
                        raise self.VcsError( 'bzr checkout failed', output )
 
84
 
 
85
 
 
86
        def revert( self ):
118
87
                """Revert the branch so that there are no outstanding changes or unknown files.
119
 
                If a revno is supplied, then the repository is reverted to that
120
 
                revision.
121
88
                """
122
89
 
123
 
                # bzr st
124
 
                output = self.run( [ 'bzr', 'status' ] )
125
 
                files = self.parse_file_blocks( output )
126
 
 
127
 
                # remove kind changed files (or they can cause `bzr revert` to break in
128
 
                # strange situations, like when a directory has been replaced with a
129
 
                # symlink to a non-existant file)
130
 
                if 'kind changed' in files:
131
 
                        for file in files[ 'kind changed' ]:
132
 
                                matches = re.search( '^(.+?)[/@+]? \([^)]+\)$', file )
133
 
                                if not matches:
134
 
                                        raise RunTimeError(
135
 
                                                'failed to parse bzr kind change: %s' % file )
136
 
                                file = matches.group( 1 )
137
 
                                if the.verbose >= 2: print("removing (kind changed): " + file)
138
 
                                full_file = os.path.join( self.dir, file )
139
 
                                if os.path.isfile( full_file ) or os.path.islink( full_file ):
140
 
                                        os.unlink( full_file )
141
 
                                elif os.path.isdir( full_file ):
142
 
                                        shutil.rmtree( full_file )
143
 
                                else:
144
 
                                        raise RuntimeError( 'exotic file in repo: %s' % file )
145
 
 
146
90
                # bzr revert
147
 
                self.run( [ 'bzr', 'revert', '--no-backup' ] )
 
91
                p = Popen( [ 'bzr', 'revert', '--no-backup' ], cwd = self.dir,
 
92
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
93
                output = p.communicate()[ 0 ]
 
94
                if p.returncode > 0:
 
95
                        raise self.VcsError( 'bzr revert failed', output )
148
96
 
149
97
                # bzr st
150
 
                output = self.run( [ 'bzr', 'status' ] )
 
98
                p = Popen( [ 'bzr', 'st' ], cwd = self.dir,
 
99
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
100
                output = p.communicate()[ 0 ]
 
101
                if p.returncode > 0:
 
102
                        raise self.VcsError( 'bzr status failed', output )
151
103
                files = self.parse_file_blocks( output )
152
104
 
153
105
                # remove unknown files
154
106
                if 'unknown' in files:
155
107
                        for file in files[ 'unknown' ]:
156
 
                                matches = re.search( r'^(.+?)[/@+]?$', file )
157
 
                                if not matches:
158
 
                                        raise RunTimeError(
159
 
                                                'failed to parse bzr unknowns: %s' % file )
160
 
                                file = matches.group( 1 )
161
 
                                if the.verbose >= 2: print("removing (unknown): " + file)
162
108
                                full_file = os.path.join( self.dir, file )
163
 
                                if os.path.isfile( full_file ) or os.path.islink( full_file ):
 
109
                                if os.path.isfile( full_file ):
164
110
                                        os.unlink( full_file )
165
 
                                elif os.path.isdir( full_file ):
 
111
                                elif os.full_file.isdir( full_file ):
166
112
                                        shutil.rmtree( full_file )
167
113
                                else:
168
114
                                        raise RuntimeError( 'exotic file in repo: %s' % file )
169
115
 
170
 
                # if a revision identifier has been given, ensure we're updated to that
171
 
                if revno is not None and self.get_revno() != revno:
172
 
 
173
 
                        # bzr update
174
 
                        self.run( [ 'bzr', 'update', '-r', revno ] )
175
 
 
176
116
 
177
117
        def update( self ):
178
118
                """Update the branch, pulling down any upstream changes and merging them.  This
180
120
                operation.
181
121
                """
182
122
 
183
 
#               WARNING: the following might cause bzr to ask for your ssh password more than
184
 
#               once during an update!!!
185
 
#
186
 
#               # get revno
187
 
#               revno = self.get_revno()
188
 
#
189
 
#               # update to current revision (pull in history without updating tree)
190
 
#               self.run( [ 'bzr', 'update', '-r', revno ] )
191
 
#
192
 
#               # get log output
193
 
#               next_revno = str( int( revno ) + 1 )
194
 
#               output = self.run( [ 'bzr', 'log', '-r', next_revno + '..' ] )
195
 
#
196
 
#               # parse output
197
 
#               keep_files = list()
198
 
#               buf = StringIO.StringIO( output )
199
 
#               in_message = False
200
 
#               for line in buf:
201
 
#                       line = line.rstrip( '\n' )
202
 
#                       if line.lower() == 'message:':
203
 
#                               in_message = True
204
 
#                       elif in_message:
205
 
#                               if line[ : 2 ] != '  ':
206
 
#                                       in_message = False
207
 
#                               else:
208
 
#                                       line = line[ 2 : ]
209
 
#
210
 
#                                       # process directives
211
 
#                                       if line[ : 6 ].lower() == 'keep: ':
212
 
#                                               file = line[ 6 : ]
213
 
#                                               if file in rename_files: file = rename_files[ file ]
214
 
#                                               keep_files.append( file )
215
 
#                                       elif line[ : 8 ].lower() == 'rename: ':
216
 
#                                               rename_from = line[ 8 : ]
217
 
#                                       elif line[ : 4 ].lower() == 'to: ':
218
 
#                                               if rename_from in rename_files:
219
 
#                                                       rename_from = rename_files[ rename_from ]
220
 
#                                               rename_files[ line[ 4 : ] ] = rename_from
221
 
 
222
 
                # bzr update properly
223
 
                output = self.run( [ 'bzr', 'update' ] )
 
123
                # bzr update
 
124
                p = Popen( [ 'bzr', 'update' ], cwd = self.dir,
 
125
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
126
                output = p.communicate()[ 0 ]
 
127
                if p.returncode > 0:
 
128
                        raise self.VcsError( 'bzr update failed', output )
224
129
 
225
130
                # parse output (see logic in report() in bzrlib/delta.py)
226
131
                files = list()
227
 
                buf = io.StringIO( output )
 
132
                buf = StringIO.StringIO( output )
228
133
                for line in buf:
229
134
                        if not re.search( '^[-R+ ?][K NMD!][* ] ', line ): continue
230
135
                        line = line.rstrip()
 
136
                        if the.verbose: print '  %s' % line
231
137
 
232
138
                        # renames show before and after file names
233
139
                        matches = re.search( '^R.. (.*?)[/@+]? => (.*?)[/@+]?$', line )
249
155
                                continue
250
156
 
251
157
                        raise RuntimeError(
252
 
                                'failed to parse bzr update output line:\n%s' % line )
 
158
                                'failed to parse bzr update output line:\n%' % line )
253
159
 
254
160
                return files
255
161
 
256
162
 
257
 
        def status( self ):
258
 
                """Get a list of any local modifications.  This method returns a list of files
259
 
                which are modified.
260
 
 
261
 
                """
262
 
 
263
 
                # bzr status
264
 
                output = self.run( [ 'bzr', 'status', '--no-pending' ] )
265
 
 
266
 
                # parse output
267
 
                return self.parse_file_blocks( output )
268
 
 
269
 
 
270
163
        def has_changes( self ):
271
164
                """Check if the branch has any local modifications.
272
165
                """
273
166
 
274
167
                # bzr status
275
 
                output = self.run( [ 'bzr', 'status', '--no-pending' ] )
276
 
 
277
 
                # parse output
 
168
                p = Popen( [ 'bzr', 'status', '--no-pending' ], cwd = self.dir,
 
169
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
170
                output = p.communicate()[ 0 ]
 
171
                if p.returncode > 0:
 
172
                        raise self.VcsError( 'bzr status failed', output )
278
173
                files = self.parse_file_blocks( output )
279
174
                return True if len( files ) else False
280
175
 
284
179
                """
285
180
 
286
181
                # bzr status
287
 
                output = self.run( [ 'bzr', 'status', '--no-pending' ] )
288
 
 
289
 
                # parse output
 
182
                p = Popen( [ 'bzr', 'status', '--no-pending' ], cwd = self.dir,
 
183
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
 
184
                output = p.communicate()[ 0 ]
 
185
                if p.returncode > 0:
 
186
                        raise self.VcsError( 'bzr status failed', output )
290
187
                files = self.parse_file_blocks( output )
291
188
                return files['conflicts'] if 'conflicts' in files else None
292
189
 
293
190
 
294
 
        def add( self, files ):
295
 
                """Make sure files are added to version control.
296
 
                @param files a list of relative filenames
297
 
                """
298
 
 
299
 
                # bzr add
300
 
                self.run( [ 'bzr', 'add', '-N' ] + files )
301
 
 
302
 
 
303
 
        def commit( self ):
304
 
                """Commit changes to the repo.
305
 
                """
306
 
 
307
 
                # bzr commit
308
 
                try:
309
 
                        self.run( [ 'bzr', 'commit', '-m', '' ] )
310
 
                except self.VcsError as e:
311
 
                        if re.search( 'Working tree is out of date', e.output ):
312
 
                                raise the.program.FatalError(
313
 
                                        'you must update your files first.\n' +
314
 
                                        'Hint: see "%s update --help"' % the.program.name );
315
 
                        else:
316
 
                                raise e
317
 
 
318
 
 
319
 
        def run( self, cmd ):
320
 
                if the.verbose >= 2: print('exec: %s' % ' '.join( cmd ))
321
 
                p = Popen( cmd, cwd = self.dir,
322
 
                                   stdout = subprocess.PIPE, stderr = subprocess.STDOUT )
323
 
                output = p.communicate()[ 0 ].decode()
324
 
                if p.returncode > 0:
325
 
                        raise self.VcsError( ' '.join( cmd[ : 2 ] ), output )
326
 
                if the.verbose >= 2:
327
 
                        verbose_output = output.rstrip()
328
 
                        if len( verbose_output ):
329
 
                                print(re.sub( '(^|\n)', '\\1  : ', verbose_output ))
330
 
                return output
331
 
 
332
 
 
333
191
        def parse_file_blocks( self, output ):
334
192
                res = dict()
335
193
                current = None
336
 
                buf = io.StringIO( output )
 
194
                buf = StringIO.StringIO( output )
337
195
                for line in buf:
338
196
                        matches = re.search( '^([a-z ]+):$', line, re.I )
339
197
                        if matches:
346
204
                                                res[ current ] = list()
347
205
                                        res[ current ].append( matches.group( 1 ) )
348
206
                                        continue
349
 
                        if re.search( '^[0-9]+ shel(?:f|ves) exists?', line ): continue
 
207
                        if re.search( '^[0-9]+ shelf exists', line ): continue
350
208
                        if re.search( '^working tree is out of date', line ): continue
351
209
                        raise self.ParseError( "unrecognised line: %s" % line )
352
210
                return res