client/rebuild-kernel-packages.py

   1 #!/usr/bin/python
   2
   3 import argparse
   4 import collections
   5 import os
   6 import rpm
   7 import shlex
   8 import subprocess
   9 import sys
  10
  11 packages = collections.OrderedDict([
  12     ('crash',                                 ['head', '4.1', '3.18', '3.14', '3.10']),
  13     ('dahdi-linux',                           ['head', '4.1', '3.18', '3.14', '3.10']),
  14     ('igb',                                   ['head', '4.1', '3.18', '3.14', '3.10']),
  15     ('ipset',                                 ['head', '4.1', '3.18', '3.14', '3.10']),
  16     ('ixgbe',                                 ['head', '4.1', '3.18', '3.14', '3.10']),
  17     ('lin_tape',                              ['head', '4.1', '3.18', '3.14', '3.10']),
  18     ('linux-fusion',                          ['head', '4.1', '3.18', '3.14', '3.10']),
  19     ('lttng-modules',                         ['head', '4.1', '3.18', '3.14', '3.10']),
  20     ('nvidiabl',                              ['head', '4.1', '3.18', '3.14', '3.10']),
  21     ('r8168',                                 ['head', '4.1', '3.18', '3.14', '3.10']),
  22     ('rtl8812au',                             ['head', '4.1', '3.18', '3.14', '3.10']),
  23     ('spl',                                   ['head', '4.1', '3.18', '3.14', '3.10']),
  24     ('sysdig',                                ['head', '4.1', '3.18', '3.14', '3.10']),
  25     ('tpm_emulator',                          ['head', '4.1', '3.18', '3.14', '3.10']),
  26     ('VirtualBox',                            ['head', '4.1', '3.18', '3.14', '3.10']),
  27     ('vpb-driver',                            ['head', '4.1', '3.18', '3.14', '3.10']),
  28     ('wl',                                    ['head', '4.1', '3.18', '3.14', '3.10']),
  29     ('xorg-driver-video-fglrx',               ['head', '4.1', '3.18', '3.14', '3.10']),
  30     ('xorg-driver-video-nvidia',              ['head', '4.1', '3.18', '3.14', '3.10']),
  31     ('xorg-driver-video-nvidia-legacy-304xx', ['head', '4.1', '3.18', '3.14', '3.10']),
  32     ('xorg-driver-video-nvidia-legacy-340xx', ['head', '4.1', '3.18', '3.14', '3.10']),
  33     ('zfs',                                   ['head', '4.1', '3.18', '3.14', '3.10']),
  34     ('xtables-addons',                        ['head', '4.1', '3.18', '3.14', '3.10']),
  35     ('e1000e',                                ['3.18', '3.14', '3.10']),
  36     ('open-vm-tools',                         ['3.18', '3.14', '3.10']),
  37 ])
  38
  39 def get_rpmdir():
  40     return rpm.expandMacro("%_topdir")
  41
  42 def clean_pkgname(package):
  43     pkg = package.split(":")
  44     if not pkg:
  45         raise NameError
  46     spec = pkg[0]
  47     # ensure package ends with .spec
  48     if not spec.endswith(".spec"):
  49         spec += ".spec"
  50     name = spec[:-5]
  51     # and pkg without subdir
  52     name = name[name.rfind("/")+1:]
  53     try:
  54         branch = pkg[1]
  55     except IndexError:
  56         branch = "master"
  57     return [name, spec, branch]
  58
  59 def run_command(command, verbose=False, quiet=True):
  60     gitproc = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, bufsize=-1)
  61     gitproc.wait()
  62     out = gitproc.stdout.read().strip("\n'")
  63     if verbose:
  64         print ' '.join(command)
  65     if not quiet:
  66         print out
  67     if gitproc.returncode != 0:
  68         if quiet:
  69             print out
  70         print '\nError running command: \n'
  71         print ' '.join(command)
  72         return (False, None)
  73     return (True, out)
  74
  75 def get_last_tag(name, spec, branch, dist="th", kernel=None, verbose=False):
  76     fetch_package(name, spec, branch, verbose=verbose)
  77     if os.path.exists("%s/%s/%s" % (get_rpmdir(), name, spec)):
  78         tag = get_autotag(name, spec, branch, dist=dist, kernel=kernel, verbose=verbose)
  79     return tag
  80
  81 def get_autotag(name, spec, branch, dist="th", kernel=None, verbose=False):
  82     if not kernel or kernel == "head" or kernel == "master":
  83         ref = "auto/%s/%s-[0-9]*" % (dist, name)
  84     else:
  85         ref = "auto/%s/%s-%s-[0-9]*" % (dist, name, kernel)
  86     gitdir = "%s/%s" % (get_rpmdir(), name)
  87     tag = run_command(["/usr/bin/git", "-C", gitdir, "describe", "--tags", "--match", ref, "--abbrev=0", branch], verbose=verbose)
  88     return tag[1]
  89
  90 def fetch_package(name, spec, branch, verbose=False):
  91     gitdir = "%s/%s" % (get_rpmdir(), name)
  92     if os.path.exists("%s/.git" % gitdir):
  93         run_command(["/usr/bin/git", "-C", gitdir, "fetch", "origin"], verbose=verbose)
  94     else:
  95         run_command(["/usr/bin/git", "clone", "-o", "origin", "git://git.pld-linux.org/packages/" + name + ".git", gitdir], verbose=verbose)
  96         if not os.path.exists("%s/%d" % (gitdir, spec)):
  97             return None
  98         run_command(["/usr/bin/git", "-C", gitdir, "config", "--local", "--add", "remote.origin.fetch", "refs/notes/*:refs/notes/*"], verbose=verbose)
  99         run_command(["/usr/bin/git", "-C", gitdir, "remote", "set-url", "--push", "origin", "ssh://git@git.pld-linux.org/packages/" + name], verbose=verbose)
 100     run_command(["/usr/bin/git", "-C", gitdir, "fetch", "origin", "refs/notes/*:refs/notes/*"], verbose=verbose)
 101     if branch:
 102         if run_command(["/usr/bin/git", "-C", gitdir, "rev-parse", "--verify", "-q", branch], verbose=verbose):
 103             run_command(["/usr/bin/git", "-C", gitdir, "checkout", branch, "--"], verbose=verbose)
 104         elif run_command(["/usr/bin/git", "-C", gitdir, "rev-parse", "--verify", "-q", "refs/remotes/origin/" + branch], verbose=verbose):
 105             run_command(["/usr/bin/git", "-C", gitdir, "checkout", "-t", "refs/remotes/origin/" + branch], verbose=verbose)
 106         rev_branch = run_command(["/usr/bin/git", "-C", gitdir, "rev-parse", branch], verbose=verbose)
 107         rev_head = run_command(["/usr/bin/git", "-C", gitdir, "rev-parse", "HEAD"], verbose=verbose)
 108         if rev_branch[1] != rev_head[1]:
 109             print "Error: cannot checkout " + name
 110             return None
 111         run_command(["/usr/bin/git", "-C", gitdir, "merge", "--ff-only", "@{upstream}"], verbose=verbose)
 112
 113 def csv_list(string):
 114     return string.split(',')
 115
 116 def kernel_cmp(x, y):
 117     x = x.split('.')
 118     y = y.split('.')
 119     try:
 120         int(x[0])
 121     except ValueError:
 122         return 1
 123     try:
 124         int(y[0])
 125     except ValueError:
 126         return -1
 127     majdiff = int(x[0]) - int(y[0])
 128     if majdiff:
 129         return majdiff
 130     mindiff = int(x[1]) - int(y[1])
 131     return mindiff
 132
 133 def main():
 134     parser = argparse.ArgumentParser(description='Rebuild kernel modules.')
 135     parser.add_argument('-d', '--dist',
 136             default='th',
 137             help='Dist name for getting auto-tags (default: %(default)s)')
 138     parser.add_argument('-m', '--make-request',
 139             default="make-request",
 140             metavar='SCRIPT',
 141             help='Name / path of the make-request script (default: %(default)s)')
 142     parser.add_argument('-ni', '--noinstall',
 143             action='store_true',
 144             help='skip installing new kernel packages on src builder (default: %(default)s)')
 145     parser.add_argument('-n', '--nopae',
 146             action='store_true',
 147             help='Build packages for nopae kernel for i686 (default: %(default)s)')
 148     parser.add_argument('-p', '--packages',
 149             type=csv_list,
 150             default=packages.keys(),
 151             metavar='PKG1[,PKG2...]',
 152             help='Package names to build (default: all)')
 153     parser.add_argument('-s', '--skip',
 154             type=csv_list,
 155             metavar='VER1[,VER2...]',
 156             help='Don\'t build modules specific to these kernels (default: %(default)s)')
 157     parser.add_argument('-t', '--test-build',
 158             action='store_true',
 159             help='Perform a test-builds')
 160     parser.add_argument('-v', '--verbose',
 161             action='store_true',
 162             help='Be verbose when running commands (default: %(default)s)')
 163     args = parser.parse_args()
 164
 165     build_mode = '-r'
 166     if args.test_build:
 167         build_mode = '-t'
 168
 169     if not args.skip:
 170         args.skip = []
 171
 172     if not args.make_request.startswith('/'):
 173         for path in os.defpath.split(os.pathsep):
 174             if os.path.isfile('/'.join([path, args.make_request])):
 175                 args.make_request = '/'.join([path, args.make_request])
 176                 break
 177
 178     if not args.noinstall:
 179         source_packages = []
 180         for ver in ['-','-nopae-','-4.1-','-3.18-','-3.14-','-3.10-']:
 181             source_packages.extend(['kernel%sheaders' % ver, 'kernel%smodule-build' % ver])
 182         command = (('%(make_request)s -b %(dist)s-src -t -c '
 183                 '"poldek -n %(dist)s -n %(dist)s-ready -n %(dist)s-test --up ; '
 184                 'poldek -uGv %(source_packages)s"') %
 185                 {'make_request': args.make_request,
 186                     'dist': args.dist,
 187                     'source_packages': ' '.join(source_packages)})
 188         run_command(shlex.split(command), verbose=args.verbose, quiet=False)
 189         raw_input('\nPress Enter after src builder updates kernel packages...')
 190
 191     print '\nCurrent kernels versions:'
 192     all_kernels = set()
 193     for kernel_list in packages.values():
 194         all_kernels.update(kernel_list)
 195     all_kernels = list(all_kernels)
 196     all_kernels.sort(cmp=kernel_cmp, reverse=True)
 197     for kernel in all_kernels:
 198         branch = 'master'
 199         if kernel != 'head':
 200             branch = 'LINUX_%s' % kernel.replace('.','_')
 201         print '%s: %s' % (kernel, get_last_tag('kernel', 'kernel.spec', branch, dist=args.dist, kernel=kernel, verbose=args.verbose))
 202
 203     for pkg, kernels in packages.iteritems():
 204         try:
 205             name, spec, branch = clean_pkgname(pkg)
 206         except NameError:
 207             continue
 208         if not pkg in args.packages:
 209             continue
 210         if not set(kernels).symmetric_difference(args.skip):
 211             continue
 212         if args.test_build:
 213             command = ("%s -nd %s -d %s --define 'build_kernels %s' --without userspace %s" %
 214                     (args.make_request, build_mode, args.dist, ','.join(kernels), spec))
 215         else:
 216             tag = get_last_tag(name, spec, branch, dist=args.dist, verbose=args.verbose)
 217             if not tag:
 218                 print "Failed getching last autotag for %s!" % pkg
 219                 continue
 220             command = ("%s -nd %s -d %s --define 'build_kernels %s' --without userspace %s:%s" %
 221                     (args.make_request, build_mode, args.dist, ','.join(kernels), spec, tag))
 222         run_command(shlex.split(command), verbose=args.verbose, quiet=False)
 223
 224     if args.nopae:
 225         for pkg, kernels in packages.iteritems():
 226             try:
 227                 name, spec, branch = clean_pkgname(pkg)
 228             except NameError:
 229                 continue
 230             if not pkg in args.packages:
 231                 continue
 232             if not 'head' in kernels:
 233                 continue
 234             if args.test_build:
 235                 command = ("%s -nd %s -d %s -b th-i686 --define 'build_kernels nopae' --kernel nopae --without userspace %s" %
 236                         (args.make_request, build_mode, args.dist, spec))
 237             else:
 238                 tag = get_last_tag(name, spec, branch, dist=args.dist, verbose=args.verbose)
 239                 if not tag:
 240                     print "Failed getching last autotag for %s!" % pkg
 241                     continue
 242                 command = ("%s -nd %s -d %s -b th-i686 --define 'build_kernels nopae' --kernel nopae --without userspace %s:%s" %
 243                         (args.make_request, build_mode, args.dist, spec, tag))
 244             run_command(shlex.split(command), verbose=args.verbose, quiet=False)
 245
 246 if __name__ == "__main__":
 247     main()
 248
 249 # vi: encoding=utf-8 ts=8 sts=4 sw=4 et