PLD_Builder/install.py

   1 # vi: encoding=utf-8 ts=8 sts=4 sw=4 et
   2
   3 import re, os
   4 import string
   5 import StringIO
   6
   7 import chroot
   8 import util
   9 import log
  10
  11 hold = [
  12     'dev',
  13     'poldek',
  14     'rpm-build',
  15     'pdksh',
  16     'coreutils'
  17 ]
  18
  19 def close_killset(killset):
  20     k = killset.keys()
  21     if len(k) == 0:
  22         return True
  23     rx = re.compile(r'^.* marks (?P<name>[^\s]+?)-[^-]+-[^-]+\s.*$')
  24     errors = ""
  25     for p in k:
  26         if p in hold:
  27             del killset[p]
  28             errors += "cannot remove %s because it's crucial\n" % p
  29         else:
  30             f = chroot.popen("poldek --noask --test --test --erase %s" % p, user = "root")
  31             crucial = 0
  32             e = []
  33             for l in f.xreadlines():
  34                 m = rx.search(l)
  35                 if m:
  36                     pkg = m.group('name')
  37                     if pkg in hold:
  38                         errors += "cannot remove %s because it's required " \
  39                                   "by %s, that is crucial\n" % (p, pkg)
  40                         crucial = 1
  41                     e.append(pkg)
  42             f.close()
  43             if crucial:
  44                 del killset[p]
  45             else:
  46                 for p in e:
  47                     killset[p] = 2
  48     return errors
  49
  50 def upgrade_from_batch(r, b):
  51     f = chroot.popen("rpm --test -F %s 2>&1" % string.join(b.files), user = "root")
  52     killset = {}
  53     rx = re.compile(r' \(installed\) (?P<name>[^\s]+)-[^-]+-[^-]+$')
  54     for l in f.xreadlines():
  55         m = rx.search(l)
  56         if m: killset[m.group('name')] = 1
  57     f.close()
  58     if len(killset) != 0:
  59         err = close_killset(killset)
  60         if err != "":
  61             util.append_to(b.logfile, err)
  62             log.notice("cannot upgrade rpms")
  63             return False
  64         k = string.join(killset.keys())
  65         if True:
  66             b.log_line("upgrade requires removal of %s" % k)
  67             res = chroot.run("rpm -e %s" % k, logfile = b.logfile, user = "root")
  68             if res != 0:
  69                 b.log_line("package removal failed")
  70                 return False
  71             else:
  72                 b.log_line("packages removed sucessfuly")
  73         else:
  74             b.log_line("upgrade would need removal of %s" % k)
  75             return False
  76     b.log_line("upgrading packages")
  77     logbuf = StringIO.StringIO()
  78     res = chroot.run("rpm -Fvh %s" % string.join(b.files), user = "root", logfile = b.logfile)
  79     if res != 0:
  80         b.log_line("package upgrade failed")
  81         logbuf.close()
  82         return False
  83     logbuf.close()
  84     return True
  85
  86 def uninstall(conflicting, b):
  87     b.log_line("uninstalling conflicting packages")
  88     err = close_killset(conflicting)
  89     if err != "":
  90         util.append_to(b.logfile, err)
  91         b.log_line("error: conflicting packages uninstallation failed")
  92         return False
  93     else:
  94         for k in conflicting.keys():
  95             b.log_line("removing %s" % k)
  96             res = chroot.run("poldek --noask --erase %s" % k, logfile = b.logfile, user = "root")
  97             if res != 0:
  98                 b.log_line("package %s removal failed" % k)
  99     return True
 100
 101 def uninstall_self_conflict(b):
 102     b.log_line("checking BuildConflict-ing packages")
 103     packagename = b.spec[:-5]
 104     tmpdir = "/tmp/B.%s.%s" % (packagename, b.b_id[0:6])
 105     chroot.run("install -m 700 -d %s" % tmpdir)
 106     f = chroot.popen("set -e; TMPDIR=%(tmpdir)s rpmbuild -bp --nobuild --short-circuit --define 'prep exit 0' %(rpmdefs)s rpm/packages/%(package)s/%(spec)s 2>&1" % {
 107         'tmpdir': tmpdir,
 108         'rpmdefs' : b.rpmbuild_opts(),
 109         'package' : packagename,
 110         'spec': b.spec,
 111     })
 112     # java-sun >= 1.5 conflicts with soprano-2.1.67-1.src
 113     # java-sun conflicts with soprano-2.1.67-1.src
 114     rx = re.compile(r"\s+(?P<name>[\w-]+)\s+.*conflicts with [^\s]+-[^-]+-[^-]+\.src($| .*)")
 115     conflicting = {}
 116     for l in f.xreadlines():
 117         m = rx.search(l)
 118         if m:
 119             b.log_line("rpmbuild: %s" % l.rstrip())
 120             conflicting[m.group('name')] = 1
 121     f.close()
 122     if len(conflicting) and not uninstall(conflicting, b):
 123         chroot.run("rm -rf %s" % tmpdir)
 124         return False
 125     b.log_line("no BuildConflicts found")
 126     chroot.run("rm -rf %s" % tmpdir)
 127     return True
 128
 129 def install_br(r, b):
 130     def get_missing_br(r, b):
 131         # ignore internal rpm dependencies, see lib/rpmns.c for list
 132         ignore_br = re.compile(r'^\s*(rpmlib|cpuinfo|getconf|uname|soname|user|group|mounted|diskspace|digest|gnupg|macro|envvar|running|sanitycheck|vcheck|signature|verify|exists|executable|readable|writable)\(.*')
 133
 134         packagename = b.spec[:-5]
 135         tmpdir = "/tmp/B.%s.%s/tmp" % (packagename, b.b_id[0:6])
 136         chroot.run("install -m 700 -d %s" % tmpdir)
 137         cmd = "set -e; TMPDIR=%(tmpdir)s rpmbuild --nobuild %(rpmdefs)s rpm/packages/%(package)s/%(spec)s 2>&1" % {
 138             'tmpdir': tmpdir,
 139             'rpmdefs' : b.rpmbuild_opts(),
 140             'package' : packagename,
 141             'spec': b.spec,
 142         }
 143         f = chroot.popen(cmd)
 144         rx = re.compile(r"^\s*(?P<name>[^\s]+) .*is needed by")
 145         needed = {}
 146         b.log_line("checking BR")
 147         for l in f.xreadlines():
 148             b.log_line("rpm: %s" % l.rstrip())
 149             m = rx.search(l)
 150             if m and not ignore_br.match(l):
 151                 needed[m.group('name')] = 1
 152         f.close()
 153         chroot.run("rm -rf %s" % tmpdir)
 154         return needed
 155
 156     needed = get_missing_br(r, b);
 157
 158     if len(needed) == 0:
 159         b.log_line("no BR needed")
 160         return True
 161
 162     nbr = ""
 163     for bre in needed.keys():
 164         nbr = nbr + " " + re.escape(bre)
 165     br = string.strip(nbr)
 166     b.log_line("updating poldek cache...")
 167     chroot.run("poldek --up --upa", user = "root", logfile = b.logfile)
 168     # check conflicts in BRed packages
 169     b.log_line("checking conflicting packages in BRed packages")
 170     f = chroot.popen("poldek --test --test --noask --caplookup -Q -v --upgrade %s" % br, user = "root")
 171     # phonon-devel-4.3.1-1.i686 conflicts with qt4-phonon-devel-4.5.0-6.i686
 172     # jdbc-stdext >= 2.0 is required by installed java-struts-1.3.10-1.noarch
 173     # jmx is needed by (installed) java-commons-modeler-2.0-1.noarch
 174     rx = re.compile(r".*(conflicts with|is required by|is needed by)( installed| \(installed\)|) (?P<name>[^\s]+)-[^-]+-[^-]+($| .*)")
 175     conflicting = {}
 176     for l in f.xreadlines():
 177         b.log_line("poldek: %s" % l.rstrip())
 178         m = rx.search(l)
 179         if m: conflicting[m.group('name')] = 1
 180     f.close()
 181     if len(conflicting) == 0:
 182         b.log_line("no conflicts found")
 183     else:
 184         if not uninstall(conflicting, b):
 185             return False
 186
 187     # recheck BuildRequires since above uninstallation could remove some required deps
 188     needed = get_missing_br(r, b);
 189
 190     if len(needed) == 0:
 191         b.log_line("no BR needed")
 192         return True
 193
 194     nbr = ""
 195     for bre in needed.keys():
 196         nbr = nbr + " " + re.escape(bre)
 197     br = string.strip(nbr)
 198
 199     b.log_line("installing BR: %s" % br)
 200     res = chroot.run("poldek --noask --caplookup -Q -v --upgrade %s" % br,
 201             user = "root",
 202             logfile = b.logfile)
 203     if res != 0:
 204         b.log_line("error: BR installation failed")
 205         return False
 206     return True