]> git.pld-linux.org Git - projects/cleanbuild.git/blob - findbr
more patterns to find python modules (python-M2Crypto)
[projects/cleanbuild.git] / findbr
1 #!/usr/bin/perl
2
3 use strict;
4 use warnings;
5 use IPC::Open2;
6 use Cwd;
7
8 my $pwd = getcwd();
9 # how to run poldek
10 my @ignore = qw(vserver-packages python-devel-src);
11 my @poldek = (qw(sudo poldek -n th-x86_64-ready), "--cachedir=$pwd/poldekcache",
12         "--skip-installed", "--conf=$pwd/poldekconf/poldek.conf",
13         "-O", "ignore=" . (join " ", @ignore)
14 );
15
16 # if multiple packages provide some funcionality those will be selected:
17 my %preferred = (
18         "automake" => +1,
19         "autoconf" => +1,
20         "pkgconfig" => +1,
21
22         "python" => +1,
23         "python-modules" => +1,
24         "python-setuptools" => +1,
25
26         "perl-modules" => +1,
27         "perl-Encode" => +2,
28
29         "zlib-devel" => +1,
30         "libstdc++-devel" => +1,
31         "libusb-compat-devel" => +1,
32         "libjpeg-devel" => +1,
33         "libpng-devel" => +1,
34         "libsamplerate-devel" => +1,
35         "pulseaudio-devel" => +1,
36         "xorg-lib-libXrandr-devel" => +1,
37         "sqlite-devel" => +1,
38
39         "ice-devel" => -1,
40 );
41
42 # translate package name to provides name
43 my %translate = (
44         "gcc-c++" => "libstdc++-devel",
45         "rarian-compat" => "scrollkeeper",
46         "Mesa-libGL" => "OpenGL",
47         "Mesa-libGL-devel" => "OpenGL-devel",
48         "Mesa-libGLU-devel" => "OpenGL-GLU-devel",
49 );
50
51 my @skip = qw(hostname git svn svnversion mt gawk);
52 my %skip;
53 @skip{ @skip } = (1) x scalar @skip;
54
55 # for m4 in *.m4; do R=$(rpm -qf $m4); R=${R%-*-*}; \
56 #   awk -vr=$R '/^\s*(AC_DEFUN|AU_ALIAS)/ { gsub(/\].*/,""); gsub(/.*\[/,""); print r " " $0}' $m4; \
57 # done | sort | awk '{print "\t\"" $2 "\" => \"" $1 "\","}'
58 my %ac2br = do "findbr-ac2br";
59
60 my %cmake2br = (
61         "findkde4:44" => "kde4-kdelibs",
62         "findmsgfmt" => "gettext-devel",
63         "findpythoninterp" => "python",
64 );
65
66 BEGIN {
67         $SIG{__WARN__} = sub
68         {
69                 local $_ = shift;
70                 chomp;
71                 print STDERR "\033[31;1m" . $_ . "\033[0m\n"
72         };
73 }
74
75 my $builddir = shift @ARGV;
76 my @lines = <ARGV>;
77
78 my $reason;
79
80 my %out;
81 sub add_br
82 {
83         my $pkg = shift;
84         my $msg = shift || $reason;
85         if ( ref $pkg ) {
86                 foreach my $p ( @$pkg ) {
87                         add_br( $p, $msg );
88                 }
89                 return;
90         }
91
92         $msg =~ s/\n/ # /sg;
93
94         $pkg = $translate{ $pkg } || $pkg;
95
96         return if exists $out{ $pkg };
97         $out{ $pkg } = $msg;
98         print STDERR "\033[33;1madding: $pkg => $msg\033[0m\n";
99 }
100
101 sub poldek_cmd
102 {
103         my $cmd = shift;
104         warn "Poldek: $cmd\n";
105         my $pid = open( READ, "-|", @poldek, "--shcmd=".$cmd );
106
107         my @read = <READ>;
108         close READ;
109
110         return @read if wantarray;
111         return \@read;
112 }
113
114 my $check_ac = 0;
115 my $check_config_log = undef;
116
117 my %checked_files;
118 sub poldek_file
119 {
120         my @files;
121         foreach ( @_ ) {
122                 next if $checked_files{ $_ };
123                 $checked_files{ $_ } = 1;
124                 push @files, $_;
125         }
126         return unless @files;
127
128         my $search = join "; ", map "search -f $_", @files;
129         warn "Reason: $reason\n";
130         my @read = poldek_cmd( $search );
131
132         local $_;
133         my @found;
134         while ( $_ = shift @read ) {
135                 if ( /(\d+) package\(s\) found:$/ ) {
136                         foreach my $i ( 1..$1 ) {
137                                 $_ = shift @read;
138                                 chomp;
139                                 $_ =~ /^(.*)-.*?-.*?$/;
140                                 push @found, $1;
141                         }
142                 }
143         }
144
145         return unless @found;
146
147         my $found = $found[0];
148         if ( @found > 1 ) {
149                 my $i = 0.0;
150                 my %pts = map { ( $_ => ( ($i += 0.001) + ( $preferred{ $_ } || 0 ) ) ) }
151                         reverse @found;
152                 my @pref = sort { $pts{$b} <=> $pts{$a} } @found;
153                 my $pref = join ", ", map "$_ => $pts{$_}", @pref;
154                 warn "Multiple found: $pref\n";
155                 $found = $pref[0];
156         }
157
158         $found = $translate{ $found } if $translate{ $found };
159
160         add_br( $found );
161 }
162
163 my $pkglist;
164 sub get_pkglist
165 {
166         my %pkglist;
167         my $read = poldek_cmd( "ls" );
168         foreach ( @$read ) {
169                 chomp;
170                 next unless /(\S+)-.*?-.*?\.[a-z0-9_]+$/;
171                 my $pkg = $1;
172                 $pkglist{ lc $pkg } = $pkg;
173         }
174         $pkglist = \%pkglist;
175 }
176
177 sub guess_package
178 {
179         my $origname = shift;
180         get_pkglist() unless $pkglist;
181         return unless defined $origname;
182         my $name = lc $origname;
183         my @try = (
184                 "lib$name-devel",
185                 "$name-devel",
186                 "$name",
187                 "lib$name-.*-devel",
188                 "$name-.*-devel",
189                 ".*-lib$name-devel",
190                 ".*-$name-devel",
191                 ".*-lib$name-.*-devel",
192                 ".*-$name-.*-devel",
193         );
194         my @select;
195         for my $k ( keys %$pkglist ) {
196                 if ( $k =~ /$name/ ) {
197                         push @select, $k;
198                 }
199         }
200         @select = sort @select;
201
202         foreach my $try ( @try ) {
203                 foreach my $pkg ( @select ) {
204                         if ( $pkg =~ /^$try$/ ) {
205                                 warn "guessed: $origname => $pkglist->{ $pkg }\n";
206                                 return $pkglist->{ $pkg };
207                         }
208                 }
209         }
210         warn "$origname not guessed\n";
211         return undef;
212 }
213
214 start_check:
215
216 my %checked;
217 my $cmake_get_call = 0;
218 my $cmake_pkg_list = 0;
219 while ( $_ = shift @lines ) {
220         chomp;
221         #next if $checked{ $_ };
222         #$checked{ $_ } = 1;
223
224         $reason = $_;
225         if ( /^\S+: (\S+): (?:Command )?not found$/ or /.*configure\[\d+\]: (\S+): not found$/
226                         or m{which: no (\S+) in \(.*/bin.*\)}
227                         or m{\S+: (\S+): command not found$}
228                         or m{(?:/usr/bin/)?env: (\S+): No such file or directory}
229                         or m{Can't exec "(\S+)": No such file or directory} ) {
230                 my $exec = $1;
231                 $exec = $1 if $exec =~ m{^"(.*)"$};
232                 next if $skip{ $exec };
233                 warn "Looking for executable $exec\n";
234                 if ( $exec =~ m#^/# ) {
235                         poldek_file( $exec );
236                 }
237                 poldek_file( "/usr/bin/$exec", "/bin/$exec" );
238         }
239
240         if ( /\S+\.[ch](?:pp|xx|c)?:\d+:\d+: error: (\S+): No such file or directory$/ or
241                 /\S+\.[ch](?:pp|xx|c)?:\d+:\d+: fatal error: (\S+): No such file or directory$/ ) {
242                 my $h = $1;
243                 warn "Looking for C(++) header $h\n";
244                 poldek_file( "/usr/include*/$h" );
245         }
246         if ( m{^ImportError: No module named (\S+)$} or
247                 m{^ERROR: Cannot find .+: No module named (\S+)$} or
248                 m{^ERROR: Failed to import the ".+" module: No module named (\S+)$}
249                 ) {
250                 my $mod = $1;
251                 $mod =~ s#\.#/#g;
252                 warn "Looking for python module $mod\n";
253                 poldek_file(
254                                 "/usr/share/python2*/$mod/__init__.py*",
255                                 "/usr/share/python2*/$mod.py*",
256                                 "/usr/lib*/python2*/$mod/__init__.py*",
257                                 "/usr/lib*/python2*/$mod.py*",
258                                 "/usr/lib*/python2*/_$mod.so",
259                                 "/usr/lib*/python2*/$mod.so" );
260         }
261         if ( /configure(?:\.in|\.ac)?:\d+: error: possibly undefined macro: (\S+)/
262                         or m{configure(?:\.in|\.ac)?:\d+: error: m4 macro `(\S+)' is not defined}
263                         or m{warning: macro `(\S+)' not found in library} ) {
264                 my $macro = $1;
265                 warn "Looking for autotools macro $macro\n";
266                 if ( my $br = $ac2br{ $macro } ) {
267                         add_br( $br );
268                         next;
269                 } else {
270                         $check_ac = 1;
271                 }
272         }
273         if ( /^No package '(\S+)' found$/ or
274                         /Package (\S+) was not found in the pkg-config search path/
275                                 or m{None of the required '(\S+?)(?:[<>=].*)?' found}
276                                 or m{--\s+package '(\S+?)(?:[<>=].*)?' not found}
277                                 or m{ERROR: cannot find a valid pkg-config package for \['(\S+?)(?:[<>=].*)?'\]}
278                 ) {
279                 my $pkg = $1;
280                 warn "Looking for package $pkg\n";
281                 poldek_file( "/usr/lib*/pkgconfig/$pkg.pc" );
282         }
283         if ( m{^cp: cannot stat `(/.*)': No such file or directory$} ) {
284                 my $f = $1;
285                 warn "Looking for file $f\n";
286                 poldek_file( $f );
287         }
288         if ( m{^find-lang.sh: Error: international files not found for '}
289                         or m{ gettext tools not found}
290                         ) {
291                 add_br( "gettext-devel" );
292                 #exit;
293                 next;
294         }
295         if ( m{ pkg-config .*not .*found}
296                         or m{^checking for pkg-config\.\.\. no} ) {
297                 add_br( "pkgconfig" );
298                 #exit;
299                 next;
300         }
301         if ( m{^Can't locate (.*?\.pm) in \@INC} ) {
302                 my $mod = $1;
303                 warn "Looking for perl module $mod\n";
304                 poldek_file( "/usr/lib*/perl*/$mod", "/usr/share/perl*/$mod" );
305         }
306         if ( m{^(?:/usr/bin/ld: )?cannot find -l(.*?)$} ) {
307                 my $lib = $1;
308                 warn "Looking for library $lib\n";
309                 poldek_file( "/usr/lib64/lib$lib.so", "/usr/lib/lib$lib.so",
310                         "/usr/lib*/lib$lib.so" );
311         }
312         if ( m{^error: Couldn't exec (/\S+): No such file or directory$} 
313                         or m{^Can't open perl script "(/\S+)": No such file or directory$}
314                         or m{unable to open (/\S+) \(No such file or directory\)$}
315                         or m{GConf-CRITICAL \*\*: No such file `(/.\S+?)'$}
316                         or m{make.*: \*\*\* No rule to make target `(/\S+)'}
317                         or m{g(?:cc|\+\+): (/\S+): No such file or directory$}
318                         or m{env: (/\S+): No such file or directory$}
319                         ) {
320                 my $file = $1;
321                 warn "Looking for file $file\n";
322                 poldek_file( $file );
323         }
324         if ( m{^ValueError: Couldn't find include '(.*\.gir)'} ) {
325                 my $file = $1;
326                 warn "Looking for gir file $file\n";
327                 poldek_file( "/usr/share/gir-1.0/" . $file );
328         }
329         if ( m{failed.*http://www\.oasis-open\.org/docbook/xml/([\d\.]+/\S+\.dtd)} ) {
330                 my $dtd = $1;
331                 warn "Looking for docbook file $dtd\n";
332                 poldek_file( "/usr/share/sgml/docbook/xml-dtd-$dtd" );
333         }
334         if ( m{http://docbook.sourceforge.net/release/xsl/current/(\S+\.xsl)} ) {
335                 my $db = $1;
336                 next if m{^\s*(/usr/bin/)?xsltproc };
337                 warn "Looking for docbook file $db\n";
338                 poldek_file( "/usr/share/sgml/*/$db" );
339         }
340
341         if ( m{LaTeX Error: File `(\S+)' not found} ) {
342                 my $tex = $1;
343                 warn "Looking for tex file $tex\n";
344                 poldek_file( "/usr/share/tex*/$tex" );
345         }
346         if ( m{mv: cannot move `\S+' to `(/var/lib/texmf.*?)':} ) {
347                 my $tex = $1;
348                 warn "Looking for tex file $tex\n";
349                 poldek_file( $tex );
350         }
351
352         if ( m{configure: error: C\+\+ preprocessor "/lib/cpp" fails sanity check} ) {
353                 add_br( "gcc-c++", "try: %undefine\t__cxx" );
354         }
355         if ( m{configure: error: C\+\+ compiler cannot create executables} ) {
356                 add_br( "libstdc++-devel", "maybe try: %undefine\t__cxx" );
357         }
358         if ( m{configure: error: XML::Parser perl module is required for intltool} ) {
359                 add_br( "perl-XML-Parser" );
360         }
361         if ( m{iconv: conversion from `\S+' is not supported} ) {
362                 add_br( "iconv" );
363         }
364
365         if ( m{ (\S+) does not appear in AM_CONDITIONAL$} ) {
366                 my $macro = $1;
367                 warn "Looking for autotools macro $macro\n";
368                 if ( my $br = $ac2br{ $macro } ) {
369                         add_br( $br );
370                         next;
371                 } else {
372                         $check_ac = 1;
373                 }
374         }
375
376         if ( m{configure\[\d+\]: syntax error: }
377                         or m{\./configure\[\d+\]: \S+_\S+: not found}
378                         or m{./configure\[\d+\]: .*unexpected}
379                         or m{does not appear in AM_CONDITIONAL$}
380                         ) {
381                 warn "Need to check configure source: $reason\n";
382                 $check_ac = 1;
383         }
384         if ( m{^configure: error:} ) {
385                 $check_config_log = 1 unless defined $check_config_log;
386         }
387
388         if ( m{^CMake Error at (?:\S+/)?(\S+?)\.cmake:(\d+) } ) {
389                 my ( $module, $line ) = ( lc $1, $2 );
390                 my $br;
391                 if ( $module eq "findqt4" ) {
392                         my $l = $lines[0];
393                         chomp $l;
394                         if ( $l =~ /qmake/ ) {
395                                 add_br( "qt4-qmake", $l );
396                         } elsif ( $l =~ /rcc/ ) {
397                                 add_br( "qt4-build", $l );
398                         } elsif ( $l =~ /Could NOT find (Qt\S+) header/ ) {
399                                 add_br( "$1-devel", $l );
400                         } else {
401                                 warn "unrecognized Qt requirement: $l\n";
402                         }
403                 } elsif ( $module eq "cmakedeterminecxxcompiler" ) {
404                         add_br( "libstdc++-devel",
405                                 '"try: -DCMAKE_CXX_COMPILER_WORKS=1 -DCMAKE_CXX_COMPILER="%{__cc}"' );
406                 } elsif ( $br = $cmake2br{ $module . ":" . $line } ) {
407                         add_br( $br );
408                 } elsif ( $br = $cmake2br{ $module } ) {
409                         add_br( $br );
410                 } elsif ( $br = guess_package( $module =~ /find(.+)/ ) ) {
411                         add_br( $br );
412                 } else {
413                         $cmake_get_call = 1;
414                         warn "Unrecognized cmake error: $reason\n";
415                 }
416         }
417         if ( m{^\s*ERROR: (?:\S+/)?(\S+?\.cmake) not found} ) {
418                 my $cmake = $1;
419                 warn "Looking for cmake file: $cmake\n";
420                 poldek_file( "/usr/*/cmake/*/$cmake" )
421         }
422         if ( $cmake_get_call ) {
423                 if ( m{^\s*/\S+/(\S+)\.cmake:(\d+) } ) {
424                         my ( $module, $line ) = ( lc $1, $2 );
425                         my $br;
426                         if ( $br = $cmake2br{ $module . ":" . $line } ) {
427                                 add_br( $br );
428                                 $cmake_get_call = 0;
429                         } elsif ( $br = $cmake2br{ $module } ) {
430                                 add_br( $br );
431                                 $cmake_get_call = 0;
432                         } elsif ( $br = guess_package( $module =~ /find(.+)/ ) ) {
433                                 add_br( $br );
434                                 $cmake_get_call = 0;
435                         }
436                 }
437         }
438         if ( m{^-- WARNING: you are using the obsolete 'PKGCONFIG' macro} ) {
439                 add_br( "pkgconfig" );
440         }
441         if ( m{QT_(QT\S+)_LIBRARY \(ADVANCED\)} 
442                         or m{X11_(\S+)_LIB \(ADVANCED\)}
443                         or m{Qt (\S+) library not found} ) {
444                 my $find = $1;
445                 my $pkg = guess_package( $find );
446                 if ( $pkg ) {
447                         add_br( $pkg );
448                 } else {
449                         warn "Cannot quess qt package: $find\n";
450                 }
451         }
452
453         if ( m{Unable to find a javac compiler;$} ) {
454                 add_br( "jdk" );
455         }
456         if ( m{Could not find (\S+) Java extension for this JVM$} ) {
457                 my $jar = $1;
458                 warn "Looking for jar file: $jar\n";
459                 poldek_file( "/usr/share/java/$jar.jar", "*/$jar.jar" )
460         }
461
462
463         if ( m{^-- The following OPTIONAL packages could NOT be located on your system} ) {
464                 $cmake_pkg_list = 1;
465         }
466         if ( $cmake_pkg_list ) {
467                 if ( /\s+\* (\S+) / ) {
468                         my $find = $1;
469                         my $pkg = guess_package( $find );
470                         if ( $pkg ) {
471                                 add_br( $pkg );
472                         } else {
473                                 warn "Cannot quess optional package: $find\n";
474                         }
475                 } elsif ( /^\s*$/ ) {
476                         $cmake_pkg_list = 0;
477                 }
478         }
479
480         if ( m{^configure:\d+: checking for (?:"(\S+)"|(\S+))$} ) {
481                 my $exec = $1 || $2;
482                 if ( @lines and $lines[0] =~ m{^configure:\d+: result: no$} ) {
483                         next if $skip{ $exec };
484                         warn "Looking for executable $exec\n";
485                         poldek_file( $exec ) if $exec =~ m#^/#;
486                         poldek_file( "/usr/bin/$exec", "/bin/$exec" );
487                 }
488         }
489 }
490
491
492
493 sub wanted
494 {
495         return unless /^configure(\.(?:ac|in|in\.in))?$/;
496         return unless -r;
497
498         warn "$File::Find::name\n";
499         open F_IN, "<", $_;
500         my $file = $_;
501         while ( <F_IN> ) {
502                 chomp;
503                 if ( m{^\s*([A-Za-z0-9_]+)\s*(\(.*)?$} ) {
504                         my $def = $1;
505                         if ( my $br = $ac2br{ $def } ) {
506                                 add_br( $br, "$file: $_" );
507                         } elsif ( $def !~ /^A[CM]_/ and $def =~ /^_?[A-Z]+_[A-Z_0-9a-z]+$/ ) {
508                                 #warn "Possible macro unrecognized: $def [[[$_]]]\n";
509                         }
510                 }
511         }
512         close F_IN;
513 }
514
515 use File::Find;
516 if ( $check_ac ) {
517         find( \&wanted, $builddir );
518 }
519
520 sub wanted2
521 {
522         return unless /^config\.log$/;
523         return unless -r;
524
525         warn "$File::Find::name\n";
526         open F_IN, "<", $_;
527         push @lines, <F_IN>;
528         close F_IN;
529 }
530
531 if ( $check_config_log ) {
532         $check_config_log = 0;
533         find( \&wanted2, $builddir );
534         goto start_check if @lines;
535 }
536
537 foreach my $pkg ( sort keys %out ) {
538         print "$pkg -- $out{$pkg}\n";
539 }
540 # vim: ts=4 sw=4
This page took 0.093242 seconds and 4 git commands to generate.