cvsspam-branch.diff

   1 Index: cvsspam.conf
   2 ===================================================================
   3 --- cvsspam.conf        (revision 223)
   4 +++ cvsspam.conf        (revision 253)
   5 @@ -34,11 +34,19 @@
   6  #
   7  #     When $jiraURL is given, text of the form 'project-1234' will be linked
   8  #   to this issue in JIRA.
   9 +#
  10 +#     When $xplannerStoryURL, $xplannerIterationURL and $xplannerProjectURL are
  11 +#   given, text of the form XS1234 will be linked to XPlanner stories; text of
  12 +#   the form XI1234 will be linked to XPlanner iterations; and text of the form
  13 +#   XP1234 will be linked to XPlanner projects.
  14
  15  #$bugzillaURL = "http://bugzilla.mozilla.org/show_bug.cgi?id=%s"
  16
  17  #$jiraURL = "http://jira.atlassian.com/secure/ViewIssue.jspa?key=%s"
  18
  19 +#$xplannerStoryURL = "http://www.example.com/xplanner/do/view/userstory?oid=%s"
  20 +#$xplannerIterationURL = "http://www.example.com/xplanner/do/view/iteration?oid=%s"
  21 +#$xplannerProjectURL = "http://www.example.com/xplanner/do/view/project?oid=%s"
  22
  23  # Link to Wiki systems
  24  #
  25 @@ -125,6 +133,15 @@
  26  #$diff_ignore_keywords = true
  27
  28
  29 +# cvsdiff whitespace ignoring               (Default: show whitespace-only changes)
  30 +#
  31 +#   Whitespace-only changes can distract from the rest of a diff. Set this
  32 +#   value to true to exclude changes in the amount of whitespace (adds the -b
  33 +#   option to cvs diff).
  34 +
  35 +$diff_ignore_whitespace = true
  36 +
  37 +
  38  # $no_removed_file_diff and $no_added_file_diff
  39  #
  40  #     Set both these options, and emails will only include diffs for files
  41 @@ -177,3 +194,13 @@
  42  #   them happy, you can say $files_in_subject = true here.
  43
  44  #$files_in_subject = false
  45 +
  46 +
  47 +
  48 +# Email size limit                                        (Default: around 2MB)
  49 +#
  50 +#     When large changes are committed, large CVSspam emails can result.  Here
  51 +#   you can set the size of email that CVSspam is not allowed to append any
  52 +#   more diffs onto.  Specify the number of bytes.
  53 +
  54 +#$mail_size_limit = 2097152
  55 Index: collect_diffs.rb
  56 ===================================================================
  57 --- collect_diffs.rb    (revision 223)
  58 +++ collect_diffs.rb    (revision 253)
  59 @@ -27,6 +27,13 @@
  60  $dirtemplate = "#cvsspam.#{Process.getpgrp}.#{Process.uid}"
  61
  62  def find_data_dir
  63 +  if $from_address
  64 +    safe_from = make_fromaddr_safe_for_filename($from_address)
  65 +    Dir["#{$tmpdir}/#{$dirtemplate}.#{safe_from}-*"].each do |dir|
  66 +      stat = File.stat(dir)
  67 +      return dir if stat.owned?
  68 +    end
  69 +  end
  70    Dir["#{$tmpdir}/#{$dirtemplate}-*"].each do |dir|
  71      stat = File.stat(dir)
  72      return dir if stat.owned?
  73 @@ -35,6 +42,14 @@
  74  end
  75
  76
  77 +# transform any special / unexpected characters appearing in the argument to
  78 +# --from so that they will not cause problems if the value is inserted into
  79 +# a file or directory name
  80 +def make_fromaddr_safe_for_filename(addr)
  81 +  addr.gsub(/[^a-zA-Z0-1.,_-]/, "_")
  82 +end
  83 +
  84 +
  85  def blah(msg)
  86    if $debug
  87      $stderr.puts "collect_diffs.rb: #{msg}"
  88 @@ -129,7 +144,14 @@
  89    changes = Array.new
  90    i = 0
  91    while i < cvs_info.length
  92 -    changes << ChangeInfo.new(cvs_info[i], cvs_info[i+=1], cvs_info[i+=1])
  93 +    change_file = cvs_info[i]
  94 +    # It's been reported,
  95 +    # http://lists.badgers-in-foil.co.uk/pipermail/cvsspam-devel/2005-September/000380.html
  96 +    # that sometimes the second revision number that CVS gives us contains a
  97 +    # trailing newline character, so we strip ws from these values before use,
  98 +    change_from = cvs_info[i+=1].strip
  99 +    change_to = cvs_info[i+=1].strip
 100 +    changes << ChangeInfo.new(change_file, change_from, change_to)
 101      i+=1
 102    end
 103    return changes
 104 @@ -222,6 +244,7 @@
 105
 106        diff_cmd = Array.new << $cvs_prog << "-nq" << "diff" << "-Nu"
 107        diff_cmd << "-kk" if $diff_ignore_keywords
 108 +      diff_cmd << "-b" if $diff_ignore_whitespace
 109
 110        if change.isAddition
 111          file.write "#A "
 112 @@ -333,9 +356,11 @@
 113  end
 114
 115  $config = nil
 116 +$from_address = nil
 117  $cvs_prog = "cvs"
 118  $debug = false
 119  $diff_ignore_keywords = false
 120 +$diff_ignore_whitespace = false
 121  $task_keywords = []
 122
 123  unless ENV.has_key?('CVSROOT')
 124 @@ -387,6 +412,7 @@
 125    end
 126    $config = arg if opt=="--config"
 127    $debug = true if opt == "--debug"
 128 +  $from_address = arg if opt == "--from"
 129  end
 130
 131  blah("CVSROOT is #{ENV['CVSROOT']}")
 132 Index: record_lastdir.rb
 133 ===================================================================
 134 --- record_lastdir.rb   (revision 223)
 135 +++ record_lastdir.rb   (revision 253)
 136 @@ -4,7 +4,6 @@
 137  #   http://www.badgers-in-foil.co.uk/projects/cvsspam/
 138  # Copyright (c) David Holroyd
 139
 140 -$repositorydir = ARGV.shift
 141
 142  $tmpdir = ENV["TMPDIR"] || "/tmp"
 143
 144 @@ -19,6 +18,36 @@
 145    nil
 146  end
 147
 148 +
 149 +# transform any special / unexpected characters appearing in the argument to
 150 +# --from so that they will not cause problems if the value is inserted into
 151 +# a file or directory name
 152 +def make_fromaddr_safe_for_filename(addr)
 153 +  addr.gsub(/[^a-zA-Z0-1.,_-]/, "_")
 154 +end
 155 +
 156 +# Option processing doesn't use GetoptLong (for the moment) bacause arguments
 157 +# given to this script by CVS include the names of committed files.  It
 158 +# seems quite possible that one of those file names could begin with a '-'
 159 +# and therefore be treated by GetoptLong as a value which requires processing.
 160 +# This would probably result in an error.
 161 +#
 162 +# [That could be worked around by placing a '--' option (which tells GetoptLong
 163 +# to stop processing option arguments) at the very end of the arguments to
 164 +# record_lastdir.rb in commitinfo, but that's very easily forgotten, and isn't
 165 +# really backwards compatable with the behaviour of older CVSspam releases.]
 166 +if ARGV.first == "--from"
 167 +  # we could, of course, be tricked, if the first committed file in the list
 168 +  # happened to be named '--from' :S
 169 +
 170 +  # drop the "--from"
 171 +  ARGV.shift
 172 +  # and use the value which was given following the option,
 173 +  $dirtemplate << "." << make_fromaddr_safe_for_filename(ARGV.shift)
 174 +end
 175 +
 176 +$repositorydir = ARGV.shift
 177 +
 178  $datadir = find_data_dir()
 179
 180  if $datadir==nil
 181 Index: project.xml
 182 ===================================================================
 183 Index: CREDITS
 184 ===================================================================
 185 --- CREDITS     (revision 223)
 186 +++ CREDITS     (revision 253)
 187 @@ -29,3 +29,10 @@
 188    Elan Ruusamäe
 189    Steve Fox
 190    Christopher Petro
 191 +  Robin Getz
 192 +  Glen Starrett
 193 +  Jonathan Rafkind
 194 +  Ryan Dlugosz
 195 +  Steve Woodcock
 196 +  Andy Selle
 197 +  Charles Duffy
 198 Index: cvsspam-doc.xml
 199 ===================================================================
 200 --- cvsspam-doc.xml     (revision 223)
 201 +++ cvsspam-doc.xml     (revision 253)
 202 @@ -452,6 +452,23 @@
 203  </screen></informalexample>
 204        </para>
 205    </section>
 206 +
 207 +  <section>
 208 +    <title>RT</title>
 209 +
 210 +    <para>For Gforge, when a CVS log comment contains text like <userinput>Fix
 211 +    for Bug [#123]</userinput>, or <userinput>Task [T456] ...</userinput>, the
 212 +    text "[#123]" or "[T456]" will become a hyper-link to that Gforge page in
 213 +    the generated email.  The format [#<replaceable>nnn</replaceable>] and
 214 +    [T<replaceable>nnn</replaceable>] is taken from the existing plugin for
 215 +    Gforge called cvstracker.</para>
 216 +
 217 +    <para>To enable, give your Gforge's URL in CVSspam's configuration file:
 218 +<informalexample><screen>$gforgeBugURL = "http://gforge.org/tracker/index.php?func=detail&amp;aid=%s"
 219 +$gforgeTaskURL = "http://gforge.org/pm/task.php?func=detailtask&amp;project_task_id=%s"</screen></informalexample>
 220 +    The marker %s tells CVSspam where in the URL to put the bugId from the
 221 +    log message.</para>
 222 +  </section>
 223  </section>
 224
 225  <section><title>CVS Web Frontends</title>
 226 Index: cvsspam.rb
 227 ===================================================================
 228 --- cvsspam.rb  (revision 223)
 229 +++ cvsspam.rb  (revision 253)
 230 @@ -20,6 +20,7 @@
 231
 232  $version = "0.2.12"
 233
 234 +require 'time'
 235
 236  $maxSubjectLength = 200
 237  $maxLinesPerDiff = 1000
 238 @@ -35,10 +36,6 @@
 239    a<b ? a : b
 240  end
 241
 242 -# NB must ensure the time is UTC
 243 -# (the Ruby Time object's strftime() doesn't supply a numeric timezone)
 244 -DATE_HEADER_FORMAT = "%a, %d %b %Y %H:%M:%S +0000"
 245 -
 246  # Perform (possibly) multiple global substitutions on a string.
 247  # the regexps given as keys must not use capturing subexpressions '(...)'
 248  class MultiSub
 249 @@ -116,6 +113,8 @@
 250    UNDERSCORE = chr("_")
 251    SPACE = chr(" ")
 252    TAB = chr("\t")
 253 +  HOOK = chr("?")
 254 +  EQUALS = chr("=")
 255
 256    # encode a header value according to the RFC-2047 quoted-printable spec,
 257    # allowing non-ASCII characters to appear in header values, and wrapping
 258 @@ -137,7 +136,7 @@
 259    # return a string representing the given character-code in quoted-printable
 260    # format
 261    def quoted_encode_char(b)
 262 -    if b>126 || b==UNDERSCORE || b==TAB
 263 +    if b>126 || b==UNDERSCORE || b==TAB || b==HOOK || b==EQUALS
 264        sprintf("=%02x", b)
 265      elsif b == SPACE
 266        "_"
 267 @@ -388,6 +387,7 @@
 268  class FileEntry
 269    def initialize(path)
 270      @path = path
 271 +    @fromVer = @toVer = nil
 272      @lineAdditions = @lineRemovals = 0
 273      @repository = Repository.get(path)
 274      @repository.merge_common_prefix(basedir())
 275 @@ -533,6 +533,14 @@
 276  # TODO: consolidate these into a nicer framework,
 277  mailSub = proc { |match| "<a href=\"mailto:#{match}\">#{match}</a>" }
 278  urlSub = proc { |match| "<a href=\"#{match}\">#{match}</a>" }
 279 +gforgeTaskSub = proc { |match|
 280 +  match =~ /([0-9]+)/
 281 +  "<a href=\"#{$gforgeTaskURL.sub(/%s/, $1)}\">#{match}</a>"
 282 +}
 283 +gforgeBugSub = proc { |match|
 284 +  match =~ /([0-9]+)/
 285 +  "<a href=\"#{$gforgeBugURL.sub(/%s/, $1)}\">#{match}</a>"
 286 +}
 287  bugzillaSub = proc { |match|
 288    match =~ /([0-9]+)/
 289    "<a href=\"#{$bugzillaURL.sub(/%s/, $1)}\">#{match}</a>"
 290 @@ -544,11 +552,27 @@
 291    match =~ /([0-9]+)/
 292    "<a href=\"#{$ticketURL.sub(/%s/, $1)}\">#{match}</a>"
 293  }
 294 +issueSub = proc { |match|
 295 +  match =~ /([0-9]+)/
 296 +  "<a href=\"#{$issueURL.sub(/%s/, $1)}\">#{match}</a>"
 297 +}
 298  wikiSub = proc { |match|
 299 -  match =~ /\[\[(.*)\]\]/
 300 +  match =~ /\[\[(.*?)\]\]/
 301    raw = $1
 302    "<a href=\"#{$wikiURL.sub(/%s/, urlEncode(raw))}\">[[#{raw}]]</a>"
 303  }
 304 +xplannerIterationSub = proc { |match|
 305 +  match =~ /([0-9]+)/
 306 +  "<a href=\"#{$xplannerIterationURL.sub(/%s/, $1)}\">#{match}</a>"
 307 +}
 308 +xplannerProjectSub = proc { |match|
 309 +  match =~ /([0-9]+)/
 310 +  "<a href=\"#{$xplannerProjectURL.sub(/%s/, $1)}\">#{match}</a>"
 311 +}
 312 +xplannerStorySub = proc { |match|
 313 +  match =~ /([0-9]+)/
 314 +  "<a href=\"#{$xplannerStoryURL.sub(/%s/, $1)}\">#{match}</a>"
 315 +}
 316  commentSubstitutions = {
 317                 '(?:mailto:)?[\w\.\-\+\=]+\@[\w\-]+(?:\.[\w\-]+)+\b' => mailSub,
 318                 '\b(?:http|https|ftp):[^ \t\n<>"]+[\w/]' => urlSub
 319 @@ -670,6 +694,12 @@
 320    def diff(file)
 321      '-&gt;'
 322    end
 323 +
 324 +  # may be overridden by subclasses that are able to make a hyperlink to a
 325 +  # history log for a file
 326 +  def log(file)
 327 +    ''
 328 +  end
 329  end
 330
 331  # Superclass for objects that can link to CVS frontends on the web (ViewCVS,
 332 @@ -710,6 +740,14 @@
 333      "<a href=\"#{diff_url(file)}\">#{super(file)}</a>"
 334    end
 335
 336 +  def log(file)
 337 +    link = log_url(file)
 338 +    if link
 339 +      return "<span id=\"info\">(<a href=\"#{link}\">log</a>)</span>"
 340 +    end
 341 +    return nil
 342 +  end
 343 +
 344   protected
 345    def add_repo(url)
 346      if @repository_name
 347 @@ -722,6 +760,10 @@
 348        url
 349      end
 350    end
 351 +
 352 +  def log_url(file)
 353 +    nil
 354 +  end
 355  end
 356
 357  # Link to ViewCVS
 358 @@ -745,6 +787,15 @@
 359    def diff_url(file)
 360      add_repo("#{@base_url}#{urlEncode(file.path)}.diff?r1=#{file.fromVer}&amp;r2=#{file.toVer}")
 361    end
 362 +
 363 +  def log_url(file)
 364 +    if file.toVer
 365 +      log_anchor = "#rev#{file.toVer}"
 366 +    else
 367 +      log_anchor = ""
 368 +    end
 369 +    add_repo("#{@base_url}#{urlEncode(file.path)}#{log_anchor}")
 370 +  end
 371  end
 372
 373  # Link to Chora, from the Horde framework
 374 @@ -767,9 +818,9 @@
 375  class CVSwebFrontend < WebFrontend
 376    def path_url(path, tag)
 377      if tag == nil
 378 -      add_repo(@base_url + urlEncode(path))
 379 +      add_repo(@base_url + urlEncode(path) + "/")
 380      else
 381 -      add_repo("#{@base_url}#{urlEncode(path)}?only_with_tag=#{urlEncode(tag)}")
 382 +      add_repo("#{@base_url}#{urlEncode(path)}/?only_with_tag=#{urlEncode(tag)}")
 383      end
 384    end
 385
 386 @@ -780,6 +831,17 @@
 387    def diff_url(file)
 388      add_repo("#{@base_url}#{urlEncode(file.path)}.diff?r1=text&amp;tr1=#{file.fromVer}&amp;r2=text&amp;tr2=#{file.toVer}&amp;f=h")
 389    end
 390 +
 391 +  protected
 392 +
 393 +  def log_url(file)
 394 +    if file.toVer
 395 +      log_anchor = "#rev#{file.toVer}"
 396 +    else
 397 +      log_anchor = ""
 398 +    end
 399 +    add_repo("#{@base_url}#{urlEncode(file.path)}#{log_anchor}")
 400 +  end
 401  end
 402
 403
 404 @@ -958,7 +1020,7 @@
 405      end
 406      shift(nil)
 407      if @truncatedLineCount>0
 408 -      println("<strong class=\"error\" title=\"#{@truncatedLineCount} lines truncated at column #{$maxDiffLineLength}\">[Note: Some over-long lines of diff output only partialy shown]</strong>")
 409 +      println("<strong class=\"error\" title=\"#{@truncatedLineCount} lines truncated at column #{$maxDiffLineLength}\">[Note: Some over-long lines of diff output only partially shown]</strong>")
 410      end
 411    end
 412
 413 @@ -1247,10 +1309,16 @@
 414  $no_diff = false
 415  $task_keywords = ['TODO', 'FIXME']
 416  $bugzillaURL = nil
 417 +$gforgeBugURL = nil
 418 +$gforgeTaskURL = nil
 419  $wikiURL = nil
 420  $jiraURL = nil
 421  $ticketURL = nil
 422 +$issueURL = nil
 423  $viewcvsURL = nil
 424 +$xplannerIterationURL = nil
 425 +$xplannerProjectURL = nil
 426 +$xplannerStoryURL = nil
 427  $choraURL = nil
 428  $cvswebURL = nil
 429  $from_address = nil
 430 @@ -1261,6 +1329,7 @@
 431  # 2MiB limit on attached diffs,
 432  $mail_size_limit = 1024 * 1024 * 2
 433  $arg_charset = nil
 434 +$cvsroot_email_header = false
 435
 436  require 'getoptlong'
 437
 438 @@ -1353,17 +1422,35 @@
 439
 440
 441  if $bugzillaURL != nil
 442 -  commentSubstitutions['\b[Bb][Uu][Gg]\s*#?[0-9]+'] = bugzillaSub
 443 +  commentSubstitutions['\b[Bb]([Uu][Gg])?\s*[#:]?\s*\[?[0-9]+\]?'] = bugzillaSub
 444  end
 445 +if $gforgeBugURL != nil
 446 +  commentSubstitutions['\B\[#[0-9]+\]'] = gforgeBugSub
 447 +end
 448 +if $gforgeTaskURL != nil
 449 +  commentSubstitutions['\B\[[Tt][0-9]+\]'] = gforgeTaskSub
 450 +end
 451  if $jiraURL != nil
 452    commentSubstitutions['\b[a-zA-Z]+-[0-9]+\b'] = jiraSub
 453  end
 454  if $ticketURL != nil
 455    commentSubstitutions['\b[Tt][Ii][Cc][Kk][Ee][Tt]\s*#?[0-9]+\b'] = ticketSub
 456  end
 457 +if $issueURL != nil
 458 +  commentSubstitutions['\b[Ii][Ss][Ss][Uu][Ee]\s*#?[0-9]+\b'] = issueSub
 459 +end
 460  if $wikiURL != nil
 461    commentSubstitutions['\[\[.+\]\]'] = wikiSub
 462  end
 463 +if $xplannerIterationURL != nil
 464 +  commentSubstitutions['\bXI\[?[0-9]+\]?'] = xplannerIterationSub
 465 +end
 466 +if $xplannerProjectURL != nil
 467 +  commentSubstitutions['\bXP\[?[0-9]+\]?'] = xplannerProjectSub
 468 +end
 469 +if $xplannerStoryURL != nil
 470 +  commentSubstitutions['\bXS\[?[0-9]+\]?'] = xplannerStorySub
 471 +end
 472  $commentEncoder = MultiSub.new(commentSubstitutions)
 473
 474
 475 @@ -1546,11 +1633,14 @@
 476      elsif file.removal?
 477        name = "<span id=\"removed\">#{name}</span>"
 478      end
 479 +    mail.print("<td>")
 480      if file.has_diff?
 481 -      mail.print("<td><tt>#{prefix}<a href=\"#file#{file_count}\">#{name}</a></tt></td>")
 482 +      mail.print("<tt>#{prefix}<a href=\"#file#{file_count}\">#{name}</a></tt>")
 483      else
 484 -      mail.print("<td><tt>#{prefix}#{name}</tt></td>")
 485 +      mail.print("<tt>#{prefix}#{name}</tt>")
 486      end
 487 +    mail.print(" #{$frontend.log(file)}")
 488 +    mail.print("</td>")
 489      if file.isEmpty
 490        mail.print("<td colspan=\"2\" align=\"center\"><small id=\"info\">[empty]</small></td>")
 491      elsif file.isBinary
 492 @@ -1686,6 +1776,8 @@
 493  # sensible header formatting, and for ensuring that the body is seperated
 494  # from the message headers by a blank line (as it is required to be).
 495  class MailContext
 496 +  ENCODE_HEADERS = ["Subject", "X-CVSspam-Module-Path"]
 497 +
 498    def initialize(io)
 499      @done_headers = false
 500      @io = io
 501 @@ -1695,8 +1787,8 @@
 502    # called
 503    def header(name, value)
 504      raise "headers already commited" if @done_headers
 505 -    if name == "Subject"
 506 -      $encoder.encode_header(@io, "Subject", value)
 507 +    if ENCODE_HEADERS.include?(name)
 508 +      $encoder.encode_header(@io, name, value)
 509      else
 510        @io.puts("#{name}: #{value}")
 511      end
 512 @@ -1769,7 +1861,7 @@
 513        ctx.header("To", recipients.map{|addr| addr.encoded}.join(','))
 514        blah("Mail From: <#{from}>")
 515        ctx.header("From", from.encoded) if from
 516 -      ctx.header("Date", Time.now.utc.strftime(DATE_HEADER_FORMAT))
 517 +      ctx.header("Date", Time.now.rfc2822)
 518        yield ctx
 519      end
 520    end
 521 @@ -1800,10 +1892,10 @@
 522    return unless $fileEntries.length == 1
 523    file = $fileEntries[0]
 524    name = zap_header_special_chars(file.path)
 525 -  unless file.fromVer == "NONE"
 526 +  if file.fromVer
 527      mail.header("References", make_msg_id("#{name}.#{file.fromVer}", $hostname))
 528    end
 529 -  unless file.toVer == "NONE"
 530 +  if file.toVer
 531      mail.header("Message-ID", make_msg_id("#{name}.#{file.toVer}", $hostname))
 532    end
 533  end
 534 @@ -1834,6 +1926,14 @@
 535      end
 536    end
 537    mail.header("X-Mailer", "CVSspam #{$version} <http://www.badgers-in-foil.co.uk/projects/cvsspam/>")
 538 +  if $cvsroot_email_header
 539 +    mod = '/'
 540 +    if Repository.count == 1
 541 +      rep = Repository.array.first
 542 +      mod << rep.common_prefix
 543 +    end
 544 +    mail.header("X-CVSspam-Module-Path", mod)
 545 +  end
 546
 547    mail.body do |body|
 548      make_html_email(body)