- raw from https://mutt.org.ua/download/mutt-1.10.0/patch-1.10.0.vvv.nntp.gz
authorAdam Gołębiowski <adamg@pld-linux.org>
Sun, 2 Dec 2018 08:11:05 +0000 (09:11 +0100)
committerAdam Gołębiowski <adamg@pld-linux.org>
Sun, 2 Dec 2018 08:11:05 +0000 (09:11 +0100)
mutt-vvv.nntp.patch

index 1bf1d3857444f1a94b3abd96e8bbdbdb038b224b..997bdfad7a10d86c1987e4a9df870f9614416ab2 100644 (file)
@@ -9,10 +9,83 @@ autoconf
 Vsevolod Volkov <vvv@mutt.org.ua>
 
 
-diff -udprP mutt-1.5.21.orig/ChangeLog.nntp mutt-1.5.21/ChangeLog.nntp
---- mutt-1.5.21.orig/ChangeLog.nntp    1970-01-01 03:00:00.000000000 +0300
-+++ mutt-1.5.21/ChangeLog.nntp 2010-09-16 13:14:39.000000000 +0300
-@@ -0,0 +1,375 @@
+diff -udprP mutt-1.10.0.orig/ChangeLog.nntp mutt-1.10.0/ChangeLog.nntp
+--- mutt-1.10.0.orig/ChangeLog.nntp    1970-01-01 03:00:00.000000000 +0300
++++ mutt-1.10.0/ChangeLog.nntp 2018-06-16 17:38:41.196958026 +0300
+@@ -0,0 +1,448 @@
++* Sat Jun 16 2018 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.10.0
++
++* Thu Apr 19 2018 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.9.5
++
++* Sat Sep  9 2017 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.9.0
++
++* Sun Feb 26 2017 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.8.0
++
++* Sun Dec 18 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.7.2
++
++* Sun Oct  9 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.7.1
++
++* Wed Aug 31 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- newsgroups aren't marked as new on first load
++
++* Wed Aug 24 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.7.0
++- fixed new groups marking
++- fixed unread messages counter update
++
++* Sat Aug  6 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.6.2
++
++* Sat Aug  6 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.6.1
++
++* Wed Apr  6 2016 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.6.0
++- %R changed to %x in format strings
++
++* Wed Nov 25 2015 Vsevolod Volkov <vvv@mutt.org.ua>
++- fixed memory leaks
++- fixed SIGSEGV when reading hcache in some cases
++
++* Tue Nov 10 2015 Vsevolod Volkov <vvv@mutt.org.ua>
++- fixed error compiling with nntp and without imap or pop3
++- fixed error loading articles after <change-newsgroup> and <quit>
++
++* Wed Sep  2 2015 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.5.24
++- new option nntp_listgroup
++- use range in LISTGROUP command if possible
++
++* Thu Mar 13 2014 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.5.23
++
++* Tue Oct 29 2013 Vsevolod Volkov <vvv@mutt.org.ua>
++- minor bug fixed while removing new articles
++
++* Fri Oct 18 2013 Vsevolod Volkov <vvv@mutt.org.ua>
++- update to 1.5.22
++
++* Tue Nov 27 2012 Vsevolod Volkov <vvv@mutt.org.ua>
++- SASL authentication
++- new option nntp_authenticators
++
++* Fri Nov 16 2012 Vsevolod Volkov <vvv@mutt.org.ua>
++- support of NNTP commands: CAPABILITIES, STARTTLS, LIST NEWSGROUPS,
++  LIST OVERVIEW.FMT, OVER, DATE
++- added bcache support
++- newss URI scheme renamed to snews
++- removed option nntp_reconnect
++
++* Sun Sep 16 2012 Vsevolod Volkov <vvv@mutt.org.ua>
++- internal header caching replaced with hcache
++- new option newsgroups_charset
++
 +* Wed Sep 16 2010 Vsevolod Volkov <vvv@mutt.org.ua>
 +- update to 1.5.21
 +
@@ -101,7 +174,7 @@ diff -udprP mutt-1.5.21.orig/ChangeLog.nntp mutt-1.5.21/ChangeLog.nntp
 +- added space after newsgroup name in .newsrc file
 +
 +* Sun May 18 2003 Vsevolod Volkov <vvv@mutt.org.ua>
-+- nntp patch: fixed SIGSEGV when posting article
++- fixed SIGSEGV when posting article
 +
 +* Sat Mar 22 2003 Vsevolod Volkov <vvv@mutt.org.ua>
 +- update to 1.5.4
@@ -297,7 +370,7 @@ diff -udprP mutt-1.5.21.orig/ChangeLog.nntp mutt-1.5.21/ChangeLog.nntp
 +- add -G option
 +
 +* Tue Apr  4 2000 Vsevolod Volkov <vvv@mutt.kiev.ua>
-+- get default newsserver name from file /etc/nntpserver
++- get default news server name from file /etc/nntpserver
 +- use case insensitive server names
 +- add print-style sequence %s to $newsrc
 +- add -g option
@@ -388,9 +461,9 @@ diff -udprP mutt-1.5.21.orig/ChangeLog.nntp mutt-1.5.21/ChangeLog.nntp
 +
 +* Fri Jan 28 2000 Vsevolod Volkov <vvv@mutt.kiev.ua>
 +- update to 1.1.2
-diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
---- mutt-1.5.21.orig/OPS       2010-03-01 19:56:19.000000000 +0200
-+++ mutt-1.5.21/OPS    2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/OPS mutt-1.10.0/OPS
+--- mutt-1.10.0.orig/OPS       2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/OPS    2018-06-16 17:22:30.190469794 +0300
 @@ -8,14 +8,16 @@ OP_BOUNCE_MESSAGE "remail a message to a
  OP_BROWSER_NEW_FILE "select a new file in this directory"
  OP_BROWSER_VIEW_FILE "view file"
@@ -406,7 +479,7 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_CHECK_NEW "check mailboxes for new mail"
  OP_COMPOSE_ATTACH_FILE "attach file(s) to this message"
  OP_COMPOSE_ATTACH_MESSAGE "attach message(s) to this message"
-+OP_COMPOSE_ATTACH_NEWS_MESSAGE "attach newsmessage(s) to this message"
++OP_COMPOSE_ATTACH_NEWS_MESSAGE "attach news article(s) to this message"
  OP_COMPOSE_EDIT_BCC "edit the BCC list"
  OP_COMPOSE_EDIT_CC "edit the CC list"
  OP_COMPOSE_EDIT_DESCRIPTION "edit attachment description"
@@ -421,7 +494,7 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_COMPOSE_EDIT_SUBJECT "edit the subject of this message"
  OP_COMPOSE_EDIT_TO "edit the TO list"
  OP_CREATE_MAILBOX "create a new mailbox (IMAP only)"
-@@ -85,8 +90,13 @@ OP_EXIT "exit this menu"
+@@ -89,8 +94,13 @@ OP_EXIT "exit this menu"
  OP_FILTER "filter attachment through a shell command"
  OP_FIRST_ENTRY "move to the first entry"
  OP_FLAG_MESSAGE "toggle a message's 'important' flag"
@@ -435,11 +508,11 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_GROUP_REPLY "reply to all recipients"
  OP_HALF_DOWN "scroll down 1/2 page"
  OP_HALF_UP "scroll up 1/2 page"
-@@ -94,11 +104,14 @@ OP_HELP "this screen"
+@@ -98,11 +108,14 @@ OP_HELP "this screen"
  OP_JUMP "jump to an index number"
  OP_LAST_ENTRY "move to the last entry"
  OP_LIST_REPLY "reply to specified mailing list"
-+OP_LOAD_ACTIVE "load active file from NNTP server"
++OP_LOAD_ACTIVE "load list of all newsgroups from NNTP server"
  OP_MACRO "execute a macro"
  OP_MAIL "compose a new mail message"
  OP_MAIN_BREAK_THREAD "break the thread in two"
@@ -450,7 +523,7 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_MAIN_CLEAR_FLAG "clear a status flag from a message"
  OP_MAIN_DELETE_PATTERN "delete messages matching a pattern"
  OP_MAIN_IMAP_FETCH "force retrieval of mail from IMAP server"
-@@ -138,6 +151,7 @@ OP_PAGER_HIDE_QUOTED "toggle display of 
+@@ -142,6 +155,7 @@ OP_PAGER_HIDE_QUOTED "toggle display of
  OP_PAGER_SKIP_QUOTED "skip beyond quoted text"
  OP_PAGER_TOP "jump to the top of the message"
  OP_PIPE "pipe message/attachment to a shell command"
@@ -458,7 +531,7 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_PREV_ENTRY "move to the previous entry"
  OP_PREV_LINE "scroll up one line"
  OP_PREV_PAGE "move to the previous page"
-@@ -146,6 +160,7 @@ OP_QUERY "query external program for add
+@@ -151,6 +165,7 @@ OP_QUERY "query external program for add
  OP_QUERY_APPEND "append new query results to current results"
  OP_QUIT "save changes to mailbox and quit"
  OP_RECALL_MESSAGE "recall a postponed message"
@@ -466,7 +539,7 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_REDRAW "clear and redraw the screen"
  OP_REFORMAT_WINCH "{internal}"
  OP_RENAME_MAILBOX "rename the current mailbox (IMAP only)"
-@@ -160,18 +175,22 @@ OP_SEARCH_TOGGLE "toggle search pattern 
+@@ -165,18 +180,22 @@ OP_SEARCH_TOGGLE "toggle search pattern
  OP_SHELL_ESCAPE "invoke a command in a subshell"
  OP_SORT "sort messages"
  OP_SORT_REVERSE "sort messages in reverse order"
@@ -489,34 +562,40 @@ diff -udprP mutt-1.5.21.orig/OPS mutt-1.5.21/OPS
  OP_VERSION "show the Mutt version number and date"
  OP_VIEW_ATTACH "view attachment using mailcap entry if necessary"
  OP_VIEW_ATTACHMENTS "show MIME attachments"
-diff -udprP mutt-1.5.21.orig/PATCHES mutt-1.5.21/PATCHES
---- mutt-1.5.21.orig/PATCHES   2008-03-19 22:07:06.000000000 +0200
-+++ mutt-1.5.21/PATCHES        2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/PATCHES mutt-1.10.0/PATCHES
+--- mutt-1.10.0.orig/PATCHES   2017-12-03 05:10:17.000000000 +0200
++++ mutt-1.10.0/PATCHES        2018-06-16 17:22:30.190469794 +0300
 @@ -0,0 +1 @@
 +vvv.nntp
-diff -udprP mutt-1.5.21.orig/account.c mutt-1.5.21/account.c
---- mutt-1.5.21.orig/account.c 2009-08-25 22:08:52.000000000 +0300
-+++ mutt-1.5.21/account.c      2010-09-16 13:14:39.000000000 +0300
-@@ -51,6 +51,11 @@ int mutt_account_match (const ACCOUNT* a
+diff -udprP mutt-1.10.0.orig/account.c mutt-1.10.0/account.c
+--- mutt-1.10.0.orig/account.c 2017-12-18 22:27:19.000000000 +0200
++++ mutt-1.10.0/account.c      2018-06-16 17:22:30.191469778 +0300
+@@ -51,8 +51,17 @@ int mutt_account_match (const ACCOUNT* a
      user = PopUser;
  #endif
    
 +#ifdef USE_NNTP
-+  if (a1->type == M_ACCT_TYPE_NNTP && NntpUser)
++  if (a1->type == MUTT_ACCT_TYPE_NNTP && NntpUser)
 +    user = NntpUser;
 +#endif
 +
-   if (a1->flags & a2->flags & M_ACCT_USER)
+   if (a1->flags & a2->flags & MUTT_ACCT_USER)
      return (!strcmp (a1->user, a2->user));
-   if (a1->flags & M_ACCT_USER)
-@@ -130,6 +135,16 @@ void mutt_account_tourl (ACCOUNT* accoun
++#ifdef USE_NNTP
++  if (a1->type == MUTT_ACCT_TYPE_NNTP)
++    return a1->flags & MUTT_ACCT_USER && a1->user[0] ? 0 : 1;
++#endif
+   if (a1->flags & MUTT_ACCT_USER)
+     return (!strcmp (a1->user, user));
+   if (a2->flags & MUTT_ACCT_USER)
+@@ -130,6 +139,16 @@ void mutt_account_tourl (ACCOUNT* accoun
    }
  #endif
  
 +#ifdef USE_NNTP
-+  if (account->type == M_ACCT_TYPE_NNTP)
++  if (account->type == MUTT_ACCT_TYPE_NNTP)
 +  {
-+    if (account->flags & M_ACCT_SSL)
++    if (account->flags & MUTT_ACCT_SSL)
 +      url->scheme = U_NNTPS;
 +    else
 +      url->scheme = U_NNTP;
@@ -524,58 +603,58 @@ diff -udprP mutt-1.5.21.orig/account.c mutt-1.5.21/account.c
 +#endif
 +
    url->host = account->host;
-   if (account->flags & M_ACCT_PORT)
+   if (account->flags & MUTT_ACCT_PORT)
      url->port = account->port;
-@@ -155,6 +170,10 @@ int mutt_account_getuser (ACCOUNT* accou
-   else if ((account->type == M_ACCT_TYPE_POP) && PopUser)
+@@ -155,6 +174,10 @@ int mutt_account_getuser (ACCOUNT* accou
+   else if ((account->type == MUTT_ACCT_TYPE_POP) && PopUser)
      strfcpy (account->user, PopUser, sizeof (account->user));
  #endif
 +#ifdef USE_NNTP
-+  else if ((account->type == M_ACCT_TYPE_NNTP) && NntpUser)
++  else if ((account->type == MUTT_ACCT_TYPE_NNTP) && NntpUser)
 +    strfcpy (account->user, NntpUser, sizeof (account->user));
 +#endif
    else if (option (OPTNOCURSES))
      return -1;
    /* prompt (defaults to unix username), copy into account->user */
-@@ -217,6 +236,10 @@ int mutt_account_getpass (ACCOUNT* accou
-   else if ((account->type == M_ACCT_TYPE_SMTP) && SmtpPass)
+@@ -217,6 +240,10 @@ int mutt_account_getpass (ACCOUNT* accou
+   else if ((account->type == MUTT_ACCT_TYPE_SMTP) && SmtpPass)
      strfcpy (account->pass, SmtpPass, sizeof (account->pass));
  #endif
 +#ifdef USE_NNTP
-+  else if ((account->type == M_ACCT_TYPE_NNTP) && NntpPass)
++  else if ((account->type == MUTT_ACCT_TYPE_NNTP) && NntpPass)
 +    strfcpy (account->pass, NntpPass, sizeof (account->pass));
 +#endif
    else if (option (OPTNOCURSES))
      return -1;
    else
-diff -udprP mutt-1.5.21.orig/account.h mutt-1.5.21/account.h
---- mutt-1.5.21.orig/account.h 2008-03-19 22:07:06.000000000 +0200
-+++ mutt-1.5.21/account.h      2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/account.h mutt-1.10.0/account.h
+--- mutt-1.10.0.orig/account.h 2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/account.h      2018-06-16 17:22:30.191469778 +0300
 @@ -29,7 +29,8 @@ enum
-   M_ACCT_TYPE_NONE = 0,
-   M_ACCT_TYPE_IMAP,
-   M_ACCT_TYPE_POP,
--  M_ACCT_TYPE_SMTP
-+  M_ACCT_TYPE_SMTP,
-+  M_ACCT_TYPE_NNTP
+   MUTT_ACCT_TYPE_NONE = 0,
+   MUTT_ACCT_TYPE_IMAP,
+   MUTT_ACCT_TYPE_POP,
+-  MUTT_ACCT_TYPE_SMTP
++  MUTT_ACCT_TYPE_SMTP,
++  MUTT_ACCT_TYPE_NNTP
  };
  
  /* account flags */
-diff -udprP mutt-1.5.21.orig/attach.h mutt-1.5.21/attach.h
---- mutt-1.5.21.orig/attach.h  2008-03-19 22:07:06.000000000 +0200
-+++ mutt-1.5.21/attach.h       2010-09-16 13:14:39.000000000 +0300
-@@ -50,7 +50,7 @@ void mutt_print_attachment_list (FILE *f
- void mutt_attach_bounce (FILE *, HEADER *, ATTACHPTR **, short, BODY *);
- void mutt_attach_resend (FILE *, HEADER *, ATTACHPTR **, short, BODY *);
--void mutt_attach_forward (FILE *, HEADER *, ATTACHPTR **, short, BODY *);
-+void mutt_attach_forward (FILE *, HEADER *, ATTACHPTR **, short, BODY *, int);
- void mutt_attach_reply (FILE *, HEADER *, ATTACHPTR **, short, BODY *, int);
- #endif /* _ATTACH_H_ */
-diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
---- mutt-1.5.21.orig/browser.c 2010-08-25 19:31:40.000000000 +0300
-+++ mutt-1.5.21/browser.c      2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/attach.h mutt-1.10.0/attach.h
+--- mutt-1.10.0.orig/attach.h  2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/attach.h       2018-06-16 17:22:30.191469778 +0300
+@@ -71,7 +71,7 @@ void mutt_print_attachment_list (ATTACH_
+ void mutt_attach_bounce (FILE *, HEADER *, ATTACH_CONTEXT *, BODY *);
+ void mutt_attach_resend (FILE *, HEADER *, ATTACH_CONTEXT *, BODY *);
+-void mutt_attach_forward (FILE *, HEADER *, ATTACH_CONTEXT *, BODY *);
++void mutt_attach_forward (FILE *, HEADER *, ATTACH_CONTEXT *, BODY *, int);
+ void mutt_attach_reply (FILE *, HEADER *, ATTACH_CONTEXT *, BODY *, int);
+ void mutt_actx_add_attach (ATTACH_CONTEXT *actx, ATTACHPTR *attach);
+diff -udprP mutt-1.10.0.orig/browser.c mutt-1.10.0/browser.c
+--- mutt-1.10.0.orig/browser.c 2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/browser.c      2018-06-16 17:22:30.192469762 +0300
 @@ -32,6 +32,9 @@
  #ifdef USE_IMAP
  #include "imap.h"
@@ -586,7 +665,7 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
  
  #include <stdlib.h>
  #include <dirent.h>
-@@ -50,6 +53,19 @@ static struct mapping_t FolderHelp[] = {
+@@ -50,6 +53,19 @@ static const struct mapping_t FolderHelp
    { NULL,      0 }
  };
  
@@ -599,14 +678,14 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +  { N_("Catchup"),     OP_CATCHUP },
 +  { N_("Mask"),        OP_ENTER_MASK },
 +  { N_("Help"),        OP_HELP },
-+  { NULL }
++  { NULL,              0 }
 +};
 +#endif
 +
  typedef struct folder_t
  {
    struct folder_file *ff;
-@@ -115,9 +131,17 @@ static void browser_sort (struct browser
+@@ -134,9 +150,17 @@ static void browser_sort (struct browser
      case SORT_ORDER:
        return;
      case SORT_DATE:
@@ -623,16 +702,16 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +#endif
        f = browser_compare_size;
        break;
-     case SORT_SUBJECT:
-@@ -324,8 +348,106 @@ folder_format_str (char *dest, size_t de
+     case SORT_COUNT:
+@@ -367,8 +391,112 @@ folder_format_str (char *dest, size_t de
    return (src);
  }
  
 +#ifdef USE_NNTP
 +static const char *
-+newsgroup_format_str (char *dest, size_t destlen, size_t col, char op, const char *src,
-+                     const char *fmt, const char *ifstring, const char *elsestring,
-+                     unsigned long data, format_flag flags)
++newsgroup_format_str (char *dest, size_t destlen, size_t col, int cols, char op,
++                    const char *src, const char *fmt, const char *ifstring,
++                    const char *elsestring, unsigned long data, format_flag flags)
 +{
 +  char fn[SHORT_STRING], tmp[SHORT_STRING];
 +  FOLDER *folder = (FOLDER *) data;
@@ -643,7 +722,7 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +      snprintf (tmp, sizeof (tmp), "%%%sd", fmt);
 +      snprintf (dest, destlen, tmp, folder->num + 1);
 +      break;
-+      
++
 +    case 'f':
 +      strncpy (fn, folder->ff->name, sizeof(fn) - 1);
 +      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
@@ -655,7 +734,7 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +      if (folder->ff->nd->subscribed)
 +      snprintf (dest, destlen, tmp, ' ');
 +      else
-+      snprintf (dest, destlen, tmp, folder->ff->new ? 'N' : 'u');
++      snprintf (dest, destlen, tmp, folder->ff->nd->new ? 'N' : 'u');
 +      break;
 +
 +    case 'M':
@@ -667,14 +746,14 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +      break;
 +
 +    case 's':
-+      if (flags & M_FORMAT_OPTIONAL)
++      if (flags & MUTT_FORMAT_OPTIONAL)
 +      {
 +      if (folder->ff->nd->unread != 0)
-+        mutt_FormatString (dest, destlen, col, ifstring, newsgroup_format_str,
-+              data, flags);
++        mutt_FormatString (dest, destlen, col, cols, ifstring,
++              newsgroup_format_str, data, flags);
 +      else
-+        mutt_FormatString (dest, destlen, col, elsestring, newsgroup_format_str,
-+              data, flags);
++        mutt_FormatString (dest, destlen, col, cols, elsestring,
++              newsgroup_format_str, data, flags);
 +      }
 +      else if (Context && Context->data == folder->ff->nd)
 +      {
@@ -711,8 +790,14 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +    case 'd':
 +      if (folder->ff->nd->desc != NULL)
 +      {
++      char *buf = safe_strdup (folder->ff->nd->desc);
++      if (NewsgroupsCharset && *NewsgroupsCharset)
++        mutt_convert_string (&buf, NewsgroupsCharset, Charset, MUTT_ICONV_HOOK_FROM);
++      mutt_filter_unprintable (&buf);
++
 +      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
-+      snprintf (dest, destlen, tmp, folder->ff->nd->desc);
++      snprintf (dest, destlen, tmp, buf);
++      FREE (&buf);
 +      }
 +      else
 +      {
@@ -726,24 +811,24 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +#endif /* USE_NNTP */
 +
  static void add_folder (MUTTMENU *m, struct browser_state *state,
--                      const char *name, const struct stat *s, int new)
-+                      const char *name, const struct stat *s,
-+                      void *data, int new)
+-                      const char *name, const struct stat *s, BUFFY *b)
++                      const char *name, const struct stat *s, BUFFY *b,
++                      void *data)
  {
    if (state->entrylen == state->entrymax)
    {
-@@ -354,6 +476,10 @@ static void add_folder (MUTTMENU *m, str
+@@ -406,6 +534,10 @@ static void add_folder (MUTTMENU *m, str
  #ifdef USE_IMAP
    (state->entry)[state->entrylen].imap = 0;
  #endif
 +#ifdef USE_NNTP
 +  if (option (OPTNEWS))
-+    (state->entry)[state->entrylen].nd = (NNTP_DATA *) data;
++    (state->entry)[state->entrylen].nd = (NNTP_DATA *)data;
 +#endif
    (state->entrylen)++;
  }
  
-@@ -369,9 +495,35 @@ static void init_state (struct browser_s
+@@ -421,9 +553,35 @@ static void init_state (struct browser_s
      menu->data = state->entry;
  }
  
@@ -754,23 +839,23 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +#ifdef USE_NNTP
 +  if (option (OPTNEWS))
 +  {
-+    LIST *tmp;
-+    NNTP_DATA *data;
-+    NNTP_SERVER *news = CurrentNewsSrv;
++    NNTP_SERVER *nserv = CurrentNewsSrv;
++    unsigned int i;
 +
 +/*  mutt_buffy_check (0); */
 +    init_state (state, menu);
 +
-+    for (tmp = news->list; tmp; tmp = tmp->next)
++    for (i = 0; i < nserv->groups_num; i++)
 +    {
-+      if (!(data = (NNTP_DATA *)tmp->data))
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++      if (!nntp_data)
 +      continue;
-+      if (prefix && *prefix && strncmp (prefix, data->group,
-+          strlen (prefix)) != 0)
++      if (prefix && *prefix &&
++        strncmp (prefix, nntp_data->group, strlen (prefix)))
 +      continue;
-+      if (!((regexec (Mask.rx, data->group, 0, NULL, 0) == 0) ^ Mask.not))
++      if (!((regexec (Mask.rx, nntp_data->group, 0, NULL, 0) == 0) ^ Mask.not))
 +      continue;
-+      add_folder (menu, state, data->group, NULL, data, data->new);
++      add_folder (menu, state, nntp_data->group, NULL, NULL, nntp_data);
 +    }
 +  }
 +  else
@@ -779,16 +864,15 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
    struct stat s;
    DIR *dp;
    struct dirent *de;
-@@ -432,17 +584,40 @@ static int examine_directory (MUTTMENU *
-     tmp = Incoming;
-     while (tmp && mutt_strcmp (buffer, tmp->path))
-       tmp = tmp->next;
--    add_folder (menu, state, de->d_name, &s, (tmp) ? tmp->new : 0);
-+    add_folder (menu, state, de->d_name, &s, NULL, (tmp) ? tmp->new : 0);
-+  }
-+  closedir (dp);
+@@ -492,17 +650,40 @@ static int examine_directory (MUTTMENU *
+       tmp->msg_count = Context->msgcount;
+       tmp->msg_unread = Context->unread;
+     }
+-    add_folder (menu, state, de->d_name, &s, tmp);
++    add_folder (menu, state, de->d_name, &s, tmp, NULL);
    }
--  closedir (dp);  
+   closedir (dp);  
++  }
    browser_sort (state);
    return 0;
  }
@@ -802,56 +886,56 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +#ifdef USE_NNTP
 +  if (option (OPTNEWS))
 +  {
-+    LIST *tmp;
-+    NNTP_DATA *data;
-+    NNTP_SERVER *news = CurrentNewsSrv;
++    NNTP_SERVER *nserv = CurrentNewsSrv;
++    unsigned int i;
 +
 +/*  mutt_buffy_check (0); */
 +    init_state (state, menu);
 +
-+    for (tmp = news->list; tmp; tmp = tmp->next)
++    for (i = 0; i < nserv->groups_num; i++)
 +    {
-+      if ((data = (NNTP_DATA *) tmp->data) != NULL && (data->new ||
-+        (data->subscribed && (!option (OPTSHOWONLYUNREAD) || data->unread))))
-+        add_folder (menu, state, data->group, NULL, data, data->new);
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++      if (nntp_data && (nntp_data->new || (nntp_data->subscribed &&
++       (nntp_data->unread || !option (OPTSHOWONLYUNREAD)))))
++      add_folder (menu, state, nntp_data->group, NULL, NULL, nntp_data);
 +    }
 +  }
 +  else
 +#endif
 +  {
    BUFFY *tmp = Incoming;
+   if (!Incoming)
+@@ -527,14 +708,21 @@ static int examine_mailboxes (MUTTMENU *
  #ifdef USE_IMAP
-   struct mailbox_state mbox;
-@@ -460,14 +635,21 @@ static int examine_mailboxes (MUTTMENU *
      if (mx_is_imap (tmp->path))
      {
-       imap_mailbox_state (tmp->path, &mbox);
--      add_folder (menu, state, tmp->path, NULL, mbox.new);
-+      add_folder (menu, state, tmp->path, NULL, NULL, mbox.new);
+-      add_folder (menu, state, buffer, NULL, tmp);
++      add_folder (menu, state, buffer, NULL, tmp, NULL);
        continue;
      }
  #endif
  #ifdef USE_POP
      if (mx_is_pop (tmp->path))
      {
--      add_folder (menu, state, tmp->path, NULL, tmp->new);
-+      add_folder (menu, state, tmp->path, NULL, NULL, tmp->new);
+-      add_folder (menu, state, buffer, NULL, tmp);
++      add_folder (menu, state, buffer, NULL, tmp, NULL);
 +      continue;
 +    }
 +#endif
 +#ifdef USE_NNTP
 +    if (mx_is_nntp (tmp->path))
 +    {
-+      add_folder (menu, state, tmp->path, NULL, NULL, tmp->new);
++      add_folder (menu, state, buffer, NULL, tmp, NULL);
        continue;
      }
  #endif
-@@ -496,15 +678,20 @@ static int examine_mailboxes (MUTTMENU *
-     strfcpy (buffer, NONULL(tmp->path), sizeof (buffer));
-     mutt_pretty_mailbox (buffer, sizeof (buffer));
+@@ -560,15 +748,20 @@ static int examine_mailboxes (MUTTMENU *
+       s.st_mtime = st2.st_mtime;
+     }
  
--    add_folder (menu, state, buffer, &s, tmp->new);
-+    add_folder (menu, state, buffer, &s, NULL, tmp->new);
+-    add_folder (menu, state, buffer, &s, tmp);
++    add_folder (menu, state, buffer, &s, tmp, NULL);
    }
    while ((tmp = tmp->next));
 +  }
@@ -868,20 +952,20 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
    return (regexec (re, ((struct folder_file *) menu->data)[n].name, 0, NULL, 0));
  }
  
-@@ -515,6 +702,12 @@ static void folder_entry (char *s, size_
+@@ -579,6 +772,12 @@ static void folder_entry (char *s, size_
    folder.ff = &((struct folder_file *) menu->data)[num];
    folder.num = num;
    
 +#ifdef USE_NNTP
 +  if (option (OPTNEWS))
-+    mutt_FormatString (s, slen, 0, NONULL(GroupFormat), newsgroup_format_str, 
-+      (unsigned long) &folder, M_FORMAT_ARROWCURSOR);
++    mutt_FormatString (s, slen, 0, MuttIndexWindow->cols, NONULL(GroupFormat),
++      newsgroup_format_str, (unsigned long) &folder, MUTT_FORMAT_ARROWCURSOR);
 +  else
 +#endif
-   mutt_FormatString (s, slen, 0, NONULL(FolderFormat), folder_format_str, 
-       (unsigned long) &folder, M_FORMAT_ARROWCURSOR);
+   mutt_FormatString (s, slen, 0, MuttIndexWindow->cols, NONULL(FolderFormat), folder_format_str, 
+       (unsigned long) &folder, MUTT_FORMAT_ARROWCURSOR);
  }
-@@ -535,6 +728,17 @@ static void init_menu (struct browser_st
+@@ -599,6 +798,17 @@ static void init_menu (struct browser_st
  
    menu->tagged = 0;
    
@@ -899,7 +983,7 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
    if (buffy)
      snprintf (title, titlelen, _("Mailboxes [%d]"), mutt_buffy_check (0));
    else
-@@ -590,6 +794,31 @@ void _mutt_select_file (char *f, size_t 
+@@ -654,6 +864,31 @@ void _mutt_select_file (char *f, size_t
    if (!folder)
      strfcpy (LastDirBackup, LastDir, sizeof (LastDirBackup));
  
@@ -910,15 +994,15 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +      strfcpy (prefix, f, sizeof (prefix));
 +    else
 +    {
-+      LIST *list;
++      NNTP_SERVER *nserv = CurrentNewsSrv;
++      unsigned int i;
 +
 +      /* default state for news reader mode is browse subscribed newsgroups */
 +      buffy = 0;
-+      for (list = CurrentNewsSrv->list; list; list = list->next)
++      for (i = 0; i < nserv->groups_num; i++)
 +      {
-+      NNTP_DATA *data = (NNTP_DATA *) list->data;
-+
-+      if (data && data->subscribed)
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++      if (nntp_data && nntp_data->subscribed)
 +      {
 +        buffy = 1;
 +        break;
@@ -931,29 +1015,29 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
    if (*f)
    {
      mutt_expand_path (f, flen);
-@@ -686,6 +915,9 @@ void _mutt_select_file (char *f, size_t 
+@@ -750,6 +985,9 @@ void _mutt_select_file (char *f, size_t
      menu->tag = file_tag;
  
    menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_FOLDER,
 +#ifdef USE_NNTP
-+    (option (OPTNEWS)) ? FolderNewsHelp :
++    option (OPTNEWS) ? FolderNewsHelp :
 +#endif
      FolderHelp);
+   mutt_push_current_menu (menu);
  
-   init_menu (&state, menu, title, sizeof (title), buffy);
-@@ -824,7 +1056,11 @@ void _mutt_select_file (char *f, size_t 
+@@ -889,7 +1127,11 @@ void _mutt_select_file (char *f, size_t
          }
        }
  
 +#ifdef USE_NNTP
-+      if (buffy || option (OPTNEWS)) /* news have not path */
++      if (buffy || option (OPTNEWS))
 +#else
        if (buffy)
 +#endif
        {
          strfcpy (f, state.entry[menu->current].name, flen);
          mutt_expand_path (f, flen);
-@@ -882,14 +1118,6 @@ void _mutt_select_file (char *f, size_t 
+@@ -946,14 +1188,6 @@ void _mutt_select_file (char *f, size_t
          break;
  
  #ifdef USE_IMAP
@@ -968,7 +1052,7 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
        case OP_BROWSER_TOGGLE_LSUB:
        if (option (OPTIMAPLSUB))
          unset_option (OPTIMAPLSUB);
-@@ -990,6 +1218,11 @@ void _mutt_select_file (char *f, size_t 
+@@ -1055,6 +1289,11 @@ void _mutt_select_file (char *f, size_t
        
        case OP_CHANGE_DIRECTORY:
  
@@ -980,7 +1064,7 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
        strfcpy (buf, LastDir, sizeof (buf));
  #ifdef USE_IMAP
        if (!state.imap_browse)
-@@ -1255,6 +1488,190 @@ void _mutt_select_file (char *f, size_t 
+@@ -1321,6 +1560,209 @@ void _mutt_select_file (char *f, size_t
          else
            mutt_error _("Error trying to view file");
        }
@@ -992,14 +1076,19 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +      if (option (OPTNEWS))
 +      {
 +        struct folder_file *f = &state.entry[menu->current];
-+        NNTP_DATA *nd;
++        int rc;
++        NNTP_DATA *nntp_data;
++
++        rc = nntp_newsrc_parse (CurrentNewsSrv);
++        if (rc < 0)
++          break;
 +
 +        if (i == OP_CATCHUP)
-+          nd = mutt_newsgroup_catchup (CurrentNewsSrv, f->name);
++          nntp_data = mutt_newsgroup_catchup (CurrentNewsSrv, f->name);
 +        else
-+          nd = mutt_newsgroup_uncatchup (CurrentNewsSrv, f->name);
++          nntp_data = mutt_newsgroup_uncatchup (CurrentNewsSrv, f->name);
 +
-+        if (nd)
++        if (nntp_data)
 +        {
 +/*        FOLDER folder;
 +          struct folder_file ff;
@@ -1008,42 +1097,50 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +          folder.ff = &ff;
 +          folder.ff->name = f->name;
 +          folder.ff->st = NULL;
-+          folder.ff->is_new = nd->new;
-+          folder.ff->nd = nd;
++          folder.ff->is_new = nntp_data->new;
++          folder.ff->nntp_data = nntp_data;
 +          FREE (&f->desc);
-+          mutt_FormatString (buffer, sizeof (buffer), 0, NONULL(GroupFormat),
-+                newsgroup_format_str, (unsigned long) &folder,
-+                M_FORMAT_ARROWCURSOR);
++          mutt_FormatString (buffer, sizeof (buffer), 0, MuttIndexWindow->cols,
++                      NONULL(GroupFormat), newsgroup_format_str,
++                      (unsigned long) &folder, MUTT_FORMAT_ARROWCURSOR);
 +          f->desc = safe_strdup (buffer); */
++          nntp_newsrc_update (CurrentNewsSrv);
 +          if (menu->current + 1 < menu->max)
 +            menu->current++;
 +          menu->redraw = REDRAW_MOTION_RESYNCH;
 +        }
++        if (rc)
++          menu->redraw = REDRAW_INDEX;
++        nntp_newsrc_close (CurrentNewsSrv);
 +      }
 +      break;
 +
 +      case OP_LOAD_ACTIVE:
-+      if (!option (OPTNEWS))
-+        break;
-+
++      if (option (OPTNEWS))
 +      {
-+        LIST *tmp;
-+        NNTP_DATA *data;
++        NNTP_SERVER *nserv = CurrentNewsSrv;
++        unsigned int i;
++
++        if (nntp_newsrc_parse (nserv) < 0)
++          break;
 +
-+        for (tmp = CurrentNewsSrv->list; tmp; tmp = tmp->next)
++        for (i = 0; i < nserv->groups_num; i++)
 +        {
-+          if ((data = (NNTP_DATA *)tmp->data))
-+            data->deleted = 1;
++          NNTP_DATA *nntp_data = nserv->groups_list[i];
++          if (nntp_data)
++            nntp_data->deleted = 1;
 +        }
-+      }
-+      nntp_get_active (CurrentNewsSrv);
++        nntp_active_fetch (nserv, 1);
++        nntp_newsrc_update (nserv);
++        nntp_newsrc_close (nserv);
 +
-+      destroy_state (&state);
-+      if (buffy)
-+        examine_mailboxes (menu, &state);
-+      else
-+        examine_directory (menu, &state, NULL, NULL);
-+      init_menu (&state, menu, title, sizeof (title), buffy);
++        destroy_state (&state);
++        if (buffy)
++          examine_mailboxes (menu, &state);
++        else
++          examine_directory (menu, &state, NULL, NULL);
++        init_menu (&state, menu, title, sizeof (title), buffy);
++      }
 +      break;
 +#endif /* USE_NNTP */
 +
@@ -1054,13 +1151,13 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +#ifdef USE_NNTP
 +      case OP_SUBSCRIBE_PATTERN:
 +      case OP_UNSUBSCRIBE_PATTERN:
-+        if (option (OPTNEWS))
++      if (option (OPTNEWS))
 +      {
++        NNTP_SERVER *nserv = CurrentNewsSrv;
++        NNTP_DATA *nntp_data;
 +        regex_t *rx = (regex_t *) safe_malloc (sizeof (regex_t));
 +        char *s = buf;
-+        int j = menu->current;
-+        NNTP_DATA *nd;
-+        NNTP_SERVER *news = CurrentNewsSrv;
++        int rc, j = menu->current;
 +
 +        if (i == OP_SUBSCRIBE_PATTERN || i == OP_UNSUBSCRIBE_PATTERN)
 +        {
@@ -1078,7 +1175,8 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +            break;
 +          }
 +
-+          if ((err = REGCOMP (rx, s, REG_NOSUB)) != 0)
++          err = REGCOMP (rx, s, REG_NOSUB);
++          if (err)
 +          {
 +            regerror (err, rx, buf, sizeof (buf));
 +            regfree (rx);
@@ -1095,6 +1193,10 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +          break;
 +        }
 +
++        rc = nntp_newsrc_parse (nserv);
++        if (rc < 0)
++          break;
++
 +        for ( ; j < state.entrylen; j++)
 +        {
 +          struct folder_file *f = &state.entry[j];
@@ -1103,22 +1205,22 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +                regexec (rx, f->name, 0, NULL, 0) == 0)
 +          {
 +            if (i == OP_BROWSER_SUBSCRIBE || i == OP_SUBSCRIBE_PATTERN)
-+              nd = mutt_newsgroup_subscribe (news, f->name);
++              nntp_data = mutt_newsgroup_subscribe (nserv, f->name);
 +            else
-+              nd = mutt_newsgroup_unsubscribe (news, f->name);
-+/*          if (nd)
++              nntp_data = mutt_newsgroup_unsubscribe (nserv, f->name);
++/*          if (nntp_data)
 +            {
 +              FOLDER folder;
 +              char buffer[_POSIX_PATH_MAX + SHORT_STRING];
 +
 +              folder.name = f->name;
 +              folder.f = NULL;
-+              folder.new = nd->new;
-+              folder.nd = nd;
++              folder.new = nntp_data->new;
++              folder.nd = nntp_data;
 +              FREE (&f->desc);
-+              mutt_FormatString (buffer, sizeof (buffer), 0, NONULL(GroupFormat),
-+                      newsgroup_format_str, (unsigned long) &folder,
-+                      M_FORMAT_ARROWCURSOR);
++              mutt_FormatString (buffer, sizeof (buffer), 0, MuttIndexWindow->cols,
++                              NONULL(GroupFormat), newsgroup_format_str,
++                              (unsigned long) &folder, MUTT_FORMAT_ARROWCURSOR);
 +              f->desc = safe_strdup (buffer);
 +            } */
 +          }
@@ -1132,26 +1234,27 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
 +        }
 +        if (i == OP_SUBSCRIBE_PATTERN)
 +        {
-+          LIST *grouplist = NULL;
++          unsigned int i;
 +
-+          if (news)
-+            grouplist = news->list;
-+          for (; grouplist; grouplist = grouplist->next)
++          for (i = 0; nserv && i < nserv->groups_num; i++)
 +          {
-+            nd = (NNTP_DATA *) grouplist->data;
-+            if (nd && nd->group && !nd->subscribed)
++            nntp_data = nserv->groups_list[i];
++            if (nntp_data && nntp_data->group && !nntp_data->subscribed)
 +            {
-+              if (regexec (rx, nd->group, 0, NULL, 0) == 0)
++              if (regexec (rx, nntp_data->group, 0, NULL, 0) == 0)
 +              {
-+                mutt_newsgroup_subscribe (news, nd->group);
-+                add_folder (menu, &state, nd->group, NULL, nd, nd->new);
++                mutt_newsgroup_subscribe (nserv, nntp_data->group);
++                add_folder (menu, &state, nntp_data->group, NULL, NULL, nntp_data);
 +              }
 +            }
 +          }
 +          init_menu (&state, menu, title, sizeof (title), buffy);
 +        }
-+        mutt_newsrc_update (news);
-+        nntp_clear_cacheindex (news);
++        if (rc > 0)
++          menu->redraw = REDRAW_FULL;
++        nntp_newsrc_update (nserv);
++        nntp_clear_cache (nserv);
++        nntp_newsrc_close (nserv);
 +        if (i != OP_BROWSER_SUBSCRIBE && i != OP_BROWSER_UNSUBSCRIBE)
 +          regfree (rx);
 +        FREE (&rx);
@@ -1171,9 +1274,9 @@ diff -udprP mutt-1.5.21.orig/browser.c mutt-1.5.21/browser.c
      }
    }
    
-diff -udprP mutt-1.5.21.orig/browser.h mutt-1.5.21/browser.h
---- mutt-1.5.21.orig/browser.h 2009-01-05 21:20:53.000000000 +0200
-+++ mutt-1.5.21/browser.h      2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/browser.h mutt-1.10.0/browser.h
+--- mutt-1.10.0.orig/browser.h 2017-12-18 22:27:19.000000000 +0200
++++ mutt-1.10.0/browser.h      2018-06-16 17:22:30.192469762 +0300
 @@ -19,6 +19,10 @@
  #ifndef _BROWSER_H
  #define _BROWSER_H 1
@@ -1185,58 +1288,56 @@ diff -udprP mutt-1.5.21.orig/browser.h mutt-1.5.21/browser.h
  struct folder_file
  {
    mode_t mode;
-@@ -37,6 +41,9 @@ struct folder_file
-   unsigned selectable : 1;
-   unsigned inferiors : 1;
+@@ -44,6 +48,9 @@ struct folder_file
  #endif
+   unsigned has_buffy : 1;
+   unsigned local : 1; /* folder is on local filesystem */
 +#ifdef USE_NNTP
 +  NNTP_DATA *nd;
 +#endif
    unsigned tagged : 1;
  };
  
-diff -udprP mutt-1.5.21.orig/buffy.c mutt-1.5.21/buffy.c
---- mutt-1.5.21.orig/buffy.c   2010-09-13 20:19:55.000000000 +0300
-+++ mutt-1.5.21/buffy.c        2010-09-16 13:14:39.000000000 +0300
-@@ -405,6 +405,9 @@ int mutt_buffy_check (int force)
+diff -udprP mutt-1.10.0.orig/buffy.c mutt-1.10.0/buffy.c
+--- mutt-1.10.0.orig/buffy.c   2018-04-17 02:31:03.000000000 +0300
++++ mutt-1.10.0/buffy.c        2018-06-16 17:22:30.192469762 +0300
+@@ -512,6 +512,9 @@ int mutt_buffy_check (int force)
  
    /* check device ID and serial number instead of comparing paths */
-   if (!Context || Context->magic == M_IMAP || Context->magic == M_POP
+   if (!Context || Context->magic == MUTT_IMAP || Context->magic == MUTT_POP
 +#ifdef USE_NNTP
-+      || Context->magic == M_NNTP
++      || Context->magic == MUTT_NNTP
 +#endif
        || stat (Context->path, &contex_sb) != 0)
    {
      contex_sb.st_dev=0;
-@@ -421,6 +424,11 @@ int mutt_buffy_check (int force)
-       tmp->magic = M_POP;
+@@ -535,6 +538,11 @@ int mutt_buffy_check (int force)
+       tmp->magic = MUTT_POP;
        else
  #endif
 +#ifdef USE_NNTP
-+      if ((tmp->magic == M_NNTP) || mx_is_nntp (tmp->path))
-+      tmp->magic = M_NNTP;
++      if ((tmp->magic == MUTT_NNTP) || mx_is_nntp (tmp->path))
++      tmp->magic = MUTT_NNTP;
 +      else
 +#endif
        if (stat (tmp->path, &sb) != 0 || (S_ISREG(sb.st_mode) && sb.st_size == 0) ||
          (!tmp->magic && (tmp->magic = mx_get_magic (tmp->path)) <= 0))
        {
-@@ -436,8 +444,11 @@ int mutt_buffy_check (int force)
+@@ -550,7 +558,11 @@ int mutt_buffy_check (int force)
      /* check to see if the folder is the currently selected folder
       * before polling */
      if (!Context || !Context->path ||
--      (( tmp->magic == M_IMAP || tmp->magic == M_POP )
--          ? mutt_strcmp (tmp->path, Context->path) :
-+      (( tmp->magic == M_IMAP || tmp->magic == M_POP
 +#ifdef USE_NNTP
-+          || tmp->magic == M_NNTP
++      (( tmp->magic == MUTT_IMAP || tmp->magic == MUTT_POP || tmp->magic == MUTT_NNTP )
++#else
+       (( tmp->magic == MUTT_IMAP || tmp->magic == MUTT_POP )
 +#endif
-+          ) ? mutt_strcmp (tmp->path, Context->path) :
+           ? mutt_strcmp (tmp->path, Context->path) :
              (sb.st_dev != contex_sb.st_dev || sb.st_ino != contex_sb.st_ino)))
      {
-       switch (tmp->magic)
-diff -udprP mutt-1.5.21.orig/complete.c mutt-1.5.21/complete.c
---- mutt-1.5.21.orig/complete.c        2009-01-05 21:20:53.000000000 +0200
-+++ mutt-1.5.21/complete.c     2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/complete.c mutt-1.10.0/complete.c
+--- mutt-1.10.0.orig/complete.c        2017-12-03 05:10:17.000000000 +0200
++++ mutt-1.10.0/complete.c     2018-06-16 17:22:30.192469762 +0300
 @@ -25,6 +25,9 @@
  #include "mailbox.h"
  #include "imap.h"
@@ -1247,7 +1348,7 @@ diff -udprP mutt-1.5.21.orig/complete.c mutt-1.5.21/complete.c
  
  #include <dirent.h>
  #include <string.h>
-@@ -48,9 +51,71 @@ int mutt_complete (char *s, size_t slen)
+@@ -48,9 +51,70 @@ int mutt_complete (char *s, size_t slen)
    char filepart[_POSIX_PATH_MAX];
  #ifdef USE_IMAP
    char imap_path[LONG_STRING];
@@ -1258,42 +1359,42 @@ diff -udprP mutt-1.5.21.orig/complete.c mutt-1.5.21/complete.c
 +#ifdef USE_NNTP
 +  if (option (OPTNEWS))
 +  {
-+    LIST *l = CurrentNewsSrv->list;
++    NNTP_SERVER *nserv = CurrentNewsSrv;
++    unsigned int n = 0;
 +
 +    strfcpy (filepart, s, sizeof (filepart));
 +
-+    /*
-+     * special case to handle when there is no filepart yet.
-+     * find the first subscribed newsgroup
-+     */
-+    if ((len = mutt_strlen (filepart)) == 0)
++    /* special case to handle when there is no filepart yet
++     * find the first subscribed newsgroup */
++    len = mutt_strlen (filepart);
++    if (len == 0)
 +    {
-+      for (; l; l = l->next)
++      for (; n < nserv->groups_num; n++)
 +      {
-+      NNTP_DATA *data = (NNTP_DATA *)l->data;
++      NNTP_DATA *nntp_data = nserv->groups_list[n];
 +
-+      if (data && data->subscribed)
++      if (nntp_data && nntp_data->subscribed)
 +      {
-+        strfcpy (filepart, data->group, sizeof (filepart));
-+        init++;
-+        l = l->next;
++        strfcpy (filepart, nntp_data->group, sizeof (filepart));
++        init = 1;
++        n++;
 +        break;
 +      }
 +      }
 +    }
 +
-+    for (; l; l = l->next)
++    for (; n < nserv->groups_num; n++)
 +    {
-+      NNTP_DATA *data = (NNTP_DATA *)l->data;
++      NNTP_DATA *nntp_data = nserv->groups_list[n];
 +
-+      if (data && data->subscribed &&
-+        mutt_strncmp (data->group, filepart, len) == 0)
++      if (nntp_data && nntp_data->subscribed &&
++        mutt_strncmp (nntp_data->group, filepart, len) == 0)
 +      {
 +      if (init)
 +      {
-+        for (i = 0; filepart[i] && data->group[i]; i++)
++        for (i = 0; filepart[i] && nntp_data->group[i]; i++)
 +        {
-+          if (filepart[i] != data->group[i])
++          if (filepart[i] != nntp_data->group[i])
 +          {
 +            filepart[i] = 0;
 +            break;
@@ -1303,14 +1404,13 @@ diff -udprP mutt-1.5.21.orig/complete.c mutt-1.5.21/complete.c
 +      }
 +      else
 +      {
-+        strfcpy (filepart, data->group, sizeof (filepart));
++        strfcpy (filepart, nntp_data->group, sizeof (filepart));
 +        init = 1;
 +      }
 +      }
 +    }
 +
 +    strcpy (s, filepart);
-+
 +    return (init ? 0 : -1);
 +  }
 +#endif
@@ -1319,10 +1419,10 @@ diff -udprP mutt-1.5.21.orig/complete.c mutt-1.5.21/complete.c
    /* we can use '/' as a delimiter, imap_complete rewrites it */
    if (*s == '=' || *s == '+' || *s == '!')
    {
-diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
---- mutt-1.5.21.orig/compose.c 2010-04-14 21:50:19.000000000 +0300
-+++ mutt-1.5.21/compose.c      2010-09-16 13:14:39.000000000 +0300
-@@ -32,10 +32,15 @@
+diff -udprP mutt-1.10.0.orig/compose.c mutt-1.10.0/compose.c
+--- mutt-1.10.0.orig/compose.c 2018-04-17 02:31:03.000000000 +0300
++++ mutt-1.10.0/compose.c      2018-06-16 17:22:30.193469746 +0300
+@@ -32,11 +32,16 @@
  #include "mailbox.h"
  #include "sort.h"
  #include "charset.h"
@@ -1331,14 +1431,15 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
  #ifdef MIXMASTER
  #include "remailer.h"
  #endif
-+  
 +#ifdef USE_NNTP
 +#include "nntp.h"
 +#endif
++
  #include <errno.h>
  #include <string.h>
-@@ -67,11 +72,17 @@ enum
+ #include <sys/stat.h>
+@@ -68,10 +73,20 @@ enum
    HDR_CRYPT,
    HDR_CRYPTINFO,
  
@@ -1351,140 +1452,131 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
    HDR_ATTACH  = (HDR_FCC + 5) /* where to start printing the attachments */
  };
  
--#define HDR_XOFFSET 10
--#define TITLE_FMT "%10s" /* Used for Prompts, which are ASCII */
-+#define HDR_XOFFSET 14
-+#define TITLE_FMT "%14s" /* Used for Prompts, which are ASCII */
- #define W (COLS - HDR_XOFFSET - SidebarWidth)
- static char *Prompts[] =
-@@ -83,6 +94,16 @@ static char *Prompts[] =
-   "Subject: ",
-   "Reply-To: ",
-   "Fcc: "
 +#ifdef USE_NNTP
-+#ifdef MIXMASTER
-+  ,""
++int HeaderPadding[HDR_XCOMMENTTO + 1] = {0};
++#else
+ int HeaderPadding[HDR_CRYPTINFO + 1] = {0};
 +#endif
-+  ,""
-+  ,""
-+  ,"Newsgroups: "
-+  ,"Followup-To: "
-+  ,"X-Comment-To: "
+ int MaxHeaderWidth = 0;
+ #define HDR_XOFFSET MaxHeaderWidth
+@@ -109,6 +124,14 @@ static const char * const Prompts[] =
+    * than 15-20 character cells.
+    */
+   N_("Sign as: ")
++#ifdef USE_NNTP
++  /* L10N: Compose menu field.  May not want to translate. */
++  ,N_("Newsgroups: ")
++  /* L10N: Compose menu field.  May not want to translate. */
++  ,N_("Followup-To: ")
++  /* L10N: Compose menu field.  May not want to translate. */
++  ,N_("X-Comment-To: ")
 +#endif
  };
  
- static struct mapping_t ComposeHelp[] = {
-@@ -97,6 +118,19 @@ static struct mapping_t ComposeHelp[] =
+ static const struct mapping_t ComposeHelp[] = {
+@@ -126,6 +149,21 @@ static const struct mapping_t ComposeHel
    { NULL,     0 }
  };
  
 +#ifdef USE_NNTP
 +static struct mapping_t ComposeNewsHelp[] = {
-+  { N_("Send"),    OP_COMPOSE_SEND_MESSAGE },
-+  { N_("Abort"),   OP_EXIT },
-+  { "Newsgroups",  OP_COMPOSE_EDIT_NEWSGROUPS },
-+  { "Subj",        OP_COMPOSE_EDIT_SUBJECT },
-+  { N_("Attach file"),  OP_COMPOSE_ATTACH_FILE },
-+  { N_("Descrip"), OP_COMPOSE_EDIT_DESCRIPTION },
-+  { N_("Help"),    OP_HELP },
-+  { NULL }
++  { N_("Send"),               OP_COMPOSE_SEND_MESSAGE },
++  { N_("Abort"),      OP_EXIT },
++  /* L10N: compose menu help line entry */
++  { N_("Newsgroups"), OP_COMPOSE_EDIT_NEWSGROUPS },
++  /* L10N: compose menu help line entry */
++  { N_("Subj"),               OP_COMPOSE_EDIT_SUBJECT },
++  { N_("Attach file"),        OP_COMPOSE_ATTACH_FILE },
++  { N_("Descrip"),    OP_COMPOSE_EDIT_DESCRIPTION },
++  { N_("Help"),               OP_HELP },
++  { NULL,             0 }
 +};
 +#endif
 +
- static void snd_entry (char *b, size_t blen, MUTTMENU *menu, int num)
+ static void calc_header_width_padding (int idx, const char *header, int calc_max)
  {
-     mutt_FormatString (b, blen, 0, NONULL (AttachFormat), mutt_attach_fmt,
-@@ -112,7 +146,7 @@ static void redraw_crypt_lines (HEADER *
- {
-   int off = 0;
--  mvaddstr (HDR_CRYPT, SidebarWidth, "Security: ");
-+  mvprintw (HDR_CRYPT, SidebarWidth, TITLE_FMT, "Security: ");
-   if ((WithCrypto & (APPLICATION_PGP | APPLICATION_SMIME)) == 0)
-   {
-@@ -148,12 +182,15 @@ static void redraw_crypt_lines (HEADER *
-   clrtoeol ();
-   if ((WithCrypto & APPLICATION_PGP)
--      && msg->security & APPLICATION_PGP  && msg->security & SIGN)
--    printw ("%s%s", _(" sign as: "), PgpSignAs ? PgpSignAs : _("<default>"));
-+      && msg->security & APPLICATION_PGP  && msg->security & SIGN) {
-+    printw (TITLE_FMT, _(" sign as: "));
-+    printw ("%s", PgpSignAs ? PgpSignAs : _("<default>"));
-+  }
-   if ((WithCrypto & APPLICATION_SMIME)
-       && msg->security & APPLICATION_SMIME  && msg->security & SIGN) {
--      printw ("%s%s", _(" sign as: "), SmimeDefaultKey ? SmimeDefaultKey : _("<default>"));
-+    printw (TITLE_FMT, _(" sign as: "));
-+    printw ("%s", SmimeDefaultKey ? SmimeDefaultKey : _("<default>"));
-   }
-   if ((WithCrypto & APPLICATION_SMIME)
-@@ -175,7 +212,7 @@ static void redraw_mix_line (LIST *chain
-   int c;
-   char *t;
+   int width;
+@@ -161,7 +199,14 @@ static void init_header_padding (void)
+    * the other fields look funny. */
+   calc_header_width_padding (HDR_CRYPTINFO, _(Prompts[HDR_CRYPTINFO]), 0);
  
--  mvaddstr (HDR_MIX, SidebarWidth,     "     Mix: ");
-+  mvprintw (HDR_MIX, SidebarWidth, TITLE_FMT, "Mix: ");
-   if (!chain)
++#ifdef USE_NNTP
++  for (i = HDR_NEWSGROUPS; i <= HDR_XCOMMENTTO; i++)
++    calc_header_width_padding (i, _(Prompts[i]), 1);
++
++  for (i = 0; i <= HDR_XCOMMENTTO; i++)
++#else
+   for (i = 0; i <= HDR_CRYPTINFO; i++)
++#endif
    {
-@@ -249,9 +286,28 @@ static void draw_envelope_addr (int line
+     HeaderPadding[i] += MaxHeaderWidth;
+     if (HeaderPadding[i] < 0)
+@@ -357,9 +402,37 @@ static void draw_envelope_addr (int line
  static void draw_envelope (HEADER *msg, char *fcc)
  {
    draw_envelope_addr (HDR_FROM, msg->env->from);
 +#ifdef USE_NNTP
-+  if (!option (OPTNEWSSEND))
-+  {
-+#endif
-   draw_envelope_addr (HDR_TO, msg->env->to);
-   draw_envelope_addr (HDR_CC, msg->env->cc);
-   draw_envelope_addr (HDR_BCC, msg->env->bcc);
-+#ifdef USE_NNTP
-+  }
-+  else
++  if (option (OPTNEWSSEND))
 +  {
-+    mvprintw (HDR_TO, SidebarWidth, TITLE_FMT , Prompts[HDR_NEWSGROUPS - 1]);
++    SETCOLOR (MT_COLOR_COMPOSE_HEADER);
++    mutt_window_mvprintw (MuttIndexWindow, HDR_TO, 0,
++                        "%*s", HeaderPadding[HDR_NEWSGROUPS], _(Prompts[HDR_NEWSGROUPS]));
++    NORMAL_COLOR;
 +    mutt_paddstr (W, NONULL (msg->env->newsgroups));
-+    mvprintw (HDR_CC, SidebarWidth, TITLE_FMT , Prompts[HDR_FOLLOWUPTO - 1]);
++
++    SETCOLOR (MT_COLOR_COMPOSE_HEADER);
++    mutt_window_mvprintw (MuttIndexWindow, HDR_CC, 0,
++                        "%*s", HeaderPadding[HDR_FOLLOWUPTO], _(Prompts[HDR_FOLLOWUPTO]));
++    NORMAL_COLOR;
 +    mutt_paddstr (W, NONULL (msg->env->followup_to));
++
 +    if (option (OPTXCOMMENTTO))
 +    {
-+      mvprintw (HDR_BCC, SidebarWidth, TITLE_FMT , Prompts[HDR_XCOMMENTTO - 1]);
++      SETCOLOR (MT_COLOR_COMPOSE_HEADER);
++      mutt_window_mvprintw (MuttIndexWindow, HDR_BCC, 0,
++                          "%*s", HeaderPadding[HDR_XCOMMENTTO], _(Prompts[HDR_XCOMMENTTO]));
++      NORMAL_COLOR;
 +      mutt_paddstr (W, NONULL (msg->env->x_comment_to));
 +    }
 +  }
++  else
 +#endif
-   mvprintw (HDR_SUBJECT, SidebarWidth, TITLE_FMT, Prompts[HDR_SUBJECT - 1]);
-   mutt_paddstr (W, NONULL (msg->env->subject));
-   draw_envelope_addr (HDR_REPLYTO, msg->env->reply_to);
-@@ -504,6 +560,12 @@ int mutt_compose_menu (HEADER *msg,   /*
-   /* Sort, SortAux could be changed in mutt_index_menu() */
++ {
+   draw_envelope_addr (HDR_TO, msg->env->to);
+   draw_envelope_addr (HDR_CC, msg->env->cc);
+   draw_envelope_addr (HDR_BCC, msg->env->bcc);
++ }
+   SETCOLOR (MT_COLOR_COMPOSE_HEADER);
+   mutt_window_mvprintw (MuttIndexWindow, HDR_SUBJECT, 0,
+@@ -712,6 +785,12 @@ int mutt_compose_menu (HEADER *msg,   /*
    int oldSort, oldSortAux;
    struct stat st;
+   compose_redraw_data_t rd;
 +#ifdef USE_NNTP
-+  int news = 0;               /* is it a news article ? */
++  int news = 0;               /* is it a news article ? */
 +
 +  if (option (OPTNEWSSEND))
 +    news++;
 +#endif
  
-   mutt_attach_init (msg->content);
-   idx = mutt_gen_attach_list (msg->content, -1, idx, &idxlen, &idxmax, 0, 1);
-@@ -514,10 +576,18 @@ int mutt_compose_menu (HEADER *msg,   /*
+   init_header_padding ();
+@@ -722,6 +801,11 @@ int mutt_compose_menu (HEADER *msg,   /*
+   menu->offset = HDR_ATTACH;
    menu->make_entry = snd_entry;
    menu->tag = mutt_tag_attach;
-   menu->data = idx;
 +#ifdef USE_NNTP
 +  if (news)
-+  menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_COMPOSE, ComposeNewsHelp);
++    menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_COMPOSE, ComposeNewsHelp);
 +  else
 +#endif
    menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_COMPOSE, ComposeHelp);
-   
+   menu->custom_menu_redraw = compose_menu_redraw;
+   menu->redraw_data = &rd;
+@@ -733,6 +817,9 @@ int mutt_compose_menu (HEADER *msg,   /*
    while (loop)
    {
 +#ifdef USE_NNTP
@@ -1492,33 +1584,43 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
 +#endif
      switch (op = mutt_menuLoop (menu))
      {
-       case OP_REDRAW:
-@@ -530,17 +600,87 @@ int mutt_compose_menu (HEADER *msg,   /*
-         mutt_message_hook (NULL, msg, M_SEND2HOOK);
+       case OP_COMPOSE_EDIT_FROM:
+@@ -740,6 +827,10 @@ int mutt_compose_menu (HEADER *msg,   /*
+         mutt_message_hook (NULL, msg, MUTT_SEND2HOOK);
        break;
        case OP_COMPOSE_EDIT_TO:
 +#ifdef USE_NNTP
 +      if (news)
 +        break;
 +#endif
-       menu->redraw = edit_address_list (HDR_TO, &msg->env->to);
-         mutt_message_hook (NULL, msg, M_SEND2HOOK);
+       edit_address_list (HDR_TO, &msg->env->to);
+       if (option (OPTCRYPTOPPORTUNISTICENCRYPT))
+       {
+@@ -749,6 +840,10 @@ int mutt_compose_menu (HEADER *msg,   /*
+         mutt_message_hook (NULL, msg, MUTT_SEND2HOOK);
          break;
        case OP_COMPOSE_EDIT_BCC:
 +#ifdef USE_NNTP
 +      if (news)
 +        break;
 +#endif
-       menu->redraw = edit_address_list (HDR_BCC, &msg->env->bcc);
-         mutt_message_hook (NULL, msg, M_SEND2HOOK);
+       edit_address_list (HDR_BCC, &msg->env->bcc);
+       if (option (OPTCRYPTOPPORTUNISTICENCRYPT))
+       {
+@@ -758,6 +853,10 @@ int mutt_compose_menu (HEADER *msg,   /*
+         mutt_message_hook (NULL, msg, MUTT_SEND2HOOK);
        break;
        case OP_COMPOSE_EDIT_CC:
 +#ifdef USE_NNTP
 +      if (news)
 +        break;
 +#endif
-       menu->redraw = edit_address_list (HDR_CC, &msg->env->cc);
-         mutt_message_hook (NULL, msg, M_SEND2HOOK);   
+       edit_address_list (HDR_CC, &msg->env->cc);
+       if (option (OPTCRYPTOPPORTUNISTICENCRYPT))
+       {
+@@ -766,6 +865,62 @@ int mutt_compose_menu (HEADER *msg,   /*
+       }
+         mutt_message_hook (NULL, msg, MUTT_SEND2HOOK);        
          break;
 +#ifdef USE_NNTP
 +      case OP_COMPOSE_EDIT_NEWSGROUPS:
@@ -1528,52 +1630,50 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
 +          strfcpy (buf, msg->env->newsgroups, sizeof (buf));
 +        else
 +          buf[0] = 0;
-+        if (mutt_get_field ("Newsgroups: ", buf, sizeof (buf), 0) == 0 && buf[0])
++        if (mutt_get_field ("Newsgroups: ", buf, sizeof (buf), 0) == 0)
 +        {
-+          FREE (&msg->env->newsgroups);
-+          mutt_remove_trailing_ws (buf);
-+          msg->env->newsgroups = safe_strdup (mutt_skip_whitespace (buf));
++          mutt_str_replace (&msg->env->newsgroups, buf);
 +          move (HDR_TO, HDR_XOFFSET);
-+          clrtoeol ();
 +          if (msg->env->newsgroups)
-+            printw ("%-*.*s", W, W, msg->env->newsgroups);
++            mutt_paddstr (W, msg->env->newsgroups);
++          else
++            clrtoeol ();
 +        }
 +      }
 +      break;
-+
 +      case OP_COMPOSE_EDIT_FOLLOWUP_TO:
 +      if (news)
 +      {
-+        buf[0] = 0;
 +        if (msg->env->followup_to)
 +          strfcpy (buf, msg->env->followup_to, sizeof (buf));
-+        if (mutt_get_field ("Followup-To: ", buf, sizeof (buf), 0) == 0 && buf[0])
++        else
++          buf[0] = 0;
++        if (mutt_get_field ("Followup-To: ", buf, sizeof (buf), 0) == 0)
 +        {
-+          FREE (&msg->env->followup_to);
-+          mutt_remove_trailing_ws (buf);
-+          msg->env->followup_to = safe_strdup (mutt_skip_whitespace (buf));
++          mutt_str_replace (&msg->env->followup_to, buf);
 +          move (HDR_CC, HDR_XOFFSET);
-+          clrtoeol();
 +          if (msg->env->followup_to)
-+            printw ("%-*.*s", W, W, msg->env->followup_to);
++            mutt_paddstr (W, msg->env->followup_to);
++          else
++            clrtoeol ();
 +        }
 +      }
-+      break;
-+
++      break;
 +      case OP_COMPOSE_EDIT_X_COMMENT_TO:
 +      if (news && option (OPTXCOMMENTTO))
 +      {
-+        buf[0] = 0;
 +        if (msg->env->x_comment_to)
 +          strfcpy (buf, msg->env->x_comment_to, sizeof (buf));
-+        if (mutt_get_field ("X-Comment-To: ", buf, sizeof (buf), 0) == 0 && buf[0])
++        else
++          buf[0] = 0;
++        if (mutt_get_field ("X-Comment-To: ", buf, sizeof (buf), 0) == 0)
 +        {
-+          FREE (&msg->env->x_comment_to);
-+          msg->env->x_comment_to = safe_strdup (buf);
++          mutt_str_replace (&msg->env->x_comment_to, buf);
 +          move (HDR_BCC, HDR_XOFFSET);
-+          clrtoeol();
 +          if (msg->env->x_comment_to)
-+            printw ("%-*.*s", W, W, msg->env->x_comment_to);
++            mutt_paddstr (W, msg->env->x_comment_to);
++          else
++            clrtoeol ();
 +        }
 +      }
 +      break;
@@ -1581,7 +1681,7 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
        case OP_COMPOSE_EDIT_SUBJECT:
        if (msg->env->subject)
          strfcpy (buf, msg->env->subject, sizeof (buf));
-@@ -703,6 +843,9 @@ int mutt_compose_menu (HEADER *msg,   /*
+@@ -910,6 +1065,9 @@ int mutt_compose_menu (HEADER *msg,   /*
          break;
  
        case OP_COMPOSE_ATTACH_MESSAGE:
@@ -1591,7 +1691,7 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
        {
          char *prompt;
          HEADER *h;
-@@ -710,7 +853,22 @@ int mutt_compose_menu (HEADER *msg,   /*
+@@ -917,7 +1075,22 @@ int mutt_compose_menu (HEADER *msg,   /*
          fname[0] = 0;
          prompt = _("Open mailbox to attach message from");
  
@@ -1599,7 +1699,7 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
 +        unset_option (OPTNEWS);
 +        if (op == OP_COMPOSE_ATTACH_NEWS_MESSAGE)
 +        {
-+          if (!(CurrentNewsSrv = mutt_select_newsserver (NewsServer)))
++          if (!(CurrentNewsSrv = nntp_select_server (NewsServer, 0)))
 +            break;
 +
 +          prompt = _("Open newsgroup to attach message from");
@@ -1609,13 +1709,13 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
 +
          if (Context)
 +#ifdef USE_NNTP
-+        if ((op == OP_COMPOSE_ATTACH_MESSAGE) ^ (Context->magic == M_NNTP))
++        if ((op == OP_COMPOSE_ATTACH_MESSAGE) ^ (Context->magic == MUTT_NNTP))
 +#endif
          {
            strfcpy (fname, NONULL (Context->path), sizeof (fname));
            mutt_pretty_mailbox (fname, sizeof (fname));
-@@ -719,6 +877,11 @@ int mutt_compose_menu (HEADER *msg,   /*
-         if (mutt_enter_fname (prompt, fname, sizeof (fname), &menu->redraw, 1) == -1 || !fname[0])
+@@ -926,6 +1099,11 @@ int mutt_compose_menu (HEADER *msg,   /*
+         if (mutt_enter_fname (prompt, fname, sizeof (fname), 1) == -1 || !fname[0])
            break;
  
 +#ifdef USE_NNTP
@@ -1626,50 +1726,60 @@ diff -udprP mutt-1.5.21.orig/compose.c mutt-1.5.21/compose.c
          mutt_expand_path (fname, sizeof (fname));
  #ifdef USE_IMAP
            if (!mx_is_imap (fname))
-@@ -726,6 +889,9 @@ int mutt_compose_menu (HEADER *msg,   /*
+@@ -933,6 +1111,9 @@ int mutt_compose_menu (HEADER *msg,   /*
  #ifdef USE_POP
            if (!mx_is_pop (fname))
  #endif
 +#ifdef USE_NNTP
-+          if (!mx_is_nntp (fname) && !option (OPTNEWS))
++        if (!mx_is_nntp (fname) && !option (OPTNEWS))
 +#endif
          /* check to make sure the file exists and is readable */
          if (access (fname, R_OK) == -1)
          {
-diff -udprP mutt-1.5.21.orig/config.h.in mutt-1.5.21/config.h.in
---- mutt-1.5.21.orig/config.h.in       2010-08-25 19:32:03.000000000 +0300
-+++ mutt-1.5.21/config.h.in    2010-09-16 13:14:39.000000000 +0300
-@@ -37,6 +37,9 @@
   significant more memory when defined. */
- #undef EXACT_ADDRESS
-+/* Compiling with newsreading support with NNTP */
+diff -udprP mutt-1.10.0.orig/config.h.in mutt-1.10.0/config.h.in
+--- mutt-1.10.0.orig/config.h.in       2018-05-15 04:09:08.000000000 +0300
++++ mutt-1.10.0/config.h.in    2018-06-16 17:22:30.193469746 +0300
+@@ -640,6 +640,9 @@
/* Define if you want support for the IMAP protocol. */
+ #undef USE_IMAP
++/* Define if you want support for the NNTP protocol. */
 +#undef USE_NNTP
 +
- /* program to use for shell commands */
- #undef EXECSHELL
+ /* Define if you want support for the POP3 protocol. */
+ #undef USE_POP
  
-diff -udprP mutt-1.5.21.orig/configure.ac mutt-1.5.21/configure.ac
---- mutt-1.5.21.orig/configure.ac      2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/configure.ac   2010-09-16 13:14:39.000000000 +0300
-@@ -602,6 +602,14 @@ if test x"$need_imap" = xyes -o x"$need_
-   MUTT_LIB_OBJECTS="$MUTT_LIB_OBJECTS bcache.o"
- fi
+diff -udprP mutt-1.10.0.orig/configure.ac mutt-1.10.0/configure.ac
+--- mutt-1.10.0.orig/configure.ac      2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/configure.ac   2018-06-16 17:22:30.193469746 +0300
+@@ -633,6 +633,15 @@ AC_ARG_ENABLE(imap, AS_HELP_STRING([--en
+ ])
+ AM_CONDITIONAL(BUILD_IMAP, test x$need_imap = xyes)
  
-+AC_ARG_ENABLE(nntp, [  --enable-nntp              Enable NNTP support],
++AC_ARG_ENABLE(nntp, AC_HELP_STRING([--enable-nntp],[Enable NNTP support]),
 +[     if test x$enableval = xyes ; then
 +              AC_DEFINE(USE_NNTP,1,[ Define if you want support for the NNTP protocol. ])
 +              MUTT_LIB_OBJECTS="$MUTT_LIB_OBJECTS nntp.o newsrc.o"
++              need_nntp="yes"
 +              need_socket="yes"
 +      fi
 +])
 +
- dnl -- end socket dependencies --
+ AC_ARG_ENABLE(smtp, AS_HELP_STRING([--enable-smtp],[include internal SMTP relay support]),
+       [if test $enableval = yes; then
+               AC_DEFINE(USE_SMTP, 1, [Include internal SMTP relay support])
+@@ -640,7 +649,7 @@ AC_ARG_ENABLE(smtp, AS_HELP_STRING([--en
+               need_socket="yes"
+       fi])
+-if test x"$need_imap" = xyes -o x"$need_pop" = xyes ; then
++if test x"$need_imap" = xyes -o x"$need_pop" = xyes -o x"$need_nntp" = xyes ; then
+   MUTT_LIB_OBJECTS="$MUTT_LIB_OBJECTS bcache.o"
+ fi
  
- if test "$need_socket" = "yes"
-diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
---- mutt-1.5.21.orig/curs_main.c       2010-09-13 20:19:55.000000000 +0300
-+++ mutt-1.5.21/curs_main.c    2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/curs_main.c mutt-1.10.0/curs_main.c
+--- mutt-1.10.0.orig/curs_main.c       2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/curs_main.c    2018-06-16 17:37:28.758111855 +0300
 @@ -22,6 +22,7 @@
  
  #include "mutt.h"
@@ -1678,7 +1788,7 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
  #include "mutt_menu.h"
  #include "mailbox.h"
  #include "mapping.h"
-@@ -38,6 +39,10 @@
+@@ -43,6 +44,10 @@
  
  #include "mutt_crypt.h"
  
@@ -1689,9 +1799,9 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
  
  #include <ctype.h>
  #include <stdlib.h>
-@@ -413,12 +418,27 @@ static struct mapping_t IndexHelp[] = {
-   { NULL,      0 }
- };
+@@ -547,12 +552,27 @@ static void index_menu_redraw (MUTTMENU
+   menu->redraw = 0;
+ }
  
 +#ifdef USE_NNTP
 +struct mapping_t IndexNewsHelp[] = {
@@ -1703,7 +1813,7 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
 +  { N_("Followup"), OP_FOLLOWUP },
 +  { N_("Catchup"),  OP_CATCHUP },
 +  { N_("Help"),     OP_HELP },
-+  { NULL }
++  { NULL,           0 }
 +};
 +#endif
 +
@@ -1717,20 +1827,20 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
    int op = OP_NULL;
    int done = 0;                /* controls when to exit the "event" loop */
    int i = 0, j;
-@@ -439,7 +459,11 @@ int mutt_index_menu (void)
+@@ -571,7 +591,11 @@ int mutt_index_menu (void)
    menu->make_entry = index_make_entry;
    menu->color = index_color;
    menu->current = ci_first_message ();
 -  menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_MAIN, IndexHelp);
 +  menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_MAIN,
 +#ifdef USE_NNTP
-+      (Context && (Context->magic == M_NNTP)) ? IndexNewsHelp :
++      (Context && (Context->magic == MUTT_NNTP)) ? IndexNewsHelp :
 +#endif
 +      IndexHelp);
+   menu->custom_menu_redraw = index_menu_redraw;
+   mutt_push_current_menu (menu);
  
-   if (!attach_msg)
-     mutt_buffy_check(1); /* force the buffy check after we enter the folder */
-@@ -682,6 +706,9 @@ int mutt_index_menu (void)
+@@ -786,6 +810,9 @@ int mutt_index_menu (void)
        mutt_curs_set (1);      /* fallback from the pager */
      }
  
@@ -1740,23 +1850,28 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
      switch (op)
      {
  
-@@ -732,6 +759,120 @@ int mutt_index_menu (void)
+@@ -836,6 +863,161 @@ int mutt_index_menu (void)
        menu_current_bottom (menu);
        break;
  
 +#ifdef USE_NNTP
-+      case OP_GET_MESSAGE:
 +      case OP_GET_PARENT:
 +      CHECK_MSGCOUNT;
-+      if (Context->magic == M_NNTP)
++      CHECK_VISIBLE;
++
++      case OP_GET_MESSAGE:
++      CHECK_IN_MAILBOX;
++      CHECK_READONLY;
++      CHECK_ATTACH;
++      if (Context->magic == MUTT_NNTP)
 +      {
-+        HEADER *h;
++        HEADER *hdr;
 +
 +        if (op == OP_GET_MESSAGE)
 +        {
 +          buf[0] = 0;
-+          if (mutt_get_field (_("Enter Message-Id: "), buf, sizeof (buf), 0) != 0
-+                || !buf[0])
++          if (mutt_get_field (_("Enter Message-Id: "),
++              buf, sizeof (buf), 0) != 0 || !buf[0])
 +            break;
 +        }
 +        else
@@ -1764,41 +1879,46 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
 +          LIST *ref = CURHDR->env->references;
 +          if (!ref)
 +          {
-+            mutt_error _("Article has no parent reference!");
++            mutt_error _("Article has no parent reference.");
 +            break;
 +          }
 +          strfcpy (buf, ref->data, sizeof (buf));
 +        }
 +        if (!Context->id_hash)
 +          Context->id_hash = mutt_make_id_hash (Context);
-+        if ((h = hash_find (Context->id_hash, buf)))
++        hdr = hash_find (Context->id_hash, buf);
++        if (hdr)
 +        {
-+          if (h->virtual != -1)
++          if (hdr->virtual != -1)
 +          {
-+            menu->current = h->virtual;
++            menu->current = hdr->virtual;
 +            menu->redraw = REDRAW_MOTION_RESYNCH;
 +          }
-+          else if (h->collapsed)
++          else if (hdr->collapsed)
 +          {
-+            mutt_uncollapse_thread (Context, h);
++            mutt_uncollapse_thread (Context, hdr);
 +            mutt_set_virtual (Context);
-+            menu->current = h->virtual;
++            menu->current = hdr->virtual;
 +            menu->redraw = REDRAW_MOTION_RESYNCH;
 +          }
 +          else
-+            mutt_error _("Message not visible in limited view.");
++            mutt_error _("Message is not visible in limited view.");
 +        }
 +        else
 +        {
-+          if (nntp_check_msgid (Context, buf) == 0)
++          int rc;
++
++          mutt_message (_("Fetching %s from server..."), buf);
++          rc = nntp_check_msgid (Context, buf);
++          if (rc == 0)
 +          {
-+            h = Context->hdrs[Context->msgcount-1];
++            hdr = Context->hdrs[Context->msgcount - 1];
 +            mutt_sort_headers (Context, 0);
-+            menu->current = h->virtual;
++            menu->current = hdr->virtual;
 +            menu->redraw = REDRAW_FULL;
 +          }
-+          else
-+            mutt_error (_("Article %s not found on server"), buf); 
++          else if (rc > 0)
++            mutt_error (_("Article %s not found on the server."), buf);
 +        }
 +      }
 +      break;
@@ -1806,54 +1926,85 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
 +      case OP_GET_CHILDREN:
 +      case OP_RECONSTRUCT_THREAD:
 +      CHECK_MSGCOUNT;
-+      if (Context->magic == M_NNTP)
++      CHECK_VISIBLE;
++      CHECK_READONLY;
++      CHECK_ATTACH;
++      if (Context->magic == MUTT_NNTP)
 +      {
-+        HEADER *h;
-+        int old = CURHDR->index, i;
++        int oldmsgcount = Context->msgcount;
++        int oldindex = CURHDR->index;
++        int rc = 0;
 +
 +        if (!CURHDR->env->message_id)
 +        {
-+          mutt_error _("No Message-Id. Unable to perform operation");
++          mutt_error _("No Message-Id. Unable to perform operation.");
 +          break;
 +        }
 +
++        mutt_message _("Fetching message headers...");
 +        if (!Context->id_hash)
 +          Context->id_hash = mutt_make_id_hash (Context);
 +        strfcpy (buf, CURHDR->env->message_id, sizeof (buf));
 +
++        /* trying to find msgid of the root message */
 +        if (op == OP_RECONSTRUCT_THREAD)
 +        {
 +          LIST *ref = CURHDR->env->references;
 +          while (ref)
 +          {
-+            nntp_check_msgid (Context, ref->data);
++            if (hash_find (Context->id_hash, ref->data) == NULL)
++            {
++              rc = nntp_check_msgid (Context, ref->data);
++              if (rc < 0)
++                break;
++            }
++
 +            /* the last msgid in References is the root message */
 +            if (!ref->next)
 +              strfcpy (buf, ref->data, sizeof (buf));
 +            ref = ref->next;
 +          }
 +        }
-+        mutt_message _("Check for children of message...");
-+        if (nntp_check_children (Context, buf) == 0)
++
++        /* fetching all child messages */
++        if (rc >= 0)
++          rc = nntp_check_children (Context, buf);
++
++        /* at least one message has been loaded */
++        if (Context->msgcount > oldmsgcount)
 +        {
++          HEADER *hdr;
++          int i, quiet = Context->quiet;
++
++          if (rc < 0)
++            Context->quiet = 1;
 +          mutt_sort_headers (Context, (op == OP_RECONSTRUCT_THREAD));
-+          h = hash_find (Context->id_hash, buf);
++          Context->quiet = quiet;
++
 +          /* if the root message was retrieved, move to it */
-+          if (h)
-+            menu->current = h->virtual;
-+          else /* try to restore old position */
++          hdr = hash_find (Context->id_hash, buf);
++          if (hdr)
++            menu->current = hdr->virtual;
++
++          /* try to restore old position */
++          else
++          {
 +            for (i = 0; i < Context->msgcount; i++)
-+              if (Context->hdrs[i]->index == old)
++            {
++              if (Context->hdrs[i]->index == oldindex)
 +              {
 +                menu->current = Context->hdrs[i]->virtual;
-+                /* As an added courtesy, recenter the menu
++                /* as an added courtesy, recenter the menu
 +                 * with the current entry at the middle of the screen */
 +                menu_check_recenter (menu);
 +                menu_current_middle (menu);
 +              }
++            }
++          }
++          menu->redraw = REDRAW_FULL;
 +        }
-+        menu->redraw = REDRAW_FULL;
-+        mutt_clear_error ();
++        else if (rc >= 0)
++          mutt_error _("No deleted messages found in the thread.");
 +      }
 +      break;
 +#endif
@@ -1861,7 +2012,7 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
        case OP_JUMP:
  
        CHECK_MSGCOUNT;
-@@ -828,11 +969,33 @@ int mutt_index_menu (void)
+@@ -946,11 +1128,33 @@ int mutt_index_menu (void)
          break;
  
        case OP_MAIN_LIMIT:
@@ -1870,7 +2021,7 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
        CHECK_IN_MAILBOX;
        menu->oldcurrent = (Context->vcount && menu->current >= 0 && menu->current < Context->vcount) ?
                CURHDR->index : -1;
--      if (mutt_pattern_func (M_LIMIT, _("Limit to messages matching: ")) == 0)
+-      if (mutt_pattern_func (MUTT_LIMIT, _("Limit to messages matching: ")) == 0)
 +      if (op == OP_TOGGLE_READ)
 +      {
 +        char buf[LONG_STRING];
@@ -1891,13 +2042,13 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
 +        FREE (&Context->pattern);
 +        Context->pattern = safe_strdup (buf);
 +      }
-+      if ((op == OP_TOGGLE_READ && mutt_pattern_func (M_LIMIT, NULL) == 0) ||
-+          mutt_pattern_func (M_LIMIT, _("Limit to messages matching: ")) == 0)
++      if ((op == OP_TOGGLE_READ && mutt_pattern_func (MUTT_LIMIT, NULL) == 0) ||
++          mutt_pattern_func (MUTT_LIMIT, _("Limit to messages matching: ")) == 0)
        {
          if (menu->oldcurrent >= 0)
          {
-@@ -1071,15 +1234,22 @@ int mutt_index_menu (void)
+@@ -1195,15 +1399,22 @@ int mutt_index_menu (void)
+ #endif
        case OP_MAIN_CHANGE_FOLDER:
        case OP_MAIN_NEXT_UNREAD_MAILBOX:
 -
@@ -1917,7 +2068,7 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
 +          op == OP_MAIN_CHANGE_GROUP_READONLY ||
 +#endif
 +          op == OP_MAIN_CHANGE_FOLDER_READONLY)
-+        flags = M_READONLY;
++        flags = MUTT_READONLY;
 +      else
 +        flags = 0;
  
@@ -1926,29 +2077,30 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
            cp = _("Open mailbox in read-only mode");
          else
            cp = _("Open mailbox");
-@@ -1098,6 +1268,21 @@ int mutt_index_menu (void)
-       }
-       else
-       {
+@@ -1236,6 +1447,22 @@ int mutt_index_menu (void)
+             strfcpy (buf, Context->path, sizeof (buf));
+             mutt_pretty_mailbox (buf, sizeof (buf));
+           }
 +#ifdef USE_NNTP
 +        if (op == OP_MAIN_CHANGE_GROUP ||
 +            op == OP_MAIN_CHANGE_GROUP_READONLY)
 +        {
 +          set_option (OPTNEWS);
-+          if (!(CurrentNewsSrv = mutt_select_newsserver (NewsServer)))
++          CurrentNewsSrv = nntp_select_server (NewsServer, 0);
++          if (!CurrentNewsSrv)
 +            break;
 +          if (flags)
 +            cp = _("Open newsgroup in read-only mode");
 +          else
 +            cp = _("Open newsgroup");
-+          nntp_buffy (buf);
++          nntp_buffy (buf, sizeof (buf));
 +        }
 +        else
 +#endif
          mutt_buffy (buf, sizeof (buf));
  
-         if (mutt_enter_fname (cp, buf, sizeof (buf), &menu->redraw, 1) == -1)
-@@ -1117,6 +1302,14 @@ int mutt_index_menu (void)
+           if (mutt_enter_fname (cp, buf, sizeof (buf), 1) == -1)
+@@ -1255,6 +1482,14 @@ int mutt_index_menu (void)
          }
        }
  
@@ -1963,54 +2115,60 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
        mutt_expand_path (buf, sizeof (buf));
        if (mx_get_magic (buf) <= 0)
        {
-@@ -1158,15 +1351,18 @@ int mutt_index_menu (void)
-       CurrentMenu = MENU_MAIN;
+@@ -1307,9 +1542,7 @@ int mutt_index_menu (void)
+          * switch statement would need to be run. */
        mutt_folder_hook (buf);
  
 -      if ((Context = mx_open_mailbox (buf,
 -                                      (option (OPTREADONLY) || op == OP_MAIN_CHANGE_FOLDER_READONLY) ?
--                                      M_READONLY : 0, NULL)) != NULL)
+-                                      MUTT_READONLY : 0, NULL)) != NULL)
 +      if ((Context = mx_open_mailbox (buf, flags, NULL)) != NULL)
        {
          menu->current = ci_first_message ();
        }
-       else
-         menu->current = 0;
+@@ -1320,6 +1553,12 @@ int mutt_index_menu (void)
+         mutt_sb_set_open_buffy ();
+ #endif
  
 +#ifdef USE_NNTP
 +      /* mutt_buffy_check() must be done with mail-reader mode! */
 +      menu->help = mutt_compile_help (helpstr, sizeof (helpstr), MENU_MAIN,
-+        (Context && (Context->magic == M_NNTP)) ? IndexNewsHelp : IndexHelp);
++        (Context && (Context->magic == MUTT_NNTP)) ? IndexNewsHelp : IndexHelp);
 +#endif
++
        mutt_clear_error ();
        mutt_buffy_check(1); /* force the buffy check after we have changed
                              the folder */
-@@ -1539,6 +1735,15 @@ int mutt_index_menu (void)
+@@ -1397,6 +1636,7 @@ int mutt_index_menu (void)
+       CHECK_MSGCOUNT;
+         CHECK_VISIBLE;
        CHECK_READONLY;
-       CHECK_ACL(M_ACL_WRITE, _("flag message"));
++      CHECK_ACL(MUTT_ACL_WRITE, _("Cannot break thread"));
  
-+#ifdef USE_NNTP
-+      if (Context->magic == M_NNTP)
-+      {
-+        mutt_flushinp ();
-+        mutt_error _("Can't change 'important' flag on NNTP server.");
-+        break;
-+      }
-+#endif
-+
-         if (tag)
-         {
-         for (j = 0; j < Context->vcount; j++)
-@@ -1886,6 +2091,17 @@ int mutt_index_menu (void)
+         if ((Sort & SORT_MASK) != SORT_THREADS)
+         mutt_error _("Threading is not enabled.");
+@@ -1432,7 +1672,7 @@ int mutt_index_menu (void)
+         CHECK_VISIBLE;
+       CHECK_READONLY;
+         /* L10N: CHECK_ACL */
+-      CHECK_ACL(MUTT_ACL_DELETE, _("Cannot link threads"));
++      CHECK_ACL(MUTT_ACL_WRITE, _("Cannot link threads"));
+         if ((Sort & SORT_MASK) != SORT_THREADS)
+         mutt_error _("Threading is not enabled.");
+@@ -2068,6 +2308,20 @@ int mutt_index_menu (void)
        }
        break;
  
 +#ifdef USE_NNTP
 +      case OP_CATCHUP:
-+      if (Context && Context->magic == M_NNTP)
++      CHECK_MSGCOUNT;
++      CHECK_READONLY;
++      CHECK_ATTACH
++      if (Context && Context->magic == MUTT_NNTP)
 +      {
-+        if (mutt_newsgroup_catchup (CurrentNewsSrv,
-+              ((NNTP_DATA *)Context->data)->group))
++        NNTP_DATA *nntp_data = Context->data;
++        if (mutt_newsgroup_catchup (nntp_data->nserv, nntp_data->group))
 +          menu->redraw = REDRAW_INDEX | REDRAW_STATUS;
 +      }
 +      break;
@@ -2019,23 +2177,7 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
        case OP_DISPLAY_ADDRESS:
  
        CHECK_MSGCOUNT;
-@@ -2013,6 +2229,15 @@ int mutt_index_menu (void)
-         menu->redraw = (tag ? REDRAW_INDEX : REDRAW_CURRENT) | REDRAW_STATUS;
-       }
- #endif
-+  
-+#ifdef USE_NNTP
-+      if (Context->magic == M_NNTP)
-+      {
-+        mutt_flushinp ();
-+        mutt_error _("Can't edit message on newsserver.");
-+        break;
-+      }
-+#endif
-       MAYBE_REDRAW (menu->redraw);
-       break;
-@@ -2090,6 +2315,41 @@ int mutt_index_menu (void)
+@@ -2326,6 +2580,39 @@ int mutt_index_menu (void)
          menu->redraw = REDRAW_FULL;
          break;
  
@@ -2051,23 +2193,21 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
 +      CHECK_ATTACH;
 +      if (op != OP_FOLLOWUP || !CURHDR->env->followup_to ||
 +          mutt_strcasecmp (CURHDR->env->followup_to, "poster") ||
-+          query_quadoption (OPT_FOLLOWUPTOPOSTER,_("Reply by mail as poster prefers?")) != M_YES)
++          query_quadoption (OPT_FOLLOWUPTOPOSTER,
++          _("Reply by mail as poster prefers?")) != MUTT_YES)
 +      {
-+        if (Context && Context->magic == M_NNTP &&
++        if (Context && Context->magic == MUTT_NNTP &&
 +            !((NNTP_DATA *)Context->data)->allowed &&
-+            query_quadoption (OPT_TOMODERATED, _("Posting to this group not allowed, may be moderated. Continue?")) != M_YES)
++            query_quadoption (OPT_TOMODERATED,
++            _("Posting to this group not allowed, may be moderated. Continue?")) != MUTT_YES)
 +          break;
 +        if (op == OP_POST)
 +          ci_send_message (SENDNEWS, NULL, NULL, Context, NULL);
 +        else
 +        {
 +          CHECK_MSGCOUNT;
-+          if (op == OP_FOLLOWUP)
-+            ci_send_message (SENDNEWS|SENDREPLY, NULL, NULL, Context,
-+                             tag ? NULL : CURHDR);
-+          else
-+            ci_send_message (SENDNEWS|SENDFORWARD, NULL, NULL, Context,
-+                             tag ? NULL : CURHDR);
++          ci_send_message ((op == OP_FOLLOWUP ? SENDREPLY : SENDFORWARD) |
++                      SENDNEWS, NULL, NULL, Context, tag ? NULL : CURHDR);
 +        }
 +        menu->redraw = REDRAW_FULL;
 +        break;
@@ -2077,48 +2217,39 @@ diff -udprP mutt-1.5.21.orig/curs_main.c mutt-1.5.21/curs_main.c
        case OP_REPLY:
  
        CHECK_ATTACH;
-@@ -2165,6 +2425,12 @@ int mutt_index_menu (void)
-       CHECK_READONLY;
-       CHECK_ACL(M_ACL_DELETE, _("undelete message(s)"));
-+#ifdef USE_NNTP
-+      /* Close all open NNTP connections */
-+      if (!attach_msg)
-+        nntp_logout_all ();
-+#endif
-+
-       rc = mutt_thread_set_flag (CURHDR, M_DELETE, 0,
-                                  op == OP_UNDELETE_THREAD ? 0 : 1);
+diff -udprP mutt-1.10.0.orig/doc/manual.xml.head mutt-1.10.0/doc/manual.xml.head
+--- mutt-1.10.0.orig/doc/manual.xml.head       2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/doc/manual.xml.head    2018-06-16 17:22:30.195469715 +0300
+@@ -1755,6 +1755,26 @@ See also the <link linkend="postpone">$p
  
-diff -udprP mutt-1.5.21.orig/doc/manual.xml.head mutt-1.5.21/doc/manual.xml.head
---- mutt-1.5.21.orig/doc/manual.xml.head       2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/doc/manual.xml.head    2010-09-16 13:14:39.000000000 +0300
-@@ -1611,6 +1611,22 @@ fo-table</literal> for details.
- </sect2>
+ </sect1>
  
-+<sect2>
++<sect1 id="nntp">
 +<title>Reading news via NNTP</title>
 +
 +<para>
 +If compiled with <emphasis>--enable-nntp</emphasis> option, Mutt can
-+read news from newsserver via NNTP.  You can open a newsgroup with
-+function ``change-newsgroup'' (default: ``i'').  Default newsserver
-+can be obtained from <emphasis>NNTPSERVER</emphasis> environment
-+variable.  Like other news readers, info about subscribed newsgroups
-+is saved in file by <link linkend="newsrc">&dollar;newsrc</link>
-+variable.  Article headers are cached and can be loaded from file when
-+newsgroup entered instead loading from newsserver.
++read news from news server via NNTP.  You can open a newsgroup with
++function ``change-newsgroup'' (default: ``i'').  Default news server
++can be obtained from <literal>$NNTPSERVER</literal> environment
++variable or from <literal>/etc/nntpserver</literal> file.  Like other
++news readers, info about subscribed newsgroups is saved in file by
++<link linkend="newsrc">$newsrc</link> variable.  The variable <link
++linkend="news-cache-dir">$news_cache_dir</link> can be used to point
++to a directory.  Mutt will create a hierarchy of subdirectories named
++like the account and newsgroup the cache is for.  Also the hierarchy
++is used to store header cache if Mutt was compiled with <link
++linkend="header-caching">header cache</link> support.
 +</para>
 +
-+</sect2>
++</sect1>
 +
- </sect1>
+ </chapter>
  
- <sect1 id="forwarding-mail">
-diff -udprP mutt-1.5.21.orig/doc/mutt.man mutt-1.5.21/doc/mutt.man
---- mutt-1.5.21.orig/doc/mutt.man      2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/doc/mutt.man   2010-09-16 13:14:39.000000000 +0300
+ <chapter id="configuration">
+diff -udprP mutt-1.10.0.orig/doc/mutt.man mutt-1.10.0/doc/mutt.man
+--- mutt-1.10.0.orig/doc/mutt.man      2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/doc/mutt.man   2018-06-16 17:22:30.195469715 +0300
 @@ -23,8 +23,8 @@ mutt \- The Mutt Mail User Agent
  .SH SYNOPSIS
  .PP
@@ -2129,59 +2260,60 @@ diff -udprP mutt-1.5.21.orig/doc/mutt.man mutt-1.5.21/doc/mutt.man
 +[\-e \fIcmd\fP] [\-F \fIfile\fP] [\-g \fIserver\fP] [\-m \fItype\fP] [\-f \fIfile\fP]
  .PP
  .B mutt 
- [\-nx] 
-@@ -101,6 +101,10 @@ files.
+ [\-Enx] 
+@@ -104,6 +104,10 @@ files.
  Specify which mailbox to load.
  .IP "-F \fImuttrc\fP"
  Specify an initialization file to read instead of ~/.muttrc
 +.IP "-g \fIserver\fP"
-+Start Mutt with a listing of subscribed newsgroups at specified newsserver.
++Start Mutt with a listing of subscribed newsgroups at specified news server.
 +.IP "-G"
 +Start Mutt with a listing of subscribed newsgroups.
  .IP "-h"
  Display help.
  .IP "-H \fIdraft\fP"
-diff -udprP mutt-1.5.21.orig/functions.h mutt-1.5.21/functions.h
---- mutt-1.5.21.orig/functions.h       2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/functions.h    2010-09-16 13:14:39.000000000 +0300
-@@ -88,6 +88,10 @@ struct binding_t OpMain[] = { /* map: in
+diff -udprP mutt-1.10.0.orig/functions.h mutt-1.10.0/functions.h
+--- mutt-1.10.0.orig/functions.h       2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/functions.h    2018-06-16 17:22:30.195469715 +0300
+@@ -89,6 +89,10 @@ const struct binding_t OpMain[] = { /* m
    { "break-thread",           OP_MAIN_BREAK_THREAD,           "#" },
    { "change-folder",          OP_MAIN_CHANGE_FOLDER,          "c" },
    { "change-folder-readonly", OP_MAIN_CHANGE_FOLDER_READONLY, "\033c" },
 +#ifdef USE_NNTP
-+  { "change-newsgroup",               OP_MAIN_CHANGE_GROUP,           "I" },
++  { "change-newsgroup",               OP_MAIN_CHANGE_GROUP,           "i" },
 +  { "change-newsgroup-readonly",OP_MAIN_CHANGE_GROUP_READONLY,        "\033i" },
 +#endif
    { "next-unread-mailbox",    OP_MAIN_NEXT_UNREAD_MAILBOX,    NULL },
    { "collapse-thread",                OP_MAIN_COLLAPSE_THREAD,        "\033v" },
    { "collapse-all",           OP_MAIN_COLLAPSE_ALL,           "\033V" },
-@@ -101,7 +105,15 @@ struct binding_t OpMain[] = { /* map: in
-   { "edit",                   OP_EDIT_MESSAGE,                "e" },
+@@ -103,7 +107,15 @@ const struct binding_t OpMain[] = { /* m
+   { "edit-label",             OP_EDIT_LABEL,                  "Y" },
    { "edit-type",              OP_EDIT_TYPE,                   "\005" },
    { "forward-message",                OP_FORWARD_MESSAGE,             "f" },
-   { "flag-message",           OP_FLAG_MESSAGE,                "F" },
+-  { "flag-message",           OP_FLAG_MESSAGE,                "F" },
 +#ifdef USE_NNTP
 +  { "forward-to-group",               OP_FORWARD_TO_GROUP,            "\033F" },
-+  { "followup-message",               OP_FOLLOWUP,                    "\033f" },
++  { "followup-message",               OP_FOLLOWUP,                    "F" },
 +  { "get-children",           OP_GET_CHILDREN,                NULL },
 +  { "get-message",            OP_GET_MESSAGE,                 "\007" },
 +  { "get-parent",             OP_GET_PARENT,                  "\033G" },
 +  { "reconstruct-thread",     OP_RECONSTRUCT_THREAD,          NULL },
 +#endif
++  { "flag-message",           OP_FLAG_MESSAGE,                "\033f" },
    { "group-reply",            OP_GROUP_REPLY,                 "g" },
  #ifdef USE_POP
    { "fetch-mail",             OP_MAIN_FETCH_MAIL,             "G" },
-@@ -128,6 +140,9 @@ struct binding_t OpMain[] = { /* map: in
+@@ -131,6 +143,9 @@ const struct binding_t OpMain[] = { /* m
    { "sort-mailbox",           OP_SORT,                        "o" },
    { "sort-reverse",           OP_SORT_REVERSE,                "O" },
    { "print-message",          OP_PRINT,                       "p" },
 +#ifdef USE_NNTP
-+  { "post-message",           OP_POST,                        "\033m" },
++  { "post-message",           OP_POST,                        "P" },
 +#endif
    { "previous-thread",                OP_MAIN_PREV_THREAD,            "\020" },
    { "previous-subthread",     OP_MAIN_PREV_SUBTHREAD,         "\033p" },
    { "recall-message",         OP_RECALL_MESSAGE,              "R" },
-@@ -147,6 +162,10 @@ struct binding_t OpMain[] = { /* map: in
+@@ -150,6 +165,10 @@ const struct binding_t OpMain[] = { /* m
    { "show-version",           OP_VERSION,                     "V" },
    { "set-flag",                       OP_MAIN_SET_FLAG,               "w" },
    { "clear-flag",             OP_MAIN_CLEAR_FLAG,             "W" },
@@ -2189,10 +2321,19 @@ diff -udprP mutt-1.5.21.orig/functions.h mutt-1.5.21/functions.h
 +#ifdef USE_NNTP
 +  { "catchup",                        OP_CATCHUP,                     "y" },
 +#endif
-   { "display-message",                OP_DISPLAY_MESSAGE,             M_ENTER_S },
+   { "display-message",                OP_DISPLAY_MESSAGE,             MUTT_ENTER_S },
+   { "mark-message",           OP_MARK_MSG,                    "~" },
    { "buffy-list",             OP_BUFFY_LIST,                  "." },
-   { "sync-mailbox",           OP_MAIN_SYNC_FOLDER,            "$" },
-@@ -178,6 +197,10 @@ struct binding_t OpPager[] = { /* map: p
+@@ -162,7 +181,7 @@ const struct binding_t OpMain[] = { /* m
+   { "previous-new-then-unread",       OP_MAIN_PREV_NEW_THEN_UNREAD,   "\033\t" },
+   { "next-unread",            OP_MAIN_NEXT_UNREAD,            NULL },
+   { "previous-unread",                OP_MAIN_PREV_UNREAD,            NULL },
+-  { "parent-message",         OP_MAIN_PARENT_MESSAGE,         "P" },
++  { "parent-message",         OP_MAIN_PARENT_MESSAGE,         NULL },
+   { "root-message",           OP_MAIN_ROOT_MESSAGE,           NULL },
+@@ -193,6 +212,10 @@ const struct binding_t OpPager[] = { /*
    { "bounce-message", OP_BOUNCE_MESSAGE,              "b" },
    { "change-folder",  OP_MAIN_CHANGE_FOLDER,          "c" },
    { "change-folder-readonly", OP_MAIN_CHANGE_FOLDER_READONLY, "\033c" },
@@ -2203,49 +2344,59 @@ diff -udprP mutt-1.5.21.orig/functions.h mutt-1.5.21/functions.h
    { "next-unread-mailbox",    OP_MAIN_NEXT_UNREAD_MAILBOX, NULL },
    { "copy-message",   OP_COPY_MESSAGE,                "C" },
    { "decode-copy",    OP_DECODE_COPY,                 "\033C" },
-@@ -188,8 +211,12 @@ struct binding_t OpPager[] = { /* map: p
-   { "clear-flag",       OP_MAIN_CLEAR_FLAG,           "W" },
+@@ -204,8 +227,12 @@ const struct binding_t OpPager[] = { /*
    { "edit",           OP_EDIT_MESSAGE,                "e" },
+   { "edit-label",     OP_EDIT_LABEL,                  "Y" },
    { "edit-type",      OP_EDIT_TYPE,                   "\005" },
 +#ifdef USE_NNTP
-+  { "followup-message",       OP_FOLLOWUP,                    "\033f" },
++  { "followup-message",       OP_FOLLOWUP,                    "F" },
 +  { "forward-to-group",       OP_FORWARD_TO_GROUP,            "\033F" },
 +#endif
    { "forward-message",        OP_FORWARD_MESSAGE,             "f" },
-   { "flag-message",   OP_FLAG_MESSAGE,                "F" },
+-  { "flag-message",   OP_FLAG_MESSAGE,                "F" },
++  { "flag-message",   OP_FLAG_MESSAGE,                "\033f" },
    { "group-reply",    OP_GROUP_REPLY,                 "g" },
  #ifdef USE_IMAP
    { "imap-fetch-mail",  OP_MAIN_IMAP_FETCH,           NULL },
-@@ -211,6 +238,9 @@ struct binding_t OpPager[] = { /* map: p
+@@ -227,6 +254,9 @@ const struct binding_t OpPager[] = { /*
    { "sort-mailbox",   OP_SORT,                        "o" },
    { "sort-reverse",   OP_SORT_REVERSE,                "O" },
    { "print-message",  OP_PRINT,                       "p" },
 +#ifdef USE_NNTP
-+  { "post-message",   OP_POST,                        "\033m" },
++  { "post-message",   OP_POST,                        "P" },
 +#endif
    { "previous-thread",        OP_MAIN_PREV_THREAD,            "\020" },
    { "previous-subthread",OP_MAIN_PREV_SUBTHREAD,      "\033p" },
-   { "quit",           OP_QUIT,                        "Q" },
-@@ -279,6 +309,10 @@ struct binding_t OpAttach[] = { /* map: 
+   { "purge-message",  OP_PURGE_MESSAGE,               NULL },
+@@ -276,7 +306,7 @@ const struct binding_t OpPager[] = { /*
+   { "half-down",      OP_HALF_DOWN,                   NULL },
+   { "previous-line",  OP_PREV_LINE,                   NULL },
+   { "bottom",         OP_PAGER_BOTTOM,                NULL },
+-  { "parent-message", OP_MAIN_PARENT_MESSAGE,         "P" },
++  { "parent-message", OP_MAIN_PARENT_MESSAGE,         NULL },
+   { "root-message",   OP_MAIN_ROOT_MESSAGE,           NULL },
+@@ -309,6 +339,10 @@ const struct binding_t OpAttach[] = { /*
    { "bounce-message", OP_BOUNCE_MESSAGE,              "b" },
    { "display-toggle-weed",    OP_DISPLAY_HEADERS,     "h" },
    { "edit-type",      OP_EDIT_TYPE,                   "\005" },
 +#ifdef USE_NNTP
-+  { "followup-message",       OP_FOLLOWUP,                    "\033f" },
++  { "followup-message",       OP_FOLLOWUP,                    "F" },
 +  { "forward-to-group",       OP_FORWARD_TO_GROUP,            "\033F" },
 +#endif
    { "print-entry",    OP_PRINT,                       "p" },
    { "save-entry",     OP_SAVE,                        "s" },
    { "pipe-entry",     OP_PIPE,                        "|" },
-@@ -304,6 +338,7 @@ struct binding_t OpAttach[] = { /* map: 
- struct binding_t OpCompose[] = { /* map: compose */
+@@ -334,6 +368,7 @@ const struct binding_t OpAttach[] = { /*
const struct binding_t OpCompose[] = { /* map: compose */
    { "attach-file",    OP_COMPOSE_ATTACH_FILE,         "a" },
    { "attach-message", OP_COMPOSE_ATTACH_MESSAGE,      "A" },
 +  { "attach-news-message",OP_COMPOSE_ATTACH_NEWS_MESSAGE,"\033a" },
    { "edit-bcc",               OP_COMPOSE_EDIT_BCC,            "b" },
    { "edit-cc",                OP_COMPOSE_EDIT_CC,             "c" },
    { "copy-file",      OP_SAVE,                        "C" },
-@@ -323,6 +358,11 @@ struct binding_t OpCompose[] = { /* map:
+@@ -353,6 +388,11 @@ const struct binding_t OpCompose[] = { /
    { "print-entry",    OP_PRINT,                       "l" },
    { "edit-mime",      OP_COMPOSE_EDIT_MIME,           "m" },
    { "new-mime",               OP_COMPOSE_NEW_MIME,            "n" },
@@ -2256,8 +2407,8 @@ diff -udprP mutt-1.5.21.orig/functions.h mutt-1.5.21/functions.h
 +#endif
    { "postpone-message",       OP_COMPOSE_POSTPONE_MESSAGE,    "P" },
    { "edit-reply-to",  OP_COMPOSE_EDIT_REPLY_TO,       "r" },
-   { "rename-file",    OP_COMPOSE_RENAME_FILE,         "R" },
-@@ -374,14 +414,25 @@ struct binding_t OpBrowser[] = { /* map:
+   { "rename-attachment",OP_COMPOSE_RENAME_ATTACHMENT, "\017" },
+@@ -405,14 +445,25 @@ const struct binding_t OpBrowser[] = { /
    { "select-new",     OP_BROWSER_NEW_FILE,    "N" },
    { "check-new",      OP_CHECK_NEW,           NULL },
    { "toggle-mailboxes", OP_TOGGLE_MAILBOXES,  "\t" },
@@ -2283,26 +2434,37 @@ diff -udprP mutt-1.5.21.orig/functions.h mutt-1.5.21/functions.h
    { "toggle-subscribed", OP_BROWSER_TOGGLE_LSUB, "T" },
  #endif
    { NULL,             0,                      NULL }
-diff -udprP mutt-1.5.21.orig/globals.h mutt-1.5.21/globals.h
---- mutt-1.5.21.orig/globals.h 2009-08-25 22:08:52.000000000 +0300
-+++ mutt-1.5.21/globals.h      2010-09-16 13:14:39.000000000 +0300
-@@ -95,6 +95,15 @@ WHERE char *MixEntryFormat;
+diff -udprP mutt-1.10.0.orig/globals.h mutt-1.10.0/globals.h
+--- mutt-1.10.0.orig/globals.h 2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/globals.h      2018-06-16 17:22:30.196469699 +0300
+@@ -71,7 +71,7 @@ WHERE char *Inbox;
+ WHERE char *Ispell;
+ WHERE char *MailcapPath;
+ WHERE char *Maildir;
+-#if defined(USE_IMAP) || defined(USE_POP)
++#if defined(USE_IMAP) || defined(USE_POP) || defined(USE_NNTP)
+ WHERE char *MessageCachedir;
+ #endif
+ #if USE_HCACHE
+@@ -99,6 +99,17 @@ WHERE char *MixEntryFormat;
  #endif
  
  WHERE char *Muttrc INITVAL (NULL);
 +#ifdef USE_NNTP
-+WHERE char *NewsCacheDir;
 +WHERE char *GroupFormat;
 +WHERE char *Inews;
++WHERE char *NewsCacheDir;
 +WHERE char *NewsServer;
++WHERE char *NewsgroupsCharset;
++WHERE char *NewsRc;
++WHERE char *NntpAuthenticators;
 +WHERE char *NntpUser;
 +WHERE char *NntpPass;
-+WHERE char *NewsRc;
 +#endif
  WHERE char *Outbox;
  WHERE char *Pager;
  WHERE char *PagerFmt;
-@@ -188,6 +197,11 @@ extern unsigned char QuadOptions[];
+@@ -207,6 +218,11 @@ extern unsigned char QuadOptions[];
  
  WHERE unsigned short Counter INITVAL (0);
  
@@ -2312,120 +2474,58 @@ diff -udprP mutt-1.5.21.orig/globals.h mutt-1.5.21/globals.h
 +#endif
 +
  WHERE short ConnectTimeout;
+ WHERE short ErrorHistSize;
  WHERE short HistSize;
- WHERE short MenuContext;
-diff -udprP mutt-1.5.21.orig/hash.c mutt-1.5.21/hash.c
---- mutt-1.5.21.orig/hash.c    2009-03-19 21:41:18.000000000 +0200
-+++ mutt-1.5.21/hash.c 2010-09-16 13:14:39.000000000 +0300
-@@ -57,6 +57,7 @@ HASH *hash_create (int nelem, int lower)
-   if (nelem == 0)
-     nelem = 2;
-   table->nelem = nelem;
-+  table->curnelem = 0;
-   table->table = safe_calloc (nelem, sizeof (struct hash_elem *));
-   if (lower)
-   {
-@@ -71,6 +72,29 @@ HASH *hash_create (int nelem, int lower)
-   return table;
- }
+diff -udprP mutt-1.10.0.orig/hcache.c mutt-1.10.0/hcache.c
+--- mutt-1.10.0.orig/hcache.c  2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/hcache.c       2018-06-16 17:22:30.196469699 +0300
+@@ -534,6 +534,12 @@ dump_envelope(ENVELOPE * e, unsigned cha
+   d = dump_list(e->in_reply_to, d, off, 0);
+   d = dump_list(e->userhdrs, d, off, convert);
  
-+HASH *hash_resize (HASH *ptr, int nelem, int lower)
-+{
-+  HASH *table;
-+  struct hash_elem *elem, *tmp;
-+  int i;
-+
-+  table = hash_create (nelem, lower);
++#ifdef USE_NNTP
++  d = dump_char(e->xref, d, off, 0);
++  d = dump_char(e->followup_to, d, off, 0);
++  d = dump_char(e->x_comment_to, d, off, convert);
++#endif
 +
-+  for (i = 0; i < ptr->nelem; i++)
-+  {
-+    for (elem = ptr->table[i]; elem; )
-+    {
-+      tmp = elem;
-+      elem = elem->next;
-+      hash_insert (table, tmp->key, tmp->data, 1);
-+      FREE (&tmp);
-+    }
-+  }
-+  FREE (&ptr->table);
-+  FREE (&ptr);
-+  return table;
-+}
+   return d;
+ }
+@@ -570,6 +576,12 @@ restore_envelope(ENVELOPE * e, const uns
+   restore_list(&e->references, d, off, 0);
+   restore_list(&e->in_reply_to, d, off, 0);
+   restore_list(&e->userhdrs, d, off, convert);
 +
- /* table        hash table to update
-  * key          key to hash on
-  * data         data to associate with `key'
-@@ -90,6 +114,7 @@ int hash_insert (HASH * table, const cha
-   {
-     ptr->next = table->table[h];
-     table->table[h] = ptr;
-+    table->curnelem++;
-   }
-   else
-   {
-@@ -112,6 +137,7 @@ int hash_insert (HASH * table, const cha
-     else
-       table->table[h] = ptr;
-     ptr->next = tmp;
-+    table->curnelem++;
-   }
-   return h;
++#ifdef USE_NNTP
++  restore_char(&e->xref, d, off, 0);
++  restore_char(&e->followup_to, d, off, 0);
++  restore_char(&e->x_comment_to, d, off, convert);
++#endif
  }
-@@ -142,6 +168,7 @@ void hash_delete_hash (HASH * table, int
-       if (destroy)
-       destroy (ptr->data);
-       FREE (&ptr);
-+      table->curnelem--;
-       
-       ptr = *last;
-     }
-diff -udprP mutt-1.5.21.orig/hash.h mutt-1.5.21/hash.h
---- mutt-1.5.21.orig/hash.h    2009-03-19 21:41:18.000000000 +0200
-+++ mutt-1.5.21/hash.h 2010-09-16 13:14:39.000000000 +0300
-@@ -28,7 +28,7 @@ struct hash_elem
  
- typedef struct
- {
--  int nelem;
-+  int nelem, curnelem;
-   struct hash_elem **table;
-   unsigned int (*hash_string)(const unsigned char *, unsigned int);
-   int (*cmp_string)(const char *, const char *);
-@@ -41,6 +41,7 @@ HASH;
- HASH *hash_create (int nelem, int lower);
- int hash_insert (HASH * table, const char *key, void *data, int allow_dup);
-+HASH *hash_resize (HASH * table, int nelem, int lower);
- void *hash_find_hash (const HASH * table, int hash, const char *key);
- void hash_delete_hash (HASH * table, int hash, const char *key, const void *data,
-                      void (*destroy) (void *));
-diff -udprP mutt-1.5.21.orig/hdrline.c mutt-1.5.21/hdrline.c
---- mutt-1.5.21.orig/hdrline.c 2009-04-11 02:45:19.000000000 +0300
-+++ mutt-1.5.21/hdrline.c      2010-09-16 13:14:39.000000000 +0300
-@@ -211,6 +211,7 @@ int mutt_user_is_recipient (HEADER *h)
+ static int
+diff -udprP mutt-1.10.0.orig/hdrline.c mutt-1.10.0/hdrline.c
+--- mutt-1.10.0.orig/hdrline.c 2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/hdrline.c      2018-06-16 17:22:30.196469699 +0300
+@@ -227,6 +227,7 @@ static char *apply_subject_mods (ENVELOP
   * %E = number of messages in current thread
   * %f = entire from line
   * %F = like %n, unless from self
-+ * %g = newsgroup name (if compiled with nntp support)
++ * %g = newsgroup name (if compiled with NNTP support)
   * %i = message-id
   * %l = number of lines in the message
   * %L = like %F, except `lists' are displayed first
-@@ -219,12 +220,14 @@ int mutt_user_is_recipient (HEADER *h)
-  * %N = score
-  * %O = like %L, except using address instead of name
-  * %P = progress indicator for builtin pager
-+ * %R = `x-comment-to:' field (if present and compiled with nntp support)
-  * %s = subject
-  * %S = short message status (e.g., N/O/D/!/r/-)
-  * %t = `to:' field (recipients)
+@@ -243,6 +244,8 @@ static char *apply_subject_mods (ENVELOP
   * %T = $to_chars
   * %u = user (login) name of author
   * %v = first name of author, unless from self
 + * %W = where user is (organization)
++ * %x = `x-comment-to:' field (if present and compiled with NNTP support)
   * %X = number of MIME attachments
   * %y = `x-label:' field (if present)
   * %Y = `x-label:' field (if present, tree unfolded, and != parent's x-label)
-@@ -457,6 +460,12 @@ hdr_format_str (char *dest,
+@@ -474,6 +477,12 @@ hdr_format_str (char *dest,
  
        break;
  
@@ -2438,23 +2538,7 @@ diff -udprP mutt-1.5.21.orig/hdrline.c mutt-1.5.21/hdrline.c
      case 'i':
        mutt_format_s (dest, destlen, prefix, hdr->env->message_id ? hdr->env->message_id : "<no.id>");
        break;
-@@ -548,6 +557,15 @@ hdr_format_str (char *dest,
-       strfcpy(dest, NONULL(hfi->pager_progress), destlen);
-       break;
-+#ifdef USE_NNTP
-+    case 'R':
-+      if (!optional)
-+      mutt_format_s (dest, destlen, prefix, hdr->env->x_comment_to ? hdr->env->x_comment_to : "");
-+      else if (!hdr->env->x_comment_to)
-+      optional = 0;
-+      break;
-+#endif
-+
-     case 's':
-       
-       if (flags & M_FORMAT_TREE && !hdr->collapsed)
-@@ -637,6 +655,13 @@ hdr_format_str (char *dest,
+@@ -678,6 +687,22 @@ hdr_format_str (char *dest,
        mutt_format_s (dest, destlen, prefix, buf2);
        break;
  
@@ -2464,29 +2548,38 @@ diff -udprP mutt-1.5.21.orig/hdrline.c mutt-1.5.21/hdrline.c
 +      else if (!hdr->env->organization)
 +      optional = 0;
 +      break;
++
++#ifdef USE_NNTP
++    case 'x':
++      if (!optional)
++      mutt_format_s (dest, destlen, prefix, hdr->env->x_comment_to ? hdr->env->x_comment_to : "");
++      else if (!hdr->env->x_comment_to)
++      optional = 0;
++      break;
++#endif
 +
      case 'Z':
      
        ch = ' ';
-diff -udprP mutt-1.5.21.orig/headers.c mutt-1.5.21/headers.c
---- mutt-1.5.21.orig/headers.c 2009-08-25 22:08:52.000000000 +0300
-+++ mutt-1.5.21/headers.c      2010-09-16 13:14:39.000000000 +0300
-@@ -114,6 +114,9 @@ void mutt_edit_headers (const char *edit
+diff -udprP mutt-1.10.0.orig/headers.c mutt-1.10.0/headers.c
+--- mutt-1.10.0.orig/headers.c 2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/headers.c      2018-06-16 17:22:30.196469699 +0300
+@@ -115,6 +115,9 @@ void mutt_edit_headers (const char *edit
       $edit_headers set, we remove References: as they're likely invalid;
       we can simply compare strings as we don't generate References for
       multiple Message-Ids in IRT anyways */
 +#ifdef USE_NNTP
 +  if (!option (OPTNEWSSEND))
 +#endif
-   if (!n->in_reply_to || (msg->env->in_reply_to &&
-                         mutt_strcmp (n->in_reply_to->data,
+   if (msg->env->in_reply_to &&
+       (!n->in_reply_to || mutt_strcmp (n->in_reply_to->data,
                                       msg->env->in_reply_to->data) != 0))
-diff -udprP mutt-1.5.21.orig/init.c mutt-1.5.21/init.c
---- mutt-1.5.21.orig/init.c    2010-08-25 19:31:40.000000000 +0300
-+++ mutt-1.5.21/init.c 2010-09-16 13:14:39.000000000 +0300
-@@ -2966,6 +2966,28 @@ void mutt_init (int skip_sys_rc, LIST *c
-   else
-     Fqdn = safe_strdup(NONULL(Hostname));
+diff -udprP mutt-1.10.0.orig/init.c mutt-1.10.0/init.c
+--- mutt-1.10.0.orig/init.c    2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/init.c 2018-06-16 17:22:30.197469683 +0300
+@@ -3445,6 +3445,28 @@ void mutt_init (int skip_sys_rc, LIST *c
+     Fqdn = safe_strdup(utsname.nodename);
  
 +#ifdef USE_NNTP
 +  {
@@ -2497,7 +2590,7 @@ diff -udprP mutt-1.5.21.orig/init.c mutt-1.5.21/init.c
 +    {
 +      buffer[0] = '\0';
 +      fgets (buffer, sizeof (buffer), f);
-+      p = &buffer;
++      p = buffer;
 +      SKIPWS (p);
 +      i = p;
 +      while (*i && (*i != ' ') && (*i != '\t') && (*i != '\r') && (*i != '\n')) i++;
@@ -2513,10 +2606,10 @@ diff -udprP mutt-1.5.21.orig/init.c mutt-1.5.21/init.c
    if ((p = getenv ("MAIL")))
      Spoolfile = safe_strdup (p);
    else if ((p = getenv ("MAILDIR")))
-diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
---- mutt-1.5.21.orig/init.h    2010-09-15 18:39:31.000000000 +0300
-+++ mutt-1.5.21/init.h 2010-09-16 13:14:39.000000000 +0300
-@@ -176,6 +176,20 @@ struct option_t MuttVars[] = {
+diff -udprP mutt-1.10.0.orig/init.h mutt-1.10.0/init.h
+--- mutt-1.10.0.orig/init.h    2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/init.h 2018-06-16 17:29:50.406514947 +0300
+@@ -200,6 +200,20 @@ struct option_t MuttVars[] = {
    ** If \fIset\fP, Mutt will prompt you for carbon-copy (Cc) recipients before
    ** editing the body of an outgoing message.
    */
@@ -2537,12 +2630,12 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
    { "assumed_charset", DT_STR, R_NONE, UL &AssumedCharset, UL 0},
    /*
    ** .pp
-@@ -322,6 +336,14 @@ struct option_t MuttVars[] = {
-   ** follow these menus.  The option is \fIunset\fP by default because many
-   ** visual terminals don't permit making the cursor invisible.
+@@ -372,6 +386,14 @@ struct option_t MuttVars[] = {
+   ** doesn't make intuitive sense.  In those cases, it may be
+   ** desirable to \fIunset\fP this variable.
    */
 +#ifdef USE_NNTP
-+  { "catchup_newsgroup", DT_QUAD, R_NONE, OPT_CATCHUP, M_ASKYES },
++  { "catchup_newsgroup", DT_QUAD, R_NONE, OPT_CATCHUP, MUTT_ASKYES },
 +  /*
 +  ** .pp
 +  ** If this variable is \fIset\fP, Mutt will mark all articles in newsgroup
@@ -2552,12 +2645,12 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
  #if defined(USE_SSL)
    { "certificate_file",       DT_PATH, R_NONE, UL &SslCertFile, UL "~/.mutt_certificates" },
    /*
-@@ -798,6 +820,16 @@ struct option_t MuttVars[] = {
+@@ -926,6 +948,16 @@ struct option_t MuttVars[] = {
    ** sent to both the list and your address, resulting in two copies
    ** of the same email for you.
    */
 +#ifdef USE_NNTP
-+  { "followup_to_poster", DT_QUAD, R_NONE, OPT_FOLLOWUPTOPOSTER, M_ASKYES },
++  { "followup_to_poster", DT_QUAD, R_NONE, OPT_FOLLOWUPTOPOSTER, MUTT_ASKYES },
 +  /*
 +  ** .pp
 +  ** If this variable is \fIset\fP and the keyword "poster" is present in
@@ -2569,7 +2662,7 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
    { "force_name",     DT_BOOL, R_NONE, OPTFORCENAME, 0 },
    /*
    ** .pp
-@@ -880,6 +912,27 @@ struct option_t MuttVars[] = {
+@@ -1024,6 +1056,26 @@ struct option_t MuttVars[] = {
    ** a regular expression that will match the whole name so mutt will expand
    ** ``Franklin'' to ``Franklin, Steve''.
    */
@@ -2580,61 +2673,58 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
 +  ** This variable allows you to customize the newsgroup browser display to
 +  ** your personal taste.  This string is similar to ``$index_format'', but
 +  ** has its own set of printf()-like sequences:
-+  ** .pp
-+  ** .ts
-+  ** %C      current newsgroup number
-+  ** %d      description of newsgroup (becomes from server)
-+  ** %f      newsgroup name
-+  ** %M      - if newsgroup not allowed for direct post (moderated for example)
-+  ** %N      N if newsgroup is new, u if unsubscribed, blank otherwise
-+  ** %n      number of new articles in newsgroup
-+  ** %s      number of unread articles in newsgroup
-+  ** %>X     right justify the rest of the string and pad with character "X"
-+  ** %|X     pad to the end of the line with character "X"
-+  ** .te
++  ** .dl
++  ** .dt %C  .dd current newsgroup number
++  ** .dt %d  .dd description of newsgroup (becomes from server)
++  ** .dt %f  .dd newsgroup name
++  ** .dt %M  .dd - if newsgroup not allowed for direct post (moderated for example)
++  ** .dt %N  .dd N if newsgroup is new, u if unsubscribed, blank otherwise
++  ** .dt %n  .dd number of new articles in newsgroup
++  ** .dt %s  .dd number of unread articles in newsgroup
++  ** .dt %>X .dd right justify the rest of the string and pad with character "X"
++  ** .dt %|X .dd pad to the end of the line with character "X"
++  ** .de
 +  */
 +#endif
    { "hdr_format",     DT_SYN,  R_NONE, UL "index_format", 0 },
    /*
    */
-@@ -1256,6 +1309,7 @@ struct option_t MuttVars[] = {
+@@ -1445,6 +1497,7 @@ struct option_t MuttVars[] = {
    ** .dt %E .dd number of messages in current thread
    ** .dt %f .dd sender (address + real name), either From: or Return-Path:
    ** .dt %F .dd author name, or recipient name if the message is from you
-+  ** .dt %g .dd newsgroup name (if compiled with nntp support)
++  ** .dt %g .dd newsgroup name (if compiled with NNTP support)
    ** .dt %H .dd spam attribute(s) of this message
    ** .dt %i .dd message-id of the current message
    ** .dt %l .dd number of lines in the message (does not work with maildir,
-@@ -1271,12 +1325,14 @@ struct option_t MuttVars[] = {
-   **            stashed the message: list name or recipient name
-   **            if not sent to a list
-   ** .dt %P .dd progress indicator for the built-in pager (how much of the file has been displayed)
-+  ** .dt %R .dd ``x-comment-to:'' field (if present and compiled with nntp support)
-   ** .dt %s .dd subject of the message
-   ** .dt %S .dd status of the message (``N''/``D''/``d''/``!''/``r''/\(as)
-   ** .dt %t .dd ``To:'' field (recipients)
+@@ -1468,6 +1521,8 @@ struct option_t MuttVars[] = {
    ** .dt %T .dd the appropriate character from the $$to_chars string
    ** .dt %u .dd user (login) name of the author
    ** .dt %v .dd first name of the author, or the recipient if the message is from you
-+  ** .dt %W .dd name of organization of author (``organization:'' field)
++  ** .dt %W .dd name of organization of author (``Organization:'' field)
++  ** .dt %x .dd ``X-Comment-To:'' field (if present and compiled with NNTP support)
    ** .dt %X .dd number of attachments
    **            (please see the ``$attachments'' section for possible speed effects)
    ** .dt %y .dd ``X-Label:'' field, if present
-@@ -1311,6 +1367,21 @@ struct option_t MuttVars[] = {
+@@ -1506,6 +1561,25 @@ struct option_t MuttVars[] = {
    ** Note that these expandos are supported in
    ** ``$save-hook'', ``$fcc-hook'' and ``$fcc-save-hook'', too.
    */
 +#ifdef USE_NNTP
-+  { "inews",          DT_PATH, R_NONE, UL &Inews, UL "" },
++  { "inews",          DT_PATH, R_NONE, UL &Inews, UL "" },
 +  /*
 +  ** .pp
 +  ** If set, specifies the program and arguments used to deliver news posted
 +  ** by Mutt.  Otherwise, mutt posts article using current connection to
 +  ** news server.  The following printf-style sequence is understood:
-+  ** .pp
-+  ** .ts
-+  ** %s      newsserver name
-+  ** .te
++  ** .dl
++  ** .dt %a .dd account url
++  ** .dt %p .dd port
++  ** .dt %P .dd port if specified
++  ** .dt %s .dd news server name
++  ** .dt %S .dd url schema
++  ** .dt %u .dd username
++  ** .de
 +  ** .pp
 +  ** Example: set inews="/usr/local/bin/inews -hS"
 +  */
@@ -2642,12 +2732,12 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
    { "ispell",         DT_PATH, R_NONE, UL &Ispell, UL ISPELL },
    /*
    ** .pp
-@@ -1545,6 +1616,15 @@ struct option_t MuttVars[] = {
-   ** menu, attachments which cannot be decoded in a reasonable manner will
-   ** be attached to the newly composed message if this option is \fIset\fP.
+@@ -1793,6 +1867,15 @@ struct option_t MuttVars[] = {
+   ** When \fIset\fP, the $$mime_type_query_command will be run before the
+   ** mime.types lookup.
    */
 +#ifdef USE_NNTP
-+  { "mime_subject",   DT_BOOL, R_NONE, OPTMIMESUBJECT, 1 },
++  { "mime_subject",   DT_BOOL, R_NONE, OPTMIMESUBJECT, 1 },
 +  /*
 +  ** .pp
 +  ** If \fIunset\fP, 8-bit ``subject:'' line in article header will not be
@@ -2658,40 +2748,69 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
  #ifdef MIXMASTER
    { "mix_entry_format", DT_STR,  R_NONE, UL &MixEntryFormat, UL "%4n %c %-16s %a" },
    /*
-@@ -1592,6 +1672,77 @@ struct option_t MuttVars[] = {
-    ** See also $$read_inc, $$write_inc and $$net_inc.
-    */
- #endif
+@@ -1847,6 +1930,106 @@ struct option_t MuttVars[] = {
+   ** See the $$status_format documentation for the values that can be formatted
+   ** into this command.
+   */
 +#ifdef USE_NNTP
-+  { "news_cache_dir", DT_PATH, R_NONE, UL &NewsCacheDir, UL "~/.mutt" },
++  { "news_cache_dir", DT_PATH, R_NONE, UL &NewsCacheDir, UL "~/.mutt" },
 +  /*
 +  ** .pp
 +  ** This variable pointing to directory where Mutt will save cached news
-+  ** articles headers in. If \fIunset\fP, headers will not be saved at all
-+  ** and will be reloaded each time when you enter to newsgroup.
++  ** articles and headers in. If \fIunset\fP, articles and headers will not be
++  ** saved at all and will be reloaded from the server each time.
 +  */
-+  { "news_server",    DT_STR,  R_NONE, UL &NewsServer, 0 },
++  { "news_server",    DT_STR, R_NONE, UL &NewsServer, 0 },
 +  /*
 +  ** .pp
 +  ** This variable specifies domain name or address of NNTP server. It
-+  ** defaults to the newsserver specified in the environment variable
++  ** defaults to the news server specified in the environment variable
 +  ** $$$NNTPSERVER or contained in the file /etc/nntpserver.  You can also
-+  ** specify username and an alternative port for each newsserver, ie:
++  ** specify username and an alternative port for each news server, ie:
++  ** .pp
++  ** [[s]news://][username[:password]@]server[:port]
++  */
++  { "newsgroups_charset", DT_STR, R_NONE, UL &NewsgroupsCharset, UL "utf-8" },
++  /*
 +  ** .pp
-+  ** [news[s]://][username[:password]@]newsserver[:port]
++  ** Character set of newsgroups descriptions.
 +  */
-+  { "newsrc",         DT_PATH, R_NONE, UL &NewsRc, UL "~/.newsrc" },
++  { "newsrc",         DT_PATH, R_NONE, UL &NewsRc, UL "~/.newsrc" },
 +  /*
 +  ** .pp
 +  ** The file, containing info about subscribed newsgroups - names and
 +  ** indexes of read articles.  The following printf-style sequence
 +  ** is understood:
++  ** .dl
++  ** .dt %a .dd account url
++  ** .dt %p .dd port
++  ** .dt %P .dd port if specified
++  ** .dt %s .dd news server name
++  ** .dt %S .dd url schema
++  ** .dt %u .dd username
++  ** .de
++  */
++  { "nntp_authenticators", DT_STR, R_NONE, UL &NntpAuthenticators, UL 0 },
++  /*
++  ** .pp
++  ** This is a colon-delimited list of authentication methods mutt may
++  ** attempt to use to log in to a news server, in the order mutt should
++  ** try them.  Authentication methods are either ``user'' or any
++  ** SASL mechanism, e.g. ``digest-md5'', ``gssapi'' or ``cram-md5''.
++  ** This option is case-insensitive.  If it's \fIunset\fP (the default)
++  ** mutt will try all available methods, in order from most-secure to
++  ** least-secure.
 +  ** .pp
++  ** Example:
 +  ** .ts
-+  ** %s      newsserver name
++  ** set nntp_authenticators="digest-md5:user"
 +  ** .te
++  ** .pp
++  ** \fBNote:\fP Mutt will only fall back to other authentication methods if
++  ** the previous methods are unavailable. If a method is available but
++  ** authentication fails, mutt will not connect to the IMAP server.
 +  */
-+  { "nntp_context",   DT_NUM,  R_NONE, UL &NntpContext, 1000 },
++  { "nntp_context",   DT_NUM, R_NONE, UL &NntpContext, 1000 },
 +  /*
 +  ** .pp
 +  ** This variable defines number of articles which will be in index when
@@ -2699,6 +2818,12 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
 +  ** number, oldest articles will be ignored.  Also controls how many
 +  ** articles headers will be saved in cache when you quit newsgroup.
 +  */
++  { "nntp_listgroup", DT_BOOL, R_NONE, OPTLISTGROUP, 1 },
++  /*
++  ** .pp
++  ** This variable controls whether or not existence of each article is
++  ** checked when newsgroup is entered.
++  */
 +  { "nntp_load_description", DT_BOOL, R_NONE, OPTLOADDESC, 1 },
 +  /*
 +  ** .pp
@@ -2706,19 +2831,19 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
 +  ** must be loaded when newsgroup is added to list (first time list
 +  ** loading or new newsgroup adding).
 +  */
-+  { "nntp_user",      DT_STR,  R_NONE, UL &NntpUser, UL "" },
++  { "nntp_user",      DT_STR, R_NONE, UL &NntpUser, UL "" },
 +  /*
 +  ** .pp
 +  ** Your login name on the NNTP server.  If \fIunset\fP and NNTP server requires
 +  ** authentification, Mutt will prompt you for your account name when you
-+  ** connect to newsserver.
++  ** connect to news server.
 +  */
-+  { "nntp_pass",      DT_STR,  R_NONE, UL &NntpPass, UL "" },
++  { "nntp_pass",      DT_STR, R_NONE, UL &NntpPass, UL "" },
 +  /*
 +  ** .pp
 +  ** Your password for NNTP account.
 +  */
-+  { "nntp_poll",      DT_NUM,  R_NONE, UL &NewsPollTimeout, 60 },
++  { "nntp_poll",      DT_NUM, R_NONE, UL &NewsPollTimeout, 60 },
 +  /*
 +  ** .pp
 +  ** The time in seconds until any operations on newsgroup except post new
@@ -2726,68 +2851,62 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
 +  ** recheck newsgroup on each operation in index (stepping, read article,
 +  ** etc.).
 +  */
-+  { "nntp_reconnect", DT_QUAD, R_NONE, OPT_NNTPRECONNECT, M_ASKYES },
-+  /*
-+  ** .pp
-+  ** Controls whether or not Mutt will try to reconnect to newsserver when
-+  ** connection lost.
-+  */
 +#endif
    { "pager",          DT_PATH, R_NONE, UL &Pager, UL "builtin" },
    /*
    ** .pp
-@@ -2091,6 +2242,16 @@ struct option_t MuttVars[] = {
+@@ -2395,6 +2578,16 @@ struct option_t MuttVars[] = {
    { "post_indent_str",  DT_SYN,  R_NONE, UL "post_indent_string", 0 },
    /*
    */
 +#ifdef USE_NNTP
-+  { "post_moderated", DT_QUAD, R_NONE, OPT_TOMODERATED, M_ASKYES },
++  { "post_moderated", DT_QUAD, R_NONE, OPT_TOMODERATED, MUTT_ASKYES },
 +  /*
 +  ** .pp
 +  ** If set to \fIyes\fP, Mutt will post article to newsgroup that have
-+  ** not permissions to posting (e.g. moderated).  \fBNote:\fP if newsserver
++  ** not permissions to posting (e.g. moderated).  \fBNote:\fP if news server
 +  ** does not support posting to that newsgroup or totally read-only, that
 +  ** posting will not have an effect.
 +  */
 +#endif
-   { "postpone",               DT_QUAD, R_NONE, OPT_POSTPONE, M_ASKYES },
+   { "postpone",               DT_QUAD, R_NONE, OPT_POSTPONE, MUTT_ASKYES },
    /*
    ** .pp
-@@ -2494,6 +2655,28 @@ struct option_t MuttVars[] = {
+@@ -2875,6 +3068,28 @@ struct option_t MuttVars[] = {
    ** Command to use when spawning a subshell.  By default, the user's login
    ** shell from \fC/etc/passwd\fP is used.
    */
 +#ifdef USE_NNTP
-+  { "save_unsubscribed",DT_BOOL, R_NONE, OPTSAVEUNSUB, 0 },
++  { "save_unsubscribed", DT_BOOL, R_NONE, OPTSAVEUNSUB, 0 },
 +  /*
 +  ** .pp
 +  ** When \fIset\fP, info about unsubscribed newsgroups will be saved into
 +  ** ``newsrc'' file and into cache.
 +  */
-+  { "show_new_news",  DT_BOOL, R_NONE, OPTSHOWNEWNEWS, 1 },
++  { "show_new_news",  DT_BOOL, R_NONE, OPTSHOWNEWNEWS, 1 },
 +  /*
 +  ** .pp
-+  ** If \fIset\fP, newsserver will be asked for new newsgroups on entering
-+  ** the browser.  Otherwise, it will be done only once for a newsserver.
++  ** If \fIset\fP, news server will be asked for new newsgroups on entering
++  ** the browser.  Otherwise, it will be done only once for a news server.
 +  ** Also controls whether or not number of new articles of subscribed
 +  ** newsgroups will be then checked.
 +  */
-+  { "show_only_unread",  DT_BOOL, R_NONE, OPTSHOWONLYUNREAD, 0 },
++  { "show_only_unread",       DT_BOOL, R_NONE, OPTSHOWONLYUNREAD, 0 },
 +  /*
 +  ** .pp
 +  ** If \fIset\fP, only subscribed newsgroups that contain unread articles
 +  ** will be displayed in browser.
 +  */
 +#endif
-   { "sig_dashes",     DT_BOOL, R_NONE, OPTSIGDASHES, 1 },
+ #ifdef USE_SIDEBAR
+   { "sidebar_delim_chars", DT_STR, R_SIDEBAR, UL &SidebarDelimChars, UL "/." },
+   /*
+@@ -4005,6 +4220,14 @@ struct option_t MuttVars[] = {
+   {"xterm_set_titles",        DT_SYN,  R_NONE, UL "ts_enabled", 0 },
    /*
-   ** .pp
-@@ -3364,6 +3547,14 @@ struct option_t MuttVars[] = {
-   ** Also see the $$read_inc, $$net_inc and $$time_inc variables and the
-   ** ``$tuning'' section of the manual for performance considerations.
    */
 +#ifdef USE_NNTP
-+  { "x_comment_to",   DT_BOOL, R_NONE, OPTXCOMMENTTO, 0 },
++  { "x_comment_to",   DT_BOOL, R_NONE, OPTXCOMMENTTO, 0 },
 +  /*
 +  ** .pp
 +  ** If \fIset\fP, Mutt will add ``X-Comment-To:'' field (that contains full
@@ -2797,10 +2916,21 @@ diff -udprP mutt-1.5.21.orig/init.h mutt-1.5.21/init.h
    /*--*/
    { NULL, 0, 0, 0, 0 }
  };
-diff -udprP mutt-1.5.21.orig/mailbox.h mutt-1.5.21/mailbox.h
---- mutt-1.5.21.orig/mailbox.h 2009-04-30 20:33:48.000000000 +0300
-+++ mutt-1.5.21/mailbox.h      2010-09-16 13:14:39.000000000 +0300
-@@ -74,6 +74,9 @@ int mx_is_imap (const char *);
+diff -udprP mutt-1.10.0.orig/keymap.c mutt-1.10.0/keymap.c
+--- mutt-1.10.0.orig/keymap.c  2018-02-03 21:18:49.000000000 +0200
++++ mutt-1.10.0/keymap.c       2018-06-16 17:22:30.198469667 +0300
+@@ -800,7 +800,6 @@ void km_init (void)
+   km_bindkey ("<enter>", MENU_MAIN, OP_DISPLAY_MESSAGE);
+   km_bindkey ("x", MENU_PAGER, OP_EXIT);
+-  km_bindkey ("i", MENU_PAGER, OP_EXIT);
+   km_bindkey ("<backspace>", MENU_PAGER, OP_PREV_LINE);
+   km_bindkey ("<pagedown>", MENU_PAGER, OP_NEXT_PAGE);
+   km_bindkey ("<pageup>", MENU_PAGER, OP_PREV_PAGE);
+diff -udprP mutt-1.10.0.orig/mailbox.h mutt-1.10.0/mailbox.h
+--- mutt-1.10.0.orig/mailbox.h 2017-12-18 22:27:19.000000000 +0200
++++ mutt-1.10.0/mailbox.h      2018-06-16 17:22:30.198469667 +0300
+@@ -78,6 +78,9 @@ int mx_is_imap (const char *);
  #ifdef USE_POP
  int mx_is_pop (const char *);
  #endif
@@ -2810,11 +2940,11 @@ diff -udprP mutt-1.5.21.orig/mailbox.h mutt-1.5.21/mailbox.h
  
  int mx_access (const char*, int);
  int mx_check_empty (const char *);
-diff -udprP mutt-1.5.21.orig/main.c mutt-1.5.21/main.c
---- mutt-1.5.21.orig/main.c    2010-09-13 20:19:55.000000000 +0300
-+++ mutt-1.5.21/main.c 2010-09-16 13:14:39.000000000 +0300
-@@ -60,6 +60,10 @@
- #include <stringprep.h>
+diff -udprP mutt-1.10.0.orig/main.c mutt-1.10.0/main.c
+--- mutt-1.10.0.orig/main.c    2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/main.c 2018-06-16 17:22:30.198469667 +0300
+@@ -65,6 +65,10 @@
+ #include <idn/stringprep.h>
  #endif
  
 +#ifdef USE_NNTP
@@ -2823,17 +2953,17 @@ diff -udprP mutt-1.5.21.orig/main.c mutt-1.5.21/main.c
 +
  static const char *ReachingUs = N_("\
  To contact the developers, please mail to <mutt-dev@mutt.org>.\n\
- To report a bug, please visit http://bugs.mutt.org/.\n");
-@@ -134,6 +138,8 @@ options:\n\
"  -e <command>\tspecify a command to be executed after initialization\n\
+ To report a bug, please contact the Mutt maintainers via gitlab:\n\
+@@ -145,6 +149,8 @@ options:\n\
+   -e <command>\tspecify a command to be executed after initialization\n\
    -f <file>\tspecify which mailbox to read\n\
    -F <file>\tspecify an alternate muttrc file\n\
-+  -g <server>\tspecify a newsserver (if compiled with NNTP)\n\
++  -g <server>\tspecify a news server (if compiled with NNTP)\n\
 +  -G\t\tselect a newsgroup (if compiled with NNTP)\n\
    -H <file>\tspecify a draft file to read header and body from\n\
    -i <file>\tspecify a file which Mutt should include in the body\n\
    -m <type>\tspecify a default mailbox type\n\
-@@ -254,6 +260,12 @@ static void show_version (void)
+@@ -298,6 +304,12 @@ static void show_version (void)
        "-USE_POP  "
  #endif
  
@@ -2846,34 +2976,32 @@ diff -udprP mutt-1.5.21.orig/main.c mutt-1.5.21/main.c
  #ifdef USE_IMAP
          "+USE_IMAP  "
  #else
-@@ -522,6 +534,9 @@ init_extended_keys();
- #define M_NOSYSRC (1<<2)      /* -n */
- #define M_RO      (1<<3)      /* -R */
- #define M_SELECT  (1<<4)      /* -y */
-+#ifdef USE_NNTP
-+#define M_NEWS    (1<<5)      /* -g and -G */
-+#endif
+@@ -593,6 +605,7 @@ init_extended_keys();
+ #define MUTT_NOSYSRC (1<<2)   /* -n */
+ #define MUTT_RO      (1<<3)   /* -R */
+ #define MUTT_SELECT  (1<<4)   /* -y */
++#define MUTT_NEWS    (1<<5)   /* -g and -G */
  
- int main (int argc, char **argv)
+ int main (int argc, char **argv, char **environ)
  {
-@@ -594,7 +609,11 @@ int main (int argc, char **argv)
+@@ -682,7 +695,11 @@ int main (int argc, char **argv, char **
          argv[nargc++] = argv[optind];
      }
  
 +#ifdef USE_NNTP
-+    if ((i = getopt (argc, argv, "+A:a:b:F:f:c:Dd:e:g:GH:s:i:hm:npQ:RvxyzZ")) != EOF)
++    if ((i = getopt (argc, argv, "+A:a:b:F:f:c:Dd:Ee:g:GH:s:i:hm:npQ:RvxyzZ")) != EOF)
 +#else
-     if ((i = getopt (argc, argv, "+A:a:b:F:f:c:Dd:e:H:s:i:hm:npQ:RvxyzZ")) != EOF)
+     if ((i = getopt (argc, argv, "+A:a:b:F:f:c:Dd:Ee:H:s:i:hm:npQ:RvxyzZ")) != EOF)
 +#endif
        switch (i)
        {
        case 'A':
-@@ -691,6 +710,20 @@ int main (int argc, char **argv)
-       flags |= M_SELECT;
+@@ -783,6 +800,20 @@ int main (int argc, char **argv, char **
+       flags |= MUTT_SELECT;
        break;
  
 +#ifdef USE_NNTP
-+      case 'g': /* Specify a newsserver */
++      case 'g': /* Specify a news server */
 +      {
 +        char buf[LONG_STRING];
 +
@@ -2882,22 +3010,22 @@ diff -udprP mutt-1.5.21.orig/main.c mutt-1.5.21/main.c
 +      }
 +
 +      case 'G': /* List of newsgroups */
-+      flags |= M_SELECT | M_NEWS;
++      flags |= MUTT_SELECT | MUTT_NEWS;
 +      break;
 +#endif
 +
        case 'z':
-       flags |= M_IGNORE;
+       flags |= MUTT_IGNORE;
        break;
-@@ -978,6 +1011,18 @@ int main (int argc, char **argv)
+@@ -1229,6 +1260,18 @@ int main (int argc, char **argv, char **
      }
-     else if (flags & M_SELECT)
+     else if (flags & MUTT_SELECT)
      {
 +#ifdef USE_NNTP
-+      if (flags & M_NEWS)
++      if (flags & MUTT_NEWS)
 +      {
 +      set_option (OPTNEWS);
-+      if(!(CurrentNewsSrv = mutt_select_newsserver (NewsServer)))
++      if(!(CurrentNewsSrv = nntp_select_server (NewsServer, 0)))
 +      {
 +        mutt_endwin (Errorbuf);
 +        exit (1);
@@ -2908,7 +3036,7 @@ diff -udprP mutt-1.5.21.orig/main.c mutt-1.5.21/main.c
        if (!Incoming) {
        mutt_endwin _("No incoming mailboxes defined.");
        exit (1);
-@@ -993,6 +1038,15 @@ int main (int argc, char **argv)
+@@ -1244,6 +1287,15 @@ int main (int argc, char **argv, char **
  
      if (!folder[0])
        strfcpy (folder, NONULL(Spoolfile), sizeof (folder));
@@ -2924,41 +3052,40 @@ diff -udprP mutt-1.5.21.orig/main.c mutt-1.5.21/main.c
      mutt_expand_path (folder, sizeof (folder));
  
      mutt_str_replace (&CurrentFolder, folder);
-diff -udprP mutt-1.5.21.orig/mutt.h mutt-1.5.21/mutt.h
---- mutt-1.5.21.orig/mutt.h    2010-09-13 20:19:55.000000000 +0300
-+++ mutt-1.5.21/mutt.h 2010-09-16 13:14:39.000000000 +0300
-@@ -229,6 +229,9 @@ enum
-   M_PGP_KEY,
-   M_XLABEL,
-   M_MIMEATTACH,
+diff -udprP mutt-1.10.0.orig/mutt.h mutt-1.10.0/mutt.h
+--- mutt-1.10.0.orig/mutt.h    2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/mutt.h 2018-06-16 17:23:34.827448604 +0300
+@@ -254,6 +254,9 @@ enum
+   MUTT_XLABEL,
+   MUTT_MIMEATTACH,
+   MUTT_MIMETYPE,
 +#ifdef USE_NNTP
-+  M_NEWSGROUPS,
++  MUTT_NEWSGROUPS,
 +#endif
    
    /* Options for Mailcap lookup */
-   M_EDIT,
-@@ -285,6 +288,12 @@ enum
+   MUTT_EDIT,
+@@ -311,6 +314,11 @@ enum
  #endif
    OPT_SUBJECT,
    OPT_VERIFYSIG,      /* verify PGP signatures */
 +#ifdef USE_NNTP
 +  OPT_TOMODERATED,
-+  OPT_NNTPRECONNECT,
 +  OPT_CATCHUP,
 +  OPT_FOLLOWUPTOPOSTER,
-+#endif /* USE_NNTP */
++#endif
      
    /* THIS MUST BE THE LAST VALUE. */
    OPT_MAX
-@@ -300,6 +309,7 @@ enum
- #define SENDMAILX     (1<<6)
- #define SENDKEY               (1<<7)
- #define SENDRESEND    (1<<8)
-+#define SENDNEWS      (1<<9)
- /* flags to _mutt_select_file() */
- #define M_SEL_BUFFY   (1<<0)
-@@ -319,6 +329,8 @@ enum
+@@ -329,6 +337,7 @@ enum
+ #define SENDPOSTPONEDFCC      (1<<9) /* used by mutt_get_postponed() to signal that the x-mutt-fcc header field was present */
+ #define SENDNOFREEHEADER      (1<<10)   /* Used by the -E flag */
+ #define SENDDRAFTFILE         (1<<11)   /* Used by the -H flag */
++#define SENDNEWS      (1<<12)
+ /* flags for mutt_compose_menu() */
+ #define MUTT_COMPOSE_NOFREEHEADER (1<<0)
+@@ -351,6 +360,8 @@ enum
    OPTASCIICHARS,
    OPTASKBCC,
    OPTASKCC,
@@ -2967,17 +3094,17 @@ diff -udprP mutt-1.5.21.orig/mutt.h mutt-1.5.21/mutt.h
    OPTATTACHSPLIT,
    OPTAUTOEDIT,
    OPTAUTOTAG,
-@@ -397,6 +409,9 @@ enum
+@@ -441,6 +452,9 @@ enum
    OPTMETOO,
    OPTMHPURGE,
    OPTMIMEFORWDECODE,
 +#ifdef USE_NNTP
 +  OPTMIMESUBJECT,     /* encode subject line with RFC2047 */
 +#endif
+   OPTMIMETYPEQUERYFIRST,
    OPTNARROWTREE,
    OPTPAGERSTOP,
-   OPTPIPEDECODE,
-@@ -478,6 +493,16 @@ enum
+@@ -542,6 +556,17 @@ enum
    OPTPGPAUTOINLINE,
    OPTPGPREPLYINLINE,
  
@@ -2987,14 +3114,15 @@ diff -udprP mutt-1.5.21.orig/mutt.h mutt-1.5.21/mutt.h
 +  OPTSHOWNEWNEWS,
 +  OPTSHOWONLYUNREAD,
 +  OPTSAVEUNSUB,
++  OPTLISTGROUP,
 +  OPTLOADDESC,
 +  OPTXCOMMENTTO,
-+#endif /* USE_NNTP */
++#endif
 +
    /* pseudo options */
  
-   OPTAUXSORT,         /* (pseudo) using auxillary sort function */
-@@ -498,6 +523,7 @@ enum
+   OPTAUXSORT,         /* (pseudo) using auxiliary sort function */
+@@ -559,6 +584,7 @@ enum
    OPTSORTSUBTHREADS,  /* (pseudo) used when $sort_aux changes */
    OPTNEEDRESCORE,     /* (pseudo) set when the `score' command is used */
    OPTATTACHMSG,               /* (pseudo) used by attach-message */
@@ -3002,20 +3130,19 @@ diff -udprP mutt-1.5.21.orig/mutt.h mutt-1.5.21/mutt.h
    OPTKEEPQUIET,               /* (pseudo) shut up the message and refresh
                         *          functions while we are executing an
                         *          external program.
-@@ -508,6 +534,12 @@ enum
+@@ -569,6 +595,11 @@ enum
    OPTDONTHANDLEPGPKEYS,       /* (pseudo) used to extract PGP keys */
-   OPTUNBUFFEREDINPUT,   /* (pseudo) don't use key buffer */
+   OPTIGNOREMACROEVENTS, /* (pseudo) don't process macro/push/exec events while set */
  
 +#ifdef USE_NNTP
 +  OPTNEWS,            /* (pseudo) used to change reader mode */
 +  OPTNEWSSEND,                /* (pseudo) used to change behavior when posting */
-+  OPTNEWSCACHE,               /* (pseudo) used to indicate if news cache exist */
 +#endif
 +
    OPTMAX
  };
  
-@@ -587,6 +619,13 @@ typedef struct envelope
+@@ -649,6 +680,13 @@ typedef struct envelope
    char *supersedes;
    char *date;
    char *x_label;
@@ -3029,17 +3156,7 @@ diff -udprP mutt-1.5.21.orig/mutt.h mutt-1.5.21/mutt.h
    BUFFER *spam;
    LIST *references;           /* message references (in reverse order) */
    LIST *in_reply_to;          /* in-reply-to header content */
-@@ -756,6 +795,9 @@ typedef struct header
-   ENVELOPE *env;              /* envelope information */
-   BODY *content;              /* list of MIME parts */
-   char *path;
-+#ifdef USE_NNTP
-+  int article_num;
-+#endif
-   
-   char *tree;                 /* character string to print thread tree */
-   THREAD *thread;
-@@ -771,7 +813,7 @@ typedef struct header
+@@ -836,7 +874,7 @@ typedef struct header
    int refno;                  /* message number on server */
  #endif
  
@@ -3048,10 +3165,25 @@ diff -udprP mutt-1.5.21.orig/mutt.h mutt-1.5.21/mutt.h
    void *data;                 /* driver-specific data */
  #endif
    
-diff -udprP mutt-1.5.21.orig/muttlib.c mutt-1.5.21/muttlib.c
---- mutt-1.5.21.orig/muttlib.c 2010-08-25 19:31:40.000000000 +0300
-+++ mutt-1.5.21/muttlib.c      2010-09-16 13:14:39.000000000 +0300
-@@ -337,7 +337,7 @@ void mutt_free_header (HEADER **h)
+diff -udprP mutt-1.10.0.orig/mutt_sasl.c mutt-1.10.0/mutt_sasl.c
+--- mutt-1.10.0.orig/mutt_sasl.c       2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/mutt_sasl.c    2018-06-16 17:22:30.199469651 +0300
+@@ -192,6 +192,11 @@ int mutt_sasl_client_new (CONNECTION* co
+     case MUTT_ACCT_TYPE_SMTP:
+       service = "smtp";
+       break;
++#ifdef USE_NNTP
++    case MUTT_ACCT_TYPE_NNTP:
++      service = "nntp";
++      break;
++#endif
+     default:
+       mutt_error (_("Unknown SASL profile"));
+       return -1;
+diff -udprP mutt-1.10.0.orig/muttlib.c mutt-1.10.0/muttlib.c
+--- mutt-1.10.0.orig/muttlib.c 2018-04-17 02:31:03.000000000 +0300
++++ mutt-1.10.0/muttlib.c      2018-06-16 17:22:30.199469651 +0300
+@@ -354,7 +354,7 @@ void mutt_free_header (HEADER **h)
  #ifdef MIXMASTER
    mutt_free_list (&(*h)->chain);
  #endif
@@ -3060,7 +3192,7 @@ diff -udprP mutt-1.5.21.orig/muttlib.c mutt-1.5.21/muttlib.c
    FREE (&(*h)->data);
  #endif
    FREE (h);           /* __FREE_CHECKED__ */
-@@ -722,6 +722,13 @@ void mutt_free_envelope (ENVELOPE **p)
+@@ -740,6 +740,13 @@ void mutt_free_envelope (ENVELOPE **p)
    FREE (&(*p)->supersedes);
    FREE (&(*p)->date);
    FREE (&(*p)->x_label);
@@ -3074,14 +3206,14 @@ diff -udprP mutt-1.5.21.orig/muttlib.c mutt-1.5.21/muttlib.c
  
    mutt_buffer_free (&(*p)->spam);
  
-@@ -1525,6 +1532,14 @@ int mutt_save_confirm (const char *s, st
+@@ -1663,6 +1670,14 @@ int mutt_save_confirm (const char *s, st
      }
    }
  
 +#ifdef USE_NNTP
-+  if (magic == M_NNTP)
++  if (magic == MUTT_NNTP)
 +  {
-+    mutt_error _("Can't save message to newsserver.");
++    mutt_error _("Can't save message to news server.");
 +    return 0;
 +  }
 +#endif
@@ -3089,10 +3221,32 @@ diff -udprP mutt-1.5.21.orig/muttlib.c mutt-1.5.21/muttlib.c
    if (stat (s, st) != -1)
    {
      if (magic == -1)
-diff -udprP mutt-1.5.21.orig/mx.c mutt-1.5.21/mx.c
---- mutt-1.5.21.orig/mx.c      2010-09-13 20:19:55.000000000 +0300
-+++ mutt-1.5.21/mx.c   2010-09-16 13:14:39.000000000 +0300
-@@ -343,6 +343,22 @@ int mx_is_pop (const char *p)
+diff -udprP mutt-1.10.0.orig/mx.c mutt-1.10.0/mx.c
+--- mutt-1.10.0.orig/mx.c      2018-04-17 02:31:03.000000000 +0300
++++ mutt-1.10.0/mx.c   2018-06-16 17:22:30.199469651 +0300
+@@ -45,6 +45,10 @@
+ #include "pop.h"
+ #endif
++#ifdef USE_NNTP
++#include "nntp.h"
++#endif
++
+ #include "buffy.h"
+ #ifdef USE_DOTLOCK
+@@ -88,6 +92,10 @@ struct mx_ops* mx_get_ops (int magic)
+     case MUTT_COMPRESSED:
+       return &mx_comp_ops;
+ #endif
++#ifdef USE_NNTP
++    case MUTT_NNTP:
++      return &mx_nntp_ops;
++#endif
+     default:
+       return NULL;
+   }
+@@ -378,6 +386,22 @@ int mx_is_pop (const char *p)
  }
  #endif
  
@@ -3115,138 +3269,96 @@ diff -udprP mutt-1.5.21.orig/mx.c mutt-1.5.21/mx.c
  int mx_get_magic (const char *path)
  {
    struct stat st;
-@@ -360,6 +376,11 @@ int mx_get_magic (const char *path)
-     return M_POP;
+@@ -395,6 +419,11 @@ int mx_get_magic (const char *path)
+     return MUTT_POP;
  #endif /* USE_POP */
  
 +#ifdef USE_NNTP
 +  if (mx_is_nntp (path))
-+    return M_NNTP;
++    return MUTT_NNTP;
 +#endif /* USE_NNTP */
 +
    if (stat (path, &st) == -1)
    {
      dprint (1, (debugfile, "mx_get_magic(): unable to stat %s: %s (errno %d).\n",
-@@ -668,6 +689,12 @@ CONTEXT *mx_open_mailbox (const char *pa
-       break;
- #endif /* USE_POP */
-+#ifdef USE_NNTP
-+    case M_NNTP:
-+      rc = nntp_open_mailbox (ctx);
-+      break;
-+#endif /* USE_NNTP */
-+
-     default:
-       rc = -1;
-       break;
-@@ -764,6 +791,12 @@ static int sync_mailbox (CONTEXT *ctx, i
-       rc = pop_sync_mailbox (ctx, index_hint);
-       break;
- #endif /* USE_POP */
-+
-+#ifdef USE_NNTP
-+    case M_NNTP:
-+      rc = nntp_sync_mailbox (ctx);
-+      break;
-+#endif /* USE_NNTP */
+@@ -803,6 +832,25 @@ int mx_close_mailbox (CONTEXT *ctx, int
+     return 0;
    }
  
- #if 0
-@@ -790,6 +823,16 @@ int mx_close_mailbox (CONTEXT *ctx, int 
-   ctx->closing = 1;
 +#ifdef USE_NNTP
-+  if (ctx->magic == M_NNTP)
++  if (ctx->unread && ctx->magic == MUTT_NNTP)
 +  {
-+    int ret;
++    NNTP_DATA *nntp_data = ctx->data;
 +
-+    ret = nntp_close_mailbox (ctx);
-+    mx_fastclose_mailbox (ctx);
-+    return ret;
++    if (nntp_data && nntp_data->nserv && nntp_data->group)
++    {
++      int rc = query_quadoption (OPT_CATCHUP, _("Mark all articles read?"));
++      if (rc < 0)
++      {
++      ctx->closing = 0;
++      return -1;
++      }
++      else if (rc == MUTT_YES)
++      mutt_newsgroup_catchup (nntp_data->nserv, nntp_data->group);
++    }
 +  }
 +#endif
-   if (ctx->readonly || ctx->dontwrite)
-   {
-     /* mailbox is readonly or we don't want to write */
-@@ -1341,6 +1384,11 @@ int mx_check_mailbox (CONTEXT *ctx, int 
-       case M_POP:
-       return (pop_check_mailbox (ctx, index_hint));
- #endif /* USE_POP */
 +
-+#ifdef USE_NNTP
-+      case M_NNTP:
-+      return (nntp_check_mailbox (ctx));
-+#endif /* USE_NNTP */
-     }
+   for (i = 0; i < ctx->msgcount; i++)
+   {
+     if (!ctx->hdrs[i]->deleted && ctx->hdrs[i]->read 
+@@ -810,6 +858,12 @@ int mx_close_mailbox (CONTEXT *ctx, int
+       read_msgs++;
    }
  
-@@ -1401,6 +1449,15 @@ MESSAGE *mx_open_message (CONTEXT *ctx, 
-     }
- #endif /* USE_POP */
-+#ifdef USE_NNTP
-+    case M_NNTP:
-+    {
-+      if (nntp_fetch_message (msg, ctx, msgno) != 0)
-+      FREE (&msg);
-+      break;
-+    }
-+#endif /* USE_NNTP */
-+
-     default:
-       dprint (1, (debugfile, "mx_open_message(): function not implemented for mailbox type %d.\n", ctx->magic));
-       FREE (&msg);
-@@ -1476,6 +1533,9 @@ int mx_close_message (MESSAGE **msg)
-   int r = 0;
-   if ((*msg)->magic == M_MH || (*msg)->magic == M_MAILDIR
 +#ifdef USE_NNTP
-+      || (*msg)->magic == M_NNTP
++  /* don't need to move articles from newsgroup */
++  if (ctx->magic == MUTT_NNTP)
++    read_msgs = 0;
 +#endif
-       || (*msg)->magic == M_IMAP || (*msg)->magic == M_POP)
++
+   if (read_msgs && quadoption (OPT_MOVE) != MUTT_NO)
    {
-     r = safe_fclose (&(*msg)->fp);
-diff -udprP mutt-1.5.21.orig/mx.h mutt-1.5.21/mx.h
---- mutt-1.5.21.orig/mx.h      2009-08-25 22:08:52.000000000 +0300
-+++ mutt-1.5.21/mx.h   2010-09-16 13:14:39.000000000 +0300
-@@ -34,6 +34,9 @@ enum
-   M_MMDF,
-   M_MH,
-   M_MAILDIR,
-+#ifdef USE_NNTP
-+  M_NNTP,
-+#endif
-   M_IMAP,
-   M_POP
- };
-diff -udprP mutt-1.5.21.orig/newsrc.c mutt-1.5.21/newsrc.c
---- mutt-1.5.21.orig/newsrc.c  1970-01-01 03:00:00.000000000 +0300
-+++ mutt-1.5.21/newsrc.c       2010-09-16 13:14:39.000000000 +0300
-@@ -0,0 +1,1170 @@
+     char *p;
+diff -udprP mutt-1.10.0.orig/mx.h mutt-1.10.0/mx.h
+--- mutt-1.10.0.orig/mx.h      2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/mx.h   2018-06-16 17:22:30.199469651 +0300
+@@ -35,6 +35,9 @@ enum
+   MUTT_MMDF,
+   MUTT_MH,
+   MUTT_MAILDIR,
++#ifdef USE_NNTP
++  MUTT_NNTP,
++#endif
+   MUTT_IMAP,
+   MUTT_POP
+ #ifdef USE_COMPRESSED
+diff -udprP mutt-1.10.0.orig/newsrc.c mutt-1.10.0/newsrc.c
+--- mutt-1.10.0.orig/newsrc.c  1970-01-01 03:00:00.000000000 +0300
++++ mutt-1.10.0/newsrc.c       2018-06-16 17:22:30.200469636 +0300
+@@ -0,0 +1,1259 @@
 +/*
 + * Copyright (C) 1998 Brandon Long <blong@fiction.net>
 + * Copyright (C) 1999 Andrej Gritsenko <andrej@lucky.net>
-+ * Copyright (C) 2000-2009 Vsevolod Volkov <vvv@mutt.org.ua>
-+ * 
++ * Copyright (C) 2000-2017 Vsevolod Volkov <vvv@mutt.org.ua>
++ *
 + *     This program is free software; you can redistribute it and/or modify
 + *     it under the terms of the GNU General Public License as published by
 + *     the Free Software Foundation; either version 2 of the License, or
 + *     (at your option) any later version.
-+ * 
++ *
 + *     This program is distributed in the hope that it will be useful,
 + *     but WITHOUT ANY WARRANTY; without even the implied warranty of
 + *     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 + *     GNU General Public License for more details.
-+ * 
++ *
 + *     You should have received a copy of the GNU General Public License
 + *     along with this program; if not, write to the Free Software
 + *     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
-+ */ 
++ */
 +
 +#if HAVE_CONFIG_H
-+# include "config.h"
++#include "config.h"
 +#endif
 +
 +#include "mutt.h"
@@ -3259,293 +3371,451 @@ diff -udprP mutt-1.5.21.orig/newsrc.c mutt-1.5.21/newsrc.c
 +#include "rfc822.h"
 +#include "rfc1524.h"
 +#include "rfc2047.h"
++#include "bcache.h"
++
++#if USE_HCACHE
++#include "hcache.h"
++#endif
 +
 +#include <unistd.h>
 +#include <string.h>
 +#include <ctype.h>
 +#include <stdlib.h>
 +#include <sys/stat.h>
++#include <sys/types.h>
++#include <dirent.h>
++#include <errno.h>
 +
-+void nntp_add_to_list (NNTP_SERVER *s, NNTP_DATA *d)
++/* Find NNTP_DATA for given newsgroup or add it */
++static NNTP_DATA *nntp_data_find (NNTP_SERVER *nserv, const char *group)
 +{
-+  LIST *l;
++  NNTP_DATA *nntp_data = hash_find (nserv->groups_hash, group);
 +
-+  if (!s || !d)
-+    return;
++  if (!nntp_data)
++  {
++    /* create NNTP_DATA structure and add it to hash */
++    nntp_data = safe_calloc (1, sizeof (NNTP_DATA) + strlen (group) + 1);
++    nntp_data->group = (char *)nntp_data + sizeof (NNTP_DATA);
++    strcpy (nntp_data->group, group);
++    nntp_data->nserv = nserv;
++    nntp_data->deleted = 1;
++    hash_insert (nserv->groups_hash, nntp_data->group, nntp_data);
 +
-+  l = safe_calloc (1, sizeof (LIST));
-+  if (s->list)
-+    s->tail->next = l;
-+  else
-+    s->list = l;
-+  s->tail = l;
-+  l->data = (void *) d;
++    /* add NNTP_DATA to list */
++    if (nserv->groups_num >= nserv->groups_max)
++    {
++      nserv->groups_max *= 2;
++      safe_realloc (&nserv->groups_list,
++                  nserv->groups_max * sizeof (nntp_data));
++    }
++    nserv->groups_list[nserv->groups_num++] = nntp_data;
++  }
++  return nntp_data;
 +}
 +
-+static int nntp_parse_newsrc_line (NNTP_SERVER *news, char *line)
++/* Remove all temporarily cache files */
++void nntp_acache_free (NNTP_DATA *nntp_data)
 +{
-+  NNTP_DATA *data;
-+  char group[LONG_STRING];
-+  int x = 1;
-+  char *p = line, *b, *h;
-+  size_t len;
++  int i;
 +
-+  while (*p)
++  for (i = 0; i < NNTP_ACACHE_LEN; i++)
 +  {
-+    if (*p++ == ',')
-+      x++;
++    if (nntp_data->acache[i].path)
++    {
++      unlink (nntp_data->acache[i].path);
++      FREE (&nntp_data->acache[i].path);
++    }
 +  }
++}
 +
-+  p = line;
-+  while (*p && (*p != ':' && *p != '!')) p++;
-+  if (!*p)
-+    return -1;
-+  len = p + 1 - line;
-+  if (len > sizeof (group))
-+    len = sizeof (group);
-+  strfcpy (group, line, len);
-+  if ((data = (NNTP_DATA *)hash_find (news->newsgroups, group)) == NULL)
-+  {
-+    data = (NNTP_DATA *) safe_calloc (1, sizeof (NNTP_DATA) + strlen (group) + 1);
-+    data->group = (char *) data + sizeof (NNTP_DATA);
-+    strcpy (data->group, group);
-+    data->nserv = news;
-+    data->deleted = 1;
-+    if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
-+      news->newsgroups = hash_resize (news->newsgroups, news->newsgroups->nelem * 2, 0);
-+    hash_insert (news->newsgroups, data->group, data, 0);
-+    nntp_add_to_list (news, data);
-+  }
-+  else
-+    FREE ((void **) &data->entries);
++/* Free NNTP_DATA, used to destroy hash elements */
++void nntp_data_free (void *data)
++{
++  NNTP_DATA *nntp_data = data;
 +
-+  data->rc = 1;
-+  data->entries = safe_calloc (x*2, sizeof (NEWSRC_ENTRY));
-+  data->max = x*2;
++  if (!nntp_data)
++    return;
++  nntp_acache_free (nntp_data);
++  mutt_bcache_close (&nntp_data->bcache);
++  FREE (&nntp_data->newsrc_ent);
++  FREE (&nntp_data->desc);
++  FREE (&data);
++}
 +
-+  if (*p == ':')
-+    data->subscribed = 1;
-+  else
-+    data->subscribed = 0;
++/* Unlock and close .newsrc file */
++void nntp_newsrc_close (NNTP_SERVER *nserv)
++{
++  if (!nserv->newsrc_fp)
++    return;
 +
-+  p++;
-+  b = p;
-+  x = 0;
-+  while (*b)
-+  {
-+    while (*p && *p != ',' && *p != '\n') p++;
-+    if (*p)
-+    {
-+      *p = '\0';
-+      p++;
-+    }
-+    if ((h = strchr(b, '-')))
-+    {
-+      *h = '\0';
-+      h++;
-+      data->entries[x].first = atoi(b);
-+      data->entries[x].last = atoi(h);
-+    }
-+    else
-+    {
-+      data->entries[x].first = atoi(b);
-+      data->entries[x].last = data->entries[x].first;
-+    }
-+    b = p;
-+    if (data->entries[x].last != 0)
-+      x++;
-+  }
-+  if (x && !data->lastMessage)
-+    data->lastMessage = data->entries[x-1].last;
-+  data->num = x;
-+  mutt_newsgroup_stat (data);
-+  dprint (2, (debugfile, "parse_line: Newsgroup %s\n", data->group));
-+  
-+  return 0;
++  dprint (1, (debugfile, "Unlocking %s\n", nserv->newsrc_file));
++  mx_unlock_file (nserv->newsrc_file, fileno (nserv->newsrc_fp), 0);
++  safe_fclose (&nserv->newsrc_fp);
 +}
 +
-+static int slurp_newsrc (NNTP_SERVER *news)
++/* Parse .newsrc file:
++ *  0 - not changed
++ *  1 - parsed
++ * -1 - error */
++int nntp_newsrc_parse (NNTP_SERVER *nserv)
 +{
-+  FILE *fp;
-+  char *buf;
++  unsigned int i;
++  char *line;
 +  struct stat sb;
 +
-+  news->stat = stat (news->newsrc, &sb);
-+  news->size = sb.st_size;
-+  news->mtime = sb.st_mtime;
++  /* if file doesn't exist, create it */
++  nserv->newsrc_fp = safe_fopen (nserv->newsrc_file, "a");
++  safe_fclose (&nserv->newsrc_fp);
 +
-+  if ((fp = safe_fopen (news->newsrc, "r")) == NULL)
++  /* open .newsrc */
++  nserv->newsrc_fp = safe_fopen (nserv->newsrc_file, "r");
++  if (!nserv->newsrc_fp)
++  {
++    mutt_perror (nserv->newsrc_file);
++    mutt_sleep (2);
 +    return -1;
-+  /* hmm, should we use dotlock? */
-+  if (mx_lock_file (news->newsrc, fileno (fp), 0, 0, 1))
++  }
++
++  /* lock it */
++  dprint (1, (debugfile, "Locking %s\n", nserv->newsrc_file));
++  if (mx_lock_file (nserv->newsrc_file, fileno (nserv->newsrc_fp), 0, 0, 1))
 +  {
-+    fclose (fp);
++    safe_fclose (&nserv->newsrc_fp);
 +    return -1;
 +  }
 +
-+  buf = safe_malloc (sb.st_size + 1);
-+  while (sb.st_size && fgets (buf, sb.st_size + 1, fp))
-+    nntp_parse_newsrc_line (news, buf);
-+  FREE (&buf);
++  if (stat (nserv->newsrc_file, &sb))
++  {
++    mutt_perror (nserv->newsrc_file);
++    nntp_newsrc_close (nserv);
++    mutt_sleep (2);
++    return -1;
++  }
 +
-+  mx_unlock_file (news->newsrc, fileno (fp), 0);
-+  fclose (fp);
-+  return 0;
-+}
++  if (nserv->size == sb.st_size && nserv->mtime == sb.st_mtime)
++    return 0;
 +
-+void nntp_cache_expand (char *dst, const char *src)
-+{
-+  snprintf (dst, _POSIX_PATH_MAX, "%s/%s", NewsCacheDir, src);
-+  mutt_expand_path (dst, _POSIX_PATH_MAX);
-+}
++  nserv->size = sb.st_size;
++  nserv->mtime = sb.st_mtime;
++  nserv->newsrc_modified = 1;
++  dprint (1, (debugfile, "Parsing %s\n", nserv->newsrc_file));
 +
-+/* Loads $news_cache_dir/.index into memory, loads newsserver data
-+ * and newsgroup cache names */
-+static int nntp_parse_cacheindex (NNTP_SERVER *news)
-+{
-+  struct stat st;
-+  char buf[HUGE_STRING], *cp;
-+  char dir[_POSIX_PATH_MAX], file[_POSIX_PATH_MAX];
-+  FILE *index;
-+  NNTP_DATA *data;
-+  int l, m, t;
-+
-+  /* check is server name defined or not */
-+  if (!news || !news->conn || !news->conn->account.host)
-+    return -1;
-+  unset_option (OPTNEWSCACHE);
-+  if (!NewsCacheDir || !*NewsCacheDir)
-+    return 0;
++  /* .newsrc has been externally modified or hasn't been loaded yet */
++  for (i = 0; i < nserv->groups_num; i++)
++  {
++    NNTP_DATA *nntp_data = nserv->groups_list[i];
 +
-+  strfcpy (dir, NewsCacheDir, sizeof (dir));
-+  mutt_expand_path (dir, sizeof(dir));
++    if (!nntp_data)
++      continue;
++
++    nntp_data->subscribed = 0;
++    nntp_data->newsrc_len = 0;
++    FREE (&nntp_data->newsrc_ent);
++  }
 +
-+  if (lstat (dir, &st) || (st.st_mode & S_IFDIR) == 0)
++  line = safe_malloc (sb.st_size + 1);
++  while (sb.st_size && fgets (line, sb.st_size + 1, nserv->newsrc_fp))
 +  {
-+    snprintf (buf, sizeof(buf), _("Directory %s not exist. Create it?"), dir);
-+    if (mutt_yesorno (buf, M_YES) != M_YES || mkdir (dir, (S_IRWXU+S_IRWXG+
-+        S_IRWXO)))
++    char *b, *h, *p;
++    unsigned int subs = 0, i = 1;
++    NNTP_DATA *nntp_data;
++
++    /* find end of newsgroup name */
++    p = strpbrk (line, ":!");
++    if (!p)
++      continue;
++
++    /* ":" - subscribed, "!" - unsubscribed */
++    if (*p == ':')
++      subs++;
++    *p++ = '\0';
++
++    /* get newsgroup data */
++    nntp_data = nntp_data_find (nserv, line);
++    FREE (&nntp_data->newsrc_ent);
++
++    /* count number of entries */
++    b = p;
++    while (*b)
++      if (*b++ == ',')
++      i++;
++    nntp_data->newsrc_ent = safe_calloc (i, sizeof (NEWSRC_ENTRY));
++    nntp_data->subscribed = subs;
++
++    /* parse entries */
++    i = 0;
++    while (p)
 +    {
-+      mutt_error _("Cache directory not created!");
-+      return -1;
++      b = p;
++
++      /* find end of entry */
++      p = strchr (p, ',');
++      if (p)
++      *p++ = '\0';
++
++      /* first-last or single number */
++      h = strchr (b, '-');
++      if (h)
++      *h++ = '\0';
++      else
++      h = b;
++
++      if (sscanf (b, ANUM, &nntp_data->newsrc_ent[i].first) == 1 &&
++        sscanf (h, ANUM, &nntp_data->newsrc_ent[i].last) == 1)
++      i++;
 +    }
-+    mutt_clear_error();
-+  }
++    if (i == 0)
++    {
++      nntp_data->newsrc_ent[i].first = 1;
++      nntp_data->newsrc_ent[i].last = 0;
++      i++;
++    }
++    if (nntp_data->lastMessage == 0)
++      nntp_data->lastMessage = nntp_data->newsrc_ent[i - 1].last;
++    nntp_data->newsrc_len = i;
++    safe_realloc (&nntp_data->newsrc_ent, i * sizeof (NEWSRC_ENTRY));
++    nntp_group_unread_stat (nntp_data);
++    dprint (2, (debugfile, "nntp_newsrc_parse: %s\n", nntp_data->group));
++  }
++  FREE (&line);
++  return 1;
++}
 +
-+  set_option (OPTNEWSCACHE);
++/* Generate array of .newsrc entries */
++void nntp_newsrc_gen_entries (CONTEXT *ctx)
++{
++  NNTP_DATA *nntp_data = ctx->data;
++  anum_t last = 0, first = 1;
++  int series, i;
++  int save_sort = SORT_ORDER;
++  unsigned int entries;
 +
-+  FREE (&news->cache);
-+  snprintf (buf, sizeof(buf), "%s/.index", dir);
-+  if (!(index = safe_fopen (buf, "a+")))
-+    return 0;
-+  rewind (index);
-+  while (fgets (buf, sizeof(buf), index))
++  if (Sort != SORT_ORDER)
 +  {
-+    buf[strlen(buf) - 1] = 0; /* strip ending '\n' */
-+    if (!mutt_strncmp (buf, "#: ", 3) &&
-+      !mutt_strcasecmp (buf+3, news->conn->account.host))
-+      break;
++    save_sort = Sort;
++    Sort = SORT_ORDER;
++    mutt_sort_headers (ctx, 0);
 +  }
-+  while (fgets (buf, sizeof(buf), index))
++
++  entries = nntp_data->newsrc_len;
++  if (!entries)
 +  {
-+    cp = buf;
-+    while (*cp && *cp != ' ') cp++;
-+    if (!*cp) continue;
-+    cp[0] = 0;
-+    if (!mutt_strcmp (buf, "#:"))
-+      break;
-+    sscanf (cp + 1, "%s %d %d", file, &l, &m);
-+    if (!mutt_strcmp (buf, "ALL"))
++    entries = 5;
++    nntp_data->newsrc_ent = safe_calloc (entries, sizeof (NEWSRC_ENTRY));
++  }
++
++  /* Set up to fake initial sequence from 1 to the article before the
++   * first article in our list */
++  nntp_data->newsrc_len = 0;
++  series = 1;
++  for (i = 0; i < ctx->msgcount; i++)
++  {
++    /* search for first unread */
++    if (series)
 +    {
-+      news->cache = safe_strdup (file);
-+      news->newgroups_time = m;
++      /* We don't actually check sequential order, since we mark
++       * "missing" entries as read/deleted */
++      last = NHDR (ctx->hdrs[i])->article_num;
++      if (last >= nntp_data->firstMessage && !ctx->hdrs[i]->deleted &&
++        !ctx->hdrs[i]->read)
++      {
++      if (nntp_data->newsrc_len >= entries)
++      {
++        entries *= 2;
++        safe_realloc (&nntp_data->newsrc_ent, entries * sizeof (NEWSRC_ENTRY));
++      }
++      nntp_data->newsrc_ent[nntp_data->newsrc_len].first = first;
++      nntp_data->newsrc_ent[nntp_data->newsrc_len].last = last - 1;
++      nntp_data->newsrc_len++;
++      series = 0;
++      }
 +    }
-+    else if (news->newsgroups)
++
++    /* search for first read */
++    else
 +    {
-+      if ((data = (NNTP_DATA *)hash_find (news->newsgroups, buf)) == NULL)
++      if (ctx->hdrs[i]->deleted || ctx->hdrs[i]->read)
 +      {
-+      data = (NNTP_DATA *) safe_calloc (1, sizeof (NNTP_DATA) + strlen (buf) + 1);
-+      data->group = (char *) data + sizeof (NNTP_DATA);
-+      strcpy(data->group, buf);
-+      data->nserv = news;
-+      data->deleted = 1;
-+      if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
-+        news->newsgroups = hash_resize (news->newsgroups, news->newsgroups->nelem * 2, 0);
-+      hash_insert (news->newsgroups, data->group, data, 0);
-+      nntp_add_to_list (news, data);
++      first = last + 1;
++      series = 1;
 +      }
-+      data->cache = safe_strdup (file);
-+      t = 0;
-+      if (!data->firstMessage || data->lastMessage < m)
-+      t = 1;
-+      if (!data->firstMessage)
-+      data->firstMessage = l;
-+      if (data->lastMessage < m)
-+      data->lastMessage = m;
-+      data->lastCached = m;
-+      if (t || !data->unread)
-+      mutt_newsgroup_stat (data);
++      last = NHDR (ctx->hdrs[i])->article_num;
 +    }
 +  }
-+  fclose (index);
-+  return 0;
++
++  if (series && first <= nntp_data->lastLoaded)
++  {
++    if (nntp_data->newsrc_len >= entries)
++    {
++      entries++;
++      safe_realloc (&nntp_data->newsrc_ent, entries * sizeof (NEWSRC_ENTRY));
++    }
++    nntp_data->newsrc_ent[nntp_data->newsrc_len].first = first;
++    nntp_data->newsrc_ent[nntp_data->newsrc_len].last = nntp_data->lastLoaded;
++    nntp_data->newsrc_len++;
++  }
++  safe_realloc (&nntp_data->newsrc_ent,
++              nntp_data->newsrc_len * sizeof (NEWSRC_ENTRY));
++
++  if (save_sort != Sort)
++  {
++    Sort = save_sort;
++    mutt_sort_headers (ctx, 0);
++  }
 +}
 +
-+const char *
-+nntp_format_str (char *dest, size_t destlen, size_t col, char op, const char *src,
-+              const char *fmt, const char *ifstring, const char *elsestring,
-+              unsigned long data, format_flag flags)
++/* Update file with new contents */
++static int update_file (char *filename, char *buf)
 +{
-+  char fn[SHORT_STRING], tmp[SHORT_STRING];
++  FILE *fp;
++  char tmpfile[_POSIX_PATH_MAX];
++  int rc = -1;
 +
-+  switch (op)
++  while (1)
 +  {
-+    case 's':
-+      strncpy (fn, NewsServer, sizeof(fn) - 1);
-+      mutt_strlower (fn);
-+      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
-+      snprintf (dest, destlen, tmp, fn);
++    snprintf (tmpfile, sizeof (tmpfile), "%s.tmp", filename);
++    fp = fopen (tmpfile, "w");
++    if (!fp)
++    {
++      mutt_perror (tmpfile);
++      *tmpfile = '\0';
++      break;
++    }
++    if (fputs (buf, fp) == EOF)
++    {
++      mutt_perror (tmpfile);
++      break;
++    }
++    if (fclose (fp) == EOF)
++    {
++      mutt_perror (tmpfile);
++      fp = NULL;
++      break;
++    }
++    fp = NULL;
++    if (rename (tmpfile, filename) < 0)
++    {
++      mutt_perror (filename);
 +      break;
++    }
++    *tmpfile = '\0';
++    rc = 0;
++    break;
 +  }
-+  return (src);
++  if (fp)
++    fclose (fp);
++  if (*tmpfile)
++    unlink (tmpfile);
++  if (rc)
++    mutt_sleep (2);
++  return rc;
 +}
 +
-+/* nntp_parse_url: given an NNPT URL, return host, port,
-+ * username, password and newsgroup will recognise. */
-+int nntp_parse_url (const char *server, ACCOUNT *acct,
-+                  char *group, size_t group_len)
++/* Update .newsrc file */
++int nntp_newsrc_update (NNTP_SERVER *nserv)
 +{
-+  ciss_url_t url;
-+  char *c;
-+  int ret = -1;
++  char *buf;
++  size_t buflen, off;
++  unsigned int i;
++  int rc = -1;
++
++  if (!nserv)
++    return -1;
++
++  buflen = 10 * LONG_STRING;
++  buf = safe_calloc (1, buflen);
++  off = 0;
++
++  /* we will generate full newsrc here */
++  for (i = 0; i < nserv->groups_num; i++)
++  {
++    NNTP_DATA *nntp_data = nserv->groups_list[i];
++    unsigned int n;
++
++    if (!nntp_data || !nntp_data->newsrc_ent)
++      continue;
 +
-+  /* Defaults */
-+  acct->flags = 0;
-+  acct->port = NNTP_PORT;
-+  acct->type = M_ACCT_TYPE_NNTP;
++    /* write newsgroup name */
++    if (off + strlen (nntp_data->group) + 3 > buflen)
++    {
++      buflen *= 2;
++      safe_realloc (&buf, buflen);
++    }
++    snprintf (buf + off, buflen - off, "%s%c ", nntp_data->group,
++            nntp_data->subscribed ? ':' : '!');
++    off += strlen (buf + off);
 +
-+  c = safe_strdup (server);
-+  url_parse_ciss (&url, c);
++    /* write entries */
++    for (n = 0; n < nntp_data->newsrc_len; n++)
++    {
++      if (off + LONG_STRING > buflen)
++      {
++      buflen *= 2;
++      safe_realloc (&buf, buflen);
++      }
++      if (n)
++      buf[off++] = ',';
++      if (nntp_data->newsrc_ent[n].first == nntp_data->newsrc_ent[n].last)
++      snprintf (buf + off, buflen - off, "%d", nntp_data->newsrc_ent[n].first);
++      else if (nntp_data->newsrc_ent[n].first < nntp_data->newsrc_ent[n].last)
++      snprintf (buf + off, buflen - off, "%d-%d",
++                nntp_data->newsrc_ent[n].first, nntp_data->newsrc_ent[n].last);
++      off += strlen (buf + off);
++    }
++    buf[off++] = '\n';
++  }
++  buf[off] = '\0';
 +
-+  if (url.scheme == U_NNTP || url.scheme == U_NNTPS)
++  /* newrc being fully rewritten */
++  dprint (1, (debugfile, "Updating %s\n", nserv->newsrc_file));
++  if (nserv->newsrc_file && update_file (nserv->newsrc_file, buf) == 0)
 +  {
-+    if (url.scheme == U_NNTPS)
++    struct stat sb;
++
++    rc = stat (nserv->newsrc_file, &sb);
++    if (rc == 0)
++    {
++      nserv->size = sb.st_size;
++      nserv->mtime = sb.st_mtime;
++    }
++    else
 +    {
-+      acct->flags |= M_ACCT_SSL;
-+      acct->port = NNTP_SSL_PORT;
++      mutt_perror (nserv->newsrc_file);
++      mutt_sleep (2);
 +    }
++  }
++  FREE (&buf);
++  return rc;
++}
++
++/* Make fully qualified cache file name */
++static void cache_expand (char *dst, size_t dstlen, ACCOUNT *acct, char *src)
++{
++  char *c;
++  char file[_POSIX_PATH_MAX];
 +
-+    *group = '\0';
-+    if (url.path)
-+      strfcpy (group, url.path, group_len);
++  /* server subdirectory */
++  if (acct)
++  {
++    ciss_url_t url;
 +
-+    ret = mutt_account_fromurl (acct, &url);
++    mutt_account_tourl (acct, &url);
++    url.path = src;
++    url_ciss_tostring (&url, file, sizeof (file), U_PATH);
 +  }
++  else
++    strfcpy (file, src ? src : "", sizeof (file));
 +
-+  FREE (&c);
-+  return ret;
++  snprintf (dst, dstlen, "%s/%s", NewsCacheDir, file);
++
++  /* remove trailing slash */
++  c = dst + strlen (dst) - 1;
++  if (*c == '/')
++    *c = '\0';
++  mutt_expand_path (dst, dstlen);
 +}
 +
++/* Make fully qualified url from newsgroup name */
 +void nntp_expand_path (char *line, size_t len, ACCOUNT *acct)
 +{
 +  ciss_url_t url;
@@ -3556,871 +3826,802 @@ diff -udprP mutt-1.5.21.orig/newsrc.c mutt-1.5.21/newsrc.c
 +  FREE (&url.path);
 +}
 +
-+/*
-+ * Automatically loads a newsrc into memory, if necessary.
-+ * Checks the size/mtime of a newsrc file, if it doesn't match, load
-+ * again.  Hmm, if a system has broken mtimes, this might mean the file
-+ * is reloaded every time, which we'd have to fix.
-+ *
-+ * a newsrc file is a line per newsgroup, with the newsgroup, then a 
-+ * ':' denoting subscribed or '!' denoting unsubscribed, then a 
-+ * comma separated list of article numbers and ranges.
-+ */
-+NNTP_SERVER *mutt_select_newsserver (char *server)
++/* Parse newsgroup */
++int nntp_add_group (char *line, void *data)
 +{
-+  char file[_POSIX_PATH_MAX];
-+  char *buf, *p;
-+  LIST *list;
-+  ACCOUNT acct;
-+  NNTP_SERVER *serv;
-+  CONNECTION *conn;
++  NNTP_SERVER *nserv = data;
++  NNTP_DATA *nntp_data;
++  char group[LONG_STRING];
++  char desc[HUGE_STRING] = "";
++  char mod;
++  anum_t first, last;
 +
-+  if (!server || !*server)
-+  {
-+    mutt_error _("No newsserver defined!");
-+    return NULL;
-+  }
++  if (!nserv || !line)
++    return 0;
 +
-+  buf = p = safe_calloc (strlen (server) + 10, sizeof (char));
-+  if (url_check_scheme (server) == U_UNKNOWN)
-+  {
-+    strcpy (buf, "news://");
-+    p = strchr (buf, '\0');
-+  }
-+  strcpy (p, server);
++  if (sscanf (line, "%s " ANUM " " ANUM " %c %[^\n]", group,
++            &last, &first, &mod, desc) < 4)
++    return 0;
++
++  nntp_data = nntp_data_find (nserv, group);
++  nntp_data->deleted = 0;
++  nntp_data->firstMessage = first;
++  nntp_data->lastMessage = last;
++  nntp_data->allowed = mod == 'y' || mod == 'm' ? 1 : 0;
++  mutt_str_replace (&nntp_data->desc, desc);
++  if (nntp_data->newsrc_ent || nntp_data->lastCached)
++    nntp_group_unread_stat (nntp_data);
++  else if (nntp_data->lastMessage &&
++         nntp_data->firstMessage <= nntp_data->lastMessage)
++    nntp_data->unread = nntp_data->lastMessage - nntp_data->firstMessage + 1;
++  else
++    nntp_data->unread = 0;
++  return 0;
++}
++
++/* Load list of all newsgroups from cache */
++static int active_get_cache (NNTP_SERVER *nserv)
++{
++  char buf[HUGE_STRING];
++  char file[_POSIX_PATH_MAX];
++  time_t t;
++  FILE *fp;
++
++  cache_expand (file, sizeof (file), &nserv->conn->account, ".active");
++  dprint (1, (debugfile, "Parsing %s\n", file));
++  fp = safe_fopen (file, "r");
++  if (!fp)
++    return -1;
 +
-+  if ((nntp_parse_url (buf, &acct, file, sizeof (file))) < 0 || *file)
++  if (fgets (buf, sizeof (buf), fp) == NULL ||
++      sscanf (buf, "%ld%s", &t, file) != 1 || t == 0)
 +  {
-+    FREE (&buf);
-+    mutt_error (_("%s is an invalid newsserver specification!"), server);
-+    return NULL;
++    fclose (fp);
++    return -1;
 +  }
-+  FREE (&buf);
++  nserv->newgroups_time = t;
 +
-+  conn = mutt_conn_find (NULL, &acct);
-+  if (!conn)
-+    return NULL;
++  mutt_message _("Loading list of groups from cache...");
++  while (fgets (buf, sizeof (buf), fp))
++    nntp_add_group (buf, nserv);
++  nntp_add_group (NULL, NULL);
++  fclose (fp);
++  mutt_clear_error ();
++  return 0;
++}
 +
-+  mutt_FormatString (file, sizeof (file), 0, NONULL (NewsRc), nntp_format_str, 0, 0);
-+  mutt_expand_path (file, sizeof (file));
++/* Save list of all newsgroups to cache */
++int nntp_active_save_cache (NNTP_SERVER *nserv)
++{
++  char file[_POSIX_PATH_MAX];
++  char *buf;
++  size_t buflen, off;
++  unsigned int i;
++  int rc;
 +
-+  serv = (NNTP_SERVER *)conn->data;
-+  if (serv)
++  if (!nserv->cacheable)
++    return 0;
++
++  buflen = 10 * LONG_STRING;
++  buf = safe_calloc (1, buflen);
++  snprintf (buf, buflen, "%lu\n", (unsigned long)nserv->newgroups_time);
++  off = strlen (buf);
++
++  for (i = 0; i < nserv->groups_num; i++)
 +  {
-+    struct stat sb;
++    NNTP_DATA *nntp_data = nserv->groups_list[i];
 +
-+    /* externally modified? */
-+    if (serv->stat != stat (file, &sb) || (!serv->stat &&
-+       (serv->size != sb.st_size || serv->mtime != sb.st_mtime)))
-+    {
-+      for (list = serv->list; list; list = list->next)
-+      {
-+      NNTP_DATA *data = (NNTP_DATA *) list->data;
++    if (!nntp_data || nntp_data->deleted)
++      continue;
 +
-+      if (data)
-+      {
-+        data->subscribed = 0;
-+        data->rc = 0;
-+        data->num = 0;
-+      }
-+      }
-+      slurp_newsrc (serv);
-+      nntp_clear_cacheindex (serv);
++    if (off + strlen (nntp_data->group) +
++      (nntp_data->desc ? strlen (nntp_data->desc) : 0) + 50 > buflen)
++    {
++      buflen *= 2;
++      safe_realloc (&buf, buflen);
 +    }
-+
-+    if (serv->status == NNTP_BYE)
-+      serv->status = NNTP_NONE;
-+    nntp_check_newgroups (serv, 0);
-+    return serv;
++    snprintf (buf + off, buflen - off, "%s %d %d %c%s%s\n", nntp_data->group,
++            nntp_data->lastMessage, nntp_data->firstMessage,
++            nntp_data->allowed ? 'y' : 'n', nntp_data->desc ? " " : "",
++            nntp_data->desc ? nntp_data->desc : "");
++    off += strlen (buf + off);
 +  }
 +
-+  /* New newsserver */
-+  serv = safe_calloc (1, sizeof (NNTP_SERVER));
-+  serv->conn = conn;
-+  serv->newsrc = safe_strdup (file);
-+  serv->newsgroups = hash_create (1009, 0);
-+  slurp_newsrc (serv);                        /* load .newsrc */
-+  nntp_parse_cacheindex (serv);               /* load .index */
-+  if (option (OPTNEWSCACHE) && serv->cache && nntp_get_cache_all (serv) >= 0)
-+    nntp_check_newgroups (serv, 1);
-+  else if (nntp_get_active (serv) < 0)
-+  {
-+    hash_destroy (&serv->newsgroups, nntp_delete_data);
-+    for (list = serv->list; list; list = list->next)
-+      list->data = NULL;
-+    mutt_free_list (&serv->list);
-+    FREE (&serv->newsrc);
-+    FREE (&serv->cache);
-+    FREE (&serv);
-+    return NULL;
-+  }
-+  nntp_clear_cacheindex (serv);
-+  conn->data = (void *)serv;
++  cache_expand (file, sizeof (file), &nserv->conn->account, ".active");
++  dprint (1, (debugfile, "Updating %s\n", file));
++  rc = update_file (file, buf);
++  FREE (&buf);
++  return rc;
++}
 +
-+  return serv;
++#ifdef USE_HCACHE
++/* Used by mutt_hcache_open() to compose hcache file name */
++static int nntp_hcache_namer (const char *path, char *dest, size_t destlen)
++{
++  return snprintf (dest, destlen, "%s.hcache", path);
 +}
 +
-+/* 
-+ * full status flags are not supported by nntp, but we can fake some
-+ * of them.  This is how:
-+ * Read = a read message number is in the .newsrc
-+ * New = a message is new since we last read this newsgroup
-+ * Old = anything else
-+ * So, Read is marked as such in the newsrc, old is anything that is 
-+ * "skipped" in the newsrc, and new is anything not in the newsrc nor
-+ * in the cache. By skipped, I mean before the last unread message
-+ */
-+void nntp_get_status (CONTEXT *ctx, HEADER *h, char *group, int article)
++/* Open newsgroup hcache */
++header_cache_t *nntp_hcache_open (NNTP_DATA *nntp_data)
 +{
-+  NNTP_DATA *data = (NNTP_DATA *) ctx->data;
-+  int x;
++  ciss_url_t url;
++  char file[_POSIX_PATH_MAX];
 +
-+  if (group)
-+    data = (NNTP_DATA *) hash_find (data->nserv->newsgroups, group);
++  if (!nntp_data->nserv || !nntp_data->nserv->cacheable ||
++      !nntp_data->nserv->conn || !nntp_data->group ||
++      !(nntp_data->newsrc_ent || nntp_data->subscribed ||
++      option (OPTSAVEUNSUB)))
++    return NULL;
 +
-+  if (!data)
-+  {
-+#ifdef DEBUG
-+    if (group)
-+      dprint (3, (debugfile, "newsgroup %s not found\n", group));
-+#endif
++  mutt_account_tourl (&nntp_data->nserv->conn->account, &url);
++  url.path = nntp_data->group;
++  url_ciss_tostring (&url, file, sizeof (file), U_PATH);
++  return mutt_hcache_open (NewsCacheDir, file, nntp_hcache_namer);
++}
++
++/* Remove stale cached headers */
++void nntp_hcache_update (NNTP_DATA *nntp_data, header_cache_t *hc)
++{
++  char buf[16];
++  int old = 0;
++  void *hdata;
++  anum_t first, last, current;
++
++  if (!hc)
 +    return;
-+  }
 +
-+  for (x = 0; x < data->num; x++)
++  /* fetch previous values of first and last */
++  hdata = mutt_hcache_fetch_raw (hc, "index", strlen);
++  if (hdata)
 +  {
-+    if ((article >= data->entries[x].first) &&
-+      (article <= data->entries[x].last))
++    dprint (2, (debugfile,
++              "nntp_hcache_update: mutt_hcache_fetch index: %s\n", hdata));
++    if (sscanf (hdata, ANUM " " ANUM, &first, &last) == 2)
 +    {
-+      /* we cannot use mutt_set_flag() because mx_update_context()
-+       didn't called yet */
-+      h->read = 1;
-+      return;
-+    }
-+  }
-+  /* If article was not cached yet, it is new! :) */
-+  if (!data->cache || article > data->lastCached)
-+    return;
-+  /* Old articles are articles which aren't read but an article after them
-+   * has been cached */
-+  if (option (OPTMARKOLD))
-+    h->old = 1;
-+}
++      old = 1;
++      nntp_data->lastCached = last;
 +
-+void mutt_newsgroup_stat (NNTP_DATA *data)
-+{
-+  int i;
-+  unsigned int first, last;
++      /* clean removed headers from cache */
++      for (current = first; current <= last; current++)
++      {
++      if (current >= nntp_data->firstMessage &&
++          current <= nntp_data->lastMessage)
++        continue;
 +
-+  data->unread = 0;
-+  if (data->lastMessage == 0 || data->firstMessage > data->lastMessage)
-+    return;
++      snprintf (buf, sizeof (buf), "%d", current);
++      dprint (2, (debugfile,
++                  "nntp_hcache_update: mutt_hcache_delete %s\n", buf));
++      mutt_hcache_delete (hc, buf, strlen);
++      }
++    }
++    FREE (&hdata);
++  }
 +
-+  data->unread = data->lastMessage - data->firstMessage + 1;
-+  for (i = 0; i < data->num; i++)
++  /* store current values of first and last */
++  if (!old || nntp_data->firstMessage != first ||
++            nntp_data->lastMessage != last)
 +  {
-+    first = data->entries[i].first;
-+    if (first < data->firstMessage)
-+      first = data->firstMessage;
-+    last = data->entries[i].last;
-+    if (last > data->lastMessage)
-+      last = data->lastMessage;
-+    if (first <= last)
-+      data->unread -= last - first + 1;
++    snprintf (buf, sizeof (buf), "%u %u", nntp_data->firstMessage,
++                                        nntp_data->lastMessage);
++    dprint (2, (debugfile,
++              "nntp_hcache_update: mutt_hcache_store index: %s\n", buf));
++    mutt_hcache_store_raw (hc, "index", buf, strlen (buf) + 1, strlen);
 +  }
 +}
++#endif
 +
-+static int puti (char *line, int num)
++/* Remove bcache file */
++static int nntp_bcache_delete (const char *id, body_cache_t *bcache, void *data)
 +{
-+  char *p, s[32];
++  NNTP_DATA *nntp_data = data;
++  anum_t anum;
++  char c;
 +
-+  for (p = s; num; )
++  if (!nntp_data || sscanf (id, ANUM "%c", &anum, &c) != 1 ||
++      anum < nntp_data->firstMessage || anum > nntp_data->lastMessage)
 +  {
-+    *p++ = '0' + num % 10;
-+    num /= 10;
++    if (nntp_data)
++      dprint (2, (debugfile, "nntp_bcache_delete: mutt_bcache_del %s\n", id));
++    mutt_bcache_del (bcache, id);
 +  }
-+  while (p > s)
-+    *line++ = *--p, num++;
-+  *line = '\0';
-+  return num;
++  return 0;
 +}
 +
-+static void nntp_create_newsrc_line (NNTP_DATA *data, char **buf, char **pline, size_t *buflen)
++/* Remove stale cached messages */
++void nntp_bcache_update (NNTP_DATA *nntp_data)
 +{
-+  char *line = *pline;
-+  size_t len = *buflen - (*pline - *buf);
-+  int x, i;
++  mutt_bcache_list (nntp_data->bcache, nntp_bcache_delete, nntp_data);
++}
 +
-+  if (len < LONG_STRING * 10)
-+  {
-+    len += *buflen;
-+    *buflen *= 2;
-+    line = *buf;
-+    safe_realloc (buf, *buflen);
-+    line = *buf + (*pline - line);
-+  }
-+  strcpy (line, data->group);
-+  len -= strlen (line) + 1;
-+  line += strlen (line);
-+  *line++ = data->subscribed ? ':' : '!';
-+  *line++ = ' ';
-+  *line = '\0';
-+
-+  for (x = 0; x < data->num; x++)
-+  {
-+    if (len < LONG_STRING)
-+    {
-+      len += *buflen;
-+      *buflen *= 2;
-+      *pline = line;
-+      line = *buf;
-+      safe_realloc (buf, *buflen);
-+      line = *buf + (*pline - line);
-+    }
-+    if (x)
-+    {
-+      *line++ = ',';
-+      len--;
-+    }
++/* Remove hcache and bcache of newsgroup */
++void nntp_delete_group_cache (NNTP_DATA *nntp_data)
++{
++  char file[_POSIX_PATH_MAX];
 +
-+#if 0
-+    if (data->entries[x].first == data->entries[x].last)
-+      snprintf (line, len, "%d%n", data->entries[x].first, &i);
-+    else
-+      snprintf (line, len, "%d-%d%n", 
-+          data->entries[x].first, data->entries[x].last, &i);
-+    len -= i;
-+    line += i;
-+#else
-+    i = puti (line, data->entries[x].first);
-+    line +=i; len -= i;
-+    if (data->entries[x].first != data->entries[x].last)
-+    {
-+      *line++ = '-';
-+      len--;
-+      i = puti (line, data->entries[x].last);
-+      line +=i; len -= i;
-+    }
++  if (!nntp_data || !nntp_data->nserv || !nntp_data->nserv->cacheable)
++    return;
++
++#ifdef USE_HCACHE
++  nntp_hcache_namer (nntp_data->group, file, sizeof (file));
++  cache_expand (file, sizeof (file), &nntp_data->nserv->conn->account, file);
++  unlink (file);
++  nntp_data->lastCached = 0;
++  dprint (2, (debugfile, "nntp_delete_group_cache: %s\n", file));
 +#endif
++
++  if (!nntp_data->bcache)
++    nntp_data->bcache = mutt_bcache_open (&nntp_data->nserv->conn->account,
++                      nntp_data->group);
++  if (nntp_data->bcache)
++  {
++    dprint (2, (debugfile, "nntp_delete_group_cache: %s/*\n", nntp_data->group));
++    mutt_bcache_list (nntp_data->bcache, nntp_bcache_delete, NULL);
++    mutt_bcache_close (&nntp_data->bcache);
 +  }
-+  *line++ = '\n';
-+  *line = '\0';
-+  *pline = line;
 +}
 +
-+void newsrc_gen_entries (CONTEXT *ctx)
++/* Remove hcache and bcache of all unexistent and unsubscribed newsgroups */
++void nntp_clear_cache (NNTP_SERVER *nserv)
 +{
-+  NNTP_DATA *data = (NNTP_DATA *)ctx->data;
-+  int series, x;
-+  unsigned int last = 0, first = 1;
-+  int save_sort = SORT_ORDER;
++  char file[_POSIX_PATH_MAX];
++  char *fp;
++  struct dirent *entry;
++  DIR *dp;
 +
-+  if (Sort != SORT_ORDER)
-+  {
-+    save_sort = Sort;
-+    Sort = SORT_ORDER;
-+    mutt_sort_headers (ctx, 0);
-+  }
++  if (!nserv || !nserv->cacheable)
++    return;
 +
-+  if (!data->max)
++  cache_expand (file, sizeof (file), &nserv->conn->account, NULL);
++  dp = opendir (file);
++  if (dp)
 +  {
-+    data->entries = safe_calloc (5, sizeof (NEWSRC_ENTRY));
-+    data->max = 5;
-+  }
++    safe_strncat (file, sizeof (file), "/", 1);
++    fp = file + strlen (file);
++    while ((entry = readdir (dp)))
++    {
++      char *group = entry->d_name;
++      struct stat sb;
++      NNTP_DATA *nntp_data;
++      NNTP_DATA nntp_tmp;
 +
-+  /*
-+   * Set up to fake initial sequence from 1 to the article before the 
-+   * first article in our list
-+   */
-+  data->num = 0;
-+  series = 1;
++      if (mutt_strcmp (group, ".") == 0 ||
++        mutt_strcmp (group, "..") == 0)
++      continue;
++      *fp = '\0';
++      safe_strncat (file, sizeof (file), group, strlen (group));
++      if (stat (file, &sb))
++      continue;
 +
-+  for (x = 0; x < ctx->msgcount; x++)
-+  {
-+    if (series) /* search for first unread */
-+    {
-+      /*
-+       * We don't actually check sequential order, since we mark 
-+       * "missing" entries as read/deleted
-+       */
-+      last = ctx->hdrs[x]->article_num;
-+      if (last >= data->firstMessage && !ctx->hdrs[x]->deleted &&
-+          !ctx->hdrs[x]->read)
++#ifdef USE_HCACHE
++      if (S_ISREG (sb.st_mode))
 +      {
-+      if (data->num >= data->max)
-+      {
-+        data->max = data->max * 2;
-+        safe_realloc (&data->entries, 
-+            data->max * sizeof (NEWSRC_ENTRY));
-+      }
-+      data->entries[data->num].first = first;
-+      data->entries[data->num].last = last - 1;
-+      data->num++;
-+      series = 0;
++      char *ext = group + strlen (group) - 7;
++      if (strlen (group) < 8 || mutt_strcmp (ext, ".hcache"))
++        continue;
++      *ext = '\0';
 +      }
-+    }
-+    else /* search for first read */
-+    {
-+      if (ctx->hdrs[x]->deleted || ctx->hdrs[x]->read)
++      else
++#endif
++      if (!S_ISDIR (sb.st_mode))
++      continue;
++
++      nntp_data = hash_find (nserv->groups_hash, group);
++      if (!nntp_data)
 +      {
-+      first = last + 1;
-+      series = 1;
++      nntp_data = &nntp_tmp;
++      nntp_data->nserv = nserv;
++      nntp_data->group = group;
++      nntp_data->bcache = NULL;
++      }
++      else if (nntp_data->newsrc_ent || nntp_data->subscribed ||
++             option (OPTSAVEUNSUB))
++      continue;
++
++      nntp_delete_group_cache (nntp_data);
++      if (S_ISDIR (sb.st_mode))
++      {
++      rmdir (file);
++      dprint (2, (debugfile, "nntp_clear_cache: %s\n", file));
 +      }
-+      last = ctx->hdrs[x]->article_num;
-+    }
-+  }
-+  if (series && first <= data->lastLoaded)
-+  {
-+    if (data->num >= data->max)
-+    {
-+      data->max = data->max * 2;
-+      safe_realloc (&data->entries, 
-+                  data->max * sizeof (NEWSRC_ENTRY));
 +    }
-+    data->entries[data->num].first = first;
-+    data->entries[data->num].last = data->lastLoaded;
-+    data->num++;
++    closedir (dp);
 +  }
++  return;
++}
 +
-+  if (save_sort != Sort)
++/* %a = account url
++ * %p = port
++ * %P = port if specified
++ * %s = news server name
++ * %S = url schema
++ * %u = username */
++const char *
++nntp_format_str (char *dest, size_t destlen, size_t col, int cols, char op,
++              const char *src, const char *fmt, const char *ifstring,
++              const char *elsestring, unsigned long data, format_flag flags)
++{
++  NNTP_SERVER *nserv = (NNTP_SERVER *)data;
++  ACCOUNT *acct = &nserv->conn->account;
++  ciss_url_t url;
++  char fn[SHORT_STRING], tmp[SHORT_STRING], *p;
++
++  switch (op)
 +  {
-+    Sort = save_sort;
-+    mutt_sort_headers (ctx, 0);
++    case 'a':
++      mutt_account_tourl (acct, &url);
++      url_ciss_tostring (&url, fn, sizeof (fn), U_PATH);
++      p = strchr (fn, '/');
++      if (p)
++      *p = '\0';
++      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
++      snprintf (dest, destlen, tmp, fn);
++      break;
++    case 'p':
++      snprintf (tmp, sizeof (tmp), "%%%su", fmt);
++      snprintf (dest, destlen, tmp, acct->port);
++      break;
++    case 'P':
++      *dest = '\0';
++      if (acct->flags & MUTT_ACCT_PORT)
++      {
++      snprintf (tmp, sizeof (tmp), "%%%su", fmt);
++      snprintf (dest, destlen, tmp, acct->port);
++      }
++      break;
++    case 's':
++      strncpy (fn, acct->host, sizeof (fn) - 1);
++      mutt_strlower (fn);
++      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
++      snprintf (dest, destlen, tmp, fn);
++      break;
++    case 'S':
++      mutt_account_tourl (acct, &url);
++      url_ciss_tostring (&url, fn, sizeof (fn), U_PATH);
++      p = strchr (fn, ':');
++      if (p)
++      *p = '\0';
++      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
++      snprintf (dest, destlen, tmp, fn);
++      break;
++    case 'u':
++      snprintf (tmp, sizeof (tmp), "%%%ss", fmt);
++      snprintf (dest, destlen, tmp, acct->user);
++      break;
 +  }
++  return (src);
 +}
 +
-+static int mutt_update_list_file (char *filename, char *section,
-+                                char *key, char *line)
++/* Automatically loads a newsrc into memory, if necessary.
++ * Checks the size/mtime of a newsrc file, if it doesn't match, load
++ * again.  Hmm, if a system has broken mtimes, this might mean the file
++ * is reloaded every time, which we'd have to fix. */
++NNTP_SERVER *nntp_select_server (char *server, int leave_lock)
 +{
-+  FILE *ifp;
-+  FILE *ofp;
-+  char buf[HUGE_STRING];
-+  char tmpfile[_POSIX_PATH_MAX];
-+  char *c;
-+  int ext = 0, done = 0, r = 0;
++  char file[_POSIX_PATH_MAX];
++  char *p;
++  int rc;
++  struct stat sb;
++  ACCOUNT acct;
++  NNTP_SERVER *nserv;
++  NNTP_DATA *nntp_data;
++  CONNECTION *conn;
++  ciss_url_t url;
 +
-+  /* if file not exist, create it */
-+  if ((ifp = safe_fopen (filename, "a")))
-+    fclose (ifp);
-+  dprint (1, (debugfile, "Opening %s\n", filename));
-+  if (!(ifp = safe_fopen (filename, "r")))
++  if (!server || !*server)
 +  {
-+    mutt_error (_("Unable to open %s for reading"), filename);
-+    return -1;
++    mutt_error _("No news server defined!");
++    mutt_sleep (2);
++    return NULL;
 +  }
-+  if (mx_lock_file (filename, fileno (ifp), 0, 0, 1))
++
++  /* create account from news server url */
++  acct.flags = 0;
++  acct.port = NNTP_PORT;
++  acct.type = MUTT_ACCT_TYPE_NNTP;
++  snprintf (file, sizeof (file), "%s%s",
++          strstr (server, "://") ? "" : "news://", server);
++  if (url_parse_ciss (&url, file) < 0 ||
++      (url.path && *url.path) ||
++      !(url.scheme == U_NNTP || url.scheme == U_NNTPS) ||
++      mutt_account_fromurl (&acct, &url) < 0)
 +  {
-+    fclose (ifp);
-+    mutt_error (_("Unable to lock %s"), filename);
-+    return -1;
++    mutt_error (_("%s is an invalid news server specification!"), server);
++    mutt_sleep (2);
++    return NULL;
 +  }
-+  snprintf (tmpfile, sizeof(tmpfile), "%s.tmp", filename);
-+  dprint (1, (debugfile, "Opening %s\n", tmpfile));
-+  if (!(ofp = fopen (tmpfile, "w")))
++  if (url.scheme == U_NNTPS)
 +  {
-+    fclose (ifp);
-+    mutt_error (_("Unable to open %s for writing"), tmpfile);
-+    return -1;
++    acct.flags |= MUTT_ACCT_SSL;
++    acct.port = NNTP_SSL_PORT;
 +  }
 +
-+  if (section)
++  /* find connection by account */
++  conn = mutt_conn_find (NULL, &acct);
++  if (!conn)
++    return NULL;
++  if (!(conn->account.flags & MUTT_ACCT_USER) && acct.flags & MUTT_ACCT_USER)
 +  {
-+    while (r != EOF && !done && fgets (buf, sizeof (buf), ifp))
-+    {
-+      r = fputs (buf, ofp);
-+      c = buf;
-+      while (*c && *c != '\n') c++;
-+      c[0] = 0;       /* strip EOL */
-+      if (!strncmp (buf, "#: ", 3) && !mutt_strcasecmp (buf+3, section))
-+      done++;
-+    }
-+    if (r != EOF && !done)
-+    {
-+      snprintf (buf, sizeof(buf), "#: %s\n", section);
-+      r = fputs (buf, ofp);
-+    }
-+    done = 0;
++    conn->account.flags |= MUTT_ACCT_USER;
++    conn->account.user[0] = '\0';
 +  }
 +
-+  while (r != EOF && fgets (buf, sizeof (buf), ifp))
++  /* news server already exists */
++  nserv = conn->data;
++  if (nserv)
 +  {
-+    if (ext)
-+    {
-+      c = buf;
-+      while (*c && (*c != '\r') && (*c != '\n')) c++;
-+      c--;
-+      if (*c != '\\') ext = 0;
-+    }
-+    else if ((section && !strncmp (buf, "#: ", 3)))
++    if (nserv->status == NNTP_BYE)
++      nserv->status = NNTP_NONE;
++    if (nntp_open_connection (nserv) < 0)
++      return NULL;
++
++    rc = nntp_newsrc_parse (nserv);
++    if (rc < 0)
++      return NULL;
++
++    /* check for new newsgroups */
++    if (!leave_lock && nntp_check_new_groups (nserv) < 0)
++      rc = -1;
++
++    /* .newsrc has been externally modified */
++    if (rc > 0)
++      nntp_clear_cache (nserv);
++    if (rc < 0 || !leave_lock)
++      nntp_newsrc_close (nserv);
++    return rc < 0 ? NULL : nserv;
++  }
++
++  /* new news server */
++  nserv = safe_calloc (1, sizeof (NNTP_SERVER));
++  nserv->conn = conn;
++  nserv->groups_hash = hash_create (1009, 0);
++  nserv->groups_max = 16;
++  nserv->groups_list = safe_malloc (nserv->groups_max * sizeof (nntp_data));
++
++  rc = nntp_open_connection (nserv);
++
++  /* try to create cache directory and enable caching */
++  nserv->cacheable = 0;
++  if (rc >= 0 && NewsCacheDir && *NewsCacheDir)
++  {
++    cache_expand (file, sizeof (file), &conn->account, NULL);
++    p = *file == '/' ? file + 1 : file;
++    while (1)
 +    {
-+      if (!done && line)
++      p = strchr (p, '/');
++      if (p)
++      *p = '\0';
++      if ((stat (file, &sb) || (sb.st_mode & S_IFDIR) == 0) &&
++        mkdir (file, 0700))
 +      {
-+      fputs (line, ofp);
-+      fputc ('\n', ofp);
++      mutt_error (_("Can't create %s: %s."), file, strerror (errno));
++      mutt_sleep (2);
++      break;
 +      }
-+      r = fputs (buf, ofp);
-+      done++;
-+      break;
-+    }
-+    else if (key && !strncmp (buf, key, strlen(key)) &&
-+          (!*key || buf[strlen(key)] == ' '))
-+    {
-+      c = buf;
-+      ext = 0;
-+      while (*c && (*c != '\r') && (*c != '\n')) c++;
-+      c--;
-+      if (*c == '\\') ext = 1;
-+      if (!done && line)
++      if (!p)
 +      {
-+      r = fputs (line, ofp);
-+      if (*key)
-+        r = fputc ('\n', ofp);
-+      done++;
++      nserv->cacheable = 1;
++      break;
 +      }
-+    }
-+    else
-+    {
-+      r = fputs (buf, ofp);
++      *p++ = '/';
 +    }
 +  }
 +
-+  while (r != EOF && fgets (buf, sizeof (buf), ifp))
-+    r = fputs (buf, ofp);
-+
-+  /* If there wasn't a line to replace, put it on the end of the file */
-+  if (r != EOF && !done && line)
-+  {
-+    fputs (line, ofp);
-+    r = fputc ('\n', ofp);
-+  }
-+  mx_unlock_file (filename, fileno (ifp), 0);
-+  fclose (ofp);
-+  fclose (ifp);
-+  if (r == EOF)
++  /* load .newsrc */
++  if (rc >= 0)
 +  {
-+    unlink (tmpfile);
-+    mutt_error (_("Can't write %s"), tmpfile);
-+    return -1;
++    mutt_FormatString (file, sizeof (file), 0, sizeof (file), NONULL (NewsRc),
++                     nntp_format_str, (unsigned long)nserv, 0);
++    mutt_expand_path (file, sizeof (file));
++    nserv->newsrc_file = safe_strdup (file);
++    rc = nntp_newsrc_parse (nserv);
 +  }
-+  if (rename (tmpfile, filename) < 0)
++  if (rc >= 0)
 +  {
-+    unlink (tmpfile);
-+    mutt_error (_("Can't rename %s to %s"), tmpfile, filename);
-+    return -1;
-+  }
-+  return 0;
-+}
++    /* try to load list of newsgroups from cache */
++    if (nserv->cacheable && active_get_cache (nserv) == 0)
++      rc = nntp_check_new_groups (nserv);
 +
-+int mutt_newsrc_update (NNTP_SERVER *news)
-+{
-+  char *buf, *line;
-+  NNTP_DATA *data;
-+  LIST *tmp;
-+  int r = -1;
-+  size_t len, llen;
-+
-+  if (!news)
-+    return -1;
-+  llen = len = 10 * LONG_STRING;
-+  line = buf = safe_calloc (1, len);
-+  /* we will generate full newsrc here */
-+  for (tmp = news->list; tmp; tmp = tmp->next)
-+  {
-+    data = (NNTP_DATA *) tmp->data;
-+    if (!data || !data->rc)
-+      continue;
-+    nntp_create_newsrc_line (data, &buf, &line, &llen);
-+    if (*line)
-+      dprint (2, (debugfile, "Added to newsrc: %s\n", line));
-+    line += strlen (line);
++    /* load list of newsgroups from server */
++    else
++      rc = nntp_active_fetch (nserv, 0);
 +  }
-+  /* newrc being fully rewritten */
-+  if (news->newsrc &&
-+     (r = mutt_update_list_file (news->newsrc, NULL, "", buf)) == 0)
-+  {
-+    struct stat st;
 +
-+    stat (news->newsrc, &st);
-+    news->size = st.st_size;
-+    news->mtime = st.st_mtime;
-+  }
-+  FREE (&buf);
-+  return r;
-+}
++  if (rc >= 0)
++    nntp_clear_cache (nserv);
 +
-+static FILE *mutt_mkname (char *s)
-+{
-+  char buf[_POSIX_PATH_MAX], *pc;
-+  int fd;
-+  FILE *fp;
++#ifdef USE_HCACHE
++  /* check cache files */
++  if (rc >= 0 && nserv->cacheable)
++  {
++    struct dirent *entry;
++    DIR *dp = opendir (file);
 +
-+  nntp_cache_expand (buf, s);
-+  if ((fp = safe_fopen (buf, "w")))
-+    return fp;
++    if (dp)
++    {
++      while ((entry = readdir (dp)))
++      {
++      header_cache_t *hc;
++      void *hdata;
++      char *group = entry->d_name;
 +
-+  nntp_cache_expand (buf, "cache-XXXXXX");
-+  pc = buf + strlen (buf) - 12;       /* positioning to "cache-XXXXXX" */
-+  if ((fd = mkstemp (buf)) == -1)
-+    return NULL;
-+  strcpy (s, pc);     /* generated name */
-+  return fdopen (fd, "w");
-+}
++      p = group + strlen (group) - 7;
++      if (strlen (group) < 8 || strcmp (p, ".hcache"))
++        continue;
++      *p = '\0';
++      nntp_data = hash_find (nserv->groups_hash, group);
++      if (!nntp_data)
++        continue;
 +
-+/* Updates info into .index file: ALL or about selected newsgroup */
-+static int nntp_update_cacheindex (NNTP_SERVER *serv, NNTP_DATA *data)
-+{
-+  char buf[LONG_STRING], *key = "ALL";
-+  char file[_POSIX_PATH_MAX];
++      hc = nntp_hcache_open (nntp_data);
++      if (!hc)
++        continue;
 +
-+  if (!serv || !serv->conn || !serv->conn->account.host)
-+    return -1;
++      /* fetch previous values of first and last */
++      hdata = mutt_hcache_fetch_raw (hc, "index", strlen);
++      if (hdata)
++      {
++        anum_t first, last;
 +
-+  if (data && data->group)
-+  {
-+    key = data->group;
-+    snprintf (buf, sizeof (buf), "%s %s %d %d", key, data->cache,
-+        data->firstMessage, data->lastLoaded);
-+  }
-+  else
-+  {
-+    strfcpy (file, serv->cache, sizeof (file));
-+    snprintf (buf, sizeof (buf), "ALL %s 0 %d", file, (int)serv->newgroups_time);
-+  }
-+  nntp_cache_expand (file, ".index");
-+  return mutt_update_list_file (file, serv->conn->account.host, key, buf);
-+}
-+
-+/* Remove cache files of unsubscribed newsgroups */
-+void nntp_clear_cacheindex (NNTP_SERVER *news)
-+{
-+  NNTP_DATA *data;
-+  LIST *tmp;
-+
-+  if (option (OPTSAVEUNSUB) || !news)
-+    return;
-+
-+  for (tmp = news->list; tmp; tmp = tmp->next)
-+  {
-+    data = (NNTP_DATA *) tmp->data;
-+    if (!data || data->subscribed || !data->cache)
-+      continue;
-+    nntp_delete_cache (data);
-+    dprint (2, (debugfile, "Removed from .index: %s\n", data->group));
-+  }
-+  return;
-+}
-+
-+int nntp_save_cache_index (NNTP_SERVER *news)
-+{
-+  char buf[HUGE_STRING];
-+  char file[_POSIX_PATH_MAX];
-+  NNTP_DATA *d;
-+  FILE *f;
-+  LIST *l;
-+
-+  if (!news || !news->newsgroups)
-+    return -1;
-+  if (!option (OPTNEWSCACHE))
-+    return 0;
-+
-+  if (news->cache)
-+  {
-+    nntp_cache_expand (file, news->cache);
-+    unlink (file);
-+    f = safe_fopen (file, "w");
-+  }
-+  else
-+  {
-+    strfcpy (buf, news->conn->account.host, sizeof(buf));
-+    f = mutt_mkname (buf);
-+    news->cache = safe_strdup (buf);
-+    nntp_cache_expand (file, buf);
-+  }
-+  if (!f)
-+    return -1;
-+
-+  for (l = news->list; l; l = l->next)
-+  {
-+    if ((d = (NNTP_DATA *)l->data) && !d->deleted)
-+    {
-+      if (d->desc)
-+      snprintf (buf, sizeof(buf), "%s %d %d %c %s\n", d->group,
-+            d->lastMessage, d->firstMessage, d->allowed ? 'y' : 'n',
-+            d->desc);
-+      else
-+      snprintf (buf, sizeof(buf), "%s %d %d %c\n", d->group,
-+            d->lastMessage, d->firstMessage, d->allowed ? 'y' : 'n');
-+      if (fputs (buf, f) == EOF)
-+      {
-+      fclose (f);
-+      unlink (file);
-+      return -1;
++        if (sscanf (hdata, ANUM " " ANUM, &first, &last) == 2)
++        {
++          if (nntp_data->deleted)
++          {
++            nntp_data->firstMessage = first;
++            nntp_data->lastMessage = last;
++          }
++          if (last >= nntp_data->firstMessage &&
++              last <= nntp_data->lastMessage)
++          {
++            nntp_data->lastCached = last;
++            dprint (2, (debugfile, "nntp_select_server: %s lastCached=%u\n",
++                        nntp_data->group, last));
++          }
++        }
++        FREE (&hdata);
++      }
++      mutt_hcache_close (hc);
 +      }
++      closedir (dp);
 +    }
 +  }
-+  fclose (f);
++#endif
 +
-+  if (nntp_update_cacheindex (news, NULL))
++  if (rc < 0 || !leave_lock)
++    nntp_newsrc_close (nserv);
++
++  if (rc < 0)
 +  {
-+    unlink (file);
-+    return -1;
++    hash_destroy (&nserv->groups_hash, nntp_data_free);
++    FREE (&nserv->groups_list);
++    FREE (&nserv->newsrc_file);
++    FREE (&nserv->authenticators);
++    FREE (&nserv);
++    mutt_socket_close (conn);
++    mutt_socket_free (conn);
++    return NULL;
 +  }
-+  return 0;
++
++  conn->data = nserv;
++  return nserv;
 +}
 +
-+int nntp_save_cache_group (CONTEXT *ctx)
++/* Full status flags are not supported by nntp, but we can fake some of them:
++ * Read = a read message number is in the .newsrc
++ * New = not read and not cached
++ * Old = not read but cached */
++void nntp_article_status (CONTEXT *ctx, HEADER *hdr, char *group, anum_t anum)
 +{
-+  char buf[HUGE_STRING], addr[STRING];
-+  char file[_POSIX_PATH_MAX];
-+  FILE *f;
-+  HEADER *h;
-+  struct tm *tm;
-+  int i = 0, save = SORT_ORDER;
-+  int prev = 0;
-+
-+  if (!option (OPTNEWSCACHE))
-+    return 0;
-+  if (!ctx || !ctx->data || ctx->magic != M_NNTP)
-+    return -1;
++  NNTP_DATA *nntp_data = ctx->data;
++  unsigned int i;
 +
-+  if (((NNTP_DATA *)ctx->data)->cache)
-+  {
-+    nntp_cache_expand (file, ((NNTP_DATA *)ctx->data)->cache);
-+    unlink (file);
-+    f = safe_fopen (file, "w");
-+  }
-+  else
-+  {
-+    snprintf (buf, sizeof(buf), "%s-%s",
-+      ((NNTP_DATA *)ctx->data)->nserv->conn->account.host,
-+      ((NNTP_DATA *)ctx->data)->group);
-+    f = mutt_mkname (buf);
-+    ((NNTP_DATA *)ctx->data)->cache = safe_strdup (buf);
-+    nntp_cache_expand (file, buf);
-+  }
-+  if (!f)
-+    return -1;
++  if (group)
++    nntp_data = hash_find (nntp_data->nserv->groups_hash, group);
 +
-+  if (Sort != SORT_ORDER)
-+  {
-+    save = Sort;
-+    Sort = SORT_ORDER;
-+    mutt_sort_headers (ctx, 0);
-+  }
++  if (!nntp_data)
++    return;
 +
-+  /* Save only $nntp_context messages... */
-+  ((NNTP_DATA *)ctx->data)->lastCached = 0;
-+  if (NntpContext && ctx->msgcount > NntpContext)
-+    i = ctx->msgcount - NntpContext;
-+  for (; i < ctx->msgcount; i++)
++  for (i = 0; i < nntp_data->newsrc_len; i++)
 +  {
-+    if (!ctx->hdrs[i]->deleted && ctx->hdrs[i]->article_num != prev)
++    if ((anum >= nntp_data->newsrc_ent[i].first) &&
++      (anum <= nntp_data->newsrc_ent[i].last))
 +    {
-+      h = ctx->hdrs[i];
-+      addr[0] = 0;
-+      rfc822_write_address (addr, sizeof(addr), h->env->from, 0);
-+      tm = gmtime (&h->date_sent);
-+      snprintf (buf, sizeof(buf),
-+          "%d\t%s\t%s\t%d %s %d %02d:%02d:%02d GMT\t%s\t",
-+          h->article_num, h->env->subject, addr, tm->tm_mday,
-+          Months[tm->tm_mon], tm->tm_year+1900, tm->tm_hour, tm->tm_min,
-+          tm->tm_sec, h->env->message_id);
-+      fputs (buf, f);
-+      if (h->env->references)
-+      mutt_write_references (h->env->references, f, -10);
-+      snprintf (buf, sizeof(buf), "\t%ld\t%d\tXref: %s\n", (long int) h->content->length,
-+          (int) h->lines, NONULL(h->env->xref));
-+      if (fputs (buf, f) == EOF)
-+      {
-+      fclose (f);
-+      unlink (file);
-+      return -1;
-+      }
++      /* can't use mutt_set_flag() because mx_update_context()
++       didn't called yet */
++      hdr->read = 1;
++      return;
 +    }
-+    prev = ctx->hdrs[i]->article_num;
 +  }
 +
-+  if (save != Sort)
-+  {
-+    Sort = save;
-+    mutt_sort_headers (ctx, 0);
-+  }
-+  fclose (f);
++  /* article was not cached yet, it's new */
++  if (anum > nntp_data->lastCached)
++    return;
 +
-+  if (nntp_update_cacheindex (((NNTP_DATA *)ctx->data)->nserv,
-+      (NNTP_DATA *)ctx->data))
-+  {
-+    unlink (file);
-+    return -1;
-+  }
-+  ((NNTP_DATA *)ctx->data)->lastCached = ((NNTP_DATA *)ctx->data)->lastLoaded;
-+  return 0;
++  /* article isn't read but cached, it's old */
++  if (option (OPTMARKOLD))
++    hdr->old = 1;
 +}
 +
-+void nntp_delete_cache (NNTP_DATA *data)
++/* calculate number of unread articles using .newsrc data */
++void nntp_group_unread_stat (NNTP_DATA *nntp_data)
 +{
-+  char buf[_POSIX_PATH_MAX];
++  unsigned int i;
++  anum_t first, last;
 +
-+  if (!option (OPTNEWSCACHE) || !data || !data->cache || !data->nserv)
++  nntp_data->unread = 0;
++  if (nntp_data->lastMessage == 0 ||
++      nntp_data->firstMessage > nntp_data->lastMessage)
 +    return;
 +
-+  nntp_cache_expand (buf, data->cache);
-+  unlink (buf);
-+  FREE (&data->cache);
-+  data->lastCached = 0;
-+  nntp_cache_expand (buf, ".index");
-+  mutt_update_list_file (buf, data->nserv->conn->account.host, data->group, NULL);
++  nntp_data->unread = nntp_data->lastMessage - nntp_data->firstMessage + 1;
++  for (i = 0; i < nntp_data->newsrc_len; i++)
++  {
++    first = nntp_data->newsrc_ent[i].first;
++    if (first < nntp_data->firstMessage)
++      first = nntp_data->firstMessage;
++    last = nntp_data->newsrc_ent[i].last;
++    if (last > nntp_data->lastMessage)
++      last = nntp_data->lastMessage;
++    if (first <= last)
++      nntp_data->unread -= last - first + 1;
++  }
 +}
 +
-+NNTP_DATA *mutt_newsgroup_subscribe (NNTP_SERVER *news, char *group)
++/* Subscribe newsgroup */
++NNTP_DATA *mutt_newsgroup_subscribe (NNTP_SERVER *nserv, char *group)
 +{
-+  NNTP_DATA *data;
++  NNTP_DATA *nntp_data;
 +
-+  if (!news || !news->newsgroups || !group || !*group)
++  if (!nserv || !nserv->groups_hash || !group || !*group)
 +    return NULL;
-+  if (!(data = (NNTP_DATA *)hash_find (news->newsgroups, group)))
-+  {
-+    data = (NNTP_DATA *) safe_calloc (1, sizeof (NNTP_DATA) + strlen (group) + 1);
-+    data->group = (char *) data + sizeof (NNTP_DATA);
-+    strcpy (data->group, group);
-+    data->nserv = news;
-+    data->deleted = 1;
-+    if (news->newsgroups->nelem < news->newsgroups->curnelem * 2)
-+      news->newsgroups = hash_resize (news->newsgroups, news->newsgroups->nelem * 2, 0);
-+    hash_insert (news->newsgroups, data->group, data, 0);
-+    nntp_add_to_list (news, data);
-+  }
-+  if (!data->subscribed)
++
++  nntp_data = nntp_data_find (nserv, group);
++  nntp_data->subscribed = 1;
++  if (!nntp_data->newsrc_ent)
 +  {
-+    data->subscribed = 1;
-+    data->rc = 1;
++    nntp_data->newsrc_ent = safe_calloc (1, sizeof (NEWSRC_ENTRY));
++    nntp_data->newsrc_len = 1;
++    nntp_data->newsrc_ent[0].first = 1;
++    nntp_data->newsrc_ent[0].last = 0;
 +  }
-+  return data;
++  return nntp_data;
 +}
 +
-+NNTP_DATA *mutt_newsgroup_unsubscribe (NNTP_SERVER *news, char *group)
++/* Unsubscribe newsgroup */
++NNTP_DATA *mutt_newsgroup_unsubscribe (NNTP_SERVER *nserv, char *group)
 +{
-+  NNTP_DATA *data;
++  NNTP_DATA *nntp_data;
++
++  if (!nserv || !nserv->groups_hash || !group || !*group)
++    return NULL;
 +
-+  if (!news || !news->newsgroups || !group || !*group ||
-+      !(data = (NNTP_DATA *)hash_find (news->newsgroups, group)))
++  nntp_data = hash_find (nserv->groups_hash, group);
++  if (!nntp_data)
 +    return NULL;
-+  if (data->subscribed)
++
++  nntp_data->subscribed = 0;
++  if (!option (OPTSAVEUNSUB))
 +  {
-+    data->subscribed = 0;
-+    if (!option (OPTSAVEUNSUB))
-+      data->rc = 0;
++    nntp_data->newsrc_len = 0;
++    FREE (&nntp_data->newsrc_ent);
 +  }
-+  return data;
++  return nntp_data;
 +}
 +
-+NNTP_DATA *mutt_newsgroup_catchup (NNTP_SERVER *news, char *group)
++/* Catchup newsgroup */
++NNTP_DATA *mutt_newsgroup_catchup (NNTP_SERVER *nserv, char *group)
 +{
-+  NNTP_DATA *data;
++  NNTP_DATA *nntp_data;
++
++  if (!nserv || !nserv->groups_hash || !group || !*group)
++    return NULL;
 +
-+  if (!news || !news->newsgroups || !group || !*group ||
-+      !(data = (NNTP_DATA *)hash_find (news->newsgroups, group)))
++  nntp_data = hash_find (nserv->groups_hash, group);
++  if (!nntp_data)
 +    return NULL;
-+  if (!data->max)
++
++  if (nntp_data->newsrc_ent)
 +  {
-+    data->entries = safe_calloc (5, sizeof (NEWSRC_ENTRY));
-+    data->max = 5;
++    safe_realloc (&nntp_data->newsrc_ent, sizeof (NEWSRC_ENTRY));
++    nntp_data->newsrc_len = 1;
++    nntp_data->newsrc_ent[0].first = 1;
++    nntp_data->newsrc_ent[0].last = nntp_data->lastMessage;
 +  }
-+  data->num = 1;
-+  data->entries[0].first = 1;
-+  data->unread = 0;
-+  data->entries[0].last = data->lastMessage;
-+  if (Context && Context->data == data)
++  nntp_data->unread = 0;
++  if (Context && Context->data == nntp_data)
 +  {
-+    int x;
++    unsigned int i;
 +
-+    for (x = 0; x < Context->msgcount; x++)
-+      mutt_set_flag (Context, Context->hdrs[x], M_READ, 1);
++    for (i = 0; i < Context->msgcount; i++)
++      mutt_set_flag (Context, Context->hdrs[i], MUTT_READ, 1);
 +  }
-+  return data;
++  return nntp_data;
 +}
 +
-+NNTP_DATA *mutt_newsgroup_uncatchup (NNTP_SERVER *news, char *group)
++/* Uncatchup newsgroup */
++NNTP_DATA *mutt_newsgroup_uncatchup (NNTP_SERVER *nserv, char *group)
 +{
-+  NNTP_DATA *data;
++  NNTP_DATA *nntp_data;
 +
-+  if (!news || !news->newsgroups || !group || !*group ||
-+      !(data = (NNTP_DATA *)hash_find (news->newsgroups, group)))
++  if (!nserv || !nserv->groups_hash || !group || !*group)
 +    return NULL;
-+  if (!data->max)
++
++  nntp_data = hash_find (nserv->groups_hash, group);
++  if (!nntp_data)
++    return NULL;
++
++  if (nntp_data->newsrc_ent)
 +  {
-+    data->entries = safe_calloc (5, sizeof (NEWSRC_ENTRY));
-+    data->max = 5;
++    safe_realloc (&nntp_data->newsrc_ent, sizeof (NEWSRC_ENTRY));
++    nntp_data->newsrc_len = 1;
++    nntp_data->newsrc_ent[0].first = 1;
++    nntp_data->newsrc_ent[0].last = nntp_data->firstMessage - 1;
 +  }
-+  data->num = 1;
-+  data->entries[0].first = 1;
-+  data->entries[0].last = data->firstMessage - 1;
-+  if (Context && Context->data == data)
++  if (Context && Context->data == nntp_data)
 +  {
-+    int x;
++    unsigned int i;
 +
-+    data->unread = Context->msgcount;
-+    for (x = 0; x < Context->msgcount; x++)
-+      mutt_set_flag (Context, Context->hdrs[x], M_READ, 0);
++    nntp_data->unread = Context->msgcount;
++    for (i = 0; i < Context->msgcount; i++)
++      mutt_set_flag (Context, Context->hdrs[i], MUTT_READ, 0);
 +  }
 +  else
-+    data->unread = data->lastMessage - data->entries[0].last;
-+  return data;
++    nntp_data->unread = nntp_data->lastMessage - nntp_data->newsrc_ent[0].last;
++  return nntp_data;
 +}
 +
-+/* this routine gives the first newsgroup with new messages */
-+void nntp_buffy (char *s)
++/* Get first newsgroup with new messages */
++void nntp_buffy (char *buf, size_t len)
 +{
-+  LIST *list;
++  unsigned int i;
 +
-+  for (list = CurrentNewsSrv->list; list; list = list->next)
++  for (i = 0; i < CurrentNewsSrv->groups_num; i++)
 +  {
-+    NNTP_DATA *data = (NNTP_DATA *) list->data;
++    NNTP_DATA *nntp_data = CurrentNewsSrv->groups_list[i];
 +
-+    if (data && data->subscribed && data->unread)
++    if (!nntp_data || !nntp_data->subscribed || !nntp_data->unread)
++      continue;
++
++    if (Context && Context->magic == MUTT_NNTP &&
++      !mutt_strcmp (nntp_data->group, ((NNTP_DATA *)Context->data)->group))
 +    {
-+      if (Context && Context->magic == M_NNTP &&
-+        !mutt_strcmp (data->group, ((NNTP_DATA *) Context->data)->group))
-+      {
-+      unsigned int i, unread = 0;
++      unsigned int i, unread = 0;
 +
-+      for (i = 0; i < Context->msgcount; i++)
-+        if (!Context->hdrs[i]->read && !Context->hdrs[i]->deleted)
-+          unread++;
-+      if (!unread)
-+        continue;
-+      }
-+      strcpy (s, data->group);
-+      break;
++      for (i = 0; i < Context->msgcount; i++)
++      if (!Context->hdrs[i]->read && !Context->hdrs[i]->deleted)
++        unread++;
++      if (!unread)
++      continue;
 +    }
++    strfcpy (buf, nntp_data->group, len);
++    break;
 +  }
 +}
-diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
---- mutt-1.5.21.orig/nntp.c    1970-01-01 03:00:00.000000000 +0300
-+++ mutt-1.5.21/nntp.c 2010-09-16 13:15:46.000000000 +0300
-@@ -0,0 +1,1588 @@
+diff -udprP mutt-1.10.0.orig/nntp.c mutt-1.10.0/nntp.c
+--- mutt-1.10.0.orig/nntp.c    1970-01-01 03:00:00.000000000 +0300
++++ mutt-1.10.0/nntp.c 2018-06-16 17:22:30.200469636 +0300
+@@ -0,0 +1,2486 @@
 +/*
 + * Copyright (C) 1998 Brandon Long <blong@fiction.net>
 + * Copyright (C) 1999 Andrej Gritsenko <andrej@lucky.net>
-+ * Copyright (C) 2000-2007 Vsevolod Volkov <vvv@mutt.org.ua>
-+ * 
++ * Copyright (C) 2000-2017 Vsevolod Volkov <vvv@mutt.org.ua>
++ *
 + *     This program is free software; you can redistribute it and/or modify
 + *     it under the terms of the GNU General Public License as published by
 + *     the Free Software Foundation; either version 2 of the License, or
 + *     (at your option) any later version.
-+ * 
++ *
 + *     This program is distributed in the hope that it will be useful,
 + *     but WITHOUT ANY WARRANTY; without even the implied warranty of
 + *     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 + *     GNU General Public License for more details.
-+ * 
++ *
 + *     You should have received a copy of the GNU General Public License
 + *     along with this program; if not, write to the Free Software
 + *     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
-+ */ 
++ */
 +
 +#if HAVE_CONFIG_H
-+# include "config.h"
++#include "config.h"
 +#endif
 +
 +#include "mutt.h"
@@ -4431,8 +4632,13 @@ diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
 +#include "rfc1524.h"
 +#include "rfc2047.h"
 +#include "mailbox.h"
++#include "mutt_crypt.h"
 +#include "nntp.h"
 +
++#if defined(USE_SSL)
++#include "mutt_ssl.h"
++#endif
++
 +#ifdef HAVE_PGP
 +#include "pgp.h"
 +#endif
@@ -4441,304 +4647,818 @@ diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
 +#include "smime.h"
 +#endif
 +
++#if USE_HCACHE
++#include "hcache.h"
++#endif
++
 +#include <unistd.h>
 +#include <string.h>
 +#include <ctype.h>
 +#include <stdlib.h>
 +
-+static unsigned int _checked = 0;
++#ifdef USE_SASL
++#include <sasl/sasl.h>
++#include <sasl/saslutil.h>
 +
-+#ifdef DEBUG
-+static void nntp_error (const char *where, const char *msg)
++#include "mutt_sasl.h"
++#endif
++
++static int nntp_connect_error (NNTP_SERVER *nserv)
 +{
-+  dprint (1, (debugfile, "nntp_error(): unexpected response in %s: %s\n", where, msg));
++  nserv->status = NNTP_NONE;
++  mutt_error _("Server closed connection!");
++  mutt_sleep (2);
++  return -1;
 +}
-+#endif /* DEBUG */
 +
-+static int nntp_auth (NNTP_SERVER *serv)
++/* Get capabilities:
++ * -1 - error, connection is closed
++ *  0 - mode is reader, capabilities setted up
++ *  1 - need to switch to reader mode */
++static int nntp_capabilities (NNTP_SERVER *nserv)
 +{
-+  CONNECTION *conn = serv->conn;
-+  char buf[STRING];
-+  unsigned char flags = conn->account.flags;
++  CONNECTION *conn = nserv->conn;
++  unsigned int mode_reader = 0;
++  char buf[LONG_STRING];
++  char authinfo[LONG_STRING] = "";
++
++  nserv->hasCAPABILITIES = 0;
++  nserv->hasSTARTTLS = 0;
++  nserv->hasDATE = 0;
++  nserv->hasLIST_NEWSGROUPS = 0;
++  nserv->hasLISTGROUP = 0;
++  nserv->hasLISTGROUPrange = 0;
++  nserv->hasOVER = 0;
++  FREE (&nserv->authenticators);
++
++  if (mutt_socket_write (conn, "CAPABILITIES\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++    return nntp_connect_error (nserv);
++
++  /* no capabilities */
++  if (mutt_strncmp ("101", buf, 3))
++    return 1;
++  nserv->hasCAPABILITIES = 1;
 +
-+  if (mutt_account_getuser (&conn->account) || !conn->account.user[0] ||
-+      mutt_account_getpass (&conn->account) || !conn->account.pass[0])
++  /* parse capabilities */
++  do
++  {
++    if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (!mutt_strcmp ("STARTTLS", buf))
++      nserv->hasSTARTTLS = 1;
++    else if (!mutt_strcmp ("MODE-READER", buf))
++      mode_reader = 1;
++    else if (!mutt_strcmp ("READER", buf))
++    {
++      nserv->hasDATE = 1;
++      nserv->hasLISTGROUP = 1;
++      nserv->hasLISTGROUPrange = 1;
++    }
++    else if (!mutt_strncmp ("AUTHINFO ", buf, 9))
++    {
++      safe_strcat (buf, sizeof (buf), " ");
++      strfcpy (authinfo, buf + 8, sizeof (authinfo));
++    }
++#ifdef USE_SASL
++    else if (!mutt_strncmp ("SASL ", buf, 5))
++    {
++      char *p = buf + 5;
++      while (*p == ' ')
++      p++;
++      nserv->authenticators = safe_strdup (p);
++    }
++#endif
++    else if (!mutt_strcmp ("OVER", buf))
++      nserv->hasOVER = 1;
++    else if (!mutt_strncmp ("LIST ", buf, 5))
++    {
++      char *p = strstr (buf, " NEWSGROUPS");
++      if (p)
++      {
++      p += 11;
++      if (*p == '\0' || *p == ' ')
++        nserv->hasLIST_NEWSGROUPS = 1;
++      }
++    }
++  } while (mutt_strcmp (".", buf));
++  *buf = '\0';
++#ifdef USE_SASL
++  if (nserv->authenticators && strcasestr (authinfo, " SASL "))
++    strfcpy (buf, nserv->authenticators, sizeof (buf));
++#endif
++  if (strcasestr (authinfo, " USER "))
 +  {
-+    conn->account.flags = flags;
-+    return -2;
++    if (*buf)
++      safe_strcat (buf, sizeof (buf), " ");
++    safe_strcat (buf, sizeof (buf), "USER");
 +  }
++  mutt_str_replace (&nserv->authenticators, buf);
 +
-+  mutt_message _("Logging in...");
++  /* current mode is reader */
++  if (nserv->hasDATE)
++    return 0;
 +
-+  snprintf (buf, sizeof (buf), "AUTHINFO USER %s\r\n", conn->account.user);
-+  mutt_socket_write (conn, buf);
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+  {
-+    conn->account.flags = flags;
-+    return -1;
++  /* server is mode-switching, need to switch to reader mode */
++  if (mode_reader)
++    return 1;
++
++  mutt_socket_close (conn);
++  nserv->status = NNTP_BYE;
++  mutt_error _("Server doesn't support reader mode.");
++  mutt_sleep (2);
++  return -1;
++}
++
++char *OverviewFmt =
++      "Subject:\0"
++      "From:\0"
++      "Date:\0"
++      "Message-ID:\0"
++      "References:\0"
++      "Content-Length:\0"
++      "Lines:\0"
++      "\0";
++
++/* Detect supported commands */
++static int nntp_attempt_features (NNTP_SERVER *nserv)
++{
++  CONNECTION *conn = nserv->conn;
++  char buf[LONG_STRING];
++
++  /* no CAPABILITIES, trying DATE, LISTGROUP, LIST NEWSGROUPS */
++  if (!nserv->hasCAPABILITIES)
++  {
++    if (mutt_socket_write (conn, "DATE\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("500", buf, 3))
++      nserv->hasDATE = 1;
++
++    if (mutt_socket_write (conn, "LISTGROUP\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("500", buf, 3))
++      nserv->hasLISTGROUP = 1;
++
++    if (mutt_socket_write (conn, "LIST NEWSGROUPS +\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("500", buf, 3))
++      nserv->hasLIST_NEWSGROUPS = 1;
++    if (!mutt_strncmp ("215", buf, 3))
++    {
++      do
++      {
++      if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++        return nntp_connect_error (nserv);
++      } while (mutt_strcmp (".", buf));
++    }
 +  }
 +
-+#ifdef DEBUG
-+  /* don't print the password unless we're at the ungodly debugging level */
-+  if (debuglevel < M_SOCK_LOG_FULL)
-+    dprint (M_SOCK_LOG_CMD, (debugfile, "> AUTHINFO PASS *\n"));
-+#endif
-+  snprintf (buf, sizeof (buf), "AUTHINFO PASS %s\r\n", conn->account.pass);
-+  mutt_socket_write_d (conn, buf, -1, M_SOCK_LOG_FULL);
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++  /* no LIST NEWSGROUPS, trying XGTITLE */
++  if (!nserv->hasLIST_NEWSGROUPS)
 +  {
-+    conn->account.flags = flags;
-+    return -1;
++    if (mutt_socket_write (conn, "XGTITLE\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("500", buf, 3))
++      nserv->hasXGTITLE = 1;
 +  }
 +
-+  if (mutt_strncmp ("281", buf, 3))
++  /* no OVER, trying XOVER */
++  if (!nserv->hasOVER)
 +  {
-+    conn->account.flags = flags;
-+    mutt_error _("Login failed.");
-+    sleep (2);
-+    return -3;
++    if (mutt_socket_write (conn, "XOVER\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("500", buf, 3))
++      nserv->hasXOVER = 1;
 +  }
 +
++  /* trying LIST OVERVIEW.FMT */
++  if (nserv->hasOVER || nserv->hasXOVER)
++  {
++    if (mutt_socket_write (conn, "LIST OVERVIEW.FMT\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("215", buf, 3))
++      nserv->overview_fmt = OverviewFmt;
++    else
++    {
++      int chunk, cont = 0;
++      size_t buflen = 2 * LONG_STRING, off = 0, b = 0;
++
++      if (nserv->overview_fmt)
++      FREE (&nserv->overview_fmt);
++      nserv->overview_fmt = safe_malloc (buflen);
++
++      while (1)
++      {
++      if (buflen - off < LONG_STRING)
++      {
++        buflen *= 2;
++        safe_realloc (&nserv->overview_fmt, buflen);
++      }
++
++      chunk = mutt_socket_readln (nserv->overview_fmt + off,
++                                  buflen - off, conn);
++      if (chunk < 0)
++      {
++        FREE (&nserv->overview_fmt);
++        return nntp_connect_error (nserv);
++      }
++
++      if (!cont && !mutt_strcmp (".", nserv->overview_fmt + off))
++        break;
++
++      cont = chunk >= buflen - off ? 1 : 0;
++      off += strlen (nserv->overview_fmt + off);
++      if (!cont)
++      {
++        char *colon;
++
++        if (nserv->overview_fmt[b] == ':')
++        {
++          memmove (nserv->overview_fmt + b,
++                   nserv->overview_fmt + b + 1, off - b - 1);
++          nserv->overview_fmt[off - 1] = ':';
++        }
++        colon = strchr (nserv->overview_fmt + b, ':');
++        if (!colon)
++          nserv->overview_fmt[off++] = ':';
++        else if (strcmp (colon + 1, "full"))
++          off = colon + 1 - nserv->overview_fmt;
++        if (!strcasecmp (nserv->overview_fmt + b, "Bytes:"))
++        {
++          strcpy (nserv->overview_fmt + b, "Content-Length:");
++          off = b + strlen (nserv->overview_fmt + b);
++        }
++        nserv->overview_fmt[off++] = '\0';
++        b = off;
++      }
++      }
++      nserv->overview_fmt[off++] = '\0';
++      safe_realloc (&nserv->overview_fmt, off);
++    }
++  }
 +  return 0;
 +}
 +
-+static int nntp_connect_error (NNTP_SERVER *serv)
++/* Get login, password and authenticate */
++static int nntp_auth (NNTP_SERVER *nserv)
 +{
-+  serv->status = NNTP_NONE;
-+  mutt_socket_close (serv->conn);
-+  mutt_error _("Server closed connection!");
-+  sleep (2);
-+  return -1;
-+}
++  CONNECTION *conn = nserv->conn;
++  char buf[LONG_STRING];
++  char authenticators[LONG_STRING] = "USER";
++  char *method, *a, *p;
++  unsigned char flags = conn->account.flags;
 +
-+static int nntp_connect_and_auth (NNTP_SERVER *serv)
-+{
-+  CONNECTION *conn = serv->conn;
-+  char buf[STRING];
-+  int rc;
++  while (1)
++  {
++    /* get login and password */
++    if (mutt_account_getuser (&conn->account) || !conn->account.user[0] ||
++      mutt_account_getpass (&conn->account) || !conn->account.pass[0])
++      break;
 +
-+  serv->status = NNTP_NONE;
++    /* get list of authenticators */
++    if (NntpAuthenticators && *NntpAuthenticators)
++      strfcpy (authenticators, NntpAuthenticators, sizeof (authenticators));
++    else if (nserv->hasCAPABILITIES)
++    {
++      strfcpy (authenticators, NONULL (nserv->authenticators),
++             sizeof (authenticators));
++      p = authenticators;
++      while (*p)
++      {
++      if (*p == ' ')
++        *p = ':';
++      p++;
++      }
++    }
++    p = authenticators;
++    while (*p)
++    {
++      *p = ascii_toupper (*p);
++      p++;
++    }
 +
-+  if (mutt_socket_open (conn) < 0)
-+    return -1;
++    dprint (1, (debugfile,
++              "nntp_auth: available methods: %s\n", nserv->authenticators));
++    a = authenticators;
++    while (1)
++    {
++      if (!a)
++      {
++      mutt_error _("No authenticators available");
++      mutt_sleep (2);
++      break;
++      }
 +
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
++      method = a;
++      a = strchr (a, ':');
++      if (a)
++      *a++ = '\0';
 +
-+  if (!mutt_strncmp ("200", buf, 3))
-+    mutt_message (_("Connected to %s. Posting ok."), conn->account.host);
-+  else if (!mutt_strncmp ("201", buf, 3))
-+    mutt_message (_("Connected to %s. Posting NOT ok."), conn->account.host);
-+  else
-+  {
-+    mutt_socket_close (conn);
-+    mutt_remove_trailing_ws (buf);
-+    mutt_error ("%s", buf);
-+    sleep (2);
-+    return -1;
-+  }
++      /* check authenticator */
++      if (nserv->hasCAPABILITIES)
++      {
++      char *m;
 +
-+  sleep (1);
++      if (!nserv->authenticators)
++        continue;
++      m = strcasestr (nserv->authenticators, method);
++      if (!m)
++        continue;
++      if (m > nserv->authenticators && *(m - 1) != ' ')
++        continue;
++      m += strlen (method);
++      if (*m != '\0' && *m != ' ')
++        continue;
++      }
++      dprint (1, (debugfile, "nntp_auth: trying method %s\n", method));
 +
-+  /* Tell INN to switch to mode reader if it isn't so. Ignore all
-+   returned codes and messages. */
-+  mutt_socket_write (conn, "MODE READER\r\n");
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
++      /* AUTHINFO USER authentication */
++      if (!strcmp (method, "USER"))
++      {
++      mutt_message (_("Authenticating (%s)..."), method);
++      snprintf (buf, sizeof (buf), "AUTHINFO USER %s\r\n", conn->account.user);
++      if (mutt_socket_write (conn, buf) < 0 ||
++          mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++        break;
 +
-+  mutt_socket_write (conn, "STAT\r\n");
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
++      /* authenticated, password is not required */
++      if (!mutt_strncmp ("281", buf, 3))
++        return 0;
 +
-+  if (!(conn->account.flags & M_ACCT_USER) && mutt_strncmp ("480", buf, 3))
-+  {
-+    serv->status = NNTP_OK;
-+    return 0;
++      /* username accepted, sending password */
++      if (!mutt_strncmp ("381", buf, 3))
++      {
++#ifdef DEBUG
++        if (debuglevel < MUTT_SOCK_LOG_FULL)
++          dprint (MUTT_SOCK_LOG_CMD, (debugfile,
++                  "%d> AUTHINFO PASS *\n", conn->fd));
++#endif
++        snprintf (buf, sizeof (buf), "AUTHINFO PASS %s\r\n",
++                  conn->account.pass);
++        if (mutt_socket_write_d (conn, buf, -1, MUTT_SOCK_LOG_FULL) < 0 ||
++            mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++        break;
++
++        /* authenticated */
++        if (!mutt_strncmp ("281", buf, 3))
++          return 0;
++      }
++
++      /* server doesn't support AUTHINFO USER, trying next method */
++      if (*buf == '5')
++        continue;
++      }
++
++      else
++      {
++#ifdef USE_SASL
++      sasl_conn_t *saslconn;
++      sasl_interact_t *interaction = NULL;
++      int rc;
++      char inbuf[LONG_STRING] = "";
++      const char *mech;
++      const char *client_out = NULL;
++      unsigned int client_len, len;
++
++      if (mutt_sasl_client_new (conn, &saslconn) < 0)
++      {
++        dprint (1, (debugfile,
++                "nntp_auth: error allocating SASL connection.\n"));
++        continue;
++      }
++
++      while (1)
++      {
++        rc = sasl_client_start (saslconn, method, &interaction,
++                                &client_out, &client_len, &mech);
++        if (rc != SASL_INTERACT)
++          break;
++        mutt_sasl_interact (interaction);
++      }
++      if (rc != SASL_OK && rc != SASL_CONTINUE)
++      {
++        sasl_dispose (&saslconn);
++        dprint (1, (debugfile,
++                "nntp_auth: error starting SASL authentication exchange.\n"));
++        continue;
++      }
++
++      mutt_message (_("Authenticating (%s)..."), method);
++      snprintf (buf, sizeof (buf), "AUTHINFO SASL %s", method);
++
++      /* looping protocol */
++      while (rc == SASL_CONTINUE || (rc == SASL_OK && client_len))
++      {
++        /* send out client response */
++        if (client_len)
++        {
++#ifdef DEBUG
++          if (debuglevel >= MUTT_SOCK_LOG_FULL)
++          {
++            char tmp[LONG_STRING];
++            memcpy (tmp, client_out, client_len);
++            for (p = tmp; p < tmp + client_len; p++)
++            {
++              if (*p == '\0')
++                *p = '.';
++            }
++            *p = '\0';
++            dprint (1, (debugfile, "SASL> %s\n", tmp));
++          }
++#endif
++
++          if (*buf)
++            safe_strcat (buf, sizeof (buf), " ");
++          len = strlen (buf);
++          if (sasl_encode64 (client_out, client_len,
++              buf + len, sizeof (buf) - len, &len) != SASL_OK)
++          {
++            dprint (1, (debugfile,
++                    "nntp_auth: error base64-encoding client response.\n"));
++            break;
++          }
++        }
++
++        safe_strcat (buf, sizeof (buf), "\r\n");
++#ifdef DEBUG
++        if (debuglevel < MUTT_SOCK_LOG_FULL)
++        {
++          if (strchr (buf, ' '))
++            dprint (MUTT_SOCK_LOG_CMD, (debugfile, "%d> AUTHINFO SASL %s%s\n",
++                    conn->fd, method, client_len ? " sasl_data" : ""));
++          else
++            dprint (MUTT_SOCK_LOG_CMD, (debugfile, "%d> sasl_data\n", conn->fd));
++        }
++#endif
++        client_len = 0;
++        if (mutt_socket_write_d (conn, buf, -1, MUTT_SOCK_LOG_FULL) < 0 ||
++            mutt_socket_readln_d (inbuf, sizeof (inbuf), conn, MUTT_SOCK_LOG_FULL) < 0)
++          break;
++        if (mutt_strncmp (inbuf, "283 ", 4) &&
++            mutt_strncmp (inbuf, "383 ", 4))
++        {
++#ifdef DEBUG
++          if (debuglevel < MUTT_SOCK_LOG_FULL)
++            dprint (MUTT_SOCK_LOG_CMD, (debugfile, "%d< %s\n", conn->fd, inbuf));
++#endif
++          break;
++        }
++#ifdef DEBUG
++        if (debuglevel < MUTT_SOCK_LOG_FULL)
++        {
++          inbuf[3] = '\0';
++          dprint (MUTT_SOCK_LOG_CMD, (debugfile,
++                  "%d< %s sasl_data\n", conn->fd, inbuf));
++        }
++#endif
++
++        if (!strcmp ("=", inbuf + 4))
++          len = 0;
++        else if (sasl_decode64 (inbuf + 4, strlen (inbuf + 4),
++                 buf, sizeof (buf) - 1, &len) != SASL_OK)
++        {
++          dprint (1, (debugfile,
++                  "nntp_auth: error base64-decoding server response.\n"));
++          break;
++        }
++#ifdef DEBUG
++        else if (debuglevel >= MUTT_SOCK_LOG_FULL)
++        {
++          char tmp[LONG_STRING];
++          memcpy (tmp, buf, len);
++          for (p = tmp; p < tmp + len; p++)
++          {
++            if (*p == '\0')
++              *p = '.';
++          }
++          *p = '\0';
++          dprint (1, (debugfile, "SASL< %s\n", tmp));
++        }
++#endif
++
++        while (1)
++        {
++          rc = sasl_client_step (saslconn, buf, len,
++                                 &interaction, &client_out, &client_len);
++          if (rc != SASL_INTERACT)
++            break;
++          mutt_sasl_interact (interaction);
++        }
++        if (*inbuf != '3')
++          break;
++
++        *buf = '\0';
++      } /* looping protocol */
++
++      if (rc == SASL_OK && client_len == 0 && *inbuf == '2')
++      {
++        mutt_sasl_setup_conn (conn, saslconn);
++        return 0;
++      }
++
++      /* terminate SASL sessoin */
++      sasl_dispose (&saslconn);
++      if (conn->fd < 0)
++        break;
++      if (!mutt_strncmp (inbuf, "383 ", 4))
++      {
++        if (mutt_socket_write (conn, "*\r\n") < 0 ||
++            mutt_socket_readln (inbuf, sizeof (inbuf), conn) < 0)
++          break;
++      }
++
++      /* server doesn't support AUTHINFO SASL, trying next method */
++      if (*inbuf == '5')
++        continue;
++#else
++      continue;
++#endif /* USE_SASL */
++      }
++
++      mutt_error (_("%s authentication failed."), method);
++      mutt_sleep (2);
++      break;
++    }
++    break;
 +  }
 +
-+  rc = nntp_auth (serv);
-+  if (rc == -1)
-+    return nntp_connect_error (serv);
-+  if (rc == -2)
++  /* error */
++  nserv->status = NNTP_BYE;
++  conn->account.flags = flags;
++  if (conn->fd < 0)
 +  {
-+    mutt_socket_close (conn);
-+    serv->status = NNTP_BYE;
-+    return -1;
++    mutt_error _("Server closed connection!");
++    mutt_sleep (2);
 +  }
-+  if (rc < 0)
-+  {
++  else
 +    mutt_socket_close (conn);
-+    mutt_error _("Login failed.");
-+    sleep (2);
-+    return -1;
-+  }
-+  serv->status = NNTP_OK;
-+  return 0;
++  return -1;
 +}
 +
-+static int nntp_attempt_features (NNTP_SERVER *serv)
++/* Connect to server, authenticate and get capabilities */
++int nntp_open_connection (NNTP_SERVER *nserv)
 +{
-+  char buf[LONG_STRING];
-+  CONNECTION *conn = serv->conn;
++  CONNECTION *conn = nserv->conn;
++  char buf[STRING];
++  int cap;
++  unsigned int posting = 0, auth = 1;
 +
-+  mutt_socket_write (conn, "XOVER\r\n");
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
-+  if (mutt_strncmp ("500", buf, 3))
-+    serv->hasXOVER = 1;
++  if (nserv->status == NNTP_OK)
++    return 0;
++  if (nserv->status == NNTP_BYE)
++    return -1;
++  nserv->status = NNTP_NONE;
 +
-+  mutt_socket_write (conn, "XPAT\r\n");
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
-+  if (mutt_strncmp ("500", buf, 3))
-+    serv->hasXPAT = 1;
++  if (mutt_socket_open (conn) < 0)
++    return -1;
 +
-+  mutt_socket_write (conn, "LISTGROUP\r\n");
 +  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
-+  if (mutt_strncmp ("500", buf, 3))
-+    serv->hasLISTGROUP = 1;
++    return nntp_connect_error (nserv);
 +
-+  mutt_socket_write (conn, "XGTITLE +\r\n");
-+  if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+    return nntp_connect_error (serv);
-+  if (mutt_strncmp ("500", buf, 3))
-+    serv->hasXGTITLE = 1;
++  if (!mutt_strncmp ("200", buf, 3))
++    posting = 1;
++  else if (mutt_strncmp ("201", buf, 3))
++  {
++    mutt_socket_close (conn);
++    mutt_remove_trailing_ws (buf);
++    mutt_error ("%s", buf);
++    mutt_sleep (2);
++    return -1;
++  }
++
++  /* get initial capabilities */
++  cap = nntp_capabilities (nserv);
++  if (cap < 0)
++    return -1;
 +
-+  if (!mutt_strncmp ("282", buf, 3))
++  /* tell news server to switch to mode reader if it isn't so */
++  if (cap > 0)
 +  {
-+    do
++    if (mutt_socket_write (conn, "MODE READER\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++
++    if (!mutt_strncmp ("200", buf, 3))
++      posting = 1;
++    else if (!mutt_strncmp ("201", buf, 3))
++      posting = 0;
++    /* error if has capabilities, ignore result if no capabilities */
++    else if (nserv->hasCAPABILITIES)
++    {
++      mutt_socket_close (conn);
++      mutt_error _("Could not switch to reader mode.");
++      mutt_sleep (2);
++      return -1;
++    }
++
++    /* recheck capabilities after MODE READER */
++    if (nserv->hasCAPABILITIES)
 +    {
-+      if (mutt_socket_readln (buf, sizeof (buf), conn) < 0)
-+      return nntp_connect_error (serv);
-+    } while (!(buf[0] == '.' && buf[1] == '\0'));
++      cap = nntp_capabilities (nserv);
++      if (cap < 0)
++      return -1;
++    }
 +  }
 +
-+  return 0;
-+}
++  mutt_message (_("Connected to %s. %s"), conn->account.host,
++              posting ? _("Posting is ok.") : _("Posting is NOT ok."));
++  mutt_sleep (1);
 +
-+static int nntp_open_connection (NNTP_SERVER *serv)
-+{
-+  if (serv->status == NNTP_OK)
-+    return 0;
-+  if (serv->status == NNTP_BYE)
-+    return -1;
-+  if (nntp_connect_and_auth (serv) < 0)
-+    return -1;
-+  if (nntp_attempt_features (serv) < 0)
-+    return -1;
-+  return 0;
-+}
++#if defined(USE_SSL)
++  /* Attempt STARTTLS if available and desired. */
++  if (nserv->use_tls != 1 && (nserv->hasSTARTTLS || option (OPTSSLFORCETLS)))
++  {
++    if (nserv->use_tls == 0)
++      nserv->use_tls = option (OPTSSLFORCETLS) ||
++                      query_quadoption (OPT_SSLSTARTTLS,
++                      _("Secure connection with TLS?")) == MUTT_YES ? 2 : 1;
++    if (nserv->use_tls == 2)
++    {
++      if (mutt_socket_write (conn, "STARTTLS\r\n") < 0 ||
++        mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++      if (mutt_strncmp ("382", buf, 3))
++      {
++      nserv->use_tls = 0;
++      mutt_error ("STARTTLS: %s", buf);
++      mutt_sleep (2);
++      }
++      else if (mutt_ssl_starttls (conn))
++      {
++      nserv->use_tls = 0;
++      nserv->status = NNTP_NONE;
++      mutt_socket_close (nserv->conn);
++      mutt_error _("Could not negotiate TLS connection");
++      mutt_sleep (2);
++      return -1;
++      }
++      else
++      {
++      /* recheck capabilities after STARTTLS */
++      cap = nntp_capabilities (nserv);
++      if (cap < 0)
++        return -1;
++      }
++    }
++  }
++#endif
 +
-+static int nntp_reconnect (NNTP_SERVER *serv)
-+{
-+  char buf[SHORT_STRING];
++  /* authentication required? */
++  if (conn->account.flags & MUTT_ACCT_USER)
++  {
++    if (!conn->account.user[0])
++      auth = 0;
++  }
++  else
++  {
++    if (mutt_socket_write (conn, "STAT\r\n") < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), conn) < 0)
++      return nntp_connect_error (nserv);
++    if (mutt_strncmp ("480", buf, 3))
++      auth = 0;
++  }
 +
-+  mutt_socket_close (serv->conn);
++  /* authenticate */
++  if (auth && nntp_auth (nserv) < 0)
++      return -1;
 +
-+  FOREVER
++  /* get final capabilities after authentication */
++  if (nserv->hasCAPABILITIES && (auth || cap > 0))
 +  {
-+    if (nntp_connect_and_auth (serv) == 0)
-+      return 0;
-+
-+    snprintf (buf, sizeof (buf), _("Connection to %s lost. Reconnect?"),
-+                              serv->conn->account.host);
-+    if (query_quadoption (OPT_NNTPRECONNECT, buf) != M_YES)
++    cap = nntp_capabilities (nserv);
++    if (cap < 0)
++      return -1;
++    if (cap > 0)
 +    {
-+      serv->status = NNTP_BYE;
++      mutt_socket_close (conn);
++      mutt_error _("Could not switch to reader mode.");
++      mutt_sleep (2);
 +      return -1;
 +    }
 +  }
++
++  /* attempt features */
++  if (nntp_attempt_features (nserv) < 0)
++    return -1;
++
++  nserv->status = NNTP_OK;
++  return 0;
 +}
 +
-+/* Send data from line[LONG_STRING] and receive answer to same line */
-+static int mutt_nntp_query (NNTP_DATA *data, char *line, size_t linelen)
++/* Send data from buffer and receive answer to same buffer */
++static int nntp_query (NNTP_DATA *nntp_data, char *line, size_t linelen)
 +{
++  NNTP_SERVER *nserv = nntp_data->nserv;
 +  char buf[LONG_STRING];
-+  int done = TRUE;
 +
-+  if (data->nserv->status == NNTP_BYE)
++  if (nserv->status == NNTP_BYE)
 +    return -1;
 +
-+  do
++  while (1)
 +  {
-+    if (*line)
-+    {
-+      mutt_socket_write (data->nserv->conn, line);
-+    }
-+    else if (data->group)
++    if (nserv->status == NNTP_OK)
 +    {
-+      snprintf (buf, sizeof (buf), "GROUP %s\r\n", data->group);
-+      mutt_socket_write (data->nserv->conn, buf);
++      int rc = 0;
++
++      if (*line)
++      rc = mutt_socket_write (nserv->conn, line);
++      else if (nntp_data->group)
++      {
++      snprintf (buf, sizeof (buf), "GROUP %s\r\n", nntp_data->group);
++      rc = mutt_socket_write (nserv->conn, buf);
++      }
++      if (rc >= 0)
++      rc = mutt_socket_readln (buf, sizeof (buf), nserv->conn);
++      if (rc >= 0)
++      break;
 +    }
 +
-+    done = TRUE;
-+    if (mutt_socket_readln (buf, sizeof (buf), data->nserv->conn) < 0)
++    /* reconnect */
++    while (1)
 +    {
-+      if (nntp_reconnect (data->nserv) < 0)
-+      return -1;
++      nserv->status = NNTP_NONE;
++      if (nntp_open_connection (nserv) == 0)
++      break;
 +
-+      if (data->group)
++      snprintf (buf, sizeof (buf), _("Connection to %s lost. Reconnect?"),
++              nserv->conn->account.host);
++      if (mutt_yesorno (buf, MUTT_YES) != MUTT_YES)
 +      {
-+      snprintf (buf, sizeof (buf), "GROUP %s\r\n", data->group);
-+      mutt_socket_write (data->nserv->conn, buf);
-+      if (mutt_socket_readln (buf, sizeof (buf), data->nserv->conn) < 0)
-+        return -1;
++      nserv->status = NNTP_BYE;
++      return -1;
 +      }
-+      if (*line)
-+      done = FALSE;
 +    }
-+    else if ((!mutt_strncmp ("480", buf, 3)) && nntp_auth (data->nserv) < 0)
-+      return -1;
-+  } while (!done);
++
++    /* select newsgroup after reconnection */
++    if (nntp_data->group)
++    {
++      snprintf (buf, sizeof (buf), "GROUP %s\r\n", nntp_data->group);
++      if (mutt_socket_write (nserv->conn, buf) < 0 ||
++        mutt_socket_readln (buf, sizeof (buf), nserv->conn) < 0)
++      return nntp_connect_error (nserv);
++    }
++    if (!*line)
++      break;
++  }
 +
 +  strfcpy (line, buf, linelen);
 +  return 0;
 +}
 +
-+/*
-+ * This function calls  funct(*line, *data)  for each received line,
-+ * funct(NULL, *data)  if  rewind(*data)  needs, exits when fail or done.
-+ * Returned codes:
-+ *  0 - successful,
-+ *  1 - correct but not performed (may be, have to be continued),
-+ * -1 - conection lost,
-+ * -2 - invalid command or execution error,
-+ * -3 - error in funct(*line, *data).
-+ */
-+static int mutt_nntp_fetch (NNTP_DATA *nntp_data, char *query, char *msg,
-+              int (*funct) (char *, void *), void *data, int tagged)
++/* This function calls funct(*line, *data) for each received line,
++ * funct(NULL, *data) if rewind(*data) needs, exits when fail or done:
++ *  0 - success
++ *  1 - bad response (answer in query buffer)
++ * -1 - conection lost
++ * -2 - error in funct(*line, *data) */
++static int nntp_fetch_lines (NNTP_DATA *nntp_data, char *query, size_t qlen,
++                      char *msg, int (*funct) (char *, void *), void *data)
 +{
-+  char buf[LONG_STRING];
-+  char *inbuf, *p;
 +  int done = FALSE;
-+  int chunk, line;
-+  size_t lenbuf = 0;
-+  int ret;
++  int rc;
 +
-+  do
++  while (!done)
 +  {
++    char buf[LONG_STRING];
++    char *line;
++    unsigned int lines = 0;
++    size_t off = 0;
++    progress_t progress;
++
++    if (msg)
++      mutt_progress_init (&progress, msg, MUTT_PROGRESS_MSG, ReadInc, -1);
++
 +    strfcpy (buf, query, sizeof (buf));
-+    if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0)
++    if (nntp_query (nntp_data, buf, sizeof (buf)) < 0)
 +      return -1;
-+    if (buf[0] == '5')
-+      return -2;
 +    if (buf[0] != '2')
++    {
++      strfcpy (query, buf, qlen);
 +      return 1;
++    }
 +
-+    ret = 0;
-+    line = 0;
-+    inbuf = safe_malloc (sizeof (buf));
++    line = safe_malloc (sizeof (buf));
++    rc = 0;
 +
-+    FOREVER
++    while (1)
 +    {
-+      chunk = mutt_socket_readln_d (buf, sizeof (buf), nntp_data->nserv->conn,
-+                                  M_SOCK_LOG_HDR);
++      char *p;
++      int chunk = mutt_socket_readln_d (buf, sizeof (buf),
++                nntp_data->nserv->conn, MUTT_SOCK_LOG_HDR);
 +      if (chunk < 0)
++      {
++      nntp_data->nserv->status = NNTP_NONE;
 +      break;
++      }
 +
 +      p = buf;
-+      if (!lenbuf && buf[0] == '.')
++      if (!off && buf[0] == '.')
 +      {
 +      if (buf[1] == '\0')
 +      {
@@ -4749,693 +5469,858 @@ diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
 +        p++;
 +      }
 +
-+      strfcpy (inbuf + lenbuf, p, sizeof (buf));
++      strfcpy (line + off, p, sizeof (buf));
 +
 +      if (chunk >= sizeof (buf))
-+      {
-+      lenbuf += strlen (p);
-+      }
++      off += strlen (p);
 +      else
 +      {
-+      line++;
-+      if (msg && ReadInc && (line % ReadInc == 0)) {
-+        if (tagged)
-+          mutt_message (_("%s (tagged: %d) %d"), msg, tagged, line);
-+        else
-+          mutt_message ("%s %d", msg, line);
-+      }
++      if (msg)
++        mutt_progress_update (&progress, ++lines, -1);
 +
-+      if (ret == 0 && funct (inbuf, data) < 0)
-+        ret = -3;
-+      lenbuf = 0;
++      if (rc == 0 && funct (line, data) < 0)
++        rc = -2;
++      off = 0;
 +      }
 +
-+      safe_realloc (&inbuf, lenbuf + sizeof (buf));
++      safe_realloc (&line, off + sizeof (buf));
 +    }
-+    FREE (&inbuf);
++    FREE (&line);
 +    funct (NULL, data);
 +  }
-+  while (!done);
-+  return ret;
++  return rc;
 +}
 +
-+static int nntp_read_tempfile (char *line, void *file)
++/* Parse newsgroup description */
++static int fetch_description (char *line, void *data)
 +{
-+  FILE *f = (FILE *)file;
++  NNTP_SERVER *nserv = data;
++  NNTP_DATA *nntp_data;
++  char *desc;
 +
 +  if (!line)
-+    rewind (f);
-+  else
++    return 0;
++
++  desc = strpbrk (line, " \t");
++  if (desc)
 +  {
-+    fputs (line, f);
-+    if (fputc ('\n', f) == EOF)
-+      return -1;
++    *desc++ = '\0';
++    desc += strspn (desc, " \t");
 +  }
-+  return 0;
-+}
-+
-+static void nntp_parse_xref (CONTEXT *ctx, char *group, char *xref, HEADER *h)
-+{
-+  register char *p, *b;
-+  register char *colon = NULL;
++  else
++    desc = strchr (line, '\0');
 +
-+  b = p = xref;
-+  while (*p)
++  nntp_data = hash_find (nserv->groups_hash, line);
++  if (nntp_data && mutt_strcmp (desc, nntp_data->desc))
 +  {
-+    /* skip to next word */
-+    b = p;
-+    while (*b && ((*b == ' ') || (*b == '\t'))) b++;
-+    p = b;
-+    colon = NULL;
-+    /* skip to end of word */
-+    while (*p && (*p != ' ') && (*p != '\t')) 
-+    {
-+      if (*p == ':')
-+      colon = p;
-+      p++;
-+    }
-+    if (*p)
-+    {
-+      *p = '\0';
-+      p++;
-+    }
-+    if (colon)
-+    {
-+      *colon = '\0';
-+      colon++;
-+      nntp_get_status (ctx, h, b, atoi(colon));
-+      if (h && h->article_num == 0 && mutt_strcmp (group, b) == 0)
-+      h->article_num = atoi(colon);
-+    }
++    mutt_str_replace (&nntp_data->desc, desc);
++    dprint (2, (debugfile, "group: %s, desc: %s\n", line, desc));
 +  }
++  return 0;
 +}
 +
-+/*
-+ * returns:
-+ *  0 on success
-+ *  1 if article not found
-+ * -1 if read or write error on tempfile or socket
-+ */
-+static int nntp_read_header (CONTEXT *ctx, const char *msgid, int article_num)
++/* Fetch newsgroups descriptions.
++ * Returns the same code as nntp_fetch_lines() */
++static int get_description (NNTP_DATA *nntp_data, char *wildmat, char *msg)
 +{
-+  NNTP_DATA *nntp_data = ((NNTP_DATA *)ctx->data);
-+  FILE *f;
-+  char buf[LONG_STRING];
-+  char tempfile[_POSIX_PATH_MAX];
-+  int ret;
-+  HEADER *h = ctx->hdrs[ctx->msgcount];
-+
-+  mutt_mktemp (tempfile, sizeof(tempfile));
-+  if (!(f = safe_fopen (tempfile, "w+")))
-+    return -1;
++  NNTP_SERVER *nserv;
++  char buf[STRING];
++  char *cmd;
++  int rc;
 +
-+  if (!msgid)
-+    snprintf (buf, sizeof (buf), "HEAD %d\r\n", article_num);
++  /* get newsgroup description, if possible */
++  nserv = nntp_data->nserv;
++  if (!wildmat)
++    wildmat = nntp_data->group;
++  if (nserv->hasLIST_NEWSGROUPS)
++    cmd = "LIST NEWSGROUPS";
++  else if (nserv->hasXGTITLE)
++    cmd = "XGTITLE";
 +  else
-+    snprintf (buf, sizeof (buf), "HEAD %s\r\n", msgid);
-+
-+  ret = mutt_nntp_fetch (nntp_data, buf, NULL, nntp_read_tempfile, f, 0);
-+  if (ret)
-+  {
-+#ifdef DEBUG
-+    if (ret != -1)
-+      dprint(1, (debugfile, "nntp_read_header: %s\n", buf));
-+#endif
-+    fclose (f);
-+    unlink (tempfile);
-+    return (ret == -1 ? -1 : 1);
-+  }
-+
-+  h->article_num = article_num;
-+  h->env = mutt_read_rfc822_header (f, h, 0, 0);
-+  fclose (f);
-+  unlink (tempfile);
++    return 0;
 +
-+  if (h->env->xref != NULL)
-+    nntp_parse_xref (ctx, nntp_data->group, h->env->xref, h);
-+  else if (h->article_num == 0 && msgid)
++  snprintf (buf, sizeof (buf), "%s %s\r\n", cmd, wildmat);
++  rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), msg,
++                       fetch_description, nserv);
++  if (rc > 0)
 +  {
-+    snprintf (buf, sizeof (buf), "STAT %s\r\n", msgid);
-+    if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) == 0)
-+      h->article_num = atoi (buf + 4);
++    mutt_error ("%s: %s", cmd, buf);
++    mutt_sleep (2);
 +  }
-+
-+  return 0;
++  return rc;
 +}
 +
-+static int parse_description (char *line, void *n)
++/* Update read flag and set article number if empty */
++static void nntp_parse_xref (CONTEXT *ctx, HEADER *hdr)
 +{
-+#define news ((NNTP_SERVER *) n)
-+  register char *d = line;
-+  NNTP_DATA *data;
++  NNTP_DATA *nntp_data = ctx->data;
++  char *buf, *p;
 +
-+  if (!line)
-+    return 0;
-+  while (*d && *d != '\t' && *d != ' ') d++;
-+    *d = 0;
-+  d++;
-+  while (*d && (*d == '\t' || *d == ' ')) d++;
-+  dprint (2, (debugfile, "group: %s, desc: %s\n", line, d));
-+  if ((data = (NNTP_DATA *) hash_find (news->newsgroups, line)) != NULL &&
-+      mutt_strcmp (d, data->desc))
++  buf = p = safe_strdup (hdr->env->xref);
++  while (p)
 +  {
-+    FREE (&data->desc);
-+    data->desc = safe_strdup (d);
-+  }
-+  return 0;
-+#undef news
-+}
++    char *grp, *colon;
++    anum_t anum;
 +
-+static void nntp_get_desc (NNTP_DATA *data, char *mask, char *msg)
-+{
-+  char buf[STRING];
++    /* skip to next word */
++    p += strspn (p, " \t");
++    grp = p;
 +
-+  if (!option (OPTLOADDESC) || !data || !data->nserv)
-+    return;
++    /* skip to end of word */
++    p = strpbrk (p, " \t");
++    if (p)
++      *p++ = '\0';
 +
-+  /* Get newsgroup description, if we can */
-+  if (data->nserv->hasXGTITLE)
-+    snprintf (buf, sizeof (buf), "XGTITLE %s\r\n", mask);
-+  else
-+    snprintf (buf, sizeof (buf), "LIST NEWSGROUPS %s\r\n", mask);
-+  if (mutt_nntp_fetch (data, buf, msg, parse_description, data->nserv, 0) != 0)
-+  {
-+#ifdef DEBUG
-+    nntp_error ("nntp_get_desc()", buf);
-+#endif
++    /* find colon */
++    colon = strchr (grp, ':');
++    if (!colon)
++      continue;
++    *colon++ = '\0';
++    if (sscanf (colon, ANUM, &anum) != 1)
++      continue;
++
++    nntp_article_status (ctx, hdr, grp, anum);
++    if (hdr && !NHDR (hdr)->article_num && !mutt_strcmp (nntp_data->group, grp))
++      NHDR (hdr)->article_num = anum;
 +  }
++  FREE (&buf);
 +}
 +
-+/*
-+ * XOVER returns a tab separated list of:
-+ * id|subject|from|date|Msgid|references|bytes|lines|xref
-+ *
-+ * This has to duplicate some of the functionality of 
-+ * mutt_read_rfc822_header(), since it replaces the call to that (albeit with
-+ * a limited number of headers which are "parsed" by placement in the list)
-+ */
-+static int nntp_parse_xover (CONTEXT *ctx, char *buf, HEADER *hdr)
++/* Write line to temporarily file */
++static int fetch_tempfile (char *line, void *data)
 +{
-+  NNTP_DATA *nntp_data = (NNTP_DATA *) ctx->data;
-+  char *p, *b;
-+  int x, done = 0;
-+
-+  hdr->env = mutt_new_envelope();
-+  hdr->env->newsgroups = safe_strdup (nntp_data->group);
-+  hdr->content = mutt_new_body();
-+  hdr->content->type = TYPETEXT;
-+  hdr->content->subtype = safe_strdup ("plain");
-+  hdr->content->encoding = ENC7BIT;
-+  hdr->content->disposition = DISPINLINE;
-+  hdr->content->length = -1;
-+  b = p = buf;
-+
-+  for (x = 0; !done && x < 9; x++)
-+  {
-+    /* if from file, need to skip newline character */
-+    while (*p && *p != '\n' && *p != '\t') p++;
-+    if (!*p) done++;
-+    *p = '\0';
-+    p++;
-+    switch (x)
-+    {
-+      case 0:
-+
-+      hdr->article_num = atoi (b);
-+      nntp_get_status (ctx, hdr, NULL, hdr->article_num);
-+      break;
-+      case 1:
-+      hdr->env->subject = safe_strdup (b);
-+      /* Now we need to do the things which would normally be done in 
-+       * mutt_read_rfc822_header() */
-+      if (hdr->env->subject)
-+      {
-+        regmatch_t pmatch[1];
-+
-+        rfc2047_decode (&hdr->env->subject);
++  FILE *fp = data;
 +
-+        if (regexec (ReplyRegexp.rx, hdr->env->subject, 1, pmatch, 0) == 0)
-+          hdr->env->real_subj = hdr->env->subject + pmatch[0].rm_eo;
-+        else
-+          hdr->env->real_subj = hdr->env->subject;
-+      }
-+      break;
-+      case 2:
-+      rfc822_free_address (&hdr->env->from);
-+      hdr->env->from = rfc822_parse_adrlist (hdr->env->from, b);
-+      rfc2047_decode_adrlist (hdr->env->from);
-+      break;
-+      case 3:
-+      hdr->date_sent = mutt_parse_date (b, hdr);
-+      hdr->received = hdr->date_sent;
-+      break;
-+      case 4:
-+      FREE (&hdr->env->message_id);
-+      hdr->env->message_id = safe_strdup (b);
-+      break;
-+      case 5:
-+      mutt_free_list (&hdr->env->references);
-+      hdr->env->references = mutt_parse_references (b, 0);
-+      break;
-+      case 6:
-+      hdr->content->length = atoi (b);
-+      break;
-+      case 7:
-+      hdr->lines = atoi (b);
-+      break;
-+      case 8:
-+      if (!hdr->read)
-+        FREE (&hdr->env->xref);
-+        b = b + 6;    /* skips the "Xref: " */
-+        hdr->env->xref = safe_strdup (b);
-+        nntp_parse_xref (ctx, nntp_data->group, b, hdr);
-+    }
-+    if (!*p)
-+      return -1;
-+    b = p;
-+  }
++  if (!line)
++    rewind (fp);
++  else if (fputs (line, fp) == EOF || fputc ('\n', fp) == EOF)
++    return -1;
 +  return 0;
 +}
 +
 +typedef struct
 +{
 +  CONTEXT *ctx;
-+  unsigned int base;
-+  unsigned int first;
-+  unsigned int last;
-+  unsigned short *messages;
-+  char* msg;
-+} FETCH_CONTEXT;
-+
-+#define fc ((FETCH_CONTEXT *) c)
-+static int nntp_fetch_numbers (char *line, void *c)
++  anum_t first;
++  anum_t last;
++  int restore;
++  unsigned char *messages;
++  progress_t progress;
++#ifdef USE_HCACHE
++  header_cache_t *hc;
++#endif
++} FETCH_CTX;
++
++/* Parse article number */
++static int fetch_numbers (char *line, void *data)
 +{
-+  unsigned int num;
++  FETCH_CTX *fc = data;
++  anum_t anum;
 +
 +  if (!line)
 +    return 0;
-+  num = atoi (line);
-+  if (num < fc->base || num > fc->last)
++  if (sscanf (line, ANUM, &anum) != 1)
++    return 0;
++  if (anum < fc->first || anum > fc->last)
 +    return 0;
-+  fc->messages[num - fc->base] = 1;
++  fc->messages[anum - fc->first] = 1;
 +  return 0;
 +}
 +
-+static int add_xover_line (char *line, void *c)
++/* Parse overview line */
++static int parse_overview_line (char *line, void *data)
 +{
-+  unsigned int num, total;
++  FETCH_CTX *fc = data;
 +  CONTEXT *ctx = fc->ctx;
-+  NNTP_DATA *data = (NNTP_DATA *)ctx->data;
++  NNTP_DATA *nntp_data = ctx->data;
++  HEADER *hdr;
++  FILE *fp;
++  char tempfile[_POSIX_PATH_MAX];
++  char *header, *field;
++  int save = 1;
++  anum_t anum;
 +
 +  if (!line)
 +    return 0;
 +
++  /* parse article number */
++  field = strchr (line, '\t');
++  if (field)
++    *field++ = '\0';
++  if (sscanf (line, ANUM, &anum) != 1)
++    return 0;
++  dprint (2, (debugfile, "parse_overview_line: " ANUM "\n", anum));
++
++  /* out of bounds */
++  if (anum < fc->first || anum > fc->last)
++    return 0;
++
++  /* not in LISTGROUP */
++  if (!fc->messages[anum - fc->first])
++  {
++    /* progress */
++    if (!ctx->quiet)
++      mutt_progress_update (&fc->progress, anum - fc->first + 1, -1);
++    return 0;
++  }
++
++  /* convert overview line to header */
++  mutt_mktemp (tempfile, sizeof (tempfile));
++  fp = safe_fopen (tempfile, "w+");
++  if (!fp)
++    return -1;
++
++  header = nntp_data->nserv->overview_fmt;
++  while (field)
++  {
++    char *b = field;
++
++    if (*header)
++    {
++      if (strstr (header, ":full") == NULL && fputs (header, fp) == EOF)
++      {
++      fclose (fp);
++      unlink (tempfile);
++      return -1;
++      }
++      header = strchr (header, '\0') + 1;
++    }
++
++    field = strchr (field, '\t');
++    if (field)
++      *field++ = '\0';
++    if (fputs (b, fp) == EOF || fputc ('\n', fp) == EOF)
++    {
++      fclose (fp);
++      unlink (tempfile);
++      return -1;
++    }
++  }
++  rewind (fp);
++
++  /* allocate memory for headers */
 +  if (ctx->msgcount >= ctx->hdrmax)
 +    mx_alloc_memory (ctx);
-+  ctx->hdrs[ctx->msgcount] = mutt_new_header ();
-+  ctx->hdrs[ctx->msgcount]->index = ctx->msgcount;
 +
-+  nntp_parse_xover (ctx, line, ctx->hdrs[ctx->msgcount]);
-+  num = ctx->hdrs[ctx->msgcount]->article_num;
++  /* parse header */
++  hdr = ctx->hdrs[ctx->msgcount] = mutt_new_header ();
++  hdr->env = mutt_read_rfc822_header (fp, hdr, 0, 0);
++  hdr->env->newsgroups = safe_strdup (nntp_data->group);
++  hdr->received = hdr->date_sent;
++  fclose (fp);
++  unlink (tempfile);
++
++#ifdef USE_HCACHE
++  if (fc->hc)
++  {
++    void *hdata;
++    char buf[16];
++
++    /* try to replace with header from cache */
++    snprintf (buf, sizeof (buf), "%d", anum);
++    hdata = mutt_hcache_fetch (fc->hc, buf, strlen);
++    if (hdata)
++    {
++      dprint (2, (debugfile,
++                "parse_overview_line: mutt_hcache_fetch %s\n", buf));
++      mutt_free_header (&hdr);
++      ctx->hdrs[ctx->msgcount] =
++      hdr = mutt_hcache_restore (hdata, NULL);
++      FREE (&hdata);
++      hdr->data = 0;
++      hdr->read = 0;
++      hdr->old = 0;
++
++      /* skip header marked as deleted in cache */
++      if (hdr->deleted && !fc->restore)
++      {
++      if (nntp_data->bcache)
++      {
++        dprint (2, (debugfile,
++                    "parse_overview_line: mutt_bcache_del %s\n", buf));
++        mutt_bcache_del (nntp_data->bcache, buf);
++      }
++      save = 0;
++      }
++    }
++
++    /* not chached yet, store header */
++    else
++    {
++      dprint (2, (debugfile,
++                "parse_overview_line: mutt_hcache_store %s\n", buf));
++      mutt_hcache_store (fc->hc, buf, hdr, 0, strlen, MUTT_GENERATE_UIDVALIDITY);
++    }
++  }
++#endif
 +
-+  if (num >= fc->first && num <= fc->last && fc->messages[num - fc->base])
++  if (save)
 +  {
-+    ctx->msgcount++;
-+    if (num > data->lastLoaded)
-+      data->lastLoaded = num;
-+    num = num - fc->first + 1;
-+    total = fc->last - fc->first + 1;
-+    if (!ctx->quiet && fc->msg && ReadInc && (num % ReadInc == 0))
-+      mutt_message ("%s %d/%d", fc->msg, num, total);
++    hdr->index = ctx->msgcount++;
++    hdr->read = 0;
++    hdr->old = 0;
++    hdr->deleted = 0;
++    hdr->data = safe_calloc (1, sizeof (NNTP_HEADER_DATA));
++    NHDR (hdr)->article_num = anum;
++    if (fc->restore)
++      hdr->changed = 1;
++    else
++    {
++      nntp_article_status (ctx, hdr, NULL, anum);
++      if (!hdr->read)
++      nntp_parse_xref (ctx, hdr);
++    }
++    if (anum > nntp_data->lastLoaded)
++      nntp_data->lastLoaded = anum;
 +  }
 +  else
-+    mutt_free_header (&ctx->hdrs[ctx->msgcount]); /* skip it */
++    mutt_free_header (&hdr);
 +
++  /* progress */
++  if (!ctx->quiet)
++    mutt_progress_update (&fc->progress, anum - fc->first + 1, -1);
 +  return 0;
 +}
-+#undef fc
 +
-+static int nntp_fetch_headers (CONTEXT *ctx, unsigned int first,
-+      unsigned int last)
++/* Fetch headers */
++static int nntp_fetch_headers (CONTEXT *ctx, void *hc,
++                             anum_t first, anum_t last, int restore)
 +{
++  NNTP_DATA *nntp_data = ctx->data;
++  FETCH_CTX fc;
++  HEADER *hdr;
 +  char buf[HUGE_STRING];
-+  char *msg = _("Fetching message headers...");
-+  NNTP_DATA *nntp_data = ((NNTP_DATA *)ctx->data);
-+  int ret;
-+  int num;
-+  int oldmsgcount;
-+  unsigned int current;
-+  FILE *f;
-+  FETCH_CONTEXT fc;
++  int rc = 0;
++  int oldmsgcount = ctx->msgcount;
++  anum_t current;
++  anum_t first_over = first;
++#ifdef USE_HCACHE
++  void *hdata;
++#endif
 +
 +  /* if empty group or nothing to do */
 +  if (!last || first > last)
 +    return 0;
 +
-+  /* fetch list of articles */
++  /* init fetch context */
 +  fc.ctx = ctx;
-+  fc.base = first;
++  fc.first = first;
 +  fc.last = last;
-+  fc.messages = safe_calloc (last - first + 1, sizeof (unsigned short));
-+  if (nntp_data->nserv->hasLISTGROUP)
-+  {
-+    mutt_message _("Fetching list of articles...");
-+    snprintf (buf, sizeof (buf), "LISTGROUP %s\r\n", nntp_data->group);
-+    if (mutt_nntp_fetch (nntp_data, buf, NULL, nntp_fetch_numbers, &fc, 0) != 0)
++  fc.restore = restore;
++  fc.messages = safe_calloc (last - first + 1, sizeof (unsigned char));
++#ifdef USE_HCACHE
++  fc.hc = hc;
++#endif
++
++  /* fetch list of articles */
++  if (option (OPTLISTGROUP) && nntp_data->nserv->hasLISTGROUP &&
++      !nntp_data->deleted)
++  {
++    if (!ctx->quiet)
++      mutt_message _("Fetching list of articles...");
++    if (nntp_data->nserv->hasLISTGROUPrange)
++      snprintf (buf, sizeof (buf), "LISTGROUP %s %d-%d\r\n", nntp_data->group,
++              first, last);
++    else
++      snprintf (buf, sizeof (buf), "LISTGROUP %s\r\n", nntp_data->group);
++    rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), NULL,
++                         fetch_numbers, &fc);
++    if (rc > 0)
 +    {
-+      mutt_error (_("LISTGROUP command failed: %s"), buf);
-+#ifdef DEBUG
-+      nntp_error ("nntp_fetch_headers()", buf);
++      mutt_error ("LISTGROUP: %s", buf);
++      mutt_sleep (2);
++    }
++    if (rc == 0)
++    {
++      for (current = first; current <= last && rc == 0; current++)
++      {
++      if (fc.messages[current - first])
++        continue;
++
++      snprintf (buf, sizeof (buf), "%d", current);
++      if (nntp_data->bcache)
++      {
++        dprint (2, (debugfile,
++                    "nntp_fetch_headers: mutt_bcache_del %s\n", buf));
++        mutt_bcache_del (nntp_data->bcache, buf);
++      }
++
++#ifdef USE_HCACHE
++      if (fc.hc)
++      {
++        dprint (2, (debugfile,
++                    "nntp_fetch_headers: mutt_hcache_delete %s\n", buf));
++        mutt_hcache_delete (fc.hc, buf, strlen);
++      }
 +#endif
-+      FREE (&fc.messages);
-+      return -1;
++      }
 +    }
 +  }
 +  else
-+  {
-+    for (num = 0; num < last - first + 1; num++)
-+      fc.messages[num] = 1;
-+  }
++    for (current = first; current <= last; current++)
++      fc.messages[current - first] = 1;
 +
-+  /* CACHE: must be loaded xover cache here */
-+  num = nntp_data->lastCached - first + 1;
-+  if (option (OPTNEWSCACHE) && nntp_data->cache && num > 0)
++  /* fetching header from cache or server, or fallback to fetch overview */
++  if (!ctx->quiet)
++    mutt_progress_init (&fc.progress, _("Fetching message headers..."),
++                      MUTT_PROGRESS_MSG, ReadInc, last - first + 1);
++  for (current = first; current <= last && rc == 0; current++)
 +  {
-+    nntp_cache_expand (buf, nntp_data->cache);
-+    mutt_message _("Fetching headers from cache...");
-+    if ((f = safe_fopen (buf, "r")))
++    if (!ctx->quiet)
++      mutt_progress_update (&fc.progress, current - first + 1, -1);
++
++#ifdef USE_HCACHE
++    snprintf (buf, sizeof (buf), "%d", current);
++#endif
++
++    /* delete header from cache that does not exist on server */
++    if (!fc.messages[current - first])
++      continue;
++
++    /* allocate memory for headers */
++    if (ctx->msgcount >= ctx->hdrmax)
++      mx_alloc_memory (ctx);
++
++#ifdef USE_HCACHE
++    /* try to fetch header from cache */
++    hdata = mutt_hcache_fetch (fc.hc, buf, strlen);
++    if (hdata)
 +    {
-+      int r = 0;
-+
-+      /* counting number of lines */
-+      while (fgets (buf, sizeof (buf), f) != NULL)
-+      r++;
-+      rewind (f);
-+      while (r > num && fgets (buf, sizeof (buf), f) != NULL)
-+      r--;
-+      oldmsgcount = ctx->msgcount;
-+      fc.first = first;
-+      fc.last = first + num - 1;
-+      fc.msg = NULL;
-+      while (fgets (buf, sizeof (buf), f) != NULL)
-+      add_xover_line (buf, &fc);
-+      fclose (f);
-+      nntp_data->lastLoaded = fc.last;
-+      first = fc.last + 1;
-+      if (ctx->msgcount > oldmsgcount)
-+      mx_update_context (ctx, ctx->msgcount - oldmsgcount);
++      dprint (2, (debugfile,
++                "nntp_fetch_headers: mutt_hcache_fetch %s\n", buf));
++      ctx->hdrs[ctx->msgcount] =
++      hdr = mutt_hcache_restore (hdata, NULL);
++      FREE (&hdata);
++      hdr->data = 0;
++
++      /* skip header marked as deleted in cache */
++      if (hdr->deleted && !restore)
++      {
++      mutt_free_header (&hdr);
++      if (nntp_data->bcache)
++      {
++        dprint (2, (debugfile,
++                    "nntp_fetch_headers: mutt_bcache_del %s\n", buf));
++        mutt_bcache_del (nntp_data->bcache, buf);
++      }
++      continue;
++      }
++
++      hdr->read = 0;
++      hdr->old = 0;
 +    }
 +    else
-+      nntp_delete_cache (nntp_data);
-+  }
-+  num = last - first + 1;
-+  if (num <= 0)
-+  {
-+    FREE (&fc.messages);
-+    return 0;
-+  }
++#endif
 +
-+  /*
-+   * Without XOVER, we have to fetch each article header and parse
-+   * it.  With XOVER, we ask for all of them
-+   */
-+  mutt_message (msg);
-+  if (nntp_data->nserv->hasXOVER)
-+  {
-+    oldmsgcount = ctx->msgcount;
-+    fc.first = first;
-+    fc.last = last;
-+    fc.msg = msg;
-+    snprintf (buf, sizeof (buf), "XOVER %d-%d\r\n", first, last);
-+    ret = mutt_nntp_fetch (nntp_data, buf, NULL, add_xover_line, &fc, 0);
-+    if (ctx->msgcount > oldmsgcount)
-+      mx_update_context (ctx, ctx->msgcount - oldmsgcount);
-+    if (ret != 0)
++    /* don't try to fetch header from removed newsgroup */
++    if (nntp_data->deleted)
++      continue;
++
++    /* fallback to fetch overview */
++    else if (nntp_data->nserv->hasOVER || nntp_data->nserv->hasXOVER)
++      if (option (OPTLISTGROUP) && nntp_data->nserv->hasLISTGROUP)
++      break;
++      else
++      continue;
++
++    /* fetch header from server */
++    else
 +    {
-+      mutt_error (_("XOVER command failed: %s"), buf);
-+#ifdef DEBUG
-+      nntp_error ("nntp_fetch_headers()", buf);
-+#endif
-+      FREE (&fc.messages);
-+      return -1;
-+    }
-+    /* fetched OK */
-+  }
-+  else
-+  for (current = first; current <= last; current++)
-+  {
-+    HEADER *h;
++      FILE *fp;
++      char tempfile[_POSIX_PATH_MAX];
++
++      mutt_mktemp (tempfile, sizeof (tempfile));
++      fp = safe_fopen (tempfile, "w+");
++      if (!fp)
++      {
++      mutt_perror (tempfile);
++      mutt_sleep (2);
++      unlink (tempfile);
++      rc = -1;
++      break;
++      }
 +
-+    ret = current - first + 1;
-+    mutt_message ("%s %d/%d", msg, ret, num);
++      snprintf (buf, sizeof (buf), "HEAD %d\r\n", current);
++      rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), NULL,
++                           fetch_tempfile, fp);
++      if (rc)
++      {
++      fclose (fp);
++      unlink (tempfile);
++      if (rc < 0)
++        break;
 +
-+    if (!fc.messages[current - fc.base])
-+      continue;
++      /* invalid response */
++      if (mutt_strncmp ("423", buf, 3))
++      {
++        mutt_error ("HEAD: %s", buf);
++        mutt_sleep (2);
++        break;
++      }
 +
-+    if (ctx->msgcount >= ctx->hdrmax)
-+      mx_alloc_memory (ctx);
-+    h = ctx->hdrs[ctx->msgcount] = mutt_new_header ();
-+    h->index = ctx->msgcount;
++      /* no such article */
++      if (nntp_data->bcache)
++      {
++        snprintf (buf, sizeof (buf), "%d", current);
++        dprint (2, (debugfile,
++                    "nntp_fetch_headers: mutt_bcache_del %s\n", buf));
++        mutt_bcache_del (nntp_data->bcache, buf);
++      }
++      rc = 0;
++      continue;
++      }
 +
-+    ret = nntp_read_header (ctx, NULL, current);
-+    if (ret == 0) /* Got article. Fetch next header */
-+    {
-+      nntp_get_status (ctx, h, NULL, h->article_num);
-+      ctx->msgcount++;
-+      mx_update_context (ctx, 1);
++      /* parse header */
++      hdr = ctx->hdrs[ctx->msgcount] = mutt_new_header ();
++      hdr->env = mutt_read_rfc822_header (fp, hdr, 0, 0);
++      hdr->received = hdr->date_sent;
++      fclose (fp);
++      unlink (tempfile);
 +    }
++
++    /* save header in context */
++    hdr->index = ctx->msgcount++;
++    hdr->read = 0;
++    hdr->old = 0;
++    hdr->deleted = 0;
++    hdr->data = safe_calloc (1, sizeof (NNTP_HEADER_DATA));
++    NHDR (hdr)->article_num = current;
++    if (restore)
++      hdr->changed = 1;
 +    else
-+      mutt_free_header (&h); /* skip it */
-+    if (ret == -1)
 +    {
-+      FREE (&fc.messages);
-+      return -1;
++      nntp_article_status (ctx, hdr, NULL, NHDR (hdr)->article_num);
++      if (!hdr->read)
++      nntp_parse_xref (ctx, hdr);
 +    }
-+
 +    if (current > nntp_data->lastLoaded)
 +      nntp_data->lastLoaded = current;
++    first_over = current + 1;
++  }
++
++  if (!option (OPTLISTGROUP) || !nntp_data->nserv->hasLISTGROUP)
++    current = first_over;
++
++  /* fetch overview information */
++  if (current <= last && rc == 0 && !nntp_data->deleted) {
++    char *cmd = nntp_data->nserv->hasOVER ? "OVER" : "XOVER";
++    snprintf (buf, sizeof (buf), "%s %d-%d\r\n", cmd, current, last);
++    rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), NULL,
++       parse_overview_line, &fc);
++    if (rc > 0)
++    {
++      mutt_error ("%s: %s", cmd, buf);
++      mutt_sleep (2);
++    }
 +  }
++
++  if (ctx->msgcount > oldmsgcount)
++    mx_update_context (ctx, ctx->msgcount - oldmsgcount);
++
 +  FREE (&fc.messages);
-+  nntp_data->lastLoaded = last;
++  if (rc != 0)
++    return -1;
 +  mutt_clear_error ();
 +  return 0;
 +}
 +
-+/* 
-+ * currently, nntp "mailbox" is "newsgroup"
-+ */
-+int nntp_open_mailbox (CONTEXT *ctx)
++/* Open newsgroup */
++static int nntp_open_mailbox (CONTEXT *ctx)
 +{
++  NNTP_SERVER *nserv;
 +  NNTP_DATA *nntp_data;
-+  NNTP_SERVER *serv;
 +  char buf[HUGE_STRING];
 +  char server[LONG_STRING];
-+  int count = 0;
-+  unsigned int first;
-+  ACCOUNT acct;
++  char *group;
++  int rc;
++  void *hc = NULL;
++  anum_t first, last, count = 0;
++  ciss_url_t url;
 +
-+  if (nntp_parse_url (ctx->path, &acct, buf, sizeof (buf)) < 0 || !*buf)
++  strfcpy (buf, ctx->path, sizeof (buf));
++  if (url_parse_ciss (&url, buf) < 0 || !url.path ||
++     !(url.scheme == U_NNTP || url.scheme == U_NNTPS))
 +  {
 +    mutt_error (_("%s is an invalid newsgroup specification!"), ctx->path);
 +    mutt_sleep (2);
 +    return -1;
 +  }
 +
-+  server[0] = '\0';
-+  nntp_expand_path (server, sizeof (server), &acct);
-+  if (!(serv = mutt_select_newsserver (server)) || serv->status != NNTP_OK)
++  group = url.path;
++  url.path = strchr (url.path, '\0');
++  url_ciss_tostring (&url, server, sizeof (server), 0);
++  nserv = nntp_select_server (server, 1);
++  if (!nserv)
 +    return -1;
++  CurrentNewsSrv = nserv;
 +
-+  CurrentNewsSrv = serv;
-+
-+  /* create NNTP-specific state struct if nof found in list */
-+  if ((nntp_data = (NNTP_DATA *) hash_find (serv->newsgroups, buf)) == NULL)
++  /* find news group data structure */
++  nntp_data = hash_find (nserv->groups_hash, group);
++  if (!nntp_data)
 +  {
-+    nntp_data = safe_calloc (1, sizeof (NNTP_DATA) + strlen (buf) + 1);
-+    nntp_data->group = (char *) nntp_data + sizeof (NNTP_DATA);
-+    strcpy (nntp_data->group, buf);
-+    hash_insert (serv->newsgroups, nntp_data->group, nntp_data, 0);
-+    nntp_add_to_list (serv, nntp_data);
++    nntp_newsrc_close (nserv);
++    mutt_error (_("Newsgroup %s not found on the server."), group);
++    mutt_sleep (2);
++    return -1;
 +  }
-+  ctx->data = nntp_data;
-+  ctx->mx_close = nntp_fastclose_mailbox;
-+  nntp_data->nserv = serv;
-+
-+  mutt_message (_("Selecting %s..."), nntp_data->group);
 +
-+  if (!nntp_data->desc)
-+  {
-+    nntp_get_desc (nntp_data, nntp_data->group, NULL);
-+    if (nntp_data->desc)
-+      nntp_save_cache_index (serv);
-+  }
++  mutt_bit_unset (ctx->rights, MUTT_ACL_INSERT);
++  if (!nntp_data->newsrc_ent && !nntp_data->subscribed &&
++      !option (OPTSAVEUNSUB))
++    ctx->readonly = 1;
 +
-+  buf[0] = 0;
-+  if (mutt_nntp_query (nntp_data, buf, sizeof(buf)) < 0)
++  /* select newsgroup */
++  mutt_message (_("Selecting %s..."), group);
++  buf[0] = '\0';
++  if (nntp_query (nntp_data, buf, sizeof (buf)) < 0)
 +  {
-+#ifdef DEBUG
-+    nntp_error ("nntp_open_mailbox()", buf);
-+#endif
++    nntp_newsrc_close (nserv);
 +    return -1;
 +  }
 +
-+  if (mutt_strncmp ("211", buf, 3))
++  /* newsgroup not found, remove it */
++  if (!mutt_strncmp ("411", buf, 3))
 +  {
-+    LIST *l = serv->list;
-+
-+    /* GROUP command failed */
-+    if (!mutt_strncmp ("411", buf, 3))
++    mutt_error (_("Newsgroup %s has been removed from the server."),
++              nntp_data->group);
++    if (!nntp_data->deleted)
 +    {
-+      mutt_error (_("Newsgroup %s not found on server %s"),
-+                  nntp_data->group, serv->conn->account.host);
-+
-+      /* CACHE: delete cache and line from .index */
-+      nntp_delete_cache (nntp_data);
-+      hash_delete (serv->newsgroups, nntp_data->group, NULL, nntp_delete_data);
-+      while (l && l->data != (void *) nntp_data) l = l->next;
-+      if (l)
-+      l->data = NULL;
-+
-+      sleep (2);
++      nntp_data->deleted = 1;
++      nntp_active_save_cache (nserv);
 +    }
-+
-+    return -1;
++    if (nntp_data->newsrc_ent && !nntp_data->subscribed &&
++      !option (OPTSAVEUNSUB))
++    {
++      FREE (&nntp_data->newsrc_ent);
++      nntp_data->newsrc_len = 0;
++      nntp_delete_group_cache (nntp_data);
++      nntp_newsrc_update (nserv);
++    }
++    mutt_sleep (2);
 +  }
 +
-+  sscanf (buf + 4, "%d %u %u %s", &count, &nntp_data->firstMessage, 
-+        &nntp_data->lastMessage, buf);
++  /* parse newsgroup info */
++  else {
++    if (sscanf (buf, "211 " ANUM " " ANUM " " ANUM, &count, &first, &last) != 3)
++    {
++      nntp_newsrc_close (nserv);
++      mutt_error ("GROUP: %s", buf);
++      mutt_sleep (2);
++      return -1;
++    }
++    nntp_data->firstMessage = first;
++    nntp_data->lastMessage = last;
++    nntp_data->deleted = 0;
 +
-+  nntp_data->deleted = 0;
++    /* get description if empty */
++    if (option (OPTLOADDESC) && !nntp_data->desc)
++    {
++      if (get_description (nntp_data, NULL, NULL) < 0)
++      {
++      nntp_newsrc_close (nserv);
++      return -1;
++      }
++      if (nntp_data->desc)
++      nntp_active_save_cache (nserv);
++    }
++  }
 +
-+  time (&serv->check_time);
++  time (&nserv->check_time);
++  ctx->data = nntp_data;
++  if (!nntp_data->bcache && (nntp_data->newsrc_ent ||
++      nntp_data->subscribed || option (OPTSAVEUNSUB)))
++    nntp_data->bcache = mutt_bcache_open (&nserv->conn->account,
++                      nntp_data->group);
 +
-+  /*
-+   * Check for max adding context. If it is greater than $nntp_context,
-+   * strip off extra articles
-+   */
++  /* strip off extra articles if adding context is greater than $nntp_context */
 +  first = nntp_data->firstMessage;
 +  if (NntpContext && nntp_data->lastMessage - first + 1 > NntpContext)
 +    first = nntp_data->lastMessage - NntpContext + 1;
-+  if (first)
-+    nntp_data->lastLoaded = first - 1;
-+  return nntp_fetch_headers (ctx, first, nntp_data->lastMessage);
++  nntp_data->lastLoaded = first ? first - 1 : 0;
++  count = nntp_data->firstMessage;
++  nntp_data->firstMessage = first;
++  nntp_bcache_update (nntp_data);
++  nntp_data->firstMessage = count;
++#ifdef USE_HCACHE
++  hc = nntp_hcache_open (nntp_data);
++  nntp_hcache_update (nntp_data, hc);
++#endif
++  if (!hc)
++  {
++    mutt_bit_unset (ctx->rights, MUTT_ACL_WRITE);
++    mutt_bit_unset (ctx->rights, MUTT_ACL_DELETE);
++  }
++  nntp_newsrc_close (nserv);
++  rc = nntp_fetch_headers (ctx, hc, first, nntp_data->lastMessage, 0);
++#ifdef USE_HCACHE
++  mutt_hcache_close (hc);
++#endif
++  if (rc < 0)
++    return -1;
++  nntp_data->lastLoaded = nntp_data->lastMessage;
++  nserv->newsrc_modified = 0;
++  return 0;
 +}
 +
-+int nntp_fetch_message (MESSAGE *msg, CONTEXT *ctx, int msgno)
++/* Fetch message */
++static int nntp_open_message (CONTEXT *ctx, MESSAGE *msg, int msgno)
 +{
-+  char buf[LONG_STRING];
-+  char path[_POSIX_PATH_MAX];
-+  NNTP_CACHE *cache;
-+  char *m = _("Fetching message...");
-+  int ret;
-+
-+  /* see if we already have the message in our cache */
-+  cache = &((NNTP_DATA *) ctx->data)->acache[ctx->hdrs[msgno]->index % NNTP_CACHE_LEN];
-+
-+  /* if everything is fine, assign msg->fp and return */
-+  if (cache->path && cache->index == ctx->hdrs[msgno]->index &&
-+      (msg->fp = fopen (cache->path, "r")))
-+    return 0;
-+
-+  /* clear the previous entry */
-+  unlink (cache->path);
-+  free (cache->path);
-+
-+  mutt_message (m);
++  NNTP_DATA *nntp_data = ctx->data;
++  NNTP_ACACHE *acache;
++  HEADER *hdr = ctx->hdrs[msgno];
++  char buf[_POSIX_PATH_MAX];
++  char article[16];
++  char *fetch_msg = _("Fetching message...");
++  int rc;
 +
-+  cache->index = ctx->hdrs[msgno]->index;
-+  mutt_mktemp (path, sizeof(path));
-+  cache->path = safe_strdup (path);
-+  if (!(msg->fp = safe_fopen (path, "w+")))
++  /* try to get article from cache */
++  acache = &nntp_data->acache[hdr->index % NNTP_ACACHE_LEN];
++  if (acache->path)
 +  {
-+    FREE (&cache->path);
-+    return -1;
++    if (acache->index == hdr->index)
++    {
++      msg->fp = fopen (acache->path, "r");
++      if (msg->fp)
++      return 0;
++    }
++    /* clear previous entry */
++    else
++    {
++      unlink (acache->path);
++      FREE (&acache->path);
++    }
++  }
++  snprintf (article, sizeof (article), "%d", NHDR (hdr)->article_num);
++  msg->fp = mutt_bcache_get (nntp_data->bcache, article);
++  if (msg->fp)
++  {
++    if (NHDR (hdr)->parsed)
++      return 0;
 +  }
++  else
++  {
++    /* don't try to fetch article from removed newsgroup */
++    if (nntp_data->deleted)
++      return -1;
 +
-+  if (ctx->hdrs[msgno]->article_num == 0)
++    /* create new cache file */
++    mutt_message (fetch_msg);
++    msg->fp = mutt_bcache_put (nntp_data->bcache, article, 1);
++    if (!msg->fp)
++    {
++      mutt_mktemp (buf, sizeof (buf));
++      acache->path = safe_strdup (buf);
++      acache->index = hdr->index;
++      msg->fp = safe_fopen (acache->path, "w+");
++      if (!msg->fp)
++      {
++      mutt_perror (acache->path);
++      unlink (acache->path);
++      FREE (&acache->path);
++      return -1;
++      }
++    }
++
++    /* fetch message to cache file */
 +    snprintf (buf, sizeof (buf), "ARTICLE %s\r\n",
-+        ctx->hdrs[msgno]->env->message_id);
-+  else
-+    snprintf (buf, sizeof (buf), "ARTICLE %d\r\n",
-+        ctx->hdrs[msgno]->article_num);
++            NHDR (hdr)->article_num ? article : hdr->env->message_id);
++    rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), fetch_msg,
++                         fetch_tempfile, msg->fp);
++    if (rc)
++    {
++      safe_fclose (&msg->fp);
++      if (acache->path)
++      {
++      unlink (acache->path);
++      FREE (&acache->path);
++      }
++      if (rc > 0)
++      {
++      if (!mutt_strncmp (NHDR (hdr)->article_num ? "423" : "430", buf, 3))
++        mutt_error (_("Article %d not found on the server."),
++                    NHDR (hdr)->article_num ? article : hdr->env->message_id);
++      else
++        mutt_error ("ARTICLE: %s", buf);
++      }
++      return -1;
++    }
 +
-+  ret = mutt_nntp_fetch ((NNTP_DATA *)ctx->data, buf, m, nntp_read_tempfile,
-+      msg->fp, ctx->tagged);
-+  if (ret == 1)
-+  {
-+    mutt_error (_("Article %d not found on server"), 
-+        ctx->hdrs[msgno]->article_num);
-+    dprint (1, (debugfile, "nntp_fetch_message: %s\n", buf));
++    if (!acache->path)
++      mutt_bcache_commit (nntp_data->bcache, article);
 +  }
 +
-+  if (ret)
-+  {
-+    fclose (msg->fp);
-+    unlink (path);
-+    FREE (&cache->path);
-+    return -1;
-+  }
++  /* replace envelope with new one
++   * hash elements must be updated because pointers will be changed */
++  if (ctx->id_hash && hdr->env->message_id)
++    hash_delete (ctx->id_hash, hdr->env->message_id, hdr, NULL);
++  if (ctx->subj_hash && hdr->env->real_subj)
++    hash_delete (ctx->subj_hash, hdr->env->real_subj, hdr, NULL);
++
++  mutt_free_envelope (&hdr->env);
++  hdr->env = mutt_read_rfc822_header (msg->fp, hdr, 0, 0);
++
++  if (ctx->id_hash && hdr->env->message_id)
++    hash_insert (ctx->id_hash, hdr->env->message_id, hdr);
++  if (ctx->subj_hash && hdr->env->real_subj)
++    hash_insert (ctx->subj_hash, hdr->env->real_subj, hdr);
 +
-+  mutt_free_envelope (&ctx->hdrs[msgno]->env);
-+  ctx->hdrs[msgno]->env = mutt_read_rfc822_header (msg->fp, ctx->hdrs[msgno], 0, 0);
 +  /* fix content length */
-+  fseek(msg->fp, 0, SEEK_END);
-+  ctx->hdrs[msgno]->content->length = ftell (msg->fp) - 
-+                                        ctx->hdrs[msgno]->content->offset;
++  fseek (msg->fp, 0, SEEK_END);
++  hdr->content->length = ftell (msg->fp) - hdr->content->offset;
 +
-+  /* this is called in mutt before the open which fetches the message, 
++  /* this is called in mutt before the open which fetches the message,
 +   * which is probably wrong, but we just call it again here to handle
-+   * the problem instead of fixing it.
-+   */
-+  mutt_parse_mime_message (ctx, ctx->hdrs[msgno]);
-+
-+  /* These would normally be updated in mx_update_context(), but the 
-+   * full headers aren't parsed with XOVER, so the information wasn't
-+   * available then.
-+   */
-+#if defined(HAVE_PGP) || defined(HAVE_SMIME)
-+  ctx->hdrs[msgno]->security = crypt_query (ctx->hdrs[msgno]->content);
-+#endif /* HAVE_PGP || HAVE_SMIME */
++   * the problem instead of fixing it */
++  NHDR (hdr)->parsed = 1;
++  mutt_parse_mime_message (ctx, hdr);
 +
-+  mutt_clear_error();
-+  rewind (msg->fp);
++  /* these would normally be updated in mx_update_context(), but the
++   * full headers aren't parsed with overview, so the information wasn't
++   * available then */
++  if (WithCrypto)
++    hdr->security = crypt_query (hdr->content);
 +
++  rewind (msg->fp);
++  mutt_clear_error();
 +  return 0;
 +}
 +
++/* Close message */
++static int nntp_close_message (CONTEXT *ctx, MESSAGE *msg)
++{
++  return safe_fclose (&msg->fp);
++}
++
 +/* Post article */
 +int nntp_post (const char *msg) {
++  NNTP_DATA *nntp_data, nntp_tmp;
++  FILE *fp;
 +  char buf[LONG_STRING];
 +  size_t len;
-+  FILE *f;
-+  NNTP_DATA *nntp_data;
 +
-+  if (Context && Context->magic == M_NNTP)
-+    nntp_data = (NNTP_DATA *)Context->data;
++  if (Context && Context->magic == MUTT_NNTP)
++    nntp_data = Context->data;
 +  else
 +  {
-+    if (!(CurrentNewsSrv = mutt_select_newsserver (NewsServer)) ||
-+      !CurrentNewsSrv->list || !CurrentNewsSrv->list->data)
-+    {
-+      mutt_error (_("Can't post article. No connection to news server."));
++    CurrentNewsSrv = nntp_select_server (NewsServer, 0);
++    if (!CurrentNewsSrv)
 +      return -1;
-+    }
-+    nntp_data = (NNTP_DATA *)CurrentNewsSrv->list->data;
++
++    nntp_data = &nntp_tmp;
++    nntp_data->nserv = CurrentNewsSrv;
++    nntp_data->group = NULL;
 +  }
 +
-+  if (!(f = safe_fopen (msg, "r")))
++  fp = safe_fopen (msg, "r");
++  if (!fp)
 +  {
-+    mutt_error (_("Can't post article. Unable to open %s"), msg);
++    mutt_perror (msg);
 +    return -1;
 +  }
 +
 +  strfcpy (buf, "POST\r\n", sizeof (buf));
-+  if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0)
-+  {
-+    mutt_error (_("Can't post article. Connection to %s lost."),
-+              nntp_data->nserv->conn->account.host);
++  if (nntp_query (nntp_data, buf, sizeof (buf)) < 0)
 +    return -1;
-+  }
 +  if (buf[0] != '3')
 +  {
 +    mutt_error (_("Can't post article: %s"), buf);
@@ -5444,7 +6329,7 @@ diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
 +
 +  buf[0] = '.';
 +  buf[1] = '\0';
-+  while (fgets (buf + 1, sizeof (buf) - 2, f) != NULL)
++  while (fgets (buf + 1, sizeof (buf) - 2, fp))
 +  {
 +    len = strlen (buf);
 +    if (buf[len - 1] == '\n')
@@ -5454,458 +6339,654 @@ diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
 +      len++;
 +      buf[len] = '\0';
 +    }
-+    if (buf[1] == '.')
-+      mutt_socket_write_d (nntp_data->nserv->conn, buf, -1, M_SOCK_LOG_HDR);
-+    else
-+      mutt_socket_write_d (nntp_data->nserv->conn, buf + 1, -1, M_SOCK_LOG_HDR);
++    if (mutt_socket_write_d (nntp_data->nserv->conn,
++      buf[1] == '.' ? buf : buf + 1, -1, MUTT_SOCK_LOG_HDR) < 0)
++      return nntp_connect_error (nntp_data->nserv);
 +  }
-+  fclose (f);
++  fclose (fp);
 +
-+  if (buf[strlen (buf) - 1] != '\n')
-+    mutt_socket_write_d (nntp_data->nserv->conn, "\r\n", -1, M_SOCK_LOG_HDR);
-+  mutt_socket_write_d (nntp_data->nserv->conn, ".\r\n", -1, M_SOCK_LOG_HDR);
-+  if (mutt_socket_readln (buf, sizeof (buf), nntp_data->nserv->conn) < 0)
-+  {
-+    mutt_error (_("Can't post article. Connection to %s lost."),
-+              nntp_data->nserv->conn->account.host);
-+    return -1;
-+  }
++  if ((buf[strlen (buf) - 1] != '\n' &&
++      mutt_socket_write_d (nntp_data->nserv->conn, "\r\n", -1, MUTT_SOCK_LOG_HDR) < 0) ||
++      mutt_socket_write_d (nntp_data->nserv->conn, ".\r\n", -1, MUTT_SOCK_LOG_HDR) < 0 ||
++      mutt_socket_readln (buf, sizeof (buf), nntp_data->nserv->conn) < 0)
++    return nntp_connect_error (nntp_data->nserv);
 +  if (buf[0] != '2')
 +  {
 +    mutt_error (_("Can't post article: %s"), buf);
 +    return -1;
 +  }
-+
 +  return 0;
 +}
 +
-+/* nntp_logout_all: close all open connections. */
-+void nntp_logout_all (void)
++/* Free up memory associated with the newsgroup context */
++static int nntp_close_mailbox (CONTEXT *ctx)
 +{
-+  char buf[LONG_STRING];
-+  CONNECTION* conn;
++  NNTP_DATA *nntp_data = ctx->data, *nntp_tmp;
++
++  if (!nntp_data)
++    return 0;
++
++  nntp_data->unread = ctx->unread;
++
++  nntp_acache_free (nntp_data);
++  if (!nntp_data->nserv || !nntp_data->nserv->groups_hash || !nntp_data->group)
++    return 0;
 +
-+  conn = mutt_socket_head ();
++  nntp_tmp = hash_find (nntp_data->nserv->groups_hash, nntp_data->group);
++  if (nntp_tmp == NULL || nntp_tmp != nntp_data)
++    nntp_data_free (nntp_data);
++  return 0;
++}
 +
-+  while (conn)
++/* Get date and time from server */
++int nntp_date (NNTP_SERVER *nserv, time_t *now)
++{
++  if (nserv->hasDATE)
 +  {
-+    CONNECTION *next = conn->next;
++    NNTP_DATA nntp_data;
++    char buf[LONG_STRING];
++    struct tm tm;
++
++    nntp_data.nserv = nserv;
++    nntp_data.group = NULL;
++    strfcpy (buf, "DATE\r\n", sizeof (buf));
++    if (nntp_query (&nntp_data, buf, sizeof (buf)) < 0)
++      return -1;
 +
-+    if (conn->account.type == M_ACCT_TYPE_NNTP)
++    if (sscanf (buf, "111 %4d%2d%2d%2d%2d%2d%*s", &tm.tm_year, &tm.tm_mon,
++              &tm.tm_mday, &tm.tm_hour, &tm.tm_min, &tm.tm_sec) == 6)
 +    {
-+      mutt_message (_("Closing connection to %s..."), conn->account.host);
-+      mutt_socket_write (conn, "QUIT\r\n");
-+      mutt_socket_readln (buf, sizeof (buf), conn);
-+      mutt_clear_error ();
-+      mutt_socket_close (conn);
-+      mutt_socket_free (conn);
++      tm.tm_year -= 1900;
++      tm.tm_mon--;
++      *now = timegm (&tm);
++      if (*now >= 0)
++      {
++      dprint (1, (debugfile, "nntp_date: server time is %d\n", *now));
++      return 0;
++      }
 +    }
-+
-+    conn = next;
 +  }
++  time (now);
++  return 0;
 +}
 +
-+static void nntp_free_acache (NNTP_DATA *data)
++/* Fetch list of all newsgroups from server */
++int nntp_active_fetch (NNTP_SERVER *nserv, unsigned int new)
 +{
-+  int i;
++  NNTP_DATA nntp_data;
++  char msg[SHORT_STRING];
++  char buf[LONG_STRING];
++  unsigned int i;
++  int rc;
 +
-+  for (i = 0; i < NNTP_CACHE_LEN; i++)
++  snprintf (msg, sizeof (msg), _("Loading list of groups from server %s..."),
++          nserv->conn->account.host);
++  mutt_message (msg);
++  if (nntp_date (nserv, &nserv->newgroups_time) < 0)
++    return -1;
++
++  nntp_data.nserv = nserv;
++  nntp_data.group = NULL;
++  i = nserv->groups_num;
++  strfcpy (buf, "LIST\r\n", sizeof (buf));
++  rc = nntp_fetch_lines (&nntp_data, buf, sizeof (buf), msg,
++                       nntp_add_group, nserv);
++  if (rc)
 +  {
-+    if (data->acache[i].path)
++    if (rc > 0)
 +    {
-+      unlink (data->acache[i].path);
-+      FREE (&data->acache[i].path);
++      mutt_error ("LIST: %s", buf);
++      mutt_sleep (2);
 +    }
++    return -1;
 +  }
-+}
 +
-+void nntp_delete_data (void *p)
-+{
-+  NNTP_DATA *data = (NNTP_DATA *)p;
++  if (new)
++  {
++    for (; i < nserv->groups_num; i++)
++    {
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++      nntp_data->new = 1;
++    }
++  }
 +
-+  if (!p)
-+    return;
-+  FREE (&data->entries);
-+  FREE (&data->desc);
-+  FREE (&data->cache);
-+  nntp_free_acache (data);
-+  FREE (p);
-+}
++  for (i = 0; i < nserv->groups_num; i++)
++  {
++    NNTP_DATA *nntp_data = nserv->groups_list[i];
 +
-+int nntp_sync_mailbox (CONTEXT *ctx)
-+{
-+  NNTP_DATA *data = ctx->data;
++    if (nntp_data && nntp_data->deleted && !nntp_data->newsrc_ent)
++    {
++      nntp_delete_group_cache (nntp_data);
++      hash_delete (nserv->groups_hash, nntp_data->group, NULL, nntp_data_free);
++      nserv->groups_list[i] = NULL;
++    }
++  }
 +
-+  /* CACHE: update cache and .index files */
-+  if ((option (OPTSAVEUNSUB) || data->subscribed))
-+    nntp_save_cache_group (ctx);
-+  nntp_free_acache (data);
++  if (option (OPTLOADDESC))
++    rc = get_description (&nntp_data, "*", _("Loading descriptions..."));
 +
-+  data->nserv->check_time = 0; /* next nntp_check_mailbox() will really check */
++  nntp_active_save_cache (nserv);
++  if (rc < 0)
++    return -1;
++  mutt_clear_error ();
 +  return 0;
 +}
 +
-+int nntp_fastclose_mailbox (CONTEXT *ctx)
++/* Check newsgroup for new articles:
++ *  1 - new articles found
++ *  0 - no change
++ * -1 - lost connection */
++static int nntp_group_poll (NNTP_DATA *nntp_data, int update_stat)
 +{
-+  NNTP_DATA *data = (NNTP_DATA *) ctx->data, *tmp;
++  char buf[LONG_STRING] = "";
++  anum_t count, first, last;
 +
-+  if (!data)
++  /* use GROUP command to poll newsgroup */
++  if (nntp_query (nntp_data, buf, sizeof (buf)) < 0)
++    return -1;
++  if (sscanf (buf, "211 " ANUM " " ANUM " " ANUM, &count, &first, &last) != 3)
 +    return 0;
-+  nntp_free_acache (data);
-+  if (!data->nserv || !data->nserv->newsgroups || !data->group)
++  if (first == nntp_data->firstMessage && last == nntp_data->lastMessage)
 +    return 0;
-+  nntp_save_cache_index (data->nserv);
-+  if ((tmp = hash_find (data->nserv->newsgroups, data->group)) == NULL
-+      || tmp != data)
-+    nntp_delete_data (data);
-+  return 0;
-+}
 +
-+/* commit changes and terminate connection */
-+int nntp_close_mailbox (CONTEXT *ctx)
-+{
-+  if (!ctx)
-+    return -1;
-+  mutt_message _("Quitting newsgroup...");
-+  if (ctx->data)
++  /* articles have been renumbered */
++  if (last < nntp_data->lastMessage)
 +  {
-+    NNTP_DATA *data = (NNTP_DATA *) ctx->data;
-+    int ret;
-+
-+    if (data->nserv && data->nserv->conn && ctx->unread)
++    nntp_data->lastCached = 0;
++    if (nntp_data->newsrc_len)
 +    {
-+      ret = query_quadoption (OPT_CATCHUP, _("Mark all articles read?"));
-+      if (ret == M_YES)
-+      mutt_newsgroup_catchup (data->nserv, data->group);
-+      else if (ret < 0)
-+      return -1;
++      safe_realloc (&nntp_data->newsrc_ent, sizeof (NEWSRC_ENTRY));
++      nntp_data->newsrc_len = 1;
++      nntp_data->newsrc_ent[0].first = 1;
++      nntp_data->newsrc_ent[0].last = 0;
 +    }
 +  }
-+  nntp_sync_mailbox (ctx);
-+  if (ctx->data && ((NNTP_DATA *)ctx->data)->nserv)
-+  {
-+    NNTP_SERVER *news;
++  nntp_data->firstMessage = first;
++  nntp_data->lastMessage = last;
++  if (!update_stat)
++    return 1;
 +
-+    news = ((NNTP_DATA *)ctx->data)->nserv;
-+    newsrc_gen_entries (ctx);
-+    ((NNTP_DATA *)ctx->data)->unread = ctx->unread;
-+    mutt_newsrc_update (news);
-+  }
-+  mutt_clear_error();
-+  return 0;
++  /* update counters */
++  else if (!last || (!nntp_data->newsrc_ent && !nntp_data->lastCached))
++    nntp_data->unread = count;
++  else
++    nntp_group_unread_stat (nntp_data);
++  return 1;
 +}
 +
-+/* use the GROUP command to poll for new mail */
-+static int _nntp_check_mailbox (CONTEXT *ctx, NNTP_DATA *nntp_data)
++/* Check current newsgroup for new articles, leave newsrc locked:
++ *  MUTT_REOPENED - articles have been renumbered or removed from server
++ *  MUTT_NEW_MAIL - new articles found
++ *  0           - no change
++ * -1           - lost connection */
++static int check_mailbox (CONTEXT *ctx)
 +{
-+  char buf[LONG_STRING];
-+  int count = 0;
-+
-+  if (nntp_data->nserv->check_time + NewsPollTimeout > time (NULL))
++  NNTP_DATA *nntp_data = ctx->data;
++  NNTP_SERVER *nserv = nntp_data->nserv;
++  time_t now = time (NULL);
++  int i, j;
++  int rc, ret = 0;
++  void *hc = NULL;
++
++  if (nserv->check_time + NewsPollTimeout > now)
 +    return 0;
 +
-+  buf[0] = 0;
-+  if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0)
++  mutt_message _("Checking for new messages...");
++  if (nntp_newsrc_parse (nserv) < 0)
++    return -1;
++
++  nserv->check_time = now;
++  rc = nntp_group_poll (nntp_data, 0);
++  if (rc < 0)
 +  {
-+#ifdef DEBUG
-+    nntp_error ("nntp_check_mailbox()", buf);
-+#endif
++    nntp_newsrc_close (nserv);
 +    return -1;
 +  }
-+  if (mutt_strncmp ("211", buf, 3))
++  if (rc)
++    nntp_active_save_cache (nserv);
++
++  /* articles have been renumbered, remove all headers */
++  if (nntp_data->lastMessage < nntp_data->lastLoaded)
 +  {
-+    buf[0] = 0;
-+    if (mutt_nntp_query (nntp_data, buf, sizeof (buf)) < 0)
++    for (i = 0; i < ctx->msgcount; i++)
++      mutt_free_header (&ctx->hdrs[i]);
++    ctx->msgcount = 0;
++    ctx->tagged = 0;
++
++    if (nntp_data->lastMessage < nntp_data->lastLoaded)
 +    {
-+#ifdef DEBUG
-+      nntp_error ("nntp_check_mailbox()", buf);
-+#endif
-+      return -1;
++      nntp_data->lastLoaded = nntp_data->firstMessage - 1;
++      if (NntpContext && nntp_data->lastMessage - nntp_data->lastLoaded >
++        NntpContext)
++      nntp_data->lastLoaded = nntp_data->lastMessage - NntpContext;
 +    }
++    ret = MUTT_REOPENED;
 +  }
-+  if (!mutt_strncmp ("211", buf, 3))
++
++  /* .newsrc has been externally modified */
++  if (nserv->newsrc_modified)
 +  {
-+    int first;
-+    int last;
++    anum_t anum;
++#ifdef USE_HCACHE
++    unsigned char *messages;
++    char buf[16];
++    void *hdata;
++    HEADER *hdr;
++    anum_t first = nntp_data->firstMessage;
 +
-+    sscanf (buf + 4, "%d %d %d", &count, &first, &last);
-+    nntp_data->firstMessage = first;
-+    nntp_data->lastMessage = last;
-+    if (ctx && last > nntp_data->lastLoaded)
++    if (NntpContext && nntp_data->lastMessage - first + 1 > NntpContext)
++      first = nntp_data->lastMessage - NntpContext + 1;
++    messages = safe_calloc (nntp_data->lastLoaded - first + 1,
++                          sizeof (unsigned char));
++    hc = nntp_hcache_open (nntp_data);
++    nntp_hcache_update (nntp_data, hc);
++#endif
++
++    /* update flags according to .newsrc */
++    for (i = j = 0; i < ctx->msgcount; i++)
 +    {
-+      nntp_fetch_headers (ctx, nntp_data->lastLoaded + 1, last);
-+      time (&nntp_data->nserv->check_time);
-+      return 1;
++      int flagged = 0;
++      anum = NHDR (ctx->hdrs[i])->article_num;
++
++#ifdef USE_HCACHE
++      /* check hcache for flagged and deleted flags */
++      if (hc)
++      {
++      if (anum >= first && anum <= nntp_data->lastLoaded)
++        messages[anum - first] = 1;
++
++      snprintf (buf, sizeof (buf), "%d", anum);
++      hdata = mutt_hcache_fetch (hc, buf, strlen);
++      if (hdata)
++      {
++        int deleted;
++
++        dprint (2, (debugfile,
++                    "nntp_check_mailbox: mutt_hcache_fetch %s\n", buf));
++        hdr = mutt_hcache_restore (hdata, NULL);
++        FREE (&hdata);
++        hdr->data = 0;
++        deleted = hdr->deleted;
++        flagged = hdr->flagged;
++        mutt_free_header (&hdr);
++
++        /* header marked as deleted, removing from context */
++        if (deleted)
++        {
++          mutt_set_flag (ctx, ctx->hdrs[i], MUTT_TAG, 0);
++          mutt_free_header (&ctx->hdrs[i]);
++          continue;
++        }
++      }
++      }
++#endif
++
++      if (!ctx->hdrs[i]->changed)
++      {
++      ctx->hdrs[i]->flagged = flagged;
++      ctx->hdrs[i]->read = 0;
++      ctx->hdrs[i]->old = 0;
++      nntp_article_status (ctx, ctx->hdrs[i], NULL, anum);
++      if (!ctx->hdrs[i]->read)
++        nntp_parse_xref (ctx, ctx->hdrs[i]);
++      }
++      ctx->hdrs[j++] = ctx->hdrs[i];
 +    }
-+    if (!last || (!nntp_data->rc && !nntp_data->lastCached))
-+      nntp_data->unread = count;
-+    else
-+      mutt_newsgroup_stat (nntp_data);
-+    /* active was renumbered? */
-+    if (last < nntp_data->lastLoaded)
++
++#ifdef USE_HCACHE
++    ctx->msgcount = j;
++
++    /* restore headers without "deleted" flag */
++    for (anum = first; anum <= nntp_data->lastLoaded; anum++)
 +    {
-+      if (!nntp_data->max)
++      if (messages[anum - first])
++      continue;
++
++      snprintf (buf, sizeof (buf), "%d", anum);
++      hdata = mutt_hcache_fetch (hc, buf, strlen);
++      if (hdata)
 +      {
-+      nntp_data->entries = safe_calloc (5, sizeof (NEWSRC_ENTRY));
-+      nntp_data->max = 5;
++      dprint (2, (debugfile,
++                  "nntp_check_mailbox: mutt_hcache_fetch %s\n", buf));
++      if (ctx->msgcount >= ctx->hdrmax)
++        mx_alloc_memory (ctx);
++
++      ctx->hdrs[ctx->msgcount] =
++      hdr = mutt_hcache_restore (hdata, NULL);
++      FREE (&hdata);
++      hdr->data = 0;
++      if (hdr->deleted)
++      {
++        mutt_free_header (&hdr);
++        if (nntp_data->bcache)
++        {
++          dprint (2, (debugfile,
++                      "nntp_check_mailbox: mutt_bcache_del %s\n", buf));
++          mutt_bcache_del (nntp_data->bcache, buf);
++        }
++        continue;
++      }
++
++      ctx->msgcount++;
++      hdr->read = 0;
++      hdr->old = 0;
++      hdr->data = safe_calloc (1, sizeof (NNTP_HEADER_DATA));
++      NHDR (hdr)->article_num = anum;
++      nntp_article_status (ctx, hdr, NULL, anum);
++      if (!hdr->read)
++        nntp_parse_xref (ctx, hdr);
 +      }
-+      nntp_data->lastCached = 0;
-+      nntp_data->num = 1;
-+      nntp_data->entries[0].first = 1;
-+      nntp_data->entries[0].last = 0;
 +    }
++    FREE (&messages);
++#endif
++
++    nserv->newsrc_modified = 0;
++    ret = MUTT_REOPENED;
 +  }
 +
-+  time (&nntp_data->nserv->check_time);
-+  return 0;
++  /* some headers were removed, context must be updated */
++  if (ret == MUTT_REOPENED)
++  {
++    if (ctx->subj_hash)
++      hash_destroy (&ctx->subj_hash, NULL);
++    if (ctx->id_hash)
++      hash_destroy (&ctx->id_hash, NULL);
++    mutt_clear_threads (ctx);
++
++    ctx->vcount = 0;
++    ctx->deleted = 0;
++    ctx->new = 0;
++    ctx->unread = 0;
++    ctx->flagged = 0;
++    ctx->changed = 0;
++    ctx->id_hash = NULL;
++    ctx->subj_hash = NULL;
++    mx_update_context (ctx, ctx->msgcount);
++  }
++
++  /* fetch headers of new articles */
++  if (nntp_data->lastMessage > nntp_data->lastLoaded)
++  {
++    int oldmsgcount = ctx->msgcount;
++    int quiet = ctx->quiet;
++    ctx->quiet = 1;
++#ifdef USE_HCACHE
++    if (!hc)
++    {
++      hc = nntp_hcache_open (nntp_data);
++      nntp_hcache_update (nntp_data, hc);
++    }
++#endif
++    rc = nntp_fetch_headers (ctx, hc, nntp_data->lastLoaded + 1,
++                           nntp_data->lastMessage, 0);
++    ctx->quiet = quiet;
++    if (rc >= 0)
++      nntp_data->lastLoaded = nntp_data->lastMessage;
++    if (ret == 0 && ctx->msgcount > oldmsgcount)
++      ret = MUTT_NEW_MAIL;
++  }
++
++#ifdef USE_HCACHE
++  mutt_hcache_close (hc);
++#endif
++  if (ret)
++    nntp_newsrc_close (nserv);
++  mutt_clear_error ();
++  return ret;
 +}
 +
-+int nntp_check_mailbox (CONTEXT *ctx)
++/* Check current newsgroup for new articles:
++ *  MUTT_REOPENED - articles have been renumbered or removed from server
++ *  MUTT_NEW_MAIL - new articles found
++ *  0           - no change
++ * -1           - lost connection */
++static int nntp_check_mailbox (CONTEXT *ctx, int *index_hint)
 +{
-+  return _nntp_check_mailbox (ctx, (NNTP_DATA *)ctx->data);
++  int ret = check_mailbox (ctx);
++  if (ret == 0)
++  {
++    NNTP_DATA *nntp_data = ctx->data;
++    NNTP_SERVER *nserv = nntp_data->nserv;
++    nntp_newsrc_close (nserv);
++  }
++  return ret;
 +}
 +
-+static int add_group (char *buf, void *serv)
++/* Save changes to .newsrc and cache */
++static int nntp_sync_mailbox (CONTEXT *ctx, int *index_hint)
 +{
-+#define s ((NNTP_SERVER *) serv)
-+  char group[LONG_STRING], mod, desc[HUGE_STRING];
-+  int first, last;
-+  NNTP_DATA *nntp_data;
-+  static int n = 0;
++  NNTP_DATA *nntp_data = ctx->data;
++  int rc, i;
++#ifdef USE_HCACHE
++  header_cache_t *hc;
++#endif
++
++  /* check for new articles */
++  nntp_data->nserv->check_time = 0;
++  rc = check_mailbox (ctx);
++  if (rc)
++    return rc;
++
++#ifdef USE_HCACHE
++  nntp_data->lastCached = 0;
++  hc = nntp_hcache_open (nntp_data);
++#endif
 +
-+  _checked = n;       /* _checked have N, where N = number of groups */
-+  if (!buf)   /* at EOF must be zerouth */
-+    n = 0;
++  for (i = 0; i < ctx->msgcount; i++)
++  {
++    HEADER *hdr = ctx->hdrs[i];
++    char buf[16];
 +
-+  if (!s || !buf)
-+    return 0;
++    snprintf (buf, sizeof (buf), "%d", NHDR (hdr)->article_num);
++    if (nntp_data->bcache && hdr->deleted)
++    {
++      dprint (2, (debugfile, "nntp_sync_mailbox: mutt_bcache_del %s\n", buf));
++      mutt_bcache_del (nntp_data->bcache, buf);
++    }
 +
-+  *desc = 0;
-+  sscanf (buf, "%s %d %d %c %[^\n]", group, &last, &first, &mod, desc);
-+  if (!group)
-+    return 0;
-+  if ((nntp_data = (NNTP_DATA *) hash_find (s->newsgroups, group)) == NULL)
++#ifdef USE_HCACHE
++    if (hc && (hdr->changed || hdr->deleted))
++    {
++      dprint (2, (debugfile, "nntp_sync_mailbox: mutt_hcache_store %s\n", buf));
++      mutt_hcache_store (hc, buf, hdr, 0, strlen, MUTT_GENERATE_UIDVALIDITY);
++    }
++#endif
++  }
++
++#ifdef USE_HCACHE
++  if (hc)
 +  {
-+    n++;
-+    nntp_data = safe_calloc (1, sizeof (NNTP_DATA) + strlen (group) + 1);
-+    nntp_data->group = (char *) nntp_data + sizeof (NNTP_DATA);
-+    strcpy (nntp_data->group, group);
-+    nntp_data->nserv = s;
-+    if (s->newsgroups->nelem < s->newsgroups->curnelem * 2)
-+      s->newsgroups = hash_resize (s->newsgroups, s->newsgroups->nelem * 2, 0);
-+    hash_insert (s->newsgroups, nntp_data->group, nntp_data, 0);
-+    nntp_add_to_list (s, nntp_data);
++    mutt_hcache_close (hc);
++    nntp_data->lastCached = nntp_data->lastLoaded;
 +  }
-+  nntp_data->deleted = 0;
-+  nntp_data->firstMessage = first;
-+  nntp_data->lastMessage = last;
-+  if (mod == 'y')
-+    nntp_data->allowed = 1;
-+  else
-+    nntp_data->allowed = 0;
-+  if (nntp_data->desc)
-+    FREE (&nntp_data->desc);
-+  if (*desc)
-+    nntp_data->desc = safe_strdup (desc);
-+  if (nntp_data->rc || nntp_data->lastCached)
-+    mutt_newsgroup_stat (nntp_data);
-+  else if (nntp_data->lastMessage &&
-+      nntp_data->firstMessage <= nntp_data->lastMessage)
-+    nntp_data->unread = nntp_data->lastMessage - nntp_data->firstMessage + 1;
-+  else
-+    nntp_data->unread = 0;
++#endif
 +
++  /* save .newsrc entries */
++  nntp_newsrc_gen_entries (ctx);
++  nntp_newsrc_update (nntp_data->nserv);
++  nntp_newsrc_close (nntp_data->nserv);
 +  return 0;
-+#undef s
 +}
 +
-+int nntp_check_newgroups (NNTP_SERVER *serv, int force)
++/* Check for new groups and new articles in subscribed groups:
++ *  1 - new groups found
++ *  0 - no new groups
++ * -1 - error */
++int nntp_check_new_groups (NNTP_SERVER *nserv)
 +{
-+  char buf[LONG_STRING];
-+  char msg[SHORT_STRING];
 +  NNTP_DATA nntp_data;
-+  LIST *l;
-+  LIST emp;
 +  time_t now;
-+  struct tm *t;
-+  unsigned int count = 0;
-+  unsigned int total = 0;
-+
-+  if (!serv || !serv->newgroups_time)
-+    return -1;
++  struct tm *tm;
++  char buf[LONG_STRING];
++  char *msg = _("Checking for new newsgroups...");
++  unsigned int i;
++  int rc, update_active = FALSE;
 +
-+  if (nntp_open_connection (serv) < 0)
++  if (!nserv || !nserv->newgroups_time)
 +    return -1;
 +
-+  /* check subscribed groups for new news */
++  /* check subscribed newsgroups for new articles */
 +  if (option (OPTSHOWNEWNEWS))
 +  {
 +    mutt_message _("Checking for new messages...");
-+    for (l = serv->list; l; l = l->next)
++    for (i = 0; i < nserv->groups_num; i++)
++    {
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++
++      if (nntp_data && nntp_data->subscribed)
++      {
++      rc = nntp_group_poll (nntp_data, 1);
++      if (rc < 0)
++        return -1;
++      if (rc > 0)
++        update_active = TRUE;
++      }
++    }
++    /* select current newsgroup */
++    if (Context && Context->magic == MUTT_NNTP)
 +    {
-+      serv->check_time = 0;   /* really check! */
-+      if (l->data && ((NNTP_DATA *) l->data)->subscribed)
-+      _nntp_check_mailbox (NULL, (NNTP_DATA *) l->data);
++      buf[0] = '\0';
++      if (nntp_query ((NNTP_DATA *)Context->data, buf, sizeof (buf)) < 0)
++      return -1;
 +    }
 +  }
-+  else if (!force)
++  else if (nserv->newgroups_time)
 +    return 0;
 +
-+  mutt_message _("Checking for new newsgroups...");
-+  now = serv->newgroups_time;
-+  time (&serv->newgroups_time);
-+  t = gmtime (&now);
-+  snprintf (buf, sizeof (buf), "NEWGROUPS %02d%02d%02d %02d%02d%02d GMT\r\n",
-+      (t->tm_year % 100), t->tm_mon + 1, t->tm_mday, t->tm_hour, t->tm_min,
-+      t->tm_sec);
-+  nntp_data.nserv = serv;
-+  if (Context && Context->magic == M_NNTP)
++  /* get list of new groups */
++  mutt_message (msg);
++  if (nntp_date (nserv, &now) < 0)
++    return -1;
++  nntp_data.nserv = nserv;
++  if (Context && Context->magic == MUTT_NNTP)
 +    nntp_data.group = ((NNTP_DATA *)Context->data)->group;
 +  else
 +    nntp_data.group = NULL;
-+  l = serv->tail;
-+  if (mutt_nntp_fetch (&nntp_data, buf, _("Adding new newsgroups..."),
-+      add_group, serv, 0) != 0)
++  i = nserv->groups_num;
++  tm = gmtime (&nserv->newgroups_time);
++  snprintf (buf, sizeof (buf), "NEWGROUPS %02d%02d%02d %02d%02d%02d GMT\r\n",
++          tm->tm_year % 100, tm->tm_mon + 1, tm->tm_mday,
++          tm->tm_hour, tm->tm_min, tm->tm_sec);
++  rc = nntp_fetch_lines (&nntp_data, buf, sizeof (buf), msg,
++                       nntp_add_group, nserv);
++  if (rc)
 +  {
-+#ifdef DEBUG
-+    nntp_error ("nntp_check_newgroups()", buf);
-+#endif
++    if (rc > 0)
++    {
++      mutt_error ("NEWGROUPS: %s", buf);
++      mutt_sleep (2);
++    }
 +    return -1;
 +  }
 +
-+  strfcpy (msg, _("Loading descriptions..."), sizeof (msg));
-+  mutt_message (msg);
-+  if (l)
-+    emp.next = l->next;
-+  else
-+    emp.next = serv->list;
-+  l = &emp;
-+  while (l->next)
++  /* new groups found */
++  rc = 0;
++  if (nserv->groups_num != i)
 +  {
-+    l = l->next;
-+    ((NNTP_DATA *) l->data)->new = 1;
-+    total++;
-+  }
-+  l = &emp;
-+  while (l->next)
-+  {
-+    l = l->next;
-+    nntp_get_desc ((NNTP_DATA *) l->data, ((NNTP_DATA *) l->data)->group, NULL);
-+    count++;
-+    if (ReadInc && (count % ReadInc == 0))
-+      mutt_message ("%s %d/%d", msg, count, total);
-+  }
-+  if (emp.next)
-+    nntp_save_cache_index (serv);
-+  mutt_clear_error ();
-+  return _checked;
-+}
-+
-+/* Load list of all newsgroups from cache ALL */
-+int nntp_get_cache_all (NNTP_SERVER *serv)
-+{
-+  char buf[HUGE_STRING];
-+  FILE *f;
++    int groups_num = i;
 +
-+  nntp_cache_expand (buf, serv->cache);
-+  if ((f = safe_fopen (buf, "r")))
-+  {
-+    int i = 0;
++    nserv->newgroups_time = now;
++    for (; i < nserv->groups_num; i++)
++    {
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++      nntp_data->new = 1;
++    }
 +
-+    while (fgets (buf, sizeof(buf), f) != NULL)
++    /* loading descriptions */
++    if (option (OPTLOADDESC))
 +    {
-+      if (ReadInc && (i % ReadInc == 0))
-+      mutt_message (_("Loading list from cache... %d"), i);
-+      add_group (buf, serv);
-+      i++;
++      unsigned int count = 0;
++      progress_t progress;
++
++      mutt_progress_init (&progress, _("Loading descriptions..."),
++                        MUTT_PROGRESS_MSG, ReadInc, nserv->groups_num - i);
++      for (i = groups_num; i < nserv->groups_num; i++)
++      {
++      NNTP_DATA *nntp_data = nserv->groups_list[i];
++
++      if (get_description (nntp_data, NULL, NULL) < 0)
++        return -1;
++      mutt_progress_update (&progress, ++count, -1);
++      }
 +    }
-+    add_group (NULL, NULL);
-+    fclose (f);
-+    mutt_clear_error ();
-+    return 0;
-+  }
-+  else
-+  {
-+    FREE (&serv->cache);
-+    return -1;
++    update_active = TRUE;
++    rc = 1;
 +  }
++  if (update_active)
++    nntp_active_save_cache (nserv);
++  mutt_clear_error ();
++  return rc;
 +}
 +
-+/* Load list of all newsgroups from active */
-+int nntp_get_active (NNTP_SERVER *serv)
++/* Fetch article by Message-ID:
++ *  0 - success
++ *  1 - no such article
++ * -1 - error */
++int nntp_check_msgid (CONTEXT *ctx, const char *msgid)
 +{
-+  char msg[SHORT_STRING];
-+  NNTP_DATA nntp_data;
-+  LIST *tmp;
-+
-+  if (nntp_open_connection (serv) < 0)
-+    return -1;
-+
-+  snprintf (msg, sizeof(msg), _("Loading list of all newsgroups on server %s..."),
-+              serv->conn->account.host);
-+  mutt_message (msg);
-+  time (&serv->newgroups_time);
-+  nntp_data.nserv = serv;
-+  nntp_data.group = NULL;
++  NNTP_DATA *nntp_data = ctx->data;
++  HEADER *hdr;
++  FILE *fp;
++  char tempfile[_POSIX_PATH_MAX];
++  char buf[LONG_STRING];
++  int rc;
 +
-+  if (mutt_nntp_fetch (&nntp_data, "LIST\r\n", msg, add_group, serv, 0) < 0)
++  mutt_mktemp (tempfile, sizeof (tempfile));
++  fp = safe_fopen (tempfile, "w+");
++  if (!fp)
 +  {
-+#ifdef DEBUG
-+    nntp_error ("nntp_get_active()", "LIST\r\n");
-+#endif
++    mutt_perror (tempfile);
++    unlink (tempfile);
 +    return -1;
 +  }
 +
-+  strfcpy (msg, _("Loading descriptions..."), sizeof (msg));
-+  mutt_message (msg);
-+  nntp_get_desc (&nntp_data, "*", msg);
-+
-+  for (tmp = serv->list; tmp; tmp = tmp->next)
++  snprintf (buf, sizeof (buf), "HEAD %s\r\n", msgid);
++  rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), NULL,
++                       fetch_tempfile, fp);
++  if (rc)
 +  {
-+    NNTP_DATA *data = (NNTP_DATA *)tmp->data;
-+
-+    if (data && data->deleted && !data->rc)
-+    {
-+      nntp_delete_cache (data);
-+      hash_delete (serv->newsgroups, data->group, NULL, nntp_delete_data);
-+      tmp->data = NULL;
-+    }
++    fclose (fp);
++    unlink (tempfile);
++    if (rc < 0)
++      return -1;
++    if (!mutt_strncmp ("430", buf, 3))
++      return 1;
++    mutt_error ("HEAD: %s", buf);
++    return -1;
 +  }
-+  nntp_save_cache_index (serv);
-+
-+  mutt_clear_error ();
-+  return _checked;
-+}
-+
-+/*
-+ * returns -1 if error ocurred while retrieving header,
-+ * number of articles which ones exist in context on success.
-+ */
-+int nntp_check_msgid (CONTEXT *ctx, const char *msgid)
-+{
-+  int ret;
 +
-+  /* if msgid is already in context, don't reload them */
-+  if (hash_find (ctx->id_hash, msgid))
-+    return 1;
++  /* parse header */
 +  if (ctx->msgcount == ctx->hdrmax)
 +    mx_alloc_memory (ctx);
-+  ctx->hdrs[ctx->msgcount] = mutt_new_header ();
-+  ctx->hdrs[ctx->msgcount]->index = ctx->msgcount;
-+  
-+  mutt_message (_("Fetching %s from server..."), msgid);
-+  ret = nntp_read_header (ctx, msgid, 0);
-+  /* since nntp_read_header() may set read flag, we must reset it */
-+  ctx->hdrs[ctx->msgcount]->read = 0;
-+  if (ret != 0)
-+    mutt_free_header (&ctx->hdrs[ctx->msgcount]);
++  hdr = ctx->hdrs[ctx->msgcount] = mutt_new_header ();
++  hdr->data = safe_calloc (1, sizeof (NNTP_HEADER_DATA));
++  hdr->env = mutt_read_rfc822_header (fp, hdr, 0, 0);
++  fclose (fp);
++  unlink (tempfile);
++
++  /* get article number */
++  if (hdr->env->xref)
++    nntp_parse_xref (ctx, hdr);
 +  else
 +  {
-+    ctx->msgcount++;
-+    mx_update_context (ctx, 1);
-+    ctx->changed = 1;
++    snprintf (buf, sizeof (buf), "STAT %s\r\n", msgid);
++    if (nntp_query (nntp_data, buf, sizeof (buf)) < 0)
++    {
++      mutt_free_header (&hdr);
++      return -1;
++    }
++    sscanf (buf + 4, ANUM, &NHDR (hdr)->article_num);
 +  }
-+  return ret;
++
++  /* reset flags */
++  hdr->read = 0;
++  hdr->old = 0;
++  hdr->deleted = 0;
++  hdr->changed = 1;
++  hdr->received = hdr->date_sent;
++  hdr->index = ctx->msgcount++;
++  mx_update_context (ctx, 1);
++  return 0;
 +}
 +
 +typedef struct
@@ -5913,117 +6994,146 @@ diff -udprP mutt-1.5.21.orig/nntp.c mutt-1.5.21/nntp.c
 +  CONTEXT *ctx;
 +  unsigned int num;
 +  unsigned int max;
-+  unsigned int *child;
-+} CHILD_CONTEXT;
++  anum_t *child;
++} CHILD_CTX;
 +
-+static int check_children (char *s, void *c)
++/* Parse XPAT line */
++static int fetch_children (char *line, void *data)
 +{
-+#define cc ((CHILD_CONTEXT *) c)
-+  unsigned int i, n;
++  CHILD_CTX *cc = data;
++  anum_t anum;
++  unsigned int i;
 +
-+  if (!s || (n = atoi (s)) == 0)
++  if (!line || sscanf (line, ANUM, &anum) != 1)
 +    return 0;
 +  for (i = 0; i < cc->ctx->msgcount; i++)
-+    if (cc->ctx->hdrs[i]->article_num == n)
++    if (NHDR (cc->ctx->hdrs[i])->article_num == anum)
 +      return 0;
 +  if (cc->num >= cc->max)
-+    safe_realloc (&cc->child, sizeof (unsigned int) * (cc->max += 25));
-+  cc->child[cc->num++] = n;
-+
++  {
++    cc->max *= 2;
++    safe_realloc (&cc->child, sizeof (anum_t) * cc->max);
++  }
++  cc->child[cc->num++] = anum;
 +  return 0;
-+#undef cc
 +}
 +
++/* Fetch children of article with the Message-ID */
 +int nntp_check_children (CONTEXT *ctx, const char *msgid)
 +{
-+  NNTP_DATA *nntp_data = (NNTP_DATA *)ctx->data;
++  NNTP_DATA *nntp_data = ctx->data;
++  CHILD_CTX cc;
 +  char buf[STRING];
-+  int i, ret = 0, tmp = 0;
-+  CHILD_CONTEXT cc;
++  int i, rc, quiet;
++  void *hc = NULL;
 +
-+  if (!nntp_data || !nntp_data->nserv || !nntp_data->nserv->conn ||
-+      !nntp_data->nserv->conn->account.host)
++  if (!nntp_data || !nntp_data->nserv)
 +    return -1;
 +  if (nntp_data->firstMessage > nntp_data->lastLoaded)
 +    return 0;
-+  if (!nntp_data->nserv->hasXPAT)
-+  {
-+    mutt_error (_("Server %s does not support this operation!"),
-+        nntp_data->nserv->conn->account.host);
-+    return -1;
-+  }
-+
-+  snprintf (buf, sizeof (buf), "XPAT References %d-%d *%s*\r\n", 
-+      nntp_data->firstMessage, nntp_data->lastLoaded, msgid);
 +
++  /* init context */
 +  cc.ctx = ctx;
 +  cc.num = 0;
-+  cc.max = 25;
-+  cc.child = safe_malloc (sizeof (unsigned int) * 25);
-+  if (mutt_nntp_fetch (nntp_data, buf, NULL, check_children, &cc, 0))
++  cc.max = 10;
++  cc.child = safe_malloc (sizeof (anum_t) * cc.max);
++
++  /* fetch numbers of child messages */
++  snprintf (buf, sizeof (buf), "XPAT References %d-%d *%s*\r\n",
++          nntp_data->firstMessage, nntp_data->lastLoaded, msgid);
++  rc = nntp_fetch_lines (nntp_data, buf, sizeof (buf), NULL,
++                       fetch_children, &cc);
++  if (rc)
 +  {
 +    FREE (&cc.child);
++    if (rc > 0) {
++      if (mutt_strncmp ("500", buf, 3))
++      mutt_error ("XPAT: %s", buf);
++      else
++      mutt_error _("Unable to find child articles because server does not support XPAT command.");
++    }
 +    return -1;
 +  }
-+  /* dont try to read the xover cache. check_children() already
-+   * made sure that we dont have the article, so we need to visit
-+   * the server. Reading the cache at this point is also bad
-+   * because it would duplicate messages */
-+  if (option (OPTNEWSCACHE))
-+  {
-+    tmp++;
-+    unset_option (OPTNEWSCACHE);
-+  }
++
++  /* fetch all found messages */
++  quiet = ctx->quiet;
++  ctx->quiet = 1;
++#ifdef USE_HCACHE
++  hc = nntp_hcache_open (nntp_data);
++#endif
 +  for (i = 0; i < cc.num; i++)
 +  {
-+    if ((ret = nntp_fetch_headers (ctx, cc.child[i], cc.child[i])))
++    rc = nntp_fetch_headers (ctx, hc, cc.child[i], cc.child[i], 1);
++    if (rc < 0)
 +      break;
-+    if (ctx->msgcount &&
-+        ctx->hdrs[ctx->msgcount - 1]->article_num == cc.child[i])
-+      ctx->hdrs[ctx->msgcount - 1]->read = 0;
 +  }
-+  if (tmp)
-+    set_option (OPTNEWSCACHE);
++#ifdef USE_HCACHE
++  mutt_hcache_close (hc);
++#endif
++  ctx->quiet = quiet;
 +  FREE (&cc.child);
-+  return ret;
++  return rc < 0 ? -1 : 0;
 +}
-diff -udprP mutt-1.5.21.orig/nntp.h mutt-1.5.21/nntp.h
---- mutt-1.5.21.orig/nntp.h    1970-01-01 03:00:00.000000000 +0300
-+++ mutt-1.5.21/nntp.h 2010-09-16 13:14:39.000000000 +0300
-@@ -0,0 +1,136 @@
++
++struct mx_ops mx_nntp_ops = {
++  .open = nntp_open_mailbox,
++  .open_append = NULL,
++  .close = nntp_close_mailbox,
++  .open_msg = nntp_open_message,
++  .close_msg = nntp_close_message,
++  .check = nntp_check_mailbox,
++  .commit_msg = NULL,
++  .open_new_msg = NULL,
++  .sync = nntp_sync_mailbox,
++};
+diff -udprP mutt-1.10.0.orig/nntp.h mutt-1.10.0/nntp.h
+--- mutt-1.10.0.orig/nntp.h    1970-01-01 03:00:00.000000000 +0300
++++ mutt-1.10.0/nntp.h 2018-06-16 17:22:30.200469636 +0300
+@@ -0,0 +1,165 @@
 +/*
 + * Copyright (C) 1998 Brandon Long <blong@fiction.net>
 + * Copyright (C) 1999 Andrej Gritsenko <andrej@lucky.net>
-+ * Copyright (C) 2000-2007 Vsevolod Volkov <vvv@mutt.org.ua>
-+ * 
++ * Copyright (C) 2000-2016 Vsevolod Volkov <vvv@mutt.org.ua>
++ *
 + *     This program is free software; you can redistribute it and/or modify
 + *     it under the terms of the GNU General Public License as published by
 + *     the Free Software Foundation; either version 2 of the License, or
 + *     (at your option) any later version.
-+ * 
++ *
 + *     This program is distributed in the hope that it will be useful,
 + *     but WITHOUT ANY WARRANTY; without even the implied warranty of
 + *     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 + *     GNU General Public License for more details.
-+ * 
++ *
 + *     You should have received a copy of the GNU General Public License
 + *     along with this program; if not, write to the Free Software
 + *     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
-+ */ 
++ */
 +
 +#ifndef _NNTP_H_
 +#define _NNTP_H_ 1
 +
 +#include "mutt_socket.h"
 +#include "mailbox.h"
++#include "bcache.h"
++
++#if USE_HCACHE
++#include "hcache.h"
++#endif
 +
 +#include <time.h>
++#include <sys/types.h>
++#include <stdint.h>
 +
 +#define NNTP_PORT 119
 +#define NNTP_SSL_PORT 563
 +
-+/* number of entries in the hash table */
-+#define NNTP_CACHE_LEN 10
++/* number of entries in article cache */
++#define NNTP_ACACHE_LEN 10
++
++/* article number type and format */
++#define anum_t uint32_t
++#define ANUM "%u"
 +
 +enum
 +{
@@ -6034,103 +7144,121 @@ diff -udprP mutt-1.5.21.orig/nntp.h mutt-1.5.21/nntp.h
 +
 +typedef struct
 +{
-+  int first;
-+  int last;
-+} NEWSRC_ENTRY;
-+
-+typedef struct
-+{
-+  unsigned int hasXPAT : 1;
++  unsigned int hasCAPABILITIES : 1;
++  unsigned int hasSTARTTLS : 1;
++  unsigned int hasDATE : 1;
++  unsigned int hasLIST_NEWSGROUPS : 1;
 +  unsigned int hasXGTITLE : 1;
-+  unsigned int hasXOVER : 1;
 +  unsigned int hasLISTGROUP : 1;
++  unsigned int hasLISTGROUPrange : 1;
++  unsigned int hasOVER : 1;
++  unsigned int hasXOVER : 1;
++  unsigned int use_tls : 3;
 +  unsigned int status : 3;
-+  char *newsrc;
-+  char *cache;
-+  int stat;
++  unsigned int cacheable : 1;
++  unsigned int newsrc_modified : 1;
++  FILE *newsrc_fp;
++  char *newsrc_file;
++  char *authenticators;
++  char *overview_fmt;
 +  off_t size;
 +  time_t mtime;
 +  time_t newgroups_time;
 +  time_t check_time;
-+  HASH *newsgroups;
-+  LIST *list; /* list of newsgroups */
-+  LIST *tail; /* last entry of list */
++  unsigned int groups_num;
++  unsigned int groups_max;
++  void **groups_list;
++  HASH *groups_hash;
 +  CONNECTION *conn;
 +} NNTP_SERVER;
 +
 +typedef struct
 +{
++  anum_t first;
++  anum_t last;
++} NEWSRC_ENTRY;
++
++typedef struct
++{
 +  unsigned int index;
 +  char *path;
-+} NNTP_CACHE;
++} NNTP_ACACHE;
 +
 +typedef struct
 +{
-+  NEWSRC_ENTRY *entries;
-+  unsigned int num;   /* number of used entries */
-+  unsigned int max;   /* number of allocated entries */
-+  unsigned int unread;
-+  unsigned int firstMessage;
-+  unsigned int lastMessage;
-+  unsigned int lastLoaded;
-+  unsigned int lastCached;
++  char *group;
++  char *desc;
++  anum_t firstMessage;
++  anum_t lastMessage;
++  anum_t lastLoaded;
++  anum_t lastCached;
++  anum_t unread;
 +  unsigned int subscribed : 1;
-+  unsigned int rc : 1;
 +  unsigned int new : 1;
 +  unsigned int allowed : 1;
 +  unsigned int deleted : 1;
-+  char *group;
-+  char *desc;
-+  char *cache;
++  unsigned int newsrc_len;
++  NEWSRC_ENTRY *newsrc_ent;
 +  NNTP_SERVER *nserv;
-+  NNTP_CACHE acache[NNTP_CACHE_LEN];
++  NNTP_ACACHE acache[NNTP_ACACHE_LEN];
++  body_cache_t *bcache;
 +} NNTP_DATA;
 +
++typedef struct
++{
++  anum_t article_num;
++  unsigned int parsed : 1;
++} NNTP_HEADER_DATA;
++
++#define NHDR(hdr) ((NNTP_HEADER_DATA*)((hdr)->data))
++
 +/* internal functions */
-+int nntp_get_active (NNTP_SERVER *);
-+int nntp_get_cache_all (NNTP_SERVER *);
-+int nntp_save_cache_index (NNTP_SERVER *);
-+int nntp_check_newgroups (NNTP_SERVER *, int);
-+int nntp_save_cache_group (CONTEXT *);
-+int nntp_parse_url (const char *, ACCOUNT *, char *, size_t);
-+void newsrc_gen_entries (CONTEXT *);
-+void nntp_get_status (CONTEXT *, HEADER *, char *, int);
-+void mutt_newsgroup_stat (NNTP_DATA *);
-+void nntp_delete_cache (NNTP_DATA *);
-+void nntp_add_to_list (NNTP_SERVER *, NNTP_DATA *);
-+void nntp_cache_expand (char *, const char *);
-+void nntp_delete_data (void *);
++int nntp_add_group (char *, void *);
++int nntp_active_save_cache (NNTP_SERVER *);
++int nntp_check_new_groups (NNTP_SERVER *);
++int nntp_open_connection (NNTP_SERVER *);
++void nntp_newsrc_gen_entries (CONTEXT *);
++void nntp_bcache_update (NNTP_DATA *);
++void nntp_article_status (CONTEXT *, HEADER *, char *, anum_t);
++void nntp_group_unread_stat (NNTP_DATA *);
++void nntp_data_free (void *);
++void nntp_acache_free (NNTP_DATA *);
++void nntp_delete_group_cache (NNTP_DATA *);
 +
 +/* exposed interface */
-+NNTP_SERVER *mutt_select_newsserver (char *);
++NNTP_SERVER *nntp_select_server (char *, int);
 +NNTP_DATA *mutt_newsgroup_subscribe (NNTP_SERVER *, char *);
 +NNTP_DATA *mutt_newsgroup_unsubscribe (NNTP_SERVER *, char *);
 +NNTP_DATA *mutt_newsgroup_catchup (NNTP_SERVER *, char *);
 +NNTP_DATA *mutt_newsgroup_uncatchup (NNTP_SERVER *, char *);
-+void nntp_clear_cacheindex (NNTP_SERVER *);
-+int mutt_newsrc_update (NNTP_SERVER *);
-+int nntp_open_mailbox (CONTEXT *);
-+int nntp_sync_mailbox (CONTEXT *);
-+int nntp_check_mailbox (CONTEXT *);
-+int nntp_close_mailbox (CONTEXT *);
-+int nntp_fastclose_mailbox (CONTEXT *);
-+int nntp_fetch_message (MESSAGE *, CONTEXT *, int);
++int nntp_active_fetch (NNTP_SERVER *, unsigned int);
++int nntp_newsrc_update (NNTP_SERVER *);
 +int nntp_post (const char *);
 +int nntp_check_msgid (CONTEXT *, const char *);
 +int nntp_check_children (CONTEXT *, const char *);
-+void nntp_buffy (char *);
++int nntp_newsrc_parse (NNTP_SERVER *);
++void nntp_newsrc_close (NNTP_SERVER *);
++void nntp_buffy (char *, size_t);
 +void nntp_expand_path (char *, size_t, ACCOUNT *);
-+void nntp_logout_all ();
-+const char *nntp_format_str (char *, size_t, size_t, char, const char *, const char *,
-+              const char *, const char *, unsigned long, format_flag);
++void nntp_clear_cache (NNTP_SERVER *);
++const char *nntp_format_str (char *, size_t, size_t, int, char, const char *,
++                           const char *, const char *, const char *,
++                           unsigned long, format_flag);
 +
 +NNTP_SERVER *CurrentNewsSrv INITVAL (NULL);
 +
++#ifdef USE_HCACHE
++header_cache_t *nntp_hcache_open (NNTP_DATA *);
++void nntp_hcache_update (NNTP_DATA *, header_cache_t *);
++#endif
++
++extern struct mx_ops mx_nntp_ops;
++
 +#endif /* _NNTP_H_ */
-diff -udprP mutt-1.5.21.orig/pager.c mutt-1.5.21/pager.c
---- mutt-1.5.21.orig/pager.c   2010-08-25 19:31:40.000000000 +0300
-+++ mutt-1.5.21/pager.c        2010-09-16 13:14:39.000000000 +0300
-@@ -1084,6 +1084,11 @@ fill_buffer (FILE *f, LOFF_T *last_pos, 
+diff -udprP mutt-1.10.0.orig/pager.c mutt-1.10.0/pager.c
+--- mutt-1.10.0.orig/pager.c   2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/pager.c        2018-06-16 17:22:30.201469620 +0300
+@@ -1114,6 +1114,11 @@ fill_buffer (FILE *f, LOFF_T *last_pos,
    return b_read;
  }
  
@@ -6142,10 +7270,10 @@ diff -udprP mutt-1.5.21.orig/pager.c mutt-1.5.21/pager.c
  
  static int format_line (struct line_t **lineInfo, int n, unsigned char *buf,
                        int flags, ansi_attr *pa, int cnt,
-@@ -1540,6 +1545,16 @@ static struct mapping_t PagerHelpExtra[]
+@@ -1584,6 +1589,15 @@ static const struct mapping_t PagerHelpE
+   { N_("Next"),       OP_MAIN_NEXT_UNDELETED },
    { NULL,     0 }
  };
 +#ifdef USE_NNTP
 +static struct mapping_t PagerNewsHelpExtra[] = {
 +  { N_("Post"),     OP_POST },
@@ -6155,104 +7283,87 @@ diff -udprP mutt-1.5.21.orig/pager.c mutt-1.5.21/pager.c
 +  { NULL,           0 }
 +};
 +#endif
-+
  
+ void mutt_clear_pager_position (void)
+ {
+@@ -1923,6 +1937,10 @@ mutt_pager (const char *banner, const ch
  
- /* This pager is actually not so simple as it once was.  It now operates in
-@@ -1581,6 +1596,10 @@ mutt_pager (const char *banner, const ch
-   int old_PagerIndexLines;            /* some people want to resize it
-                                        * while inside the pager... */
+   pager_redraw_data_t rd;
  
 +#ifdef USE_NNTP
 +  char *followup_to;
 +#endif
 +
-   if (!(flags & M_SHOWCOLOR))
-     flags |= M_SHOWFLAT;
+   if (!(flags & MUTT_SHOWCOLOR))
+     flags |= MUTT_SHOWFLAT;
  
-@@ -1620,7 +1639,11 @@ mutt_pager (const char *banner, const ch
+@@ -1972,7 +1990,11 @@ mutt_pager (const char *banner, const ch
    if (IsHeader (extra))
    {
      strfcpy (tmphelp, helpstr, sizeof (tmphelp));
 -    mutt_compile_help (buffer, sizeof (buffer), MENU_PAGER, PagerHelpExtra);
 +    mutt_compile_help (buffer, sizeof (buffer), MENU_PAGER,
 +#ifdef USE_NNTP
-+      (Context && (Context->magic == M_NNTP)) ? PagerNewsHelpExtra :
++      (Context && (Context->magic == MUTT_NNTP)) ? PagerNewsHelpExtra :
 +#endif
 +      PagerHelpExtra);
      snprintf (helpstr, sizeof (helpstr), "%s %s", tmphelp, buffer);
    }
    if (!InHelp)
-@@ -2492,6 +2515,15 @@ search_next:
-       CHECK_READONLY;
-       CHECK_ACL(M_ACL_WRITE, "flag message");
-+#ifdef USE_NNTP
-+      if (Context->magic == M_NNTP)
-+      {
-+        mutt_flushinp ();
-+        mutt_error _("Can't change 'important' flag on NNTP server.");
-+        break;
-+      }
-+#endif
-+
-       mutt_set_flag (Context, extra->hdr, M_FLAG, !extra->hdr->flagged);
-       redraw = REDRAW_STATUS | REDRAW_INDEX;
-       if (option (OPTRESOLVE))
-@@ -2525,6 +2557,60 @@ search_next:
-       redraw = REDRAW_FULL;
+@@ -2639,6 +2661,60 @@ search_next:
+       pager_menu->redraw = REDRAW_FULL;
        break;
  
 +#ifdef USE_NNTP
 +      case OP_POST:
 +      CHECK_MODE(IsHeader (extra) && !IsAttach (extra));
 +      CHECK_ATTACH;
-+      if (extra->ctx && extra->ctx->magic == M_NNTP &&
++      if (extra->ctx && extra->ctx->magic == MUTT_NNTP &&
 +          !((NNTP_DATA *)extra->ctx->data)->allowed &&
-+          query_quadoption (OPT_TOMODERATED,_("Posting to this group not allowed, may be moderated. Continue?")) != M_YES)
++          query_quadoption (OPT_TOMODERATED,_("Posting to this group not allowed, may be moderated. Continue?")) != MUTT_YES)
 +        break;
 +      ci_send_message (SENDNEWS, NULL, NULL, extra->ctx, NULL);
-+      redraw = REDRAW_FULL;
++      pager_menu->redraw = REDRAW_FULL;
 +      break;
 +
 +      case OP_FORWARD_TO_GROUP:
 +      CHECK_MODE(IsHeader (extra) || IsMsgAttach (extra));
 +      CHECK_ATTACH;
-+      if (extra->ctx && extra->ctx->magic == M_NNTP &&
++      if (extra->ctx && extra->ctx->magic == MUTT_NNTP &&
 +          !((NNTP_DATA *)extra->ctx->data)->allowed &&
-+          query_quadoption (OPT_TOMODERATED,_("Posting to this group not allowed, may be moderated. Continue?")) != M_YES)
++          query_quadoption (OPT_TOMODERATED,_("Posting to this group not allowed, may be moderated. Continue?")) != MUTT_YES)
 +        break;
 +      if (IsMsgAttach (extra))
-+        mutt_attach_forward (extra->fp, extra->hdr, extra->idx,
-+                             extra->idxlen, extra->bdy, SENDNEWS);
++        mutt_attach_forward (extra->fp, extra->hdr, extra->actx,
++                             extra->bdy, SENDNEWS);
 +      else
 +        ci_send_message (SENDNEWS|SENDFORWARD, NULL, NULL, extra->ctx, extra->hdr);
-+      redraw = REDRAW_FULL;
++      pager_menu->redraw = REDRAW_FULL;
 +      break;
 +
 +      case OP_FOLLOWUP:
 +      CHECK_MODE(IsHeader (extra) || IsMsgAttach (extra));
 +      CHECK_ATTACH;
 +
-+        if (IsMsgAttach (extra))
++      if (IsMsgAttach (extra))
 +        followup_to = extra->bdy->hdr->env->followup_to;
-+        else
++      else
 +        followup_to = extra->hdr->env->followup_to;
 +
 +      if (!followup_to || mutt_strcasecmp (followup_to, "poster") ||
-+          query_quadoption (OPT_FOLLOWUPTOPOSTER,_("Reply by mail as poster prefers?")) != M_YES)
++          query_quadoption (OPT_FOLLOWUPTOPOSTER,_("Reply by mail as poster prefers?")) != MUTT_YES)
 +      {
-+        if (extra->ctx && extra->ctx->magic == M_NNTP &&
++        if (extra->ctx && extra->ctx->magic == MUTT_NNTP &&
 +            !((NNTP_DATA *)extra->ctx->data)->allowed &&
-+            query_quadoption (OPT_TOMODERATED,_("Posting to this group not allowed, may be moderated. Continue?")) != M_YES)
++            query_quadoption (OPT_TOMODERATED,_("Posting to this group not allowed, may be moderated. Continue?")) != MUTT_YES)
 +          break;
 +        if (IsMsgAttach (extra))
-+          mutt_attach_reply (extra->fp, extra->hdr, extra->idx,
-+                             extra->idxlen, extra->bdy, SENDNEWS|SENDREPLY);
++          mutt_attach_reply (extra->fp, extra->hdr, extra->actx,
++                             extra->bdy, SENDNEWS|SENDREPLY);
 +        else
 +          ci_send_message (SENDNEWS|SENDREPLY, NULL, NULL,
 +                           extra->ctx, extra->hdr);
-+        redraw = REDRAW_FULL;
++        pager_menu->redraw = REDRAW_FULL;
 +        break;
 +      }
 +#endif
@@ -6260,19 +7371,19 @@ diff -udprP mutt-1.5.21.orig/pager.c mutt-1.5.21/pager.c
        case OP_REPLY:
        CHECK_MODE(IsHeader (extra) || IsMsgAttach (extra));
          CHECK_ATTACH;      
-@@ -2571,7 +2657,7 @@ search_next:
+@@ -2684,7 +2760,7 @@ search_next:
          CHECK_ATTACH;
          if (IsMsgAttach (extra))
-         mutt_attach_forward (extra->fp, extra->hdr, extra->idx,
--                             extra->idxlen, extra->bdy);
-+                             extra->idxlen, extra->bdy, 0);
+         mutt_attach_forward (extra->fp, extra->hdr, extra->actx,
+-                             extra->bdy);
++                             extra->bdy, 0);
          else
          ci_send_message (SENDFORWARD, NULL, NULL, extra->ctx, extra->hdr);
-       redraw = REDRAW_FULL;
-diff -udprP mutt-1.5.21.orig/parse.c mutt-1.5.21/parse.c
---- mutt-1.5.21.orig/parse.c   2009-08-25 22:08:52.000000000 +0300
-+++ mutt-1.5.21/parse.c        2010-09-16 13:14:39.000000000 +0300
-@@ -89,7 +89,7 @@ char *mutt_read_rfc822_line (FILE *f, ch
+       pager_menu->redraw = REDRAW_FULL;
+diff -udprP mutt-1.10.0.orig/parse.c mutt-1.10.0/parse.c
+--- mutt-1.10.0.orig/parse.c   2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/parse.c        2018-06-16 17:22:30.201469620 +0300
+@@ -94,7 +94,7 @@ char *mutt_read_rfc822_line (FILE *f, ch
    /* not reached */
  }
  
@@ -6281,7 +7392,7 @@ diff -udprP mutt-1.5.21.orig/parse.c mutt-1.5.21/parse.c
  {
    LIST *t, *lst = NULL;
    char *m;
-@@ -1067,6 +1067,17 @@ int mutt_parse_rfc822_line (ENVELOPE *e,
+@@ -1077,6 +1077,17 @@ int mutt_parse_rfc822_line (ENVELOPE *e,
        e->from = rfc822_parse_adrlist (e->from, p);
        matched = 1;
      }
@@ -6299,7 +7410,7 @@ diff -udprP mutt-1.5.21.orig/parse.c mutt-1.5.21/parse.c
      break;
      
      case 'i':
-@@ -1149,6 +1160,27 @@ int mutt_parse_rfc822_line (ENVELOPE *e,
+@@ -1159,6 +1170,27 @@ int mutt_parse_rfc822_line (ENVELOPE *e,
      }
      break;
      
@@ -6327,7 +7438,7 @@ diff -udprP mutt-1.5.21.orig/parse.c mutt-1.5.21/parse.c
      case 'r':
      if (!ascii_strcasecmp (line + 1, "eferences"))
      {
-@@ -1257,6 +1289,20 @@ int mutt_parse_rfc822_line (ENVELOPE *e,
+@@ -1271,6 +1303,20 @@ int mutt_parse_rfc822_line (ENVELOPE *e,
        e->x_label = safe_strdup(p);
        matched = 1;
      }
@@ -6348,42 +7459,42 @@ diff -udprP mutt-1.5.21.orig/parse.c mutt-1.5.21/parse.c
      
      default:
      break;
-diff -udprP mutt-1.5.21.orig/pattern.c mutt-1.5.21/pattern.c
---- mutt-1.5.21.orig/pattern.c 2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/pattern.c      2010-09-16 13:14:39.000000000 +0300
-@@ -92,6 +92,9 @@ Flags[] =
-   { 'U', M_UNREAD,            0,              NULL },
-   { 'v', M_COLLAPSED,         0,              NULL },
-   { 'V', M_CRYPT_VERIFIED,    0,              NULL },
-+#ifdef USE_NNTP
-+  { 'w', M_NEWSGROUPS,                0,              eat_regexp },
-+#endif
-   { 'x', M_REFERENCE,         0,              eat_regexp },
-   { 'X', M_MIMEATTACH,                0,              eat_range },
-   { 'y', M_XLABEL,            0,              eat_regexp },
-@@ -1213,6 +1216,10 @@ mutt_pattern_exec (struct pattern_t *pat
-       }
-     case M_UNREFERENCED:
+diff -udprP mutt-1.10.0.orig/pattern.c mutt-1.10.0/pattern.c
+--- mutt-1.10.0.orig/pattern.c 2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/pattern.c      2018-06-16 17:22:30.201469620 +0300
+@@ -94,6 +94,9 @@ Flags[] =
+   { 'U', MUTT_UNREAD,         0,              NULL },
+   { 'v', MUTT_COLLAPSED,              0,              NULL },
+   { 'V', MUTT_CRYPT_VERIFIED, 0,              NULL },
++#ifdef USE_NNTP
++  { 'w', MUTT_NEWSGROUPS,     0,              eat_regexp },
++#endif
+   { 'x', MUTT_REFERENCE,              0,              eat_regexp },
+   { 'X', MUTT_MIMEATTACH,             0,              eat_range },
+   { 'y', MUTT_XLABEL,         0,              eat_regexp },
+@@ -1368,6 +1371,10 @@ mutt_pattern_exec (struct pattern_t *pat
+       return (pat->not ^ match_mime_content_type (pat, ctx, h));
+     case MUTT_UNREFERENCED:
        return (pat->not ^ (h->thread && !h->thread->child));
 +#ifdef USE_NNTP
-+    case M_NEWSGROUPS:
++    case MUTT_NEWSGROUPS:
 +      return (pat->not ^ (h->env->newsgroups && patmatch (pat, h->env->newsgroups) == 0));
 +#endif
    }
    mutt_error (_("error: unknown op %d (report this error)."), pat->op);
    return (-1);
-@@ -1294,6 +1301,7 @@ int mutt_pattern_func (int op, char *pro
+@@ -1449,6 +1456,7 @@ int mutt_pattern_func (int op, char *pro
    progress_t progress;
  
    strfcpy (buf, NONULL (Context->pattern), sizeof (buf));
-+  if (prompt || op != M_LIMIT)
-   if (mutt_get_field (prompt, buf, sizeof (buf), M_PATTERN | M_CLEAR) != 0 || !buf[0])
++  if (prompt || op != MUTT_LIMIT)
+   if (mutt_get_field (prompt, buf, sizeof (buf), MUTT_PATTERN | MUTT_CLEAR) != 0 || !buf[0])
      return (-1);
  
-diff -udprP mutt-1.5.21.orig/po/POTFILES.in mutt-1.5.21/po/POTFILES.in
---- mutt-1.5.21.orig/po/POTFILES.in    2008-03-19 22:07:57.000000000 +0200
-+++ mutt-1.5.21/po/POTFILES.in 2010-09-16 13:14:39.000000000 +0300
-@@ -46,6 +46,8 @@ mutt_ssl_gnutls.c
+diff -udprP mutt-1.10.0.orig/po/POTFILES.in mutt-1.10.0/po/POTFILES.in
+--- mutt-1.10.0.orig/po/POTFILES.in    2017-12-18 22:31:37.000000000 +0200
++++ mutt-1.10.0/po/POTFILES.in 2018-06-16 17:22:30.201469620 +0300
+@@ -47,6 +47,8 @@ mutt_ssl_gnutls.c
  mutt_tunnel.c
  muttlib.c
  mx.c
@@ -6392,9 +7503,9 @@ diff -udprP mutt-1.5.21.orig/po/POTFILES.in mutt-1.5.21/po/POTFILES.in
  pager.c
  parse.c
  pattern.c
-diff -udprP mutt-1.5.21.orig/postpone.c mutt-1.5.21/postpone.c
---- mutt-1.5.21.orig/postpone.c        2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/postpone.c     2010-09-16 13:14:39.000000000 +0300
+diff -udprP mutt-1.10.0.orig/postpone.c mutt-1.10.0/postpone.c
+--- mutt-1.10.0.orig/postpone.c        2018-04-17 02:31:03.000000000 +0300
++++ mutt-1.10.0/postpone.c     2018-06-16 17:22:30.201469620 +0300
 @@ -125,15 +125,26 @@ int mutt_num_postponed (int force)
  
    if (LastModify < st.st_mtime)
@@ -6410,7 +7521,7 @@ diff -udprP mutt-1.5.21.orig/postpone.c mutt-1.5.21/postpone.c
 +    if (optnews)
 +      unset_option (OPTNEWS);
 +#endif
-     if (mx_open_mailbox (Postponed, M_NOSORT | M_QUIET, &ctx) == NULL)
+     if (mx_open_mailbox (Postponed, MUTT_NOSORT | MUTT_QUIET, &ctx) == NULL)
        PostCount = 0;
      else
        PostCount = ctx.msgcount;
@@ -6422,10 +7533,10 @@ diff -udprP mutt-1.5.21.orig/postpone.c mutt-1.5.21/postpone.c
    }
  
    return (PostCount);
-diff -udprP mutt-1.5.21.orig/protos.h mutt-1.5.21/protos.h
---- mutt-1.5.21.orig/protos.h  2010-08-24 19:34:21.000000000 +0300
-+++ mutt-1.5.21/protos.h       2010-09-16 13:14:39.000000000 +0300
-@@ -110,6 +110,7 @@ HASH *mutt_make_id_hash (CONTEXT *);
+diff -udprP mutt-1.10.0.orig/protos.h mutt-1.10.0/protos.h
+--- mutt-1.10.0.orig/protos.h  2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/protos.h       2018-06-16 17:22:30.202469604 +0300
+@@ -111,6 +111,7 @@ HASH *mutt_make_id_hash (CONTEXT *);
  HASH *mutt_make_subj_hash (CONTEXT *);
  
  LIST *mutt_make_references(ENVELOPE *e);
@@ -6433,52 +7544,51 @@ diff -udprP mutt-1.5.21.orig/protos.h mutt-1.5.21/protos.h
  
  char *mutt_read_rfc822_line (FILE *, char *, size_t *);
  ENVELOPE *mutt_read_rfc822_header (FILE *, HEADER *, short, short);
-diff -udprP mutt-1.5.21.orig/recvattach.c mutt-1.5.21/recvattach.c
---- mutt-1.5.21.orig/recvattach.c      2010-09-13 20:19:55.000000000 +0300
-+++ mutt-1.5.21/recvattach.c   2010-09-16 13:14:39.000000000 +0300
-@@ -1119,6 +1119,15 @@ void mutt_view_attachments (HEADER *hdr)
+diff -udprP mutt-1.10.0.orig/recvattach.c mutt-1.10.0/recvattach.c
+--- mutt-1.10.0.orig/recvattach.c      2018-05-15 00:51:53.000000000 +0300
++++ mutt-1.10.0/recvattach.c   2018-06-16 17:22:30.202469604 +0300
+@@ -1224,6 +1224,15 @@ void mutt_view_attachments (HEADER *hdr)
        }
  #endif
  
 +#ifdef USE_NNTP
-+      if (Context->magic == M_NNTP)
++      if (Context->magic == MUTT_NNTP)
 +      {
 +        mutt_flushinp ();
-+        mutt_error _("Can't delete attachment from newsserver.");
++        mutt_error _("Can't delete attachment from news server.");
 +        break;
&nbs