Postfix SMTP server: errors

Продолжая вышесказанное, проанализировал helo тех клиентов, которые рубит zen.
И добавил regexp. Теперь стало так.

/([0-9]{1,3}[x\.-]){3}/i        REJECT  IP-able helo SPAM
/([\.][^\.]*){4}/i      REJECT  5Domain helo SPAM
/([\.-][^\.-]*){5}/i      REJECT  6Domain helo SPAM
/(host|(dyn(amic|-ip)?)|(ppp(oe)?)|([ax]?dsl)|(dial(up|-in)?)|(cust(omer)?)|(i?net)|line|pool|node|static|broadband|cable|nat|client|ip|dhcp|codetel)[\.-]?([0-9]{1,3}[\.-]){2}/i       REJECT  Dynamic helo SPAM
/([\.-][0-9]{1,3}){2}[\.-]?(host|(dyn(amic|-ip)?)|(ppp(oe)?)|([ax]?dsl)|(dial(up|-in)?)|(cust(omer)?)|(i?net)|line|pool|node|static|broadband|cable|nat|client|ip|dhcp|codetel)/i       REJECT  Dynamic helo SPAM
/^chello[0-9a-z]*\.chello\.pl$/ REJECT  PL helo SPAM

Первый отрубает mbl-109-38-63.dsl.net.pk - 3 числа через точку-тире, точно динамический.
Второй C083H179.home03.cable.mecha.jp - домен 5-го уровня - ну не верю, что сервер такой бывает.
Третий MS-100-11.dyn-ip-II.SkyLink.RU - количество точек-тире 5 и больше.
Четвертый-пятый сработал всего 3 раза, может он и не нужен. Общая практика наименования адресов, выдаваемых динамически провайдерами.
Последний меня просто достал. Открывает сразу 20 соединений на user[1-20]@domain.ru, я так понимаю запросы не кешируются и к zen идет обращение каждый раз.

Это отрубаются клиенты, которые НЕ являются серверами. Они просто соединяются SMTP-сессия. И там пишут. Это НЕ сервера.

А всякие spamrats и dyna RBL'ы - Вы уверены, что там не стоит regexp? :)
После такой проверки на helo запросов к zen стало еще в 2-3 раза меньше, точно я не считал пока, пусть поработает.
И еще надо такую же проверку на адрес сделать, не helo, есть умники, которые туда пишут helo=google.com или helo=SomeDomain.com, мне последний понравился :) А оказываются host17-63-dynamic.180-80-r.retail.telecomitalia.it

Если думать как спамер хочет Вас обмануть, легче его победить.

Прежде всего спасибо за подсказку - сделал конфиг почти как у Вас.

С этим я разобрался. По правилу отправляется сначала name, потом IP, потом подсети.
Если в правильном месте поставить whitelist, то
check_client_access отправит client name, а
check_helo_access - helo

Теперь про проверку нехороших.

helo и client name проверять в одном файле проблематично.
Предлагаю в dul_client.pcre
написать вот так http://www.postfix.org/pcre_table.5.html

       if /pattern/flags

       endif  Match the input string against the patterns between
              if and endif, if and only if that same input string
              also matches pattern. The if..endif can nest.

в pattern засунуть проверку IP (нет букв) pattern=[a-z]
а внутрь вставить те же самые проверки. Правильно?
В одном файле тяжело проверить, client name приходит не name[IP], а сначала client, потом IP. Поэтому "[" там нет.
Если резать моим способом - 3 числа через точку-тире, самое убийственное правило, то все зарежутся.
Да и 4 числа зарежутся.

Еще хочу сказать, что мне пришлось ослабить свои regexp - сработала проверка на домен 5-го уровня!!!
easy.hq.icb.chel.su - это Челиндбанк, нормальный почтовый сервер.
Оставил проверку на 5 точек-тире. Если поставят тире, то опять обломятся. Или захотят сделать домен 6 уровня :)
Теперь нагрузка на zen немного добавится.

А какие ловушки? Свою базу плохих адресов вести?
И как бороться когда пишут письмо от тебя тебе?

ehlo ...
mail from: <user@domain>
rcpt to: <user@domain>

Я хочу таких проверить авторизованы или нет. У меня все кроме localhost авторизуются.
Если IP не мой, авторизации нет, mail from=я, то пошел на...
Раньше таких много было, теперь меньше.

Здесь я кажется разобрался с переводом.
Если протокол ESMTP - не поленился, посчитал таких 95% - то это не работает.
Если smtpd_delay_reject=yes, то также не работает вплоть до smtpd_recipient_restrictions, где Вы его и поставили.

Перечислять всех самобытных мне лень. Работать будет только для них, соответственно, придется эти правила обновлять, старые удалять, короче следить за ними. Хочу сделать один раз и забыть.

Лучше все-таки сделать policy типа postgrey и spf. На перле проверять вхождение по стране и по двум спискам, которые я указал. А там уже решать откидывать или нет.
А что у Вас за идея насчет client=unknown ?

Смотрите ниже http://www.gentoo.ru/node/9827#comment-95167
там мой отчет о проделанной работе :)
Выкинул 3 Ваших RBL

Сделал client.pcre:

if /[a-z]/
if !/^unknown/
/([0-9]{1,3}[x\.-]){3}/ REJECT  rDNS client SPAM
/([\.-][^\.-]*){5}/      REJECT  rDNS client SPAM
/(^d)|(^u)|(host|(dyn(amic|-ip)?)|(ppp(oe)?)|([ax]?dsl)|(dial(up|-in)?)|(cust(omer)?)|(i?net)|line|pool|node|static|broadband|cable|nat|client|ip|dhcp|codetel)[\.-]?([0-9]{1,3}[\.-]){2}/      REJECT  rDNS client SPAM
/([\.-][0-9]{1,3}){2}[\.-]?(host|(dyn(amic|-ip)?)|(ppp(oe)?)|([ax]?dsl)|(dial(up|-in)?)|(cust(omer)?)|(i?net)|line|pool|node|static|broadband|cable|nat|client|ip|dhcp|codetel)/        REJECT  rDNS client SPAM
endif
endif

Почему-то когда unknown туда прилетает именно unknown[IP] ?!!
Для всех остальных сначала client name, потом IP.

Еще поменял порядок

я так понимаю стоят вначале чтобы пользователь не мог письмо отправить в никуда.
Для этого, если отправлять рассылку, нужно убирать из нее все дохлые адреса, что для пользователя оказалось очень сложно.
А без этого, что происходит с письмом - bounced?

Написал-таки я policy daemon
Скачать можно здесь:

my $SKIP_COUNTRY = "RU"; - страны, которые не проверяем, разделены пробелом.
my $SPAM_COUNTRY = "PL RO"; - страны, откуда почта не нужна.
my @RBL - проверяемые RBL.

на RBL проверяются страны не SKIP_COUNTRY и не SPAM_COUNTRY
postfix получает либо DUNNO - нормально, либо
450 4.7.1 Service is unavailable; Country SPAM
450 4.7.1 Service is unavailable; Blocked using b.barracudacentral.org
450 4.7.1 Service is unavailable; Blocked using karmasphere.email-sender.dnsbl.karmasphere.com

В level=debug facility=mail валится строка вида

Feb  6 22:34:11 mail /usr/sbin/spam.pl[11073]: client_name=mail-in.rian.ru reverse_client_name=mail-in.rian.ru client_address=195.230.73.37 sender=v.sergeev@rian.ru recipient=maineditor@server.ru helo_name=mail-in.rian.ru Country=RU Action=DUNNO

Здесь хочу проверить reverse_client_name и client_name. Что туда приходит вместо unknown.

Еще подумаю, что можно сделать с sender=user@gmail.com

Поставил после

 reject_rbl_client psbl.surriel.com
 reject_rbl_client bl.spamcop.net
 check_policy_service unix:private/spam

#!/usr/bin/perl

use Fcntl;
use Sys::Syslog qw(:DEFAULT setlogsock);

my @RBL = (
"b.barracudacentral.org",
"karmasphere.email-sender.dnsbl.karmasphere.com"
);

my $SKIP_COUNTRY = "RU";
my $SPAM_COUNTRY = "PL RO";

#
# Usage: spam.pl [-v]
#
# How it works: each time a Postfix SMTP server process is started
# it connects to the policy service socket, and Postfix runs one
# instance of this PERL script.  By default, a Postfix SMTP server
# process terminates after 100 seconds of idle time, or after serving
# 100 clients. Thus, the cost of starting this PERL script is smoothed
# out over time.
#
# To run this from /etc/postfix/master.cf:
#
#    spam  unix  -       n       n       -       -       spawn
#      user=nobody argv=/usr/bin/perl /usr/sbin/spam.pl
#
# To use this from Postfix SMTPD, use in /etc/postfix/main.cf:
#
#    smtpd_recipient_restrictions =
#	...
#	reject_unauth_destination
#	check_policy_service unix:private/spam
#	...
#
# NOTE: specify check_policy_service AFTER reject_unauth_destination
# or else your system can become an open relay.
#
# To test this script by hand, execute:
#
#    % perl spam.pl
#
# Each query is a bunch of attributes. Order does not matter, and
# the demo script uses only a few of all the attributes shown below:
#
#    request=smtpd_access_policy
#    protocol_state=RCPT
#    protocol_name=SMTP
#    helo_name=some.domain.tld
#    queue_id=8045F2AB23
#    sender=foo@bar.tld
#    recipient=bar@foo.tld
#    client_address=1.2.3.4
#    client_name=another.domain.tld
#    instance=123.456.7
#    sasl_method=plain
#    sasl_username=you
#    sasl_sender=
#    size=12345
#    [empty line]
#
# The policy server script will answer in the same style, with an
# attribute list followed by a empty line:
#
#    action=dunno
#    [empty line]
#

#
# Syslogging options for verbose mode and for fatal errors.
# NOTE: comment out the $syslog_socktype line if syslogging does not
# work on your system.
#
$syslog_socktype = 'unix'; # inet, unix, stream, console
$syslog_facility="mail";
$syslog_options="pid";
$syslog_priority="debug";

require Net::DNS;
require Net::IP;
require IP::Country::MaxMind;

sub get_country {
        my ($ip) = @_;
        my $reg = IP::Country::MaxMind->new();
        my $cc = $reg->inet_atocc($ip) || "XX";
        return $cc;
}

sub do_rbl_lookup {
        my ($ip,$rbl) = @_;
        my $ip4 = new Net::IP($ip,4);
        my $rev_ip = $ip4->reverse_ip();
        $rev_ip =~ s/in-addr\.arpa\.//;

        my $res = Net::DNS::Resolver->new();
        $res->force_v4(1);
        $res->retry(1);           # If it fails, it fails
        $res->retrans(0);         # If it fails, it fails
        $res->dnsrch(0);          # ignore domain search-list
        $res->defnames(0);        # don't append stuff to end of query
        $res->tcp_timeout(3);     # timeout of 3 seconds only
        $res->udp_timeout(3);     # timeout of 3 seconds only
        $res->persistent_tcp(0);  # bug 3997
        $res->persistent_udp(0);  # bug 3997

        my $packet = $res->send($rev_ip.$rbl, 'A');
        my @answer = $packet->answer;

        return 0 if ((scalar @answer) eq 0);
        return 0 if ($answer[0]->rdatastr ne "127.0.0.2");
        return 1;
}

my $optional_text;

sub is_bad_ip {
        my ($ip) = @_;
        $optional_text = undef;
        my $country = get_country($ip);

        return 0 if ($SKIP_COUNTRY =~ /$country/);

        if ($SPAM_COUNTRY =~ /$country/)
        {
            $optional_text = "Country SPAM";
            return 1;
        }

        foreach my $rbl (@RBL)
        {
                if (do_rbl_lookup($ip,$rbl))
                {
                    $optional_text = "Blocked using ".$rbl;
                    return 1;
                }
        }

        return 0;
}

#
# Demo SMTPD access policy routine. The result is an action just like
# it would be specified on the right-hand side of a Postfix access
# table.  Request attributes are available via the %attr hash.
#

sub smtpd_access_policy {
	my ($client_name, $reverse_client_name, $client_address, $sender, $recipient, $helo_name) = @_;

    # The result can be any action that is allowed in a Postfix access(5) map.
    #
    # To label mail, return ``PREPEND'' headername: headertext
    #
    # In case of success, return ``DUNNO'' instead of ``OK'' so that the
    # check_policy_service restriction can be followed by other restrictions.
    #
    # In case of failure, specify ``DEFER_IF_PERMIT optional text...''
    # so that mail can still be blocked by other access restrictions.
    #
    
    if (is_bad_ip($client_address))
    {
        return "DEFER_IF_PERMIT Service is unavailable; ". $optional_text;
    }
    else
    {
	return "DUNNO";
    }
}

#
# You should not have to make changes below this point.
#
sub LOCK_SH { 1 };	# Shared lock (used for reading).
sub LOCK_EX { 2 };	# Exclusive lock (used for writing).
sub LOCK_NB { 4 };	# Don't block (for testing).
sub LOCK_UN { 8 };	# Release lock.

#
# Log an error and abort.
#
sub fatal_exit {
    my($first) = shift(@_);
    syslog "err", "fatal: $first", @_;
    exit 1;
}

$SIG{'SEGV'} = 'sigsegv_handler';

#
# This process runs as a daemon, so it can't log to a terminal. Use
# syslog so that people can actually see our messages.
#
setlogsock $syslog_socktype;
openlog $0, $syslog_options, $syslog_facility;

#
# We don't need getopt() for now.
#
while ($option = shift(@ARGV)) {
    if ($option eq "-v") {
	$verbose = 1;
    } else {
	syslog $syslog_priority, "Invalid option: %s. Usage: %s [-v]",
		$option, $0;
	exit 1;
    }
}

#
# Unbuffer standard output.
#
select((select(STDOUT), $| = 1)[0]);

#
# Receive a bunch of attributes, evaluate the policy, send the result.
#
while (<STDIN>) {
    if (/([^=]+)=(.*)\n/) {
	$attr{substr($1, 0, 512)} = substr($2, 0, 512);
    } elsif ($_ eq "\n") {
	if ($verbose) {
	    for (keys %attr) {
		syslog $syslog_priority, "Attribute: %s=%s", $_, $attr{$_};
	    }
	}
	fatal_exit "unrecognized request type: '%s'", $attr{request}
	    unless $attr{"request"} eq "smtpd_access_policy";
	$action = smtpd_access_policy($attr{"client_name"},$attr{"reverse_client_name"},$attr{"client_address"},$attr{"sender"},$attr{"recipient"},$attr{"helo_name"});
	my $log_text = "client_name=".$attr{"client_name"}." reverse_client_name=".$attr{"reverse_client_name"}." client_address=".$attr{"client_address"}." sender=".$attr{"sender"}." recipient=".$attr{"recipient"}." helo_name=".$attr{"helo_name"};
	my $country = get_country($attr{"client_address"});

	syslog $syslog_priority, "%s Country=%s Action=%s", $log_text, $country, $action;
	print STDOUT "action=$action\n\n";
	%attr = ();
    } else {
	chop;
	syslog $syslog_priority, "warning: ignoring garbage: %.100s", $_;
    }
}