Русский язык SpamAssassin

Начнем со статистики.
По странам:
ХАМ:

RU XX	371
RU RU	327
RU	141
US	21 = 2.3%
Итого	860
Всего	900

СПАМ, который просочился:

RU	127
RU RU	61
RU XX	39
Итого	227 = 31.4%
Всего	723
US	103 = 14.2%

IT	34
JP	22
CN	18
IE	11
US XX US 11
US US US 11
CZ CZ	10
UA UA	9
IN, RO, TR, AU, NL - 9
Всего	171 = 23.7%

По темам, пока приблизительно:

семинар - 45 = 6,3%
DVD (фильмы) - 51 = 7,1%
реклама (рассылки) - 77 = 10,7%
Порно (взрослые) - 220 = 30%
Всего - 720

Соответственно, пишу правила для Relay-Country и X-Language. Больше их трогать не буду.

#я все-таки добавил в languages определение русского языка в utf-8, работает отлично.
header          __LOCAL_LANG_RU X-Languages=~/ru.utf-8/

#самые хорошие страны
header          LOCAL_COUNTRY_RU X-Relay-Countries=~/(^RU XX)|(^RU RU)|(^RU)/
score           LOCAL_COUNTRY_RU -1

#США
header          __LOCAL_COUNTRY_US  X-Relay-Countries=~/^US$/

#плохие страны согласно статистике.
header          LOCAL_COUNTRY_SPAM X-Relay-Countries=~/(^CN)|(^JP)|(^IT)|(US XX US)|(US US US)|(UA UA)|(CZ CZ)|IE|IN|RO|TR|AU|NL/
score           LOCAL_COUNTRY_SPAM 10

#эл.адрес дотком или дотру
header          __LOCAL_FROM_COM From=~/\.(com|net)>?$/
header          __LOCAL_FROM_RU  From=~/\.ru>?$/

#адрес ком - страна ру
meta            LOCAL_REPLY_NOT_RU (__LOCAL_FROM_COM && LOCAL_COUNTRY_RU)
score           LOCAL_REPLY_NOT_RU 3

#Хостинг ру сайта в США
meta            LOCAL_US_HOSTING (__LOCAL_FROM_RU && __LOCAL_COUNTRY_US)
score           LOCAL_US_HOSTING -0.5

#адрес ком, страна США, язык письма - русский!
#очень хочется здесь порезать хорошо, думаю как исключить gmail и им подобные
meta            LOCAL_US_FROM_COM_RU (__LOCAL_FROM_COM && __LOCAL_COUNTRY_US && __LOCAL_LANG_RU)
score           LOCAL_US_FROM_COM_RU 1

#послабления кривым клиентам, тупым админам и корявым скриптам
score FROM_ILLEGAL_CHARS 1          #From: has too many raw illegal characters
score HEAD_ILLEGAL_CHARS 0.6        #Headers have too many raw illegal characters
score SUBJ_ILLEGAL_CHARS 0.6        #Subject: has too many raw illegal characters
score FORGED_MUA_OUTLOOK 1          #Forged mail pretending to be from MS Outlook

#то, что приходит только в спаме
score DATE_IN_PAST_06_12        3   #Date: is 6 to 12 hours before Received: date
score DIGEST_MULTIPLE           3   #Message hits more than one network digest check
score MIME_QP_LONG_LINE         3.5 #Quoted-printable line longer than 76 chars
score MIME_HEADER_CTYPE_ONLY    3.5 #'Content-Type' found without required MIME headers

А вот и мои первые русские правила.
Идея гениальная.
Сначала отрезаем письма, в которых встречаются последовательно русские-нерусские буквы.
scores надо поставить побольше, чтобы в остальных правилах на этот казус не обращать внимания.
Таким образом, самые "умные" спамеры - веб-сайты, рассылки и т.д. отпадут сразу.
Почему не страшно писать об этом правиле вслух :
если им не будут пользоваться - оно будет отлично срабатывать у меня.
если им будут пользоваться - спамеры больше не будут так делать.
И то, и то хорошо.

Чтобы это по-нормальному сделать пришлось подумать.
В документации по SpamAssassin очень мало написано как писать правила, но смый лучший способ оказался плагин.
Чтобы не мучаться с трехэтажными regexp'ами, а писать нормальные правила на перле.

Вот первое правило:

#cat /etc/spamassassin/russian.cf

loadplugin     Mail::SpamAssassin::Plugin::RusEval

body LOCAL_RUS_LAT      eval:check_test()
score LOCAL_RUS_LAT 6

#body LOCAL_TEST        eval:check_count_regexp("кл")

LOCAL_RUS_LAT - это то самое правило.
LOCAL_TEST - это тест.
Следующие правила будут такие - куча тестов на вхождение определенного слова, написанного на русском языке, а не на корявых \xD0\xA1 в текст сообщения.
При проверке этого теста выявились ошибки:
если regexp = "123", то $body приходит нормально.
если regexp = "кл", то $body приходит абракадабра. Думаю как его раскодировать. Что-то я сделал неправильно.
Буква Р (Эр русская заглавная) - не понимается перлом как я не бился.
Можете не сомневаться, я проверил весь алфавит в обоих регистрах.
У других товарищей это тоже не получается - http://www.spamassassin.tu2.ru/index.php (выбрать UTF и поставить букву Р) причина непонятна.
Согласно http://www.utf8-chartable.de/unicode-utf8-table.pl

Unicode    character    UTF-8	name
code point		(hex.)

U+0420  	Р	d0 a0	CYRILLIC CAPITAL LETTER ER

Для тех, кто не согласен писать русские правила привожу кусок английских.

body            __KAM_LOTTO1    /(e-?mail address (have emerged a winner|has won|attached to (ticket|reference)|was one of the ten winners)|random selection in our computerized email selection system)/is
body            __KAM_LOTTO2    /((ticket|serial|lucky) number|secret pin ?code|batch number|reference number|promotion date)/is
body            __KAM_LOTTO3    /(won|claim|cash prize|pounds? sterling)/is
body            __KAM_LOTTO4    /(claims (officer|agent)|lottery coordinator|fiduciary (officer|agent)|fiduaciary claims)/is
body            __KAM_LOTTO5    /(freelotto group|Royal Heritage Lottery|UK National (Online)? Lottery|U\.?K\.? Grand Promotions|Lottery Department UK|Euromillion Loteria|Luckyday International Lottery|International Lottery)/is
body            __KAM_LOTTO6    /(Dear Lucky Winner|Winning Notification|Attention:Winner|Dear Winner)/is

Ну что - нужны они Вам?

Теперь листинг плагина:

# cat /usr/lib/perl5/vendor_perl/5.8.8/Mail/SpamAssassin/Plugin/RusEval.pm

# <@LICENSE>
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to you under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at:
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# </@LICENSE>

=head1 NAME

RusEval - RusEval plugin

=head1 SYNOPSIS

  loadplugin     Mail::SpamAssassin::Plugin::RusEval
  header         LOCAL_RUS_LAT eval:check_test()

=head1 DESCRIPTION

To try this plugin, write the above two lines in the synopsis to
C</etc/mail/spamassassin/russian.cf>.

=cut

package Mail::SpamAssassin::Plugin::RusEval;

use Mail::SpamAssassin::Plugin;
use Mail::SpamAssassin::Logger;

use strict;
use warnings;

use utf8;
use POSIX qw (locale_h);
POSIX::setlocale(&POSIX::LC_CTYPE,'ru_RU.UTF-8');

use vars qw(@ISA);
@ISA = qw(Mail::SpamAssassin::Plugin);

# constructor: register the eval rule
sub new {
  my $class = shift;
  my $mailsaobject = shift;

  # some boilerplate...
  $class = ref($class) || $class;
  my $self = $class->SUPER::new($mailsaobject);
  bless ($self, $class);

  # the important bit!
  $self->register_eval_rule ("check_test");
  $self->register_eval_rule ("check_count_regexp");

  return $self;
}

sub check_count_regexp {
  my ($self, $pms, $text, $regexp) = @_;
  my $subj = @{$text}[0];
  my $body = @{$text}[1];

  my $count = 0;

#  print "\ncheck: $body - $regexp \n";
#  $body = pack("U*", unpack("C*",$body));

  while($body =~ /($regexp)/g) {
    $count++;
#    print "$1 ";
  }

  return $count;
}

sub __check_count_regexp {
  my ($self, $text, $regexp) = @_;
  my $subj = @{$text}[0];
  my $body = @{$text}[1];

  my $count = 0;

#  print "\n__check: $body - $regexp \n";

  while($body =~ /($regexp)/g) {
    $count++;
#    print "$1 ";
  }

  return $count;
}


# and the eval rule itself
sub check_test {
  my ($self, $pms, $text) = @_;

  my $rus = "((\xD0[\x81\x90-\xBF])|(\xD1[\x80-\x8F\x91]))";
  my $eng = "[A-Za-z]";
  my $count = 0;

  $count = $self->__check_count_regexp($text,$rus.$eng);
  $count += $self->__check_count_regexp($text,$eng.$rus);
#  print "check_test: - $count\n";

  return ($count>3);
}

1;

Если все пойдет нормально, то будем писать regexp'ы на русском, еще хочу чтобы /i работало.
Вот это настоящая русификация!!!

Жду Ваших комментариев и конечно же, критики.