Быстрая проверка

MailList Validator tech. support

Модератор: Max Terentiev

Сообщение
Автор
Torion

Быстрая проверка

#1 Сообщение Torion » Пт сен 08, 2006 6:21 am

Спасибо за ОЧЕНЬ нужную программу, Максим!
Но она явно сырая... "Быстрая проверка" таковой в действительности не является. Вот тебе некоторая статистика: Проверка 1 млн. адресов, быстрая проверка, время запуска - вчера в 19.00, время окончания - на 9.00 утра закончено только 98%. Как ты сам понимаешь, такую проверку "быстрой" назвать трудно. Чувствуется явная недоработка этого режима. Обрати внимание на High Speed Verifyer (http://www.massmail.ru/hsv/). На мой взгляд там всё сделано правильно кроме удобной работы с базой адресов.
Так же необходима проверка валидности того, что содержится в MX записи. Зачастую встречал, что там стоит или localhost, или что-то типа 10.10.222.1 (это когда почта внутренняя для своей сети, но растяпы сисадмины выдают эти адреса "наружу"). Как сам понимаешь, по таким адресам почту не отправишь. Проверить MX хотя бы на однозначно "кривые" IP-адреса (10.0.0.0/8, 192.168.0.0/16, 172.16.0.0/12, 127.0.0.0/8 ) думаю будет несложно.
Еще одна необходимая проверка. Предположим, что DNS выдал MX mail.superfirma.ru, а вот A записи для mail.superfirma.ru не существует. Такое тоже бывает сплошь и рядом.
Алгоритм такой проверки вижу следующим образом: Получаем MX запись, по полученной записи ищем А запись, полученный IP-адрес проверяем на "кривые" адреса и прочие несуразности. Если еще пробуем и коннект на 25 порт, то будет совсем "кучеряво", тем более что при наличии кэширования такая проверка будет производиться всего лишь один раз за всю сессию проверки и скорость не сильно упадет.
Удачи, Макс, ждем доработки!

Torion

#2 Сообщение Torion » Пт сен 08, 2006 7:03 am

И еще в догонку... Обычная практика когда указано несколько MX серверов. Причем иногда бывают "хитрые" ловушки. Например, есть три мэйл сервера:
MX 10 mail1.firma.ru
MX 20 mail2.firma.ru
MX 30 mail3.firma.ru
При передаче почты все, естественно, коннектятся на MX 10 mail.firma.ru. При этом на этом сервере стоит тайм-аут 2 минуты, после чего этот сервер начинает разговаривать, но всю отправляемую тобой почту принимает за спам, а затем в этом домене твой адрес вообще блокируется... А всё оказывается очень просто. "Нормальные" SMTP сервера при коннекте на такую "бяку" сами отваливаются по своему тайм-ауту через 30 сек. и идут на MX 20 mail2.firma.ru где их почта успешно принимается. А вот "кривые" SMTPшники такого не делают и попадают в просак. Как видишь, всё просто и изящно. Не хотелось бы, чтобы твой софт попадал в такие ловушки.

Аватара пользователя
Max Terentiev
Admin
Сообщения: 1937
Зарегистрирован: Сб мар 27, 2004 12:01 am
Откуда: Санкт-Петербург
Контактная информация:

#3 Сообщение Max Terentiev » Пт сен 08, 2006 4:46 pm

Добрый день,

Спасибо за предложения ! Буду реализовывать.

Что касаетя скорости: она была на 98% и продолжала проверять ? Или просто стояла на 98% ? В последнем случае это может быть баг...

Аватара пользователя
Max Terentiev
Admin
Сообщения: 1937
Зарегистрирован: Сб мар 27, 2004 12:01 am
Откуда: Санкт-Петербург
Контактная информация:

#4 Сообщение Max Terentiev » Пт сен 08, 2006 5:34 pm

Сейчас довел скорость DNS проверки до 20 000 адресов в минуту. Такая скорость является нормальной для такого режима ?

Torion

#5 Сообщение Torion » Вт сен 12, 2006 8:35 am

Да нет, не стояла, а продолжала проверять, но ОЧЕНЬ медленно. У меня сложилось впечатление, что DNS сервера, и pramary, и secondary просто "опухли" от такого количества запросов и просто стали "тормозить", т.к. имеем кучу вот таких логов:

Checking address: defoshdr@bk.ru

Resolving remote host...
500 Connection timed out (Winsock error #10060)
Check result UNKNOWN


А возможно, что тормозить стали DNS сервера доменов которые проверялись из-за большого количества запросов с одного IP.

1 000 000 / 20 000 = 50 минут - это очень даже неплохо! Когда ждать релиз? :-)

Аватара пользователя
Max Terentiev
Admin
Сообщения: 1937
Зарегистрирован: Сб мар 27, 2004 12:01 am
Откуда: Санкт-Петербург
Контактная информация:

#6 Сообщение Max Terentiev » Вт сен 12, 2006 10:23 am

где-то через неделю

Art!P

#7 Сообщение Art!P » Сб сен 23, 2006 9:20 am

Я вот могу предложить еще как бы вариант сложный и никак конечно не может быть использовано при "быстром DNS",просто столкнулся
этапы:
1) определения NS-серверов домена. В делом в том что мой провайдер мягко говоря не имеет понятия о большенстве доменах в зоне ru =(. я могу другой установить но снижается скорость обработки. Хотя большей частью это грех прова а не проги. Часто возникают ситуации когда мыло станет "невалидным". Тут юзеру решать стоит ли пользовать этот режим

2) ну определяет что MX-сервера. это нормально что сервер перегружен (выдаёт 4хх). список определнных серверов нельзя ограничивать только одной записью, можно (желательно) предусмотреть возможность дополнительно проверить по списку (если mx-серверов больше одного).
Torion писал(а):блокируется... А всё оказывается очень просто. "Нормальные" SMTP сервера при коннекте на такую "бяку" сами отваливаются по своему тайм-ауту через 30 сек. и идут на MX 20 mail2.firma.ru где их почта успешно принимается. А вот "кривые" SMTPшники такого не делают и попадают в просак. Как видишь, всё просто и изящно. Не хотелось бы, чтобы твой софт попадал в такие ловушки.
3) ну в список "бяков" SMTP-сервер ваш IP не вносит. Причина таймаута - исключить проверки валидности (потому что обычно есть другие MX-сервера для приема почты). либо ваш IP уже в списках RBL(CBL,XBL), есть правда еще grey list - обратите внимание есть неплохая стсатья http://www.eserv.ru/Grey_Listing/
можно например осуществить допроверку адресатов (долбить дней через 1-2)

может быть я и не прав

Гость

#8 Сообщение Гость » Сб сен 23, 2006 9:32 am

можно например осуществить допроверку адресатов (долбить дней через 1-2)
ну она есть оказывается, "перепроверка плохих" адресатов

karsidar
Сообщения: 6
Зарегистрирован: Пт июл 03, 2009 9:37 am

#9 Сообщение karsidar » Чт окт 01, 2009 7:01 am

Torion писал(а):...
Resolving remote host...
500 Connection timed out (Winsock error #10060)
Check result UNKNOWN
Та же самая ошибка и у меня.
Макс, что может быть?

Аватара пользователя
Max Terentiev
Admin
Сообщения: 1937
Зарегистрирован: Сб мар 27, 2004 12:01 am
Откуда: Санкт-Петербург
Контактная информация:

#10 Сообщение Max Terentiev » Чт окт 01, 2009 8:32 am

Таймаут.

Если ошибка всегда только эта - скорее всего прописан не рабочий DNS сервер.

Serebrjany mir
Сообщения: 5
Зарегистрирован: Пт сен 11, 2009 10:06 pm
Откуда: Россия

Áûñòðàÿ ïðîâåðêà

#11 Сообщение Serebrjany mir » Чт окт 01, 2009 1:51 pm

÷òî âî âðåìÿ ïîëíîé ïðîâåðêè ëó÷øå ïðîâåðÿòü âñ¸
×òî-òî çåëî äîëãî ó Âàñ Âýáîâñêàÿ ïàïêà ïðîâåðÿëàñü. Òàì ó Âàñ ñëó÷àåì íåò .tmp ôàéëîâ, îñòàâøèõñÿ ïîñëå íåêîððåêòíîãî çàâåðøåíèÿ ðàáîòû Ñêàíåðà?

karsidar
Сообщения: 6
Зарегистрирован: Пт июл 03, 2009 9:37 am

#12 Сообщение karsidar » Чт окт 01, 2009 3:04 pm

Max Terentiev писал(а):Таймаут.

Если ошибка всегда только эта - скорее всего прописан не рабочий DNS сервер.
Немного другая причина была - пров закрыл 25 порт ;)

Макс, а можно ли как-то при сохранении списка проверенных хороших адресов экспортировать еще одно поле (фио)?

Аватара пользователя
Max Terentiev
Admin
Сообщения: 1937
Зарегистрирован: Сб мар 27, 2004 12:01 am
Откуда: Санкт-Петербург
Контактная информация:

#13 Сообщение Max Terentiev » Пн окт 05, 2009 4:57 am

Нет, на данный момент нельзя.

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей