Сети / Статистическое испытание девятнадцати внешних модемов на реальных линиях
 
Илья Хрупалов, fe@computerra.ru, 20.09.2000

Соавторство: Максим Шатилов, Павел Митронов


Модемарш

Испытательный стендКакой модем выбрать? Рано или поздно на этот вопрос должен ответить каждый, кому замкнутый мирок собственного компьютера перестал быть интересным, кому захотелось общения, информации и попросту нового измерения свободы, которое называют Интернетом.

Казалось бы, что тут такого: идешь в магазин и покупаешь — к счастью, выбор широк — понравившейся тебе, скажем цветом, модем. Приносишь его домой, с трепетом подключаешь к компьютеру и… начинается: связь постоянно рвется, либо, еще хуже, модем вообще отказывается соединяться с конкретным Интернет-провайдером.

Выбирая жесткий диск или графическую плату, вы можете проиграть в скорости считывания или качестве картинки, но, как правило, не окажетесь в ситуации, когда диск или графическая карта наотрез откажется работать. При выборе модема вы рискуете буквально всем. Модему приходится иметь дело с переменной составляющей — телефонной линией, качество которой отличается от случая к случаю настолько сильно, что может стать серьезной помехой для связи с провайдером вообще.

Мы были не первыми, кто задался вопросом, как можно объективно сравнить модемы различных производителей. Пионером в разработке этой темы была и остается по сей день московская компания «Аналитик ТС». Она первой разработала методику тестирования и, что самое главное, создала имитатор искажений телефонного канала AnCom SIM-3 — прибор, с помощью которого это тестирование можно проводить в лабораторных условиях. Суть методики состоит в следующем. На основании данных Министерства связи РФ было составлено три обобщенных «портрета» находящихся в эксплуатации в России телефонных линий — низкого, среднего и хорошего качества. Было предложено смоделировать эти «портреты» на приборе, таким образом поставив всех в равные условия, и сделать выводы о качестве модемов на основе скорости передачи данных на каждом типе линии. Новая версия имитационно-измерительного комплекса AnCom CANAL-5, увидевшая свет в 1999 году, сделала возможным не только имитацию линии, но и изучение помехоустойчивости модемов к типичным воздействиям, например, искажению фазы, смещению частоты несущей и т. п. На сегодняшний день опубликовано уже не одно тестирование по данной методике, и нет никаких оснований не доверять полученным результатам. К сожалению, AnCom CANAL-5 не имеет цифрового интерфейса для подключения серверных модемов, работающих по технологии V.90. Именно тех, которые на сегодняшний день используют все крупные Интернет-провайдеры. Попросту говоря, с помощью AnCom CANAL-5 нельзя сравнить модемы при работе на протоколе V.90.

Начиная это тестирование, мы поставили перед собой задачу сделать то, чего в России не сделал пока никто — сравнить модемы, работающие по протоколу V.90, в условиях, где в принципе возможна работа на V.90. Оборудование российского производства было бессильно нам помочь. Мы обратили свой взор на Запад и довольно быстро поняли, что ждать помощи оттуда тоже нет оснований. Не то чтобы там нет такого оборудования — просто приборы подобного класса, как, например, TAS Series II Digital Telephone Network Emulator (www.taskit.com), стоят десятки тысяч долларов и в силу специфики находят спрос прежде всего у разработчиков, которых в России нет.

В тупике лабораторных испытаний мы крепко задумались. Но почему бы не тестировать на реальных линиях, непосредственно с Интернет-провайдерами? На первый взгляд, это утопия. Судите сами. Телефонная сеть — это сеть с коммутацией каналов. В разное время суток, в зависимости от нагрузки, набирая один и тот же номер, она будет коммутировать нас к провайдеру по различным маршрутам, а следовательно, качество канала связи непредсказуемо. Это, безусловно, скажется на результирующей скорости перекачки файлов. Однако соблазн провести тест на реальных линиях был силен. Ведь в данном случае мы испытываем модемы именно в той ситуации, с которой столкнутся рядовые пользователи у себя дома. Это важное обстоятельство придало нам новую энергию, и мы начали искать способы организации достоверного эксперимента на реальных телефонных линиях. На этом пути мы встретили множество вопросов, которые, возможно, уже приходят и вам в голову.

По какому критерию сравнивать модемы? Мы решили сделать это на основании времени, требуемого для приема тестового файла из Интернета. В качестве такого файла выступила заглавная страница сервера www.computerra.ru. Мы сохранили ее HTML-код и приклеили к нему используемые картинки. Получился файл размером около 130 Кбайт. Для увеличения «веса» мы скопировали все это пять раз подряд. На наш взгляд, полученный таким образом объект вполне применим для имитации типичного потока данных, с которым сталкивается модем, обслуживая ваше путешествие по Сети. Время скачивания полученного файла по линии среднего качества, в зависимости от обстоятельств, составляет 6–9 минут. Как показала практика, этого вполне достаточно, чтобы модем успел достаточно красноречиво проявить себя, например, совершить один или несколько ретрейнов или даже разорвать связь. Важно, что в набор входили как хорошо сжимаемые данные (HTML-код), так и практически несжимаемые (картинки в формате JPG и GIF), — это позволяло оценить оптимизацию алгоритмов аппаратной компрессии, применяемых в модемах. Тестовый файл размещался непосредственно на сервере у Интернет-провайдера, к которому совершался звонок, чтобы гарантировать доступ на высокой скорости. Дабы максимально приблизить условия теста к работе в Интернет, для подключения в сеть использовался стандартный Dial-Up adapter из состава Windows, а файл скачивался по протоколу HTTP при помощи программы ReGet 1.6 (www.reget.com), позволяющей автоматизировать процедуру загрузки файла и, кроме того, протоколировать все происходящее, в том числе и интересующее нас время, затраченное на прием файла.

Как поставить модемы в равные условия? Это стержневой вопрос. В условиях, когда от попытки к попытке идентичность канала не гарантируется, контуры картины может дать только статистически значимое число попыток. Согласитесь, что можно скептически относиться к обзору пяти попыток, но нельзя отрицать тенденции, обнаруженные при анализе пятидесяти экспериментов. Итак, первое, что мы постановили — это большое число попыток. Известно, что телефонная сеть испытывает различную нагрузку в разное время суток и дни недели. Чтобы уменьшить влияние этого фактора, мы чередовали модемы в каждой попытке. На практике это означает следующее. После того как первый модем полностью принял файл, очередь переходила ко второму модему, и так далее до последнего участника теста. На момент завершения цикла первой попытки каждый из участников принимал файл по одному разу. После этого очередь вновь передается первому модему, и он принимает файл во второй раз. Учитывая, что среднее время одной попытки (полного сеанса) составляет 5 минут, а всего в нашем тесте было девятнадцать участников, общее время между попытками каждого участника составляло около 95 минут. Нетрудно подсчитать, что при таком раскладе время, требуемое для совершения полусотни попыток, составляет порядка восьмидесяти часов, или трое с лишним суток. (Это идеальный вариант, чистое время. В действительности забег, даже автоматизированный растягивался и до десяти дней. Например, каждое неопределение «занято» выливалось в минуту тайм-аута. Банальное зависание системы требовало кропотливой проверки девятнадцати устройств.) Можно с большой вероятностью считать, что распределение попыток по времени суток при построении эксперимента указанным образом будет достаточно равномерным, то есть все модемы окажутся в равных условиях.

Можно ли сделать однозначный вывод на основании проверки модемов на реальной телефонной линии? Безусловно, нет. Как, впрочем, и в случае их сравнения на имитаторе телефонных каналов. В нашем случае адекватность результата зависит от того, насколько выбранная нами конкретная линия показательна, то есть похожа на другие. В случае с имитатором все зависит от того, насколько точно имитируется среднестатистическая линия. Представьте себе, что вам необходимо подобрать пилота для личного самолета и делаете это вы по результатам тестовых полетов на флайт-симуляторе компьютера. Абсурдно, не так ли? В нашем тесте мы предоставили пилотам возможность совершить реальные полеты, по реальному маршруту, хотя гарантировать, что они смогут поднять машину в воздух на другом аэродроме, мы не можем…

Для пущей объективности мы использовали две телефонные линии различного качества. Одна из них, которую мы называем линией среднего качества, находилась на обычной московской координатной АТС номер 420 и была найдена без особого труда. Линию отличного качества в полное (круглосуточное) распоряжение получить было куда труднее, и это серьезно приостановило тестирование. К счастью, у нас есть надежные партнеры, и вторая тестовая линия была любезно предоставлена компанией Combellga на цифровой АТС номер 933/937. Поскольку в задачу теста входило исследование модемов на протоколе V.90, выбор линии среднего качества был сделан с таким расчетом, что на ней в принципе было возможно соединение и работа на V.90. Что касается цифровой линии Combellga, то это мечта обладателя модема — практически все модемы за редким исключением без труда соединялись на ней, используя протокол V.90 и работали в среднем в 1,5–2 раза быстрее. (Первоначально планировалась и третья линия — плохого качества. Но временные затраты уже на средней оказались столь высоки, что нам пришлось от этой идеи отказаться.)

Серверные модемы какого производителя выбрать? В эпоху массового применения Интернет-провайдерами аналоговых модемов вопрос о выборе оборудования для модемных входов решался в большинстве случаев в пользу US Robotics/3Com. Сегодня, когда все крупные провайдеры применяют цифровые модемные пулы с высокой плотностью портов, в России широко используются решения трех производителей — Cisco, 3Com и Livingstone. Поскольку вопрос о первенстве в этой области уже не так однозначен, как раньше, мы решили тестировать со всеми тремя типами цифровых модемных пулов отдельно. Понятно, что время необходимое для экспериментов при этом возрастает втрое. Но чего же не сделаешь в поисках истины. Таким образом, для проведения тестов мы выбрали три цифровых модемных пула различных производителей. Все они находятся на одном телефонном индексе 995 для корректности сопоставления полученных результатов.

  • Cisco на номере 995-5555 был предоставлен Интернет-провайдером «МТУ-Интел».
  • Livingstone PortMaster на номере 995-2111 был предоставлен Интернет-провайдером «Россия-Он-Лайн».
  • 3Com Total Control Hub на номере 995-1060 был предоставлен Интернет-провайдером Zenon N.S.P.

Итак, каждый из провайдеров предоставил нам временный бесплатный логин и, как уже говорилось выше, разместил наш тестовый файл на своем HTTP-сервере.

Как с технической точки зрения организовать эксперимент? Не подумайте, что мы отважились проделать все описанные выше манипуляции с инициализацией модемов вручную. Это просто немыслимо. Возможно, именно это останавливало других от проведения эксперимента подобного плана. Нам на помощь пришли компании Flash Computers и Diamond Communications. Первая предоставила быстрый компьютер (Celeron 500, системная плата Chaintech на i810, винчестер Quantum KA), а вторая — могучую многопортовую плату AccelePort компании Digi International. AccelePortОснащенная собственным процессором она может, практически не загружая центральный процессор компьютера, обслуживать шестнадцать модемов! По ходу пьесы, не без компетентной помощи службы техподдержки Microsoft, выяснилось, что Windows 95/98 способна видеть в системе лишь восемь портов, зато Windows NT такого ограничения не имеет. Все бы ничего, но в наш тест просились три USB-модема, и мы решили применить новоиспеченную Windows 2000 Server Edition. Она приятно удивила нас тем, что узнала AccelePort как старого друга и даже не потребовала диск с драйверами. Следующий сюрприз преподнесла шина USB. Лишь один модем из трех — MultiTech MT5634ZBA-USB — после загрузки последней версии микропрограммы удалось использовать в Windows 2000. Два других — Phoebe USB V1456VQE-R2 и ZyXEL Omni 56K Plus на момент проведения тестирования не имели соответствующих драйверов. Но нас уже нельзя было остановить. На ум пришло красивое, завораживающее сложностью решение: использовать второй компьютер (конкретно ноутбук), имеющий USB-шину и работающий под Windows 98 SE.Гордиев модемный узел С помощью сетевого оборудования TrendNet и CNet, любезно предоставленного компаниями M4-MultiCo и MAS Elektronik AG, мы соединили два компьютера в сеть для синхронизации попыток в порядке общей очереди. Таким образом, в стенд вошли настольный компьютер с семнадцатью модемами (шестнадцать через плату AccelePort и один через шину USB) и один ноутбук с двумя модемами, подключенными через USB-хаб TrendNet.

Все модемы устанавливались в Windows с использованием прилагаемых драйверов и принуждались к соединению с коррекцией ошибок. Никаких специальных дополнительных настроек не производилось. Не будем оспаривать, что для каждого модема на каждой конкретной линии, в конкретное время суток, с каждым цифровым модемным пулом можно подобрать оптимальную строку инициализации. Но тогда сравнивать просто нечего. Мастерство, или, если хотите, ноу-хау, производителя именно в том и состоит, чтобы избавить рядовых пользователей от этого кошмара. Врезка Павла Митронова напомнит вам, насколько сложна настройка модема.

Наконец, замечание по поводу версий микропрограмм. Мы брали модемы у продавцов, то есть в том виде, в каком их получат покупатели. Не исключено, что за время тестирования производители модемов выпустили новые версии микропрограмм, в которых были исправлены ошибки и улучшены алгоритмы. Но вряд ли стоит ожидать революционных улучшений. Ни одна серьезная компания не начнет массовые поставки устройств с «сырыми» прошивками. Единственное исключение было сделано для модема USR Courier V.Everything по просьбе московского офиса 3Com. Вместо стандартной международной прошивки в него была установлена прошивка для России, разработанная Игорем Дягилевым, так называемый «Русский SDL» (ID_SDL). По заявлению сотрудников офиса 3Com, именно эта прошивка должна была появиться к лету в модемах Courier, поставляемых на российский рынок.

Итак, все готово. Осталось только запустить тест в работу. В этом нам помогла небольшая условно-бесплатная программа GroundControl version 2.04 от компании Acrasoft. Выполняя специально написанный скрипт, GroundControl действовала по следующему сценарию:

1. Вызывала ReGet и, выбрав предварительно сконфигурированное соединение для соответствующего модема, просила скачать требуемый файл. После этого инициатива переходила в руки ReGet, которая дозванивалась до провайдера, устанавливала соединение (стандартными средствами Windows) и запрашивала файл. Если связь рвалась, ReGet требовала файл снова и снова, пока не добивался всех 645 килобайт. При этом все паузы, связанные с повторным набором номера, были равны нулю. То есть в случае сбоя повторный набор происходил без задержек. Разумеется, при повторном соединении ReGet докачивала файл с того самого места, на котором произошел сбой, а не с самого начала.

2. Далее GroundControl сохраняла журнал (log-файл), составленный программой ReGet, а также журнал модема, который создает сама Windows, — в отдельный журнал и, удалив принятый файл, переходил к следующему модему. После того как все участники теста на настольном компьютере скачивали файл по одному разу, инициатива переходила к ноутбуку, который обслуживал два оставшихся модема, и затем передавал ход на настольный компьютер.

3. Этот цикл продолжался до тех пор, пока не набиралось необходимое число полных сеансов на одном пуле.

В итоге на каждой телефонной линии с каждым цифровым модемным пулом мы получили журналы для каждого модема. Эти журналы были обработаны специальной программой, чтобы привести их табличному виду.

 


 
Intro. Модемарш
Расчеты. Таблицы. Пояснения >>


Илья Хрупалов
fe@computerra.ru
 
Менеджер проекта "КомпьФерра"