Трафик это основной и единственный ресурс сети Интернет с точки зрения транспорта. Как известно, любая информация в сети Интернет передается в виде отдельных пакетов – блоков данных сравнительно небольшого размера, каждый из которых имеет адрес отправителя и получателя и путешествует по сети самостоятельно.

Трафик это суммарный объем пакетов, прошедших через точку наблюдения. Когда мы работаем с трафиком, мы абстрагируемся от содержимого пакетов, поскольку в этом контексте нас интересует не что именно передано, а сколько и откуда.

Если говорить об учете трафика при работе компаний с Интернетом, то возникает понятие трафика входящего и исходящего.

Учет трафика

Учет трафика появился вместе с развитием коммерческого сегмента сети Интернет. Как только появился платный ресурс, для любого пользователя, подключенного к провайдеру, стало интересно его учитывать, чтобы контролировать провайдера и понимать, на что расходуются деньги за связь.

Самому провайдеру необходимо не только учитывать трафик, ушедший к клиентам, но и вести подсчет трафика пришедшего в сеть провайдера снаружи – от других провайдеров.

Расчеты между провайдером и клиентом

Расчеты между провайдером и клиентом обрабатываются в так называемых системах биллинга, которые не только ведут учет трафика, но и содержат информацию о лицевых счетах клиентов, как правило, связаны с бухгалтерскими системами или самостоятельно генерируют для клиентов первичную бухгалтерскую документацию. Официальное название этого класса программного обеспечения - «автоматизированные системы расчетов».

Для использования программного продукта в качестве автоматизированной системы расчетов необходимо наличие сертификата соответствия по системе сертификации в области связи.

Внутренний учет трафика в организации

Внутри компании, подключенной к сети Интернет, имеется серьезнейшая мотивация для использования систем учета трафика.

То, насколько компания контролирует информацию своего бизнеса, теперь зависит от того, насколько она контролирует Интернет подключение!

Миллионы новых пользователей появляются в сети, постоянно снижая средний уровень квалификации его пользователей. Бурное развитие технологии направлено в основном на получение большей скорости, в то время как разработка и внедрение механизмов, которые должны обеспечивать учет трафика, контроль и безопасность серьезно отстает от технологии, ответственной за скорость.

Для того, чтобы контролировать трафик, необходимо, во-первых иметь точную и оперативную информацию о том, кто, сколько и каких ресурсов из Интернет потребляет, а во-вторых иметь возможность запретить доступ неблагонадежным пользователям или доступ к явно бесполезным ресурсам.

Учет трафика это только счетчик. Программные продукты должны уметь управлять доступом пользователей, обеспечивать защиту корпоративной сети, а также иметь различные дополнительные функции, облегчающие взаимодействие корпоративной сети с Интернетом. Такие серверы контроля корпоративного Интернет подключения в идеале должны полностью автоматизировать и управлять взаимоотношениями между корпоративной сетью и Интернетом.

Эволюция решений по учету трафика для корпоративных сетей

Существенная доля решений реализуется на базе компьютера или сервера, который либо маршрутизирует трафик, либо на нем имеется прокси сервер.

В наиболее продвинутых решениях обе модели реализованы одновременно.

На уровне операционных систем это решается в Microsoft Windows Server, FreeBSD или Linux.

Решения различаются как наборами основных, так и дополнительных функций. Лидеры отрасли имеют в своем арсенале максимальное количество взаимоувязанных сервисов, которые управляются из единого интерфейса.

Наиболее удобны для пользователя такие решения, дистрибутив которых устанавливает на ваш компьютер все, включая операционную систему и все необходимые программы и утилиты. Это значительно удобнее, чем устанавливать все по отдельности. Естественно, что такие решения базируются на ОС Linux или FreeBSD. Решения на базе UNIX-подобных систем зачастую не требуют абсолютно никаких знаний этих операционных систем от пользователя, поскольку все функции управляются через веб или иные интерфейсы.

Все решения на базе Microsoft требуют не только установки, но и приобретения пользователем других компонентов решения – операционной системы, СУБД и т.д. Также windows - решения предъявляют высокие требования по знанию операционной системы к администратору такого решения.

Чем более качественным является сервер контроля Интернет подключения, тем большее количество механизмов авторизации пользователей будет в нем присутствовать, позволяя гибко интегрировать систему в корпоративную сеть заказчика.

Если говорить о дальнейшем развитии серверов контроля корпоративного Интернет подключения, то можно выделить такие направления:

решения будут обзаводиться дополнительными сервисами, стремясь к обеспечению всех потребностей клиента по работе с Интернетом.

Довольно много работы будет выполнено по интеграции корпоративного почтового сервера и решение задач контроля СПАМ - рассылок и иных угроз, связанных с электронной почтой.

Вообще компонент информационной безопасности в серверах контроля корпоративного Интернет - доступа будет существенно усиливаться.

Развитие пользовательских интерфейсов пойдет по пути упрощения и автоматизации, чтобы корпоративный Интернет - доступ сравнялся по простоте настройки, скажем, с мобильным телефоном.

Методы учета трафика

В зависимости от архитектуры сервера контроля корпоративного Интернет доступа могут быть задействованы различные методы получения данных о потреблении трафика.

Перехват пакетов

Для решений, которые сами маршрутизируют трафик наиболее удобным способом, является перехват пакетов, проходящих сквозь сервер для того, чтобы вести учет трафика. При этом система записывает в базу данных сведения об адресате и отправителе пакета, его размер, и возможно дополнительную информацию. Суммирование этих записей за определенный период и соотнесение получателя с реальным пользователем системы и дает информацию о потреблении трафика этим пользователем.

Анализ журналов

Для тех решений, которые стремятся выдать больше данных по трафику, необходим анализ файлов журналов внешних или собственных серверов.

Например, анализ журнала почтового сервера позволяет определить, кому из пользователей зачесть трафик в объеме размера почтового сообщения. Обработка лог-файлов прокси - сервера поможет не только показать объем полученного пользователем трафика, но и точно указать объект, закачка которого привела к этому потреблению.

Некоторые программы являются всего лишь анализаторами лог-файлов прокси - серверов и хотя это позволяет выдать довольно большой объем информации, но в ряде случаев его может быть явно недостаточно.

Оптимальным вариантом является сбор данных из всех возможных источников: перехват пакетов, анализ журналов, так как это приводит к более полному отражению ситуации с потреблением трафика.

Авторизация пользователей

Важнейшей функцией серверов контроля корпоративного Интернет подключения является авторизация пользователей. Это механизм, посредством которого сервер отличает одного пользователя от другого. В наиболее продвинутых решениях таких механизмов должно быть несколько, для того, чтобы программу е можно было настроить под любую сеть, а не сеть приходилось настраивать под решение.

Крайне важна поддержка таких механизмов, как авторизация через Active Directory, посредством контроллера Windows - домена, так как во многих организациях именно этот механизм применяется для ведения учетных записей пользователей.

Другие механизмы авторизации, достойные упоминания это авторизация по IP адресу (как говорилось ранее не самая удобная и безопасная, но в ряде случаев необходимая), авторизация посредством туннелей, когда пользователь создает VPN подключение к серверу контроля корпоративного Интернет - доступа (например PPTP или L2TP), авторизация по протоколу PPPoE.

Важнейшим плюсом для решения является возможность комбинирования различных механизмов авторизации при их одновременной работе. Это очень сложно и реализовано лишь в единицах решений.

Прокси-сервер

Использование

Чаще всего прокси-серверы применяются для следующих целей:

• Обеспечение доступа с компьютеров локальной сети в Интернет.
• Кэширование данных: если часто происходят обращения к одним и тем же внешним ресурсам, то можно держать их копию на прокси-сервере и выдавать по запросу, снижая тем самым нагрузку на канал во внешнюю сеть и ускоряя получение клиентом запрошенной информации.
• Сжатие данных: прокси-сервер загружает информацию из Интернета и передаёт информацию конечному пользователю в сжатом виде. Такие прокси-серверы используются в основном с целью экономии внешнего трафика клиента или внутреннего - компании, в которой установлен прокси-сервер.
• Защита локальной сети от внешнего доступа: например, можно настроить прокси-сервер так, что локальные компьютеры будут обращаться к внешним ресурсам только через него, а внешние компьютеры не смогут обращаться к локальным вообще (они «видят» только прокси-сервер). См. также NAT.
• Ограничение доступа из локальной сети к внешней: например, можно запретить доступ к определённым веб-сайтам, ограничить использование интернета каким-то локальным пользователям, устанавливать квоты на трафик или полосу пропускания, фильтровать рекламу и вирусы.
• Анонимизация доступа к различным ресурсам. Прокси-сервер может скрывать сведения об источнике запроса или пользователе. В таком случае целевой сервер видит лишь информацию о прокси-сервере, например, IP-адрес, но не имеет возможности определить истинный источник запроса. Существуют также искажающие прокси-серверы, которые передают целевому серверу ложную информацию об истинном пользователе.
• Обход ограничений доступа. Прокси-серверы популярны среди пользователей несвободных стран, где доступ к некоторым ресурсам ограничен законодательно и фильтруется.

Прокси-сервер, к которому может получить доступ любой пользователь сети интернет, называется открытым.

Виды прокси-серверов

Классификация прокси-серверов для целей анонимизации представлена в статье Веб-прокси.

Технические подробности

Клиентский компьютер имеет настройку (конкретной программы или операционной системы), в соответствии с которой все сетевые соединения по некоторому протоколу совершаются не на IP-адрес сервера (ресурса), выделяемый из DNS-имени ресурса, или напрямую заданный, а на ip-адрес (и другой порт) прокси-сервера.

При необходимости обращения к любому ресурсу по этому протоколу, клиентский компьютер открывает сетевое соединение с прокси-сервером (на нужном порту) и совершает обычный запрос, как если бы он обращался непосредственно к ресурсу.

Распознав данные запроса, проверив его корректность и разрешения для клиентского компьютера, прокси-сервер, не разрывая соединения, сам открывает новое сетевое соединение непосредственно с ресурсом и делает тот же самый запрос. Получив данные (или сообщение об ошибке), прокси-сервер передаёт их клиентскому компьютеру.

Таким образом прокси-сервер является полнофункциональным сервером и клиентом для каждого поддерживаемого протокола и имеет полный контроль над всеми деталями реализации этого протокола, имеет возможность применения заданных администратором политик доступа на каждом этапе работы протокола.

Прокси-серверы являются самым популярным способом выхода в Интернет из локальных сетей предприятий и организаций. Этому способствуют следующие обстоятельства:

• Основной используемый в интернете протокол — HTTP, в стандарте которого описана поддержка работы через прокси;
• Поддержка прокси большинством браузеров и/или операционных систем;
• Контроль доступа и учёт трафика по пользователям;
• Фильтрация трафика (интеграция прокси с антивирусами);
• Прокси-сервер — может работать с минимальными правами на любой ОС с поддержкой сети (стека TCP/IP);
• Многие приложения, использующие собственные специализированные протоколы, могут использовать HTTP как альтернативный транспорт или SOCKS-прокси как универсальный прокси, подходящий для практически любого протокола;
• Отсутствие доступа в Интернет по другим (нестандартным) протоколам может повысить безопасность в корпоративной сети.

В настоящее время, несмотря на возрастание роли других сетевых протоколов, переход к тарификации услуг сети Интернет по скорости доступа, а также появлением дешёвых аппаратных маршрутизаторов с функцией NAT, прокси-серверы продолжают широко использоваться на предприятиях, так как NAT не может обеспечить достаточный уровень контроля над использованием Интернета (аутентификацию пользователей, фильтрацию контента).

Наиболее распространённые прокси-серверы

• 3proxy (BSD, многоплатформенный)
• CoolProxy (proprietary, Windows)
• Eserv (GPL, Windows)
• HandyCache (shareware, Windows) бесплатен для домашнего использования
• Kerio Control (proprietary, Windows, Linux)
• Microsoft Forefront Threat Management Gateway, ранее Microsoft ISA Server (proprietary, Windows)
• nginx (веб-сервер, имеющий режим работы в качестве reverse proxy и часто для этого использующийся)
• Squid (GPL, многоплатформенный)
• Traffic Inspector (proprietary, Windows)
• UserGate (proprietary, Windows)
• Интернет Контроль Сервер (shareware, FreeBSD)
• TOR (BSD, многоплатформенный)

Веб-прокси

Схема подключения к Интернет через веб-прокси

Веб-прокси могут быть использованы для следующих целей:

• ускорения загрузки веб-сайтов;
• тестирования онлайн сервисов;
• обхода ограничений Администратора локальной сети на доступ к определенным адресам веб-сайтов;
• сокрытия реального IP-адреса и анонимного доступа к веб-сайтам;
• получения доступа к веб-сайтам закрытым для просмотра пользователей определенных стран;
• а так же многих других целей.

Использование веб-прокси

Веб-прокси устанавливается на веб-сервере и обеспечивает возможность его пользователям загружать произвольные веб-ресурсы от IP адреса этого сервера, что и обеспечивает анонимность веб-сёрфинга. Для использования веб-прокси, необходимо ввести адрес интересующего ресурса и, при желании указав дополнительные настройки, активировать переход. К дополнительным настройкам относятся:

• запрет/разрешение на обработку JavaScript;
• использование Cookie;
• кодирование веб-адреса и страницы;
• замена или очистка заголовка;
• и ряд других, зависящий от конкретного приложения.

При кодировании веб-адреса загружаемого ресурса применяются алгоритмы Base64 и Rot13. Для кодирования веб-страниц используется преобразование в HEX код всего текстового содержания веб-страницы. Применение этих методов позволяет получить доступ к страницам с запрещенным контентом и перейти по веб-адресу заблокированному Администратором. Административными методами противодействия использованию в локальных сетях веб-прокси могут стать: усиление фильтрации контента и блокировка адресов публичных веб-прокси.

Стоит отметить, что большинство хостеров запрещают устанавливать на дешевых тарифах виртуального хостинга веб-прокси по причине большой нагрузки на сервер и активного потребления входящего трафика. Несмотря на это ограничение, в Интернет широко распространено создание целых сетей веб-прокси, они представляют собой большое количество различных доменых имен, размещенных на одном или нескольких IP-адресах выделенных серверов. Такие сети используются их владельцами для получения прибыли от рекламы, размещаемой на этих ресурсах.

Популярные скрипты веб-прокси

CGIProxy

CGI прокси-сервер с поддержкой HTTP и FTP протоколов. CGIProxy обладает одной из полных и лучших среди аналогичных веб-прокси поддержек JavaScript, Flash и SSL (реализованной на OpenSSL и Net::SSLeay). Для своей работы веб-скрипт требует подключенный mod_perl или Perl 5.6.1 и выше. Настройка веб-прокси производится в текстовом формате и обладает большой гибкостью конфигурирования. Система фильтрации CGIProxy позволяет блокировать не только пользователей веб-ресурса, но и веб-сайты, запрашиваемые пользователями. Опции конфигурации позволяют ограничить типы загружаемого контента с целью сокращения нагрузки на веб-сервер, возможен переход в полностью текстовый режим изменением всего одного параметра настроек.

Glype Proxy

PHP прокси-сервер, который подобно PHProxy позволяет обходить внутрисетевые ограничения путем использования внешнего веб-сервера. Glype Proxy обладает улучшенной поддержкой JavaScript, фильтром для блокировки как определенных веб-сайтов, так и адресов с заданными ключевыми словами, еще одной полезной функцией Glype Proxy является встроенная система кэширования, которая экономит ресурсы сервера, тем самым повышает производительность веб-сайта при малых потреблениях ресурсов системы, даже при работе с видео, аудио и flash. Упрощенная установка скрипта на веб-сервер позволит без знания PHP уже после загрузки на сервер начать использование Glype Proxy, а поддержка «тем» оформления обеспечит возможность быстрого выбора веб-дизайна для веб-прокси.

PHProxy

PHP прокси-сервер (с поддержкой HTTP протокола), предоставляющий возможность обхода различных ограничений, установленных локальным прокси-сервером. Для примера, часто на университетских прокси-серверах закрыты наиболее популярные развлекательные веб-ресурсы, чтобы получить доступ к таким ресурсам, возможно использовать PHProxy. Для использования необходим внешний веб-сервер с поддержкой PHP, на котором установлен PHProxy.

Zelune

PHP прокси-сервер, который во многом отличается от аналогичных веб-скриптов. Основными отличительными чертами Zelune являются: необязательное, но возможное использование MySQL позволит администратору веб-прокси применить блокировку пользователей по странам. Встроенная система кэширования позволяет загружать ранее запрошенные веб-страницы из кэша веб-сервера, а не получать их заново с удаленных ресурсов. Полезной опцией для администраторов публичных веб-серверов будет возможность заменять блоки рекламы с запрошенных страниц на свои собственные, на данный момент поддерживаются рекламные блоки Google AdSense и Yahoo! Publisher Network. Панель администрирования Zelune обладает большим количеством настроек, которые позволят настроить веб-прокси в соответствии с индивидуальными требованиями владельца веб-сайта, контролировать размер кэша и блокировать доступ к веб-сайту по заданным IP адресам.

Проблемы использования публичных веб-прокси и их решение

Адрес веб-прокси не доступен

Прежде всего, это может быть связано с невозможностью зайти на веб-прокси из-за того, что он тоже является заблокированным ресурсом (внутри локальной сети Администратором или владельцем веб-прокси). Очевидное решение данной проблемы — попробовать другой ресурс.

Невозможность соединиться с желаемым ресурсом

С данной проблемой можно столкнуться в нескольких случаях:

• Маленькая скорость соединения между веб-прокси и введенным адресом ресурса не позволяет обработать и загрузить его при помощи используемого веб-прокси.
• Адрес введенного ресурса заблокирован на данном веб-прокси по каким-либо причинам.
• Веб-прокси может быть заблокирован владельцем сайта, адрес которого необходимо загрузить.

Данная проблема, вне зависимости от случая, может быть решена только путем использования другого адреса веб-прокси.

Фильтрация сильнее применяемых средств обхода

Невозможность просмотра из-за ограничений, накладываемых на содержание (контент) веб-сайта. Решением данной проблемы может стать изменение настроек веб-прокси. Обычно настройки скрыты и могут быть показаны после нажатия ссылки Options, находящейся в непосредственной близости от поля ввода адреса ресурса. Там можно установить различные параметры, наиболее полезной может оказаться активация следующих опций: «Encode URL», «Encode Page», «Strip page title», «Use base64 encoding on the address», наличие той или иной опции зависит от типа используемого веб-прокси.

Некоторые функции веб-сайта недоступны

Многие динамические ресурсы предоставляют пользователям ряд функций, выполнение которых должно производиться непосредственно на компьютере пользователя. Так как для доступа к этим ресурсам используется веб-прокси, то именно веб-прокси в данный момент является пользователем веб-сайта, доступ к которому необходимо получить. Поэтому из-за ряда технических проблем такие функции, как авторизация, отправка сообщений, поиск и прочие могут оказаться недоступными. Решение данной проблемы тоже заключается в небольшой дополнительной настройке веб-прокси. Обычно эти настройки скрыты и могут быть показаны после нажатия ссылки Options, находящейся в непосредственной близости от поля ввода адреса ресурса. Там можно изменить различные параметры, для решения этой проблемы рекомендуется отключить опции (снять галочки) «Remove Scripts», «Remove Objects» и проверить, установлена ли галочка напротив пункта «Allow Cookies».

Проксификатор - это программа, перенаправляющая другие программы через прокси-серверы.

Проксификаторы часто применяются для интернет-клиентов, которые не поддерживают прокси-серверы.

Программы-проксификаторы

NetworkTrafficView 1.31

NetworkTrafficView - удобный инструмент сетевого мониторинга, который перехватывает пакеты, проходящие через сетевой адаптер, и отображает общую статистику о сетевом трафике...

72 Kб | Бесплатная

NetBalancer 5.1.2 Free

NetBalancer - бесплатная утилита, с помощью которой пользователь может распределять интернет-трафик между отдельными приложениями. Программа позволяет не только устанавливать ограничение скорости на прием или отдачу, но и выставлять приоритеты сетевой...

1.91 Mб | Бесплатная

TMeter 12.1.615

TMeter - это средство учета трафика и организации доступа в Интернет для операционных систем Microsoft Windows. Используя TMeter, Вы можете производить гибкий и точный подсчет трафика по любому признаку (IP адрес источника/назначения, протокол, порт и т.д...

7.58 Mб | Бесплатная

DU Meter 5.30

DU Meter - удобная утилита для отслеживания в реальном времени скорости интернет соединения. Содержит широкий функциональный инструментарий для контроля и работы с трафиком, настройки его объема и времени соединения...

3.87 Mб | Условно-бесплатная

Lan2net NAT Firewall 3.0.287

Lan2Net NAT Firewall - Межсетевой экран на основе правил с функциями подсчета и ограничения трафика. Позволяет подключить локальную сеть к Интернет через одно соединение, защитить локальную сеть от атак, подсчитать трафик и т.д...

14.92 Mб | Условно-бесплатная

Интернет контроль сервер 2.4.0.11659-2012.02.15

Интернет Контроль Сервер - мощный программный комплекс, который отделит Вашу корпоративную сеть от Интернета, контролируя все информационные потоки и осуществляя учет трафика...

371.74 Mб | Условно-бесплатная

В начало страницы