Статьи Архив статей

Перевод: Мациевский Николай aka sunnybear
Опубликована: 29 декабря 2008

Развитие веба с 2000 до 2007

Ниже представлен перевод заметки "Evolution of the Web from 2000 to 2007", в которой приведены данные о росте размеров файлов в Интернете и изменении его структуры. Мои комментарии далее курсивом.

Веб очень сильно изменился за последние 7 лет. За это время Интернет прошел долгий путь и превратился из одностороннего средства распространения информации в динамическую платформу для интерактивных сервисов, таких как фото- и видео-порталы. В сравнительном исследовании характера передаваемой в сети информации с 2000 по 2007, проведенной сотрудниками Университета Twente, было установлено, что значительно изменилась сама природа веб-сайтов (Sadre и Haverkort, 2008).

Если в 2000 году практически весь трафик обусловлен классическими HTML-форматами, текстовыми и графическими, то в уже 2007 почти весь объем передаваемых данных заключался в видео-файлах и бинарных обновлениях и загрузках программного обеспечения. Благодаря этому сдвигу к большому объему видео-информации и программного обеспечения, средний размер ответа увеличился с 12294 байтов до 68275 байтов, примерно в 5,5 раз (см. рис.1). Эффективность (клиентского) кэширования в Интернете упала, поскольку число ответов с динамически создаваемыми данными увеличилось с 21,2% до 37,1%. Эта статистика демонстрирует, как суть веб-сайтов изменилась от предоставления статической информации до обеспечения динамического взаимодействия с пользователем.

Рис 1. Рост среднего размера объекта

Средний размер объектов на веб-странице вырос в 5 раз с 2000 года

На таблице 1 изображено, как изменялось время ответа с между 2000 и 20007 годами. Средний размер объектов вырос на 455% с 12294 до 68275,2 байтов, или примерно В 5,5 раз. Медиана (среднее по количеству, а не арифметическое) с 2410 до 2780 байтов. В обоих распределением очень большой хвост, при этом 2007 год, естественно, растягивается еще сильнее. Этот эффект можно наблюдать как в изменении порядка величины дельта-параметра нормального распределения (Squared Coefficient of Variation, SCV) размера ответа с 320,9 до 3425 байтов. К тому же увеличился и размер максимального размера документа. В 2004 году это было 193 Мб, при этом самый большой файл в 2007 году уже был около 2 Гб, что как раз и демонстрирует очень сильно увеличившийся «длинный хвост» распределения.

Таблица 1. Статистика размера ответа (в байтах)
2000 год2007 год
мин.1785
макс.0,228 х 1092,147 x 109
средний12294.068275,2
медиана24102780
SCV320,93425,1

Эволюция популярных типов файлов

На таблице 2 показано распределение размеров объектов по годам. В 2007 году 5 самых популярных типов файлов занимали 88,2% всех запросов, при этом в 2000 году это были все 98,1% запросов. Также ясно видно, что форматы JPEG и PNG становятся все популярнее и популярнее, чем GIF. В 2000 году только 0,2% всех запросов приходилось на JPEG, и уже треть (33.3%) запросов в 2007. На таблице видна тенденция к интерактивным веб-приложениям, потому что доля запросов к JavaScript-файлам возросла с 1,1% в 2000 году до 6,9% всех запросов в 2007. Использование CSS также увеличилось: в 2000 году всего 2,7% HTML-документов использовали стили, а в 2007 году уже 15,6%.

Таблица 2. Число запросов по их типу в процентах в 2000 и 2007 году
2000 год2007 год
тип#тип#
image/gif53,2%image/jpeg33,3%
image/jpeg24,9%image/gif28,5%
text/html18,4%text/html16,0%
application/x-javascript1,1%application/x-javascript6,9%
text/plain0,5%image/png3,5%

Тенденции изменения объемов трафика

В третьей таблице хорошо прослеживается, что почти весь трафик в 2000 году был сконцентрировал в традиционных HTML-форматах файлов (текстовых и графических), тогда как в 2007 почти весь трафик составляли уже видео-потоки и обновления и загрузки программного обеспечения. Также по таблице видно, что очень сильно изменился средний размер объектов: даже размер HTML- и JPEG-файлов возрос на 30%.

Таблица 3. Распределение объема трафика и среднего размера ответа (в Кб) по тику файлов для 2000 и 2007 годов
2000 год2007 год
типобъемразмертипобъемразмер
image/jpeg21.5%10application/octet-s34.6%1766
image/gif15,5%4image/jpeg6,6%13
text/html14,6%9application/x-otrkey6,6%240610
application/msword9.0%4147text/plain6,1%231
application/octet-stream8,4%672video/x-msvideo6,0%109533
application/zip8,1%1322video/x-flv5,9%10954
video/mpeg6,8%861video/flv5,4%6730
application/vnd.ms-excel2,5%3637video/x-ms-wmv3,2%42636
text/plain2,2%49text/html3,1%13
audio/mpeg2,1%3360application/zip2,5%9632

Средний размер страницы и число запросов

Число запросов к страницам в пересчете на пользователя более чем удвоилось: с 7074 запросов в 2000 году до 14670 запросов в 2007. При этом средний размер страницы (учитывая то, что запросы к страницам отделялись от запросов к прокси-серверам по задержке ответа) удвоился с 2000 по 2007 годы.

Кэширование и динамические страницы

Эффективность кэширования очень сильно уменьшилась: в 2000 году она составяла 54,3% всех запросов, а 2007 — уже 23%. Это произошло из-за динамической природы самого Интернета. В 2000 году только 21,2% всех запросов к страницам приходились на динамические документы (формы, CGI-скрипты, и т.д.), но уже 37,1% в 2007 году.

Материал для изучения

  • Средний размер веб-страницы увеличился втрое с 2003 года. За последние 5 лет размер средней веб-страницы более чем утроился, при этом число внешних объектов на ней выросло примерно в два раза. При том что пользователи широких каналов доступа ощущает более-менее комфортную скорость загрузки, пользователям с менее скоростным доступом приходится ждать гораздо дольше.
  • Sadre, R. и B. Haverkort, 2008. "Changes in the Web from 2000 to 2007, DSOM 2008, стр. 136–148. В проведенном сравнении изменения потоков данных с 2000 по 2007 годы, исследователи университета Twente установили, что изменилась сама природа распределения данных по мировой сети. Изменение типа и размера объектов однозначно указывают на то, что Интернет перешел от статической платформы для предоставления информации к среде динамических веб-приложений.

Читать дальше

Все комментарии (habrahabr.ru)