Так как мне предстоит спроектировать и реализовать proxy сервер, поддерживающий протокол HTTP, то необходимо предварительно рассмотреть работу этого протокола.

Базовая структура World Wide Web основана на том, что протокол HTTP работает как обобщенное средство передачи различных типов информации от сервера к клиенту. Каждая сущность, которая может быть предоставлена, идентифицируется уникальным образом с помощью URL (Universal Resource Locator — универсальный локатор ресурсов).

Наиболее общим типом данных, который передается с помощью HTTP, является язык HTML. Кроме того, что в HTML включены основные команды для форматирования текста, он также имеет команды, которые обеспечивают такие возможности, как связи гипертекста и загрузка встроенных изображений. Ресурсы с гиперсвязями и файлы встроенных изображений идентифицируются с помощью URL, которые вводятся в документ HTML.

Протокол HTTP является основным протоколом, который осуществляет трафик Web. Спецификация HTTP описывает HTTP 1.1 следующим образом[15]:

Протокол передачи гипертекста HTTP является протоколом уровня приложений для распределенных, совместных, гипермедиа информационных систем. Он является обобщенным, не имеющим состояния, объектно-ориентированным протоколом, который может использоваться для разнообразных систем, таких как серверы имен и распределенные системы управления объектами, благодаря расширению его методов запросов (команд). Отличительным свойством HTTP является возможность ввода с клавиатуры и согласования представления данных, что позволяет строить системы независимо от передаваемых данных.

В приведенном ниже фрагменте определения, включающем свыше десятка ключевых слов, дается лишь краткое описание того, чем является HTTP и как он работает в качестве основы для Web. Однако анализ этого фрагмента позволяет более глубоко понять этот простой, но мощный протокол:

• Протокол уровня приложений. Хотя протокол HTTP обычно находится над протоколом TCP/IP, он также реализуется на других протоколах более низкого уровня. Протокол HTTP предусматривает наличие надежной связи, поэтому можно использовать только протокол, который гарантирует это минимальное требование.
• Распределенные, совместные, гипермедиа информационные системы. HTTP поддерживает распределенные информационные системы, т.е. системы, которые охватывают несколько серверов. Этот протокол обеспечивает такую поддержку благодаря использованию URL, указывающих на целевые данные. Документ гипертекста HTML обычно предоставляет эти URL.
• Обобщенный. HTTP не диктует содержание данных, которые передает, он выполняет роль канала для их передачи на уровне приложений. Можно передавать любой тип данных с помощью протокола HTTP.
• Не имеющий состояний. HTTP не поддерживает состояние. Если по НTTР запрашивается передача, создается соединение, происходит переча и затем соединение завершается. Отсутствие состояния является одним из слабых мест HTTP. Без информации о состоянии каждая Web-страница существует отдельно. Например, трудно разработать основанное на Web приложение, которое давало бы возможность пользователю регистрироваться на одной странице и поддерживать эту информацию регистрации на протяжении всего времени, пока он осуществляет активный доступ к Web-узлу. Каждый документ, который передаётся посредством HTTP, не имеет контекста и совершенно не зависит от всех документов, которые передавались перед ним.
• Объектно-ориентированный. Ввод с клавиатуры и согласование представления данных. HTTP не является объектно-ориентированным в том смысле, как это звучит применительно к языку программирования. Это описание означает, что HTTP имеет дескрипторы, задающие тип тех данных, которые будут передаваться по сети, и методы, которые являются командами, указывающими на то, что подлежит передаче.
• Системы, построенные независимо от передаваемых данных. Поскольку протокол HTTP только перемещает данные, сервер HTTP не обязан знать о каждом типе данных, который подлежит передаче.

Сообщения HTTP делятся на четыре категории:

• Простой запрос. Формат запроса совместим с HTTP 0.9. Web-броузеры не должны генерировать простые запросы, однако Web-серверы должны их понимать для обеспечения обратной совместимости.
• Простой ответ. Простой формат, совместимый с HTTP 0.9. Web-серверы не должны генерировать простые ответы, за исключением случая, когда они отвечают на простые запросы.
• Полный запрос. Стандартный запрос HTTP.
• Полный ответ. Стандартный ответ HTTP.

Простой запрос состоит из строки GET, после которой следует пробел, URL запроса, символ возврата каретки, и символ новой строки. Простой ответ возвращает только тело сущности.

Сущность — это объект, на который ссылается URL[15]. Например, страница, форматированная в HTML, является одним типом сущности, изображение .GIF является другим типом. Тело сущности представляет собой фактическое содержимое сущности, в отличие от заголовка сущности, в котором содержится информация о сущности, например ее размер и тип.

Хотя спецификации HTTP все еще поддерживают форматы простых сообщений, они исключают многие из наиболее важных характеристик HTTP. Например, простые сообщения ограничиваются методом GET и, таким образом, не могут поддерживать формы. Формат сообщения простого запроса также не позволяет клиенту использовать согласование содержимого и идентифицировать тип среды возвращаемой сущности, поэтому лучше избегать применения этого формата. В последующих разделах описаны сообщения полного запроса и полного ответа.

Сообщение полного запроса HTTP состоит из строки запроса с последующим нулем или более общими заголовками, заголовками запросов или заголовками сущностей.

Заголовки HTTP представляют собой строки в формате name: value, которые разделены символами возврата каретки. Например, заголовок Content-length 10 240 указывает, что тело сущности состоит из 10 240 байтов. После заголовков следуют символы возврата каретки и новой строки, а для некоторых методов — тело сущности.

Приведенное далее описание иллюстрирует, как отправляются и возвращаются заголовки, если дается ответ на сообщение полного запроса[15]:

Сервер отвечает кодом 200, показывающим, что сообщение было успешно интерпретировано и что требуемая сущность имеется.

... а также дата и время суток, когда последний раз была изменена запрашиваемая сущность

Сервер отправляет заголовки сущности, которые, в частности, относятся к запрашиваемой сущности. Туда входят ее размер...

Как сообщения полного запроса, так и сообщения полного ответа зависят от методов, которые представляют собой читабельные для людей команды, состоящие из одного слова и управляющие протоколом HTTP, такие как GET и POST.

В этом сообщении GET — метод, index.html — запрашиваемый URL и HTTP/1.0 — версия HTTP.

В отличие от простого запроса, полный запрос может использовать любой из множества методов. Предыдущий пример демонстрирует наиболее распространенный метод GET. Протокол HTTP 1.0 поддерживает только три метода: GET, HEAD и POST:

• GET извлекает ту информацию, которую идентифицирует запрашиваемый URL.
• HEAD извлекает только информацию заголовка, а не тело запрашиваемой сущности.
• POST отправляет информацию от клиента к серверу. Обычно формы, основанные на Web, передают данные формы серверу при помощи метода POST.

В спецификацию метода HTTP 1.1, добавлено еще десять методов:

• OPTIONS запрашивает информацию об имеющихся опциях связи, которые влияют на извлечение запрашиваемого URL. Этот метод позволяет клиенту определять опции или требования, связанные с некоторым ресурсом, при этом фактически не извлекая его.
• PUT предписывает, чтобы вы сохранили заключенную сущность в поставляемом URL, что позволяет обновлять удаленный Web-узел.
• PATCH аналогичен методу PUT за исключением того, что сущность содержит список различий между исходной версией ресурса, идентифицированного запрашиваемым URL, и содержимым, которое, как вам представляется, должно иметь ресурс после вызова PATCH. Например, Web-броузер может предписывать, чтобы целевой URL подвергся правке с использованием стандартного алгоритма diff путём генерирования метода PATCH с последующим указанием типа application/diff.
• COPY предписывает, чтобы ресурс, идентифицируемый запрашиваемым URL был скопирован в ячейку, заданную в поле заголовка URL запроса.
• MOVE, DELETE, LINK и UNLINK работают аналогично COPY, выполняя основные операции над URL.
• TRACE является методом диагностики, который просто передаёт данные сущности назад клиенту.
• WRAPPED позволяет клиенту инкапсулировать одно или несколько сообщений. После инкапсуляции сообщения его можно, например, зашифровать для повышения безопасности.

HTTP использует для передачи информации данных и управляющей информации один общий канал связи, а не два раздельных канала, как это делается в FTP. Для того чтобы передать и тело сущности, и управляющую информацию, необходимую для правильного интерпретирования этого тела сущности, поля заголовков HTTP выполняют функцию модификаторов методов.

Имеется три типа полей заголовков[13]:

• Поля общих заголовков являются общими как для сообщений запроса, так и для сообщений ответа. Поля общих заголовков управляют такими параметрами, как кэшируемый статус сущности, дата и время суток, когда создано сообщение, и статус соединения между источником сообщения и пунктом назначения.
• Поля заголовков запросов являются специфичными для сообщений полного запроса. Они управляют такими параметрами, как типы среды MIME, которые принимает клиент, адрес e-mail пользователя-клиента и URL сущности, которая обратилась к клиенту с предписанием сделать запрос (например, если связь на vww.yahoo.com отправляет вас к сущности на www.microsoft.com, то Microsoft может ее зарегистрировать).
• Поля заголовков сущности используются как для сообщений запроса, так и для сообщений ответа, Эти заголовки чаще всего связаны с сообщением ответа, поэтому в следующем разделе они описаны подробно.

Тело сущности, будь то запрос или ответ, представляет собой простой поток октетов. HTTP не ограничивает информацию, которая протекает по этому телу, а просто обеспечивает механизм для маркировки и передачи этой информации. Наиболее часто используемые методы запроса, GET и HEAD, не отсылают сущность от клиента к серверу, поэтому тело сущности обычно не относится к сообщению запроса.

Сообщение полного ответа HTTP состоит из строки статуса с последующим нулём или более общими заголовками, заголовками ответа или заголовками сущности. Затем после заголовков следуют символы возврата каретки и новой строки и, возможно, тело сущности.

После кода статуса сразу же идет набор заголовков и затем тело сущности. Заголовки ответа обеспечивают точное месторасположение запрашиваемого ресуpca, версию программного обеспечения сервера, ответы аутентификации и необязательные методы, которые поддерживает сервер. Примером полезности заголовка ответа может быть случай, когда броузер использует значение, возвращаемое в поле сервера (например, Server: Netscape-Communications/1.1) для определения типа сервера, используемого некоторым Web-узлом.

Сообщение ответа обычно имеет один или несколько заголовков сущности описывающих фактическую сущность, которую необходимо передать. Ниже приводятся некоторые из наиболее важных заголовков сущностей: