Termos e definições

HTTP: Hypertext Transfer Protocol (Protocolo de transferência de Hipertexto).
Protocolo criado para possibilitar o tráfego de informações com hipertexto na web. Veja o post Introdução ao HTTP.
Hipertexto: Texto que contém internamente referências a outros textos ou documentos. Na web, o que caracteriza essas referências são os hiperlinks, ou simplesmente links.
User agent: Uma aplicação que age como cliente em uma transação cliente-servidor feita sobre um determinado protocolo de rede. Na web esse protocolo é o HTTP e os user-agents são os browsers, crawlers, dispositivos móveis, leitores de tela, painéis em braile e qualquer outra aplicação usada por um usuário para navegar por páginas web.
Crawler (ou spider, ou robot): Qualquer aplicação cuja função principal seja navegar automaticamente por páginas na web, seguindo hiperlinks (e usando os conteúdos dessa página para algum fim, como salvar seu conteúdo, ou retirar dele alguma informação específica). O exemplo clássico de crawler são os programas usados por sistemas de busca (como o Google) para indexar páginas na web.
Hiperlink (ou simplesmente link): Elemento básico do hipertexto, um link caracteriza uma referência a um documento externo. Em HTML, os links são definidos usando o elemento A que contém a referência, no caso uma URI, em seu atributo HREF
URI: Uniform Resource Identifier (Identificador Unificado de Recurso)
É, basicamente, uma string (conjunto de caracteres) que seguem uma certa sintaxe e é usado para definir identificar um recurso na web. O tipo mais comum de URI é a URL
URL: Uniform Resource Locator (Localizador Unificado de Recurso)
Um tipo específico de URI, usado para definir a localização de um recurso na web. Geralmente dizemos que a URL é o endereço de uma página web. Um exemplo de URL: http://www.exemplo.com/pagina/
HTML: Hypertext Markup Language (Linguagem de marcação de hipertexto)
Linguagem marcação (que contém elementos que delimitam um determinado conteúdo para definir o seu papel ou significado dentro do texto) usada para estruturar páginas web.