Teoria da informação
Hélio Magalhães de Oliveira
O problema essencial das comunicações é "reproduzir, seja exatamente ou aproximadamente, uma mensagem enviada de um ponto a outro". As
mensagens transmitidas transportam um certo conteúdo de informação. Uma medida quantitativa de informação aparece como uma condição
preliminar para elaborar uma teoria, em concordância com o pensamento de Lord Kelvin.
As primeiras idéias conceituais sobre informação remontam a um passado distante. Os fundamentos da transmissão de informação podem ser
encontrados nos trabalhos pioneiros de Nyquist (1924) e Hartley (1928). Porém, muitas das idéias só foram compreendidas em 1948 quando
Claude Elwood Shannon estabeleceu a teoria em bases firmes. Este marco criava a moderna teoria das comunicações e a teoria da informação.
Essa teoria não trata com o significado da informação, mas somente com quantidades de informação.
Como medir a quantidade de informação associada a uma mensagem? O seguinte comentário pode auxiliar nossa compreensão: "a transmissão de uma
mensagem perfeitamente conhecida a priori pelo destinatário é completamente inútil". Não há necessidade de transmissor e receptor: mesmo
desligando-os, sabe-se tudo a respeito da mensagem e o processo de transmissão de informação é irrelevante. Isso conduz naturalmente a: 1)
tratar uma fonte de informação como uma série de eventos aleatórios que constituem a mensagem emitida, e 2) definir a quantidade de
informação associada a essa mensagem como uma medida da sua imprevisibilidade.
Intuitivamente, uma mensagem do tipo E={o Sol nascerá amanhã} carrega um conteúdo de informação muito pequeno. Por outro lado, um evento
como E={Haverá um tremor de terra amanhã} carrega um maior conteúdo de informação. Imagine-se ouvindo uma sinfonia pela primeira vez. A
quantidade de informação transmitida é grande. Porém, ao ouvi-la reiteradas vezes, a quantidade de informação transmitida em cada audição
torna-se cada vez menor. No limite, ao conhecê-la completamente (a ponto de prever deterministicamente os próximos acordes), nenhuma
informação é transmitida. Esse conceito nada tem a ver com a qualidade da melodia, se ela é ou não agradável ao ouvinte etc. O mesmo ocorre
com um filme assistido muitas vezes: cada sessão repetida proporciona menos informação adicional ao já conhecido, pois as cenas e os
detalhes tornam-se cada vez mais previsíveis.
As palavras "incerteza", "surpresa" e "informação" estão relacionadas. Antes de um evento, há uma certa quantidade de incerteza e, depois
dele, há um ganho de uma quantidade de informação. A definição de informação proposta por Shannon é:
A quantidade de informação associada a um evento (mensagem) E, denotada I(E), é expressa pelo calogaritmo da probabilidade de ocorrência do
evento, i.e., I(E)= log 1/ P(E).
A unidade básica de medida de informação, quando o logaritmo é tomado na base 2, foi denotada unidade binária de informação (binary unit) ou
bit. Deve-se evitar uma possível confusão da unidade binária de informação (bit) com dígito binário (binary digit). Com um alfabeto binário,
tal como usado nos computadores, transmissões de dados, telefonia, os bits podem transportar diferentes quantidades de informação. Se os
bits 0 e 1 são equiprováveis, P(0)=P(1)=1/2, então cada símbolo binário transporta 1 bit de informação.
Esta definição de engenharia é baseada em probabilidades e não no significado dos símbolos ao receptor humano. Ela, entretanto, captura
parcialmente a riqueza da noção usual de informação. A fim de entender como a informação de Shannon difere um pouco do "bom senso",
considere a seguinte questão: "Qual é o livro que contém maior quantidade de informação?" Naturalmente, supõe-se aqui ter padronizado
questões relativas ao tamanho da página, número de páginas, alfabeto usado, número de fontes e tamanho de fontes etc. Uma vez procedendo
assim, a resposta é clara: "O livro com maior informação é aquele digitado de forma completamente aleatória e uniforme!"
O processo de transmissão de informação envolve uma fonte (que produz informações), um canal de comunicação e um destinatário (que recebe
informações). O canal é simplesmente um meio que permite aos interlocutores trocar informações, transmitindo e recebendo sinais. A teoria da
informação lida fundamentalmente com três aspectos relativos à transmissão e armazenamento da informação: a medida de informação, a
codificação de fontes e a codificação de canal.
A fim de introduzir as idéias da codificação, imagine que um casal entabula uma conversação numa sala barulhenta. Há, ocasionalmente, a
possibilidade de uma palavra (ou frase) ser perdida ou mal entendida. O sentido da conversa normalmente não é perdido. A razão para tal fato
é que a linguagem é inerentemente redundante e esta redundância permite às pessoas "interligarem" os trechos entre espaços perdidos da
conversa. Qual a mínima quantidade de informação necessária para representar uma mensagem? Como se mede a taxa de informação de uma fonte?
Como eliminar redundância? Esses aspectos relativos à compressão de informação são abordados na teoria, incluindo a compactação de dados
comumente adotada em microcomputadores, fac-símiles, modems etc.
Retomemos o problema da comunicação do casal na sala ruidosa. Se o ruído se torna maior, faz-se necessário introduzir redundância adicional
na conversação, por exemplo, pela repetição da frase várias vezes. A introdução de redundância torna a comunicação mais confiável. Esse é um
exemplo de codificação de canal, para proteger a informação e conferir qualidade à transmissão. Esse mecanismo é largamente adotado hoje, em
particular nos CDs e em todos os sistemas digitais. O ruído não torna pouco confiável a informação recebida: Shannon demonstrou que a
confiabilidade pode ser tão boa quanto se deseje, provido que a quantidade de informação não ultrapasse um limite chamado de capacidade do
canal. A teoria da informação trata também da medida da capacidade de canais.
Hélio Magalhães de Oliveira é mestre em engenharia elétrica, na área de telecomunicações, e doutor pela Escola Nacional Superior de
Telecomunicações (ENST), Paris, 1992. Professor-adjunto do Departamento de Eletrônica e Sistemas da Universidade Federal de Pernambuco
(UFPE).