Universidad Nacional del

Altiplano
FACULTAD DE INGENERIA MECANICA
ELECTRICA, ELECTRONICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENERIA DE SISTEMAS
CURSO: ARQUITECTURA DE COMPUTADORAS.
DOCENTE: ROMERO FLORES ROBERT ANTONIO.
TEMA: TEORIA DE LA INFORMACION DE CLAUDE
SHANNON.
PRESENTADO POR: QUISPE MAMANI RODRIGO.
CODIGO: 161995
SEMESTRE: V GRUPO “A”

PUNO – PERÚ
2021
RESUMEN

La Teoría de la Información de Claude E. Shannon, es sin duda uno de los

avances científicos más importantes del siglo XX. El principal objetivo de esta
teoría es el de proporcionar una definición rigurosa de la noción de información
que permita cuantificarla. Fue desarrollada con el objetivo de encontrar límites
fundamentales en las operaciones de procesamiento de señales tales como
compresión de datos, almacenamiento y comunicación. Sus aplicaciones se
extienden a campos diversos, entre ellos la física, la química, la biología, la
inferencia estadística, la robótica, la criptografía, la computación, la lingüística, el
reconocimiento de patrones y la teoría de la comunicación. En esta entrada
discutimos los aspectos centrales del formalismo de Shannon y algunos de sus
problemas interpretacionales.

La palabra ‘información’ ha sido dotada de diferentes significados por varios

escritores en el campo general de la teoría de la información. Es difícilmente
esperable que un único concepto de información de cuenta satisfactoriamente de
las numerosas aplicaciones posibles de este campo general. (Shannon 1993,
180).

La teoría de la información responde a dos cuestiones fundamentales en la teoría

de la comunicación: cuál es la compresión de datos máxima y cuál es la tasa
máxima de transmisión de comunicación. Por esta misma razón, algunos
consideran a la teoría de la información como un subconjunto de la teoría de la
comunicación. Argumentaremos que ésta es mucho más aún. En efecto, tiene
contribuciones fundamentales para hacer en física estadística (termodinámica),
ciencias de la computación (complejidad de Kolmogorov o complejidad
algorítmica), inferencia estadística (navaja de Occam: ‘La explicación más simple
es la mejor’) y probabilidad y estadística (tasas de error para testeo y estimación
de hipótesis óptimo)” (Cover y Thomas 1991, 1).
INTRODUCCION

A partir de la acelerada difusión y especialización que experimentan los medios de

comunicación en el procesamiento y transmisión de información durante la primera
mitad de nuestro siglo, se desarrolla el primer modelo científico del proceso de
comunicación conocido como la Teoría de la Información o Teoría Matemática de
la Comunicación. Específicamente, se desarrolla en el área de la telegrafía donde
surge la necesidad de determinar, con la máxima precisión, la capacidad de los
diferentes sistemas de comunicación para transmitir información. La primera
formulación de las leyes matemáticas que gobiernan dicho sistema fue realizada
por Hartley (1928) y sus ideas son consideradas actualmente como la génesis de
la Teoría de la Información. Posteriormente, Shannon y Weaver (1949)
desarrollaron los principios definitivos de esta teoría. Su trabajo se centró en
algunos de los siguientes problemas que surgen en los sistemas destinados a
manipular información: cómo hablar los mejores métodos para utilizar los diversos
sistemas de comunicación; cómo establecer el mejor método para separar las
señales del ruido y cómo determinar los límites posibles de un canal. El concepto
de comunicación en el contexto de la Teoría de la Información es empleado en un
sentido muy amplio en el que "quedan incluidos todos los procedimientos
mediante los cuales una mente puede influir en otra". De esta manera, se
consideran todas las formas que el hombre utiliza para transmitir sus ideas: la
palabra hablada, escrita o transmitida (teléfono, radio, telégrafo, etc.), los gestos,
la música, las imágenes, los movimientos, etc. En el proceso de comunicación es
posible distinguir por lo menos tres niveles de análisis diferentes: el técnico, el
semántico y el pragmático. En el nivel técnico se analizan aquellos problemas que
surgen en torno a la fidelidad con que la información puede ser transmitida desde
el emisor hasta el receptor. En el semántico se estudia todo aquello que se refiera
al significado del mensaje y su interpretación. Por último, en el nivel pragmático se
analizan los efectos conductuales de la comunicación, la influencia o efectividad
del mensaje en tanto da lugar a una conducta.
CONCEPTO
MUNDIALIZACIÓN E INFORMACIÓN.

Algunos autores, han llegado a afirmar que vivimos en la ‘era de la información’. El

mundo que habitamos hoy, con el incesante desarrollo tecnológico, el aumento
considerable de la población mundial y la creciente interacción entre individuos e
instituciones de distintas regiones del planeta, ha dado lugar a un aumento sin
precedentes en las capacidades de la especie humana para transmitir y procesar
información.

En este contexto, el estudio de la Teoría de la Información ha tenido un creciente

desarrollo, en el que cada vez más investigadores aúnan esfuerzos para resolver
los desafíos planteados por la existencia de unos volúmenes de flujo de
información muy difíciles de manejar y administrar. Y es especialmente importante
que estos desarrollos contemplen el aspecto matemático formal de la noción de
información, de forma tal que ésta se pueda medir y cuantificar para ser aplicada
con fines tecnológicos. El desarrollo de una teoría matemática de la información,
que permita describir adecuadamente los problemas que los ingenieros
comunicacionales encuentran en su trabajo diario es el objetivo que persiguió
Claude Shannon cuando desarrolló su formalismo.

EL PROBLEMA COMUNICACIONAL Y LA NOCIÓN DE

INFORMACIÓN

En su artículo ‘A mathematical theory of communication’ (Shannon 1948),

Shannon introdujo los lineamientos fundamentales sobre los que se construiría
posteriormente la Teoría de la Información. Algunos elementos preliminares de
esta teoría habían sido discutidos previamente en la literatura (ver por ejemplo
Hartley 1928, Nyquist 1924 y Nyquist 1928). En efecto, al comienzo de su artículo,
Shannon señala que:
  El desarrollo de varios métodos de modulación, tales como PCM y PPM
que intercambian ancho de banda para una tasa de señal a ruido ha
intensificado el interés en una teoría general de la comunicación.
 El problema fundamental de la comunicación es el de reproducir en un
punto exacta o aproximadamente un mensaje seleccionado en otro punto.

De este modo, Shannon define el problema en términos técnicos precisos,

separando el problema de ingeniería concreto asociado al proceso de
comunicación con los aspectos semánticos de la noción de informaciones
vinculadas a su uso generalizado en el lenguaje cotidiano.

EL PROBLEMA DE LA CODIFICACIÓN

Shannon estableció resultados matemáticos acerca de los recursos que se

necesitan para la codificación óptima y para la comunicación libre de errores.
Estos resultados tuvieron aplicaciones en diversos campos ligados a la teoría de
las comunicaciones, como en la radio, la televisión y la telefonía. Hoy en día se
siguen aplicando en diversas disciplinas.

Este puede ser, por ejemplo, un cable, una fibra óptica o una señal inalámbrica.
Un receptor, que reconstruye el mensaje a partir de la señal, y finalmente,
un destinatario, que es quien recibe el mensaje. En el siguiente dibujo se
representan estos elementos en forma esquemática:

La fuente S es un sistema que contiene un conjunto de estados diferentes s1,...,sn,

llamados usualmente letras. Un aspecto central de la teoría de Shanonn es que es posible
asignar probabilidades de ocurrencia para los distintos estados de la fuente. Es decir, los
estados s1,...,sn son producidos con probabilidades p(s1),...,p(sn). Notar que estas
distribuciones de probabilidad pueden ser modeladas usando los axiomas de Kolmogorov
(Kolmogorov 1933). La cantidad de información generada por la fuente debido a la
ocurrencia del estado si se define como:
 (1)

Dado que S produce sucesiones de estados (estas sucesiones son usualmente llamadas
mensajes), la entropía de la fuente S se define como la cantidad promedio de información
producida por la fuente:

(2)

En forma análoga, el destinatario D es un sistema con un rango de estados

posibles d1,...,dm, a los cuales se le asignan probabilidades p(d1),...,p(dm). La cantidad de
información I(dj) recibida en el destinatario debido a la ocurrencia de dj se define como:

(3)

Y la entropía del destinatario se define como la cantidad promedio de información

recibida:

(4)

MEDIDAS DE INFORMACIÓN

Si el número de mensajes en el conjunto es finito, este número o cualquier función

monótona de él, puede ser considerado como una medida de la información
producida cuando se elige un mensaje del conjunto, siendo todas las opciones
igualmente probables. Como fue subrayado por Hartley, la elección más natural es
la función logarítmica. Aunque esta definición debe ser generalizada
considerablemente cuando consideramos la influencia de la estadística del
mensaje y cuando tenemos un rango continuo de mensajes, en todos los casos
vamos a usar una medida esencialmente logarítmica (Shannon 1948).
Shannon continúa diciendo que esta definición encuentra muchos usos prácticos,
dado que muchos parámetros importantes en ingeniería varían linealmente con el
logaritmo del número de posibilidades. Señala que es al mismo tiempo una
medida intuitiva, porque es usual medir magnitudes comparando linealmente con
unidades de medida.

La elección de una base logarítmica se corresponderá con la elección de una

unidad de medida de la información. Si la base usada es 2, la unidad resultante se
llamará ‘bit’. Este término proviene de la contracción del término en inglés ‘bynary
digit’. Con estas definiciones, un bit terminará siendo la cantidad de información
que se obtiene cuando una de dos alternativas igualmente probables es
especificada.

En otras palabras, una fuente S con dos estados que puede adoptar los valores 1
y 2 con la misma probabilidad, tendrá una cantidad de información de un bit.

De las definiciones es bastante claro que H(S) y H(D) son cantidades de

información promedio. Sin embargo, en la literatura son llamadas usualmente
entropías.

La relación entre las entropías de la fuente H(S) y del destinatario H(D) se puede

representar intuitivamente por el siguiente diagrama:

Donde I(S;D) es la información mutua: la cantidad promedio de información generada en

la fuente S y recibida en el destinatario D. E es la equivocación: la cantidad promedio de
información generada en S pero no recibida en D. N es el ruido: la cantidad promedio de
información recibida en D pero no generada en S. Como el diagrama sugiere desde un
punto de vista intuitivo, la información mutua se define como:

I(S;D)= H(S) − E = I(X;Y) = H(D) – N 

     
 (5)

                                                                

La equivocación E y el ruido N son medidas de la independencia entre la fuente y el

destinatario, dado que si S y D son completamente independientes, los valores de E y N
son máximos (E = H(S) y N = H(D)), y el valor de I(S;D) es mínimo (I(S;D)=0). Por otro
lado, si la dependencia entre S y D es máxima, los valores de E y N son mínimos
(E = N = 0), y el valor de I(S;D) es máximo (I(S;D)=H(S)=H(D)).

Los valores de E y N son funciones no solo de la fuente y del destinatario, sino también
del canal de comunicación CH. La introducción del canal de comunicación lleva
directamente a la posibilidad de que se produzcan errores en el proceso de transmisión.
El canal CH se puede definir como una matriz [p(d j|si)], donde p(dj|si) es la probabilidad
condicional de ocurrencia de dj en el destinatario dado que si</sib> ocurrió en la fuente S.
Los elementos de cada columna de [p(dj|si)] suman uno. De este modo, E y N se pueden
expresar como:

(6)

(7)

donde  . La capacidad del canal C se define como:

(8)

Donde el máximo se toma sobre todas las posibles distribuciones   en la fuente. La
magnitud C se interpreta como la cantidad de información promedio más grande que
puede ser transmitida por el canal de comunicación CH.
LOS TEOREMAS DE SHANNON

Los dos resultados más importantes que obtuvo Shannon son los teoremas
conocidos como primer teorema de Shannon y segundo teorema de Shannon. De
acuerdo al primer teorema, o teorema de codificación sin ruido, el valor de la
entropía H(S) de la fuente es igual al número de símbolos necesarios en promedio
para codificar una letra de la fuente usando un código ideal: H(S) mide la
compresión óptima de los mensajes de la fuente.

En el contexto de la teoría de la información de Shannon, codificar implica establecer un

mapa entre las letras si del alfabeto de la fuente AS el conjunto de cadenas de longitud
finita de símbolos del alfabeto del código AC. Estas suelen llamarse palabras-código. En
general, las palabras-código no tienen la misma longitud. Cada palabra-código wi que
corresponde a la letra si, va a tener una longitud li. Pero las longitudes li de las distintas
palabras-código pueden variar. Es entonces útil definir una longitud de palabra-código
promedio como:

(9)

L es entonces una medida de cuán compacto es el código. En otras, palabras, un código
con un valor de L más pequeño será más eficiente, dado que en promedio, economiza
más recursos informacionales para codificar los mensajes. El Teorema del Canal Sin
ruido afirma que existe un proceso de codificación óptimo tal que la longitud de palabra-
código promedio L está tan cerca como se quiera del límite inferior Lmin para L:

(10)

En la fórmula de arriba, si H(S) se mide en bits, log es el logaritmo en base 2.

PERSPECTIVAS A FUTURO: INFORMACIÓN CUÁNTICA

Es posible encontrar versiones de muchos de los resultados de la teoría de

Shannon en el contexto no conmutativo de la mecánica cuántica. En especial,
existe una versión cuántica del teorema de codificación de Shannon (Schumacher
1995), en el que la codificación se efectúa en términos de sistemas cuánticos de
dos niveles, conocidos con el nombre de ‘’qubits’’ (abreviación de quantum bit).
Los ‘’qubits’’ constituyen la unidad elemental de información cuántica.

La posibilidad de desarrollar dispositivos de comunicación y de computación en los

cuales los componentes obedecen a las leyes de la teoría cuántica, abre
novedosas posibilidades tecnológicas, tanto para el almacenamiento, como para la
transmisión y el procesamiento de la información.

El desarrollo de dispositivos de procesamiento de la información cada vez más

pequeños y eficientes, tales como telefonos celulares y computadoras personales,
se choca inevitablemente con las leyes fundamentales de la física cuando sus
componentes alcanzan la escala atómica.

La perspectivas abiertas por la posibilidad de la computación cuántica, si bien

promisorias, enfrentan un problema importante: la construcción de computadoras
cuánticas es un desafío que presenta dificultades técnicas complejas, y al día de
hoy, sólo ha sido posible implementar en el laboratorio algunos algoritmos muy
sencillos (Tame et al 2007). No es claro si es posible aumentar la escala de
tamaño de estos dispositivos significativamente y, al mismo tiempo, mantener la
efectividad de los algoritmos cuánticos.

Finalmente, es importante remarcar también que, el hecho de que sea posible

formular principios fundamentales de la mecánica cuántica en términos puramente
informacionales (ver por ejemplo, Clifton, Bub y Halvorson 2003 y Bub 2005), ha
llevado a muchos autores a la idea de que es posible dar interpretaciones de la
física y de la naturaleza en general basadas en la teoría de la información. A este
respecto, ver por ver por ejemplo (Vedral 2010).
 DISTINTAS INTERPRETACIONES

No existe consenso en la literatura acerca de cómo interpretar la noción de

información de Shannon. Algunos autores sostienen que ésta magnitud no
representa a ninguna magnitud física. Uno de los principales defensores de esta
postura es C. Timpson, quien afirma que la noción de información es un sustantivo
abstracto (Timpson 2004, 2008, 2013). Debido a esto, concluye que “no sirve para
referir a una cosa material o sustancia.” (Timpson 2004, 20). Esta concepción de
la información está en consonancia con entender a H(S), no como una magnitud
que cuantifica algo producido por la fuente S, sino como una medida de la
compresibilidad de los mensajes.

La lista de posibles interpretaciones de la noción de información expuesta arriba

no es exhaustiva. Sería imposible cubrir todo el espectro en esta breve entrada.
Pero la lista expuesta arriba nos muestra que hay, en efecto, distintas
posibilidades. Y existen argumentos atractivos para cada una de ellas. Es quizá
por esto que aún hoy, el debate continúa.

Desde esta perspectiva formal, hay una relación lógica entre un objeto matemático
y sus diferentes interpretaciones, en la que cada una de ellas dota al término de
un contenido referencial específico. A modo de ejemplo, puede tomarse la
interpretación física de la información, que concibe a la información como una
magnitud física (ver por ejemplo Landauer 1991 y Landauer 1996). Pero es muy
importante destacar también que la teoría de la información de Shannon ha
encontrado interesantes aplicaciones en campos muy diversos que se desarrollan
intensamente en la actualidad, como por ejemplo, las que relacionan a la entropía
de Shannon y la teoría de juegos (ver, por ejemplo, Cover y Thomas 1991,
Capítulo 6) o aplicaciones de la entropía de Shannon en la inversión y en el
mercado de acciones (Cover y Thomas 1991, Capítulo 15). Otro ejemplo relevante
es el del estudio de sistemas biológicos (Segal 2015; Yockey, Platzman y Quastler
1956), en el que la teoría de la información encuentra aplicaciones a la teoría de la
evolución (Adami 2012), a la biología molecular (Yockey 1992) y al estudio del
comportamiento (Pfeifer 2006). Algunos autores han intentado incluso utilizar
argumentos informacionales para explicar las peculiaridades de los seres vivos y
el origen de la vida (Yockey 2005). La existencia de estas aplicaciones, tan
diversas en un su contenido, muestra que la interpretación del formalismo no
puede estar unívocamente determinada.

CONLUSIONES
Hemos dado una breve introducción a la teoría de la información de Shannon.
Hemos señalado su importancia en diversas disciplinas científicas así como en
numerosas aplicaciones tecnológicas, especialmente para la teoría general de la
comunicación. Desde el punto de vista puramente formal, hemos señalado hasta
qué punto la Teoría de Shannon puede ser concebida como un formalismo
matemático útil para modelar distintos problemas en diversas áreas del
conocimiento, indicando que probablemente no exista una interpretación única o
privilegiada del formalismo. A pesar del importante grado de desarrollo que ha
alcanzado el formalismo y sus espectaculares aplicaciones en diversas disciplinas,
la teoría de Shannon es aún un campo activo de debate debido al problema de
sus posibles interpretaciones y la discusión acerca de sus fundamentos. En la
actualidad, es imposible no mencionar los relativamente recientes desarrollos en el
campo de la Teoría de la Información Cuántica y la Computación Cuántica, que
prometen un abanico de aplicaciones tecnológicas revolucionarias, y abren al
mismo tiempo la puerta a novedosos interrogantes en la física y en las ciencias de
la computación (así como en otras disciplinas). En este contexto, el estudio y
debate en torno a los fundamentos de la Teoría de la Información de Shannon
puede ser de gran ayuda para entender los problemas y los desafíos que plantean
los posibles desarrollos tecnológicos basados en la teoría cuántica. En gran parte
debido a esto, el formalismo de Shannon cobra una inusitada actualidad.
BIBLIOGRAFÍA
Segal, J. 2015. “La noción de información en biología, una valoración” . BIO Web of
Conferences 4: 00017.
Shannon, C. 1948. “Una teoría matematica de la comunicación.” Bell System Technical
Journal 27: 379-423.
Shannon, C. 1993. Collected Papers, editado por N. Sloane y A. Wyner. New York: IEEE
Press.
Shannon, C. y Weaver, W. 1949. The Mathematical Theory of Communication. Urbana and
Chicago: University of Illinois Press.
Timpson, C. 2006. “La gramática de la teletransportación.” The British Journal for the
Philosophy of Science 57: 587-621.
Timpson, C. 2008. “Philosophical Aspects of Quantum Information Theory.” En The Ashgate
Companion to the New Philosophy of Physics, editado por Dean Rickles, 197-261. Aldershot:
Ashgate Publishing. Los números de página fueron tomados de la version online: arXiv:quant-
ph/0611187.
Timpson, C. 2013. Teoría de la información cuántica y los fundamentos de la mecánica
cuántica. Oxford: Oxford University Press.