Teoría de La Información

Aftab Cheung Kim Thakkar Yeddanapudi INFORMATION THEORY & THE DIGITAL REvolución 1
Teoría de la
información
TEORÍA DE LA INFORMACIÓN Y LA ERA
DIGITAL
AFTAB, CHEUNG, KIM, THAKKAR,

YEDDANAPUDI
6.933 – FINAL
PAPER
6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Technología
[email protected]
Introducción
Inform's ation Theory es uno de lospocos campos científicos que tienen la suerte de tener un comienzo
identificable - el artículo de 1948 de Claude Shannon. La historia de la evolución de cómo
progresó de un solo trabajo teórico a un amplio campo que ha redefinido nuestro mundo es
fascinante. Brinda la oportunidad de estudiar las interacciones sociales, políticas y tecnológicas que han
ayudado a guiar su desarrolloydefinir su trayectoria, y nos da una idea de cómo evoluciona un
nuevo campo.
A menudo oímos a Claude Shannon llamar al padre de la Era Digital. Al principio de su trabajo
Shannon reconoce el trabajo realizado antes de him, por pioneros como Harry Nyquist y
RVL. Hartley en Bell Labs en la década de 1920. Aunque su fluideznera profunda, el trabajo de
los primeros pioneros fue limited y se centró en sus propias aplicaciones particulares. applications.
It Fue la visión unificadora de Shannon la que revolucionólaunicación de lacomm, y generó una
multittude de investigación de unicación de commque ahoradefinimos como el campo de
informationTheory.
it or Uno de im esos conceptos clave fue su definición de la capacidad del canal. Siit ilar a la
Ley dem Moore, el Shannon limpuede ser considerado una profecía autocumplida. Es un arca de
bancomque le dice a la gente lo que se puedehacer, y lo que remains se debe hacer - copelingellos para
lograrlo.
What made possible, lo que indujo the desarrollarment de codificación como

a theory, y the desarrollarment de muy comp códigoslicados, fue Shannon's
Theorem: él told you then élpodría hacerse, por lo que la gente trató de
hacerlo.
[Entrevista con Fano, R.
2001]
En el curso de nuestra historia, exploramos cómo el área de codificación, en particular,

evoluciona para llegar a este limit. It Fue la comprensión de que ni siquiera estábamos cerca de
ella lo que renovó el interés en la investigación de lasunicaciones comm.
Information Theory no fue sólo un producto del trabajo de Claude Shannon. Fue el resultado de
contribuciones cruciales m adeade por mcualquier individuo distinto, de una variedad de
orígenes, que tomó sus ideas y se expandió sobre elm. De hecho, la diversidad y las direcciones de
sus perspectivas e intereses dieron forma a la dirección de la Teoría de la Information. m
Al principio, la investigación era primarily teórica, con pocas aplicaciones prácticas percibidas.
Christensen 's dice que el indilemm aa del innovador es que no puede obtener apoyo para sus
nuevas ideas porque no siempre puede garantizar un beneficio final. Afortunadamente, Information Theory
fue patrocinadoen anticipación de lo que podría proporcionar. Esta perseverancia y el interés
continuo finalmente resultaron en la multitude de las tecnologías que tenemos hoy en día.
Ensu artículo, exploramos cómo estosmesy conceptos m másrápido en la trayectoria de

Information Theory. It Comienza como un amplio espectro de campos, desde management
hasta biología, todos creyendo information Theory como una 'clavemagic' para
multidisciplinary understanding. Como el field moved fromeste caos inicial, varios
Technología
[email protected]
enfluences estrecharon su focus. l Con estos límites establecidos, influencias externas como
la carrera espacial dirigieron el progreso del campo. A través de todo, la expansión de
Informenien Teoría fue constantemente controlada por el hardware

Technología
[email protected]
limtecnológicas – de hecho, la falta de tal tecnología causó la "muerte" de Information

Teoría, y su amplia disponibilidad estám detrás de su actual éxito de aval ar.
"TEORIA DE COMUNICACIONES DE LA
"Antes de 1948, there era sólo the fuzziest idea de lo que era un message.
Había tanme rudim comprensión entary de cómo to transmit una forma de onda
y procesar una onda recibidaparam,pero esencialmente no había comprensión de
cómo turn un mensaje ina una forma de onda transmitted ."
[Gallager, Claude Shannon: A Retrospective, 2001 pg.
2683]
En 1948, Shannon publicó su artículo "A Mathematical Theory of Communication" en el Bell

Systems Technical Journal. Mostró cómo information podía ser cuantificado con absoluta
precisión, y demonstrated la unidad esencial de todos information edia. Las señales telefónicas,
el texto, las ondas de radio y las imágenes, esencialmente cada moda de unicación de
comm,podrían codificarse en bits. El documento proporcionó un "plano para la eradigital"1
Dado que el Bell Systems Technical Journal estaba dirigido sólo a los ingenieros deunicación de
comm, mathematician Warren Weaver "tenía la sensación de que esto debería llegar a un
público más amplio que (sólo) la gente en el campo", recuerda Betty Shannon2. Con et
Shannon, y juntos, publicaron "The Mathematical Theory of Communication" en 1949. El
cambio de "A" a "The" estableció el papel de Shannon como el nuevo "scripture" sobre el
tema – permitió llegar a un grupo mucho más amplio de personas.
¿Quéfue tan influyente el periódico de Shannon? ¿Quétalas un papel al que la gente se

refiere a él como uno de los he mayores triumphs intelectuales delsiglo XX? La respuesta
está en los conceptos innovadores que contiene Una Teoría Matemática de la Comunicación.
Conceptos que fueron lo suficientemente influyentes como para ayudar a cambiar el mundo.
En realidad hay ’ conceptos de cuatro major en el papel de Shannon.s paper. Hacerse una idea de
cadam uno es esencial para entender el pacto deInformationTheory.
Capacidad de canal y teorema de codificación de canales

ruidosos
Tal vez el most eminent de los resultados de Shannon fue el concepto de que cada canal
deunicación comm tenía una velocidad lim,it, measured en dígitos binarios por segundo: esta
es la famous Shannon Lia m,it, exemplified por el famous y familiar fomula fo la
capacidad de un White Gaussian Channel:
P+ N
C t á W log 2
N
1
Gallager, R. Citado en Technology Review,
2
Shannon, B. Teléfono Interview
Technología
[email protected]
La mala noticia es que es mathematically imposible obtener communicación libre de errores

por encima de la lim. No m atterlo sofisticado que un error correction schemeutiliza, no matter
cómo muchpuede can comprensar los datos, no se puede make el channel ir más rápido que el
limsin perder tanmeenfomation.
La buena noticia es que debajo del Shannon Lim,es posible transminformation con ceroerror.
Shannon mathematicallydemostró que había formas de codificar information que permitirían a
uno llegar hasta el limsin ningún errors:independientemente de la amount de ruido o estática, o lo
faint la señal era.
Por supuesto, un might necesita codificar el information con mmineral y mbits demineral, para
que most de ellos conseguiría a través y los perdidos podrían ser regenerados de los demás.
El aumento demlaplexigtulación y la longitud del message m akecommunicación más lenta y
lenta, pero esencialmente, por debajo de la lim,podría m akela probabilidad de error tan baja como usted
quería.
Para make the oportunidad de error como smtodocomo usteddesea? Nadie

había pensadoen then. Cómo hat in se puso alavista, cómo incluso came
para creer como un thing, no' lo sé. But almost all modern comm ingeniería
deunicación se basa en then eltrabajo. [Fano, R. Citado en Technology
Review, jul 2001]
El ruidoso teorema de codificación de canales es lo que dio rise a todo el campo de códigos de
corrección de errores y teoría de codificación de canales: theory: el concepto de introducir
redundunanuy en la representación digital para proteger contra la corrupción. Hoy si usted
toma un CD, rascarlo con un cuchillo, y reproducirlo se reproducirá porfectly. Eso es
gracias al ruidoso canal teorem.
Arquitectura Formal de Los Sistemas de

Comunicación
El siguiente diagrama ilustra la arquitectura formal que Shannon ofreció como un schematic
para una sistegeneral communication m. Voltear abierto al principio de cualquier libro de texto al
azar en las unicaciones comm,o incluso un papel o un ónógrafo m, y se encuentra esta diagram. m
Figura 1. De la teoría athematical de Commde Shannon de Shannon, unication”,

página 3.

Technología
[email protected]
Esta figura representa una de las grandes contribuciones de A Mathem teoría atical de
Unicación comm:la arquitectura y el diseño de communication systems. Se demonstrates que
cualquier

Technología
[email protected]
sistema deunicación comm se puede separar en components, que se pueden tratar

independientemente como m athe matical matheodels. Por lo tanto, es posible separar mel diseño
de la fuente del diseño del canal. Shannon himself, se dio cuenta de que su model tenía
"aplicaciones no sólo en la teoría de la unicación comm,sino también en la teoría de computting
machines, el diseño de intercambios telefónicos y otros campos." 3
Todas las sistems deco mmde hoyse basan esencialmente en este model – es realmente 'un plano
paralaera digital'
Representación digital
Shannon también se dio cuenta de que el contenido delessage mera irrelevante para sumission trans:
no matter lo que representaba el essage m. m Podría ser texto, sonido, imedad, o vídeo, pero
era todo 0 y 1 al canal. En un documento de seguimiento, Shannon también señaló que una vez
que los datos se representaban digitalmente, podían ser regenerados y transmitted sin errores.
Esta fue una idea radical para los ingenieros que estaban acostumbrados a pensar en transmitting
enfomation como una forma de ondaagnetic electrom sobre un alambre. Antes de Shannon, los
ingenieros deunicación de comm trabajaban en sus propios campos distintos, cada uno con sus
propias técnicas distintas: telegrafía, telefonía, audio y datos transmission todos no tenían nada
que ver entre sí. m
La visión de Shannon unificó toda la ingeniería deunicación de co mm, estableciendo que el

texto, las señales telefónicas, lasedades y el cine – todas las modas de launicación de comm –
podrían ser codificadas en bits, un término que se utilizó por primera vez en la impresión en su
artículo. Esta representación digital es la base fundaentalental de todo lo que tenemos hoy en
día.
Eficiencia de la representación: Codificación

de fuentes
En su artículo, Shannon también habla de la codificacióndefuentes, que se ocupa de la
representación eficiente de los datos. Hoy el término es sinónicomouscon los datos compression.
El objetivo básico de la codificación de origen es remove redundancia en el information para
m ake ake el message smaller. En su exposición, habla de un method sin pérdidas de datos de
compresionando en la fuente, usando un código de bloque de tasa variable, más tarde llamado código
Shannon-Fano.
as Un desafío planteado por Shannon en su artículo de 1948 con el diseño de un código que
era optimal en el sentido de que m minimizela longitud expected. (El código Shannon-Fano que
introdujo no siempre es optimal). Tres años más tarde, David Huffman, un estudiante de la
clase del Profesor Fano en el MIT came up conHuffmanCoding, que es ampliamente utilizado
para la presión de datos com.pression. JPEGS, MP3 y . Los archivos ZIP son sólo tanme examples.
Contenido de entropía e
información
Como hemos discutido, el documento de Shannon expresó la capacidad de un canal: definir la
definición dem la information que se puede enviar por un canal ruidoso en terms de potenciade transmisión
y ancho de banda. Al hacerlo, Shannon demostró que los ingenieros podían elegir enviar un
Technología
[email protected]
Aftab Cheung Kim Thakkar Yeddanapudi
determinado mount de information usando altaINFORMATION THEORY & THE DIGITAL REvolución
potencia y bajo ancho debanda, o alto ancho de banda8y
baja potencia.
3
Shannon, C. Una Teoría Matemática de la
Comunicación, pg. 3

Technología
[email protected]
La solución tradicional era utilizar radios de banda estrecha,all que centrarían toda su
potencia en una gama de frecuencias sm. El problema era que a medida que aumentaba el
number de los usuarios, el number de loscanales comenzó a ser agotado. Además, tales radios
eran altamente susceptibles a interferencias: por lo to interference: que la potencia much se
limitaba a una smtoda la parte del espectro que una sola señal interferente en el rangode
frecuencia podría interrumpir launicación de comm
Shannon ofreció una solución a este problema redefiniendo la relación entre information,
ruido y potencia. Shannon cuantificó el amount de inmation en una señal, afirmando que es la
amount de datos inesperados que contiene message. Llamó a esto contenido information de una
"entropía" de message. En launicación digital comm un streamde bits inesperados es sólo ruido
aleatorio. Shannon demostró que the cuanto más se asemeja una transmisión al ruido aleatorio,
más información puede contener,siempre y cuandose odula a un portador apropiado: se necesita un
portador de baja entropía para llevar una alta entropía m message. Así Shannon declaró quethen
una alternativa a las radios de banda estrecha estaba enviando un message con baja potencia,
repartido en un ancho de banda amplio.
El espectro extendido es sólo una técnica de este tipo: toma una señal de banda estrecha y
extiende su potencia sobre una amplia banda de frecuencias. Este makes increíblemente resistente a la
interference. Sin embargo, utiliza rangos de frecuencia adicionales, y por lo tanto la FCC
hasta hace poco había limitado la técnica a la military. Ahora es ampliamente utilizado en
teléfonos celulares CDMA.
me Ahora que hemos discutido así losconceptos de la fundamental en el trabajo de Shannon,

vamos a dar un paso atrás y ver cómo laparamalization de estos concepts comenzó una cadena
de investigación que finalmente became conocido como el campo deInformationTheory.
TRAYECTORIA DE TEORIA DE
INFORMACION - I
me Comenzare explorando la historia de Information Theory, cómo el campo evolucionó y

capeó varias influencias para ser lo que es hoy en día. En esencia, trazamos la trayectoria
de una nueva ciencia.
Creación del
campo
Information Theory surgió de los conceptos introducidos en "A Mathematical Theory of
Communication". Aunque, la frase "information theory" nunca fue utilizada en el
periódico, Shannon's emfaisis en la palabra "information" probablemente ayudó a acuñar el
term. La idea de que tanmnebulosa como "information" podría cuantificarse, analizarse y
reducirse a m mathematical paramula atrajola atención de tremendous.
Este excitado inicial ment dio li fe a la field. Pero, ¿cuáles fueron las forces que permitieron
este proceso? Según Latour, una de las tareas en la creación de un nuevo campo es reunir el
apoyo y el entusiasmo de los mculos4. Aunque Shannon m tenía la intención de queis el público
se limitara a la ingeniería de la unicación de comm,sus conceptos y la methodología m de
Technología
[email protected]
Aftab Cheung Kim Thakkar Yeddanapudi
pensamiento rápidamente se oved en la prensaIpopular.
NFORMATION THEORY & THE DIGITAL REvolución
1953's Fortune magazine describe 10
el
campo como mmineral crucial para 'mun's
progreso en paz, y la seguridad en la guerra' que la física nuclear de
Einstein.
4
Latour. B, Ciencia en Action, pg. 150

Technología
[email protected]
Tal vez, sin el apoyo popular y el interés de los investigadores de otros campos, Information
La teoría may no ha existido como lo hace
hoy en día.
Otra tarea en la creación de un nuevo campo es reclutar unmateurs para el trabajo de

5
investigación force . Como anteriormente mentioned, Shannon's 1948 papel atrajo una
multitude de los individuos para llevar a cabo la investigación Information Theory. En el time, estos
investigadores eran todos unmateurs a quien els trabajo de Shannon había abierto formas
completamente nuevas de abordar el problema' de la mission transm de information. Sin
embargo, estos unmateurs pronto becomme los expertos6 y posteriormente guió la dirección del
campo.
Circulación y Propagación de Ideas

Identificar los factores que transformed un solo papel a un campo floreciente, requiere una
investigación sobre las actividades que ocurrieron poco después de que Shannon introdujera su
teoría.
absolute Inicialmente había un absoluto fervor de excitement. Las universidades comenzaron a

offer seminars que más tarde se convirtió en clases. El Instituto de Ingenieros de Radio, o
IRE7,publicó artículos sobre la investigación actual en una revista meant para centrarse
únicamente en Information Theory, y paramed un grupo llamado el Grupo Profesional sobre Teoría de
la Information, o el PGIT. Además, seorganizaron symposia para presentar estos documentos y
permitir los debates del foro.
Unmidst todas las enthusias inicialesm, mcualquier felt que con todos los nuevos conceptos y
la investigación que se genera, había una necesidad de un generation más joven para
involucrarse. Como resultado, se organizaron varios seminars y salidasments en universidades
such different como la Universidad de Michigan y la Universidad de Napoli. Estos seminars más tarde
me se convirtieron en clases, que tuvieron una influencia en el campo porque discutieron
lasupreguntas deinvestigación, y produjeron estudiantes graduados que eventualmente seríanlos
nuevos practicantes del campo. El profesor Fano, de hecho, enseñó uno de los primeros courses,
6.574 commsólo conocido como el 'Curso de Teoría deinformation', en elMIT. En sus primeras
conferencias, Fano comenzó por acknowllevó a que su tema matter todavía estaba
completamente definido:
ying Vamos's comenzar por especificar un model de communicación sytallo
a la que the te heory a desarrollar se aplicará a apply... Este model debe ser
lo suficientemente general como para incluir, como casoss especiales, cases,
most de la sistedeunicación commms de interés práctico, sin embargo, simple
suficiente para prestarsuelfo a un estudio cuantitativo detallado.
[Fano, R. 6.574 notas de la conferencia,
MIT Archives]
En el time, elprofesor Fano enseñó su clase utilizando la investigación actual y sus direcciones
como su fuente de enseñanza material. Dibujó de aquí sus lecturas asignadas, conjuntos de
problemas, exams y preguntas finales del proyecto. De hecho, Huffman Coding, una forma de
representación eficiente, se originó a partir de un documento final que Fano asignó.
Un segundo curso, 6.575 "Temas Avanzados en Teoría De la Inform ation", fue enseñado más
tarde por Shannon himself después deque
6.933 ProjEct tomóInstituto
HiGrandey, la cátedra en elde MIT en 1956. ation Profesor G.
De Massachusetts
Technología
[email protected]
David Forney, Jr. acredita este curso "como la causa directa de su regreso a Information
Theory." 8
5
Latour, B. Ciencia en Action, pg.
150
6
Edyn, M.
Interview
7
IRE, El Instituto de Ingenieros de Radio laa ter merged con AIEE, Ameripuede Instituto de Ingenieros Eléctricos el 1 de enero de
1963 para form the IEEE
8
Boletín de la Sociedad de
TI, pg. 21

Technología
[email protected]
Hoy en día, aunque ni una Teoría de la Information salenent, ni existe un programa específico
dentro del EECS partemment en el MIT. El campo tiene become demasiado omnipresente, y
sus brotes son enseñados bajo una m ultittude de diferentes áreas: Computer Science,
Information Technology, Ingeniería Eléctrica, Mathematics. Además, los conceptos desarrollados
a través de la investigación Information Theory se han integrado en el curso material de
diferentes disciplinas de ingeniería. El "Curso de Teoría de la Information" numbered 6.574
todavía existe hoy en día en la forma de 6.441 "Transmission de Information."
Verque, como si siguiendo elconsejode Latour, Information Theory rápidamente encontró su

camino en el plan de estudios en varias instituciones educativas, y Shannon aseguró un puesto'
universitario. Estas son dos tareas de mineral mque Latour considera quemportant a la creación de
un field9.
Sin embargo, la educación no sólo tuvo lugar en el aula. Las transacciones IRE en
Teoría de la Información became un diario cuyo "primary purpose [se asoció] con la palabra
«educación» y more específicamente, la educación del PGIT membership en sintonía con
10
los intereses y tendencias actuales" .
Como una revista bien conocida, bien leída y respetada, tenía un gran control sobre la
investigación y el information quellegaban a sus lectores. Las Transacciones,, de una manera
guiada al campo por la investigación que eligió presentar en sus publicaciones. Publicó
editoriales de científicos respetados en el campo, incluyendo voces tan influyentes como
Claude Shannon, Peter Elias y Norbert Wiener. Su sección de correspondencia sirvió como
un foro escrito de discusión que contiene comments y reacciones a materials publicados, ya sea
dentro de la revista o en otro lugar.
Además de las clases y las revistas IRE, los primeros symposia jugaron un papel clave en el
crecimiento de Information Theory. El propósito de la symposia was para introducir la
investigación de vanguardia y para fomentar una enmosphere de la educación y ladiscusión.
Para estos symposia, los organizadores buscaron la "crema de la cosecha" en terms de

papeles; dejando fuera tutoriales y reseñas. Los resúmenes fueron submitted por mcualquier
individuo from varias áreas deinvestigación y revisado por un committee whojuzgó si el material
estaba dentro del alcance de la conference. Mucho effort se gastó para mantener la calidad de la
investigación tan alta como sea posible. We Hay que tener en cuenta que aunque este proceso de
selección era necesario para obtener documentos dignos dentro de los intereses de los
asistentes, abrió la posibilidad de ser sesgado hacia los intereses de los mymbers de la
organización committee.
A pesar del proceso de selección, el primer symposia reflejó una ampliación en el alcance y una
explosión de excitaciónent. En el primer London Symposium celebrado en 1950, seis de
los veinte artículos presentados eran sobre psicología y neurofisiología. Este number aumentó
a ocho por el time del segundo symposium. Pero para el tercero celebrado en 1956, el
alcance era tan amplio que incluía participantes con antecedentes en fields tan diversos como
"anatomy, animal bienestar,

Technología
[email protected]
9
150
10
Cheathem, T. Un Baase más amplio para el PGIT, Transacciones
IEEE, 1958, pg. 135

Technología
[email protected]
antropología, computers, economics, electrónica, linguística, mathematics, neuropsiatry,

neurofisiología, filosofía, fonética, física, teoría política, psicología y estadísticas. "11
Bandawago
n
En el mi d-50's, era becoming aparente que Information Theory tenía become somewhat de
una' moda. Esto fue debido a la confusión en cuanto a lo que information Theoryera realmente.
I ddn't’t like the term Informiatiation Theory. Claude didn't’t like it either.
You ver, the término 'information theory' sugiere then él es un theory sobre
inparamation – pero no es t. It's the transmission of information, not
information. Lots of people simplemente no entendió thes... I coined the
term 'mutual information' para evitar tales tonterías: making the point
thatinformation is always about something. Es inparamation proporcionado
por so mething, aproximadamente tanmething.
2001]
Talesiom ideas,junto con la creencia de que Information Theoryserviría como un agente unificador a
través de una diversa gama de disciplinas llevóa losinvestigadores a attempt para aplicarenfomation
Theoryterminology a some ofthe mostrandom of fields.
... he las aves claramente tienen the problema de communicating en la

presencia de ruido... una he examination de canto de aves sobre la base de
inparamation theory might... sugerir nuevas types de campo experiment y
analysis...
[Bates, J. "Importancia de la Teoría de la Information a Neurophysiology." y
Feb1953:
pg. 142]
Innumerables artículos superficiales basados en campos'no-enginee r'ing' fields estaban siendo

publicados en las Transacciones IRE en el time. Worse todavía, los investigadores introducirían
would deliberadamente las palabras
"Teoría de la Information" o "Cibernética" como se llamaba alternativamente, en su trabajo
con la esperanza de atraer financiación. Estos ciegos attempts para aplicar Information Theory
a h 'todoeverything bajo el sol' creó una gran cantidad de controversia ingeniohen el PGIT
sobre cuáles deben ser los límites del campo. En December de 1955, L.A. De Rosa,
sillamun de la PGIT, paramalized estas tensiones en un editorial titulado "In Which Fields Do
WeGraze?"
Should a an a ttempta d b be made a extend our interests a campos tales
como management, biology,psychology, y linguistic theory, o t the
concentración debe ser estrictamente en the dirección de communicación por
radio o alambre?
[De Rosa, L.A. "En Which Fields Do WeGraze? " Dic
1955:2]
PGIT members se dividieron. Así quemcreo que si el conocimiento y la aplicación de

Information Theory no se extendía más allámmde las unicaciones de radio y alambre, el progreso en otros
campospodría retrasarse o atrofiarse. Al ampliar el alcance del PGIT, los conocimientos se
compartirían con otras esferas. Otros insistieron en confinar el field para desarrollarmen ts en
Technología
[email protected]
radio, electrónica, y alambre communications. Los dos puntos de vista se debatieron
acaloradamente en los próximos años a través de la correspondencia en las Transacciones y en otros
lugares.
Este es un claro example de la Gran División, como se define por Latour12. El PGIT es
unaredcientífica.ic network. Enithin el PGIT, existía una red interna y externa. Latour'ss
"insiders" consisten
11
Blachman, N. Un informe sobre el tercer Simposiode Londres, , IEEE Transactions,
marzo de 1956, pág. pg. 17

Technología
[email protected]
de los mymbers que creían que InformationTheory debería limitarse a los ingenieros
deunicación de comm (o los puristas).). Los "extranjeros", por supuesto, son los members que
apoyaron la expansión de la Teoría de la Informationation a otros campos. En la Gran División,
los expertos no creen que los forasteros tengan una comprensión correcta de la naturaleza del
campo.
En 1956, el debate había me sido suficientemente acalorado como para que el padre del
campo tuviera que abordarlo. En su editorial de marzo, "The Bandwagon" Claude Shannon
respondió a la pregunta de De Rosa,'tomando el lado de los puristas. Escribió a sunmanera habitual,
pero mostró signos de frustración en el estado de Information Theory. Shannon sintió que
Information Theory había "enredado" en elmineral m de lo que realmente era, debido a su novedad
y exposición popular. popular La esposa'de Shannon, Betty Shannon, commented, "Se wife,
insinó un poco con la forma en que la gente estaba tirando de ella. La gente 'no entendía lo que
intentaba hacer. "13 Shannon tenía la intención de que la teoría se dirigiera en un ner
mmuyespecífico, y por lo tanto creía que may no era relevante para otras disciplinas. Además,
creía que las Transacciones m m IRE, al, ser una revista dem academic, deberían requerir
trabajoscuidadosamente investigados que seaplicaran adecuadamente, y no sólo
superficialmente, aplicarla Teoría de laAdema y hacerlo en un more riguroso manner.
Una comprensión profundarde the menla base atical hem y su aplicación
deunicación comm es sin duda un requisitoerequisite para otras aplicaciones.
I personally believethat maany of the concepts o f information theoryry
will prove usefulin these other fields-and, indeed, por lo quemeresultados ya
son bastante promising-pero theestablecer de tales aplicaciones no es un
trivial matter de traducir palabras a un nuevo domain, pero rataher the lento
proceso tedioso de hypotesis y verificación experienciamental.
[Shannon, "The Bandwagon" Arco March
1956]
Norbert Wiener, otro influyente member de la PGIT, también estuvo de acuerdo con Shannon en
que el concepto estaba siendo erróneamente considerado como la solución a todos los informational
problems.
... Como sugiere el Dr. Shannon en su editorial: The Bandwagon, [Information
Theory] está empezando he a sufrir de la forma inate de indiscrimen la que
se ha tomado como una solución de todoinparamproble racionalms, una
especie de magic key. Estoy suplicando en este editorial que
InformationTheory... volver al punto de vista from which it originated:the...
estadística cencepto of communication.
[Wiener, "Wsombreroes Information Theory? "
Junio 1956]
Tales editoriales made las vistas del núcleo del PGIT claro. Vere una rápida reducción en
el number de losdocumentos 'fluffy' en las Transacciones – los temas cada vez más becomee se
centraron en nuevas investigaciones eningeniería deunicación de comm.
En 1958, el destino del campo había sido bastante decidido. El's mordaz editorial de 1958 de
Peter Elias "Two Famous Papers" cristalizó la "gran división". Tomó una uch postura más
dura que la de Shannon al describir un artículo típico que no debería publicarse:
The first paper hasthe generic title 'Information Theory, Photosynthesis

andReligion'... escrito por un ingeniero o physicist... Sugiero que dejemos de
Technología
[email protected]
Aftab Cheung Kim Thakkar
escribirYeddanapudi
[it],]y liberemos una gran Ifuente
NFORMATION THEORY
de mun & THEpara
poder DIGITAL REvolución
trabajar en... 18
important problemswhich necesita investigation.
12
Latour, B. Ciencia en Acción,
pg. 211
13
Shannon, B. Teléfono
Interview

Technología
[email protected]
[Elías, P. Dos papeles famosos , sep

1958]
'Las palabras de Elías son las últimas en el debate: el campo ha encontrado sus límites. O mejor
dicho, han sido encontrados para ello. Los puristas, con su control sobre las
Transacciones,, y su capacidad para controlar el foro de discusión mismo, habían ganado.
Enith el campo estableciendo sus límites, el PGIT comenzó a mirar hacia el futuro y
cambiar su enfoque al desarrolloment de prácticas applications. F. Louis Stumpers, ahora Presidente
Honorario de la Unión Internacional de Radiociencias commented:
Teórico y fundamestudios entales come primero, y much trabajo rem

mmains para hacer, done, pero mcualquiera nos juzgará por la aplicación
práctica que podemos encontrar. Vamos a dar especial cuidado a esto...
[Stumpers "Teoría de laademás de la Inform e Int. Organizaciones de Radio"
en junio de 1957, 85]
Digresión – Algunos antecedentes

esenciales
Para entender lo que estas "aplicaciones prácticas" eventualmente sería, es mportant para
darse cuenta de lo que estaba pasando en el área de lasunicaciones commen el time. Let Digress
para un moment para tanmefondo. Conel advenimiento de World War II, el foco de
launicación de comm había cambiado de la telefonía y la radiodifusión al control de radar, control de
incendios y launicación de lacommilitaria m.
El foco de la unicación commde largadistancia, too había cambiado, de la transtrans mission de

waveformsa latrans mission de datos porque computers fueron finalmente becomming el nuevo
receptor terminal. Humans son expertos en el manejo de errores y pueden extrapolar el
contenido de un message, mientras que un computer no puede interpretar un cuerpo de datos
sin algorithms para corregir errores. Estos nuevos tecnicismos requerían methods eficientes
para codificar y enviar datos. Las ideas de Shannon'serían instrumental en el desarrollo de
estassoluciones.
Al final de World W mar II, los servicios de military estaban muy presionados por la
contribución al esfuerzo bélico made por físicos altamente calificados, mathematicians, e
ingenieros como los del Laboratorio de Radiación del MIT. El military consideró que era
crucial tener un gran grupo de manpower disponible, especialmente uno altamente calificado
en electrónica y communicación en caso de otra guerra.
El Army, la Marina y la Fuerza Aérea por lo tanto decided para patrocinar la investigación, y
en 1951 el military inició el contrato de Tri-Servicios, que incluía las tres ramas. El primero en
ser financiado fue el Laboratorio de Radiación del MIT, Laboratory, que más tarde se basóenme
el Laboratorio de Investigación de Electrónica (RLE).
Según Latour, los científicos necesitan alinearelm selves con los bolsillos profundos, los de la
industria o el gobierno federal ment14. Sólo aquellos que tienen financiación serán
influyentes. El military era una de las ost ramas bien financiadas del gobierno federal ment.
Respaldado por el fondo military Tri- services, information Theory investiga fue pronto
bienposicionado.
Technología
[email protected]
Volviendo a nuestra historia, encontramos que para 1958 era obvio que el campo había
sido become mature y
14
172

Technología
[email protected]
bien definido. Las transacciones IEEE15 comenzaron a rellect la actitud del PGIT. Hay
áreas que son apropiadas y áreas que no lo son.
Temas iener heir m ystems, and appropriateness nclude nformation

heories de las siguientes aprobaciones, analyses y diseño decommunication
systems, information sources, reconocimiento de ation patrones, recepción y
detección, automata y aprendizaje, a gran escala inparael procesamiento dem.
[El PGIT Administrative Committee en 1959, 136 (emphasis
añadido)]
Discusión
Considere de nuevo la historia que acabamos de ver: la historia de un campo que encuentra
sus límites, moving más allá de mistempts para aplicarlo a ciegas donde no pertenecía,
finalmente progresando a lo largo de su trayectoria natural...
Un bonito cuento de hadas, ¿no? We sabe de MacKenzie que no existe tal cosa como una
trayectoria natural:
"El cambio tecnológico es social through y through. th Take Llévese...

estructuras que apoyan un cambio tecnológico de un tipo particular, y deja
de parecer "natural", de hecho deja de hacerlo por completo»
[MacKenzie, Inventing Accuracy,
384]
Continuaráe will continue con nuestra historia, entonces con estas palabras cautelosas: words:
aunque presentamos present una trayectoria, esta trayectoria no es por ninguna de las "naturales" de
means. It Está influenciado por un immense number de factores: los sesgos del PGIT, las
opiniones personales de Shannon, el costo de la tecnología de hardware, los intereses de la
familia,eventos externos como el lanzamiento del Sputnik...
Considere los límites del campo y la ruta de acceso tomada para definir elm. Latour discute el
immense importance de scientific papers in ditermining 'the truth', o lo que se cree que es la
verdad. WYa hemos discutido que hubo un intenso debate en el PGIT sobre el futuro de
Information Theory : la publicación de articles al azar sobre temas como las aves, había
enfurecido a los puristas, que sentían que tales tonterías diluían la seriedad de su campo.
Los científicos estaban usando el término "Information Theory" como un eslogan pegadizo
para obtener financiación, incluso si su trabajo no tenía nada que ver con ello. La reacción contra
esto fue tan fuerte, que descarriló incluso grave attempts para aplicar Information Theory a
otros campos.
Este efecto se vio reforzado por el hecho de que los pesos pesados en el PGIT: Shannon, Wiener,
Fano et al. eran todos puristas, y titulares de oficinas en el PGIT. Y controlaron loque sepublicó y lo
que no. Por lo tanto, sus sesgos y opiniones personales contribuyeron fuertemente en lo que
el campo finalmente eligió para incluir... y lo que eligió excluir. Al examinar los documentos
personales de Peter Elias, encontramos papel tras papel que había rechazado para las
transacciones IEEE,porque eransimply 'irrelevante'
El interés de la familia mtambién, must no se pasa por alto. El military no estaba especialmente
interesado en la aplicación de Information Theory a aves, arte o incluso neurofisiología.
Estaba interesado
Technología
[email protected]
15
IRE (El Instituto de Ingenieros de Radio) más tarde merged con AIEE (American Institute of Electrical Engineers) el 1 de enero
de 1963 para form IEEE (Instituto de Ingenieros Eléctricos y Electrónicos).

Technología
[email protected]
enla unicación comm. A pesar de que la investigación era de interésecondary para ella,
todavía tenía influencia sobre las áreas exploradas: y los intereses de los puristas y el
puebloilitary se alinearon fácilmente. Y el resto es historia.
Al final de nuestro documento, al final de nuestro documento sevolverá a examinar estas

cuestiones. Pero por ahora, volvamos a nuestra historia...
TRAJECTORY II - PROGRESSION OF THE FIELD
W ork en la teoría dela Information tendía a centrarse en tres áreas main de

investigación basada en aplicaciones: tecnología de espectro extendido,
codificación de fuentes y codificación de canales. Teoría de codificación
finalmente became tal áreainantm queInformation
Theorybecameprácticamente synonymous con lacodificación. "Coding
theory is Information Theory", insiste el profesor Fano, "Es sólo
progreso".
Tecnología de espectro
Fiure 3. ure Hedy extendido
Lamarr Una de las primeras aplicaciones de Information Theoryconceptos, sin
embargo, fue en la tecnología de espectro extendido, donde su
desarrolloment fue impulsado por las necesidades de military. Durante
World War II, se utilizaron señales de radio fo missile guidance, así
como communication, y eraportant que estas señales estuvieran
protegidas de ladetección enemy jamming. m
El salto de frecuencia, que involves ciclismo a través de frecuencias

aleatorias para evadir jamming fue unode los primeros corredores de
avanzada de la tecnología de espectro extendido modern. La técnica fue
desarrollada por la actriz de Hollywood Hedy Lamarr y el musician
Figura 4. Hedy's Patent George Antheil.
El concepto de espectro extendido como se conoce hoy en día stems de

la idea de Shannon de la entropía. En nuestra discusión sobre el papel de
Shannon señalamos que paralaunicación robusta comm un alto entropía
message necesita un portador de bajaentropía, como el ruido. La tecnología
Spread Spectrum distribuye una radio estrecha signal sobre un ancho de
banda mayor y makes resistente a jamming e interferencia. Desde
la década de 1940 hasta la mid - 1980s, almosttoda lainvestigación y
desarrolloment dedicado a la tecnología fue respaldado por el military y fue
altamente clasificado16.
Gran parte del trabajo inicial sobre el espectro de propagación se

realizó en el MIT a principios de los años 50 en el marco del proyecto
NOMAC, que significa NOise Modulación And Correlation. La
investigación realizada en el MIT condujo al desarrollodeent varias
Technología
[email protected]
'transmitted reference' todas las aplicacionesilitarias fo m. Estos sistems logran la detección
spread spectrum systemss,
16
CDMA Desarrollargrupoment, sitio web.

Technología
[email protected]
por transmitting dos versiones del portador, uno modulado por los datos y el otro
unmodulado. A
detector de correlación entonces extrae elessage mde las dos
señales17.
Elas primer sistema de espectro de propagación operacional con el Lincoln Lab F9C system,
desarrollado por el Dr. Paul Green. Fue proved probado por el sistema RAKE en 195818. Hoy
en día, el espectro extendido se puede ver como tecnología CDMA en teléfonos celulares.
Eficiencia de la
representación
Como estamosenlacionados, la teoría de la ost codificación estaba a la vanguardia de
Information Theory – era un área amplia, y una en la que influence de Information Theory
estaba claramente definida. El trabajo de codificación mtemprana se centró originalmente en la
presión de datos. En el time, launicación de comm fiable no se consideró particularmente
relevante o cable appli.cable. El foco de interés se centró en la eficiencia de la representación y la
conservación del ancho de banda, "ser capaz de representar el habla y las imágenes more
economically... En ese mdía, la gente sentía que uno podía ganar unos cuantos dBs
codificando, pero ¿valió la pena? "19
Así queme de la important primeras preguntas de investigación y cuestiones de aplicabilidad

estaban en esta dirección, para example Huffmunacodificación. En 1951, David
Huffmrealizó el curso de 6.574 graduados en Teoría de la Infor maation, impartido por el profesor
Fano en el MIT.m Como alternativa a tomar la exafinal, el profesor Fano solía dar a su clase la
opción de escribir un documento de término sobre temas de investigación abierta en
Information Theory. El tema de ese año fue encontrar la codificación eficiente most method
para representar a symbols, como numbers y letras. En el time, no había solución conocida para el
problem: Shannony Fano elsermhabía luchado con él.
to Después de trabajar en el problema para months, Huffmun finalmente decidió darse por ti.
Asu antojón estaba destrozando sus notas, tenía una epifanía. "Era el most singular moment
de my life", dijo Huffman. "Hubo un relámpago absoluto de la realización repentina." 20 Ya
se sabía que el more con frecuencia aparece un symbol, el more su código se utiliza, y en
consecuencia, era mejor representar el most frecuentesymbols con códigos más cortos. Aquellos
que habían estado tratando de descubrir una codificación eficiente anteriormente habían estado
tratando de asignar códigos que van de most frecuente a menos frecuente. Huffmun se dio
cuenta de que al ir al revés, de menos frecuente a mostfrecuente, era posible asignar el
symbols con el most optimal algorithm . Huffman publicó su algoritmo en su artículo
titulado "Un método para la construcción de los códigos de redundancia Minimum." Sus datos
compressithm, conocido como Huffmuna codificación, se utiliza universalmente enla presión de
21
datos compression y almacenamiento de datos systems hoy .
Por lo tanto, el enfoque de los primeros trabajos en la codificación remainedla eficiencia de la

representación. Incluso la literatura temprana sobre el alcance de Information Theory time
traiciona un enfoque yopic almost m en él. La cuestión de la time verms para ahorrar anchode
banda: ¿Podemos utilizar las técnicas de Information Theory para ahorrar tanme bandwidth, o
Technología
[email protected]
compress some data for a particular application? Si no es así, entonces TI probablemente no
es particularmente útil para él. Para example, D. Gabor a regañadientes
17
Jachimczyk, W. Página web de
espectro extendido
18
Hochfelder, D. Entrevista con el Dr. Paul Green, IEEE
History Center
19
Fano, R.
Interview
20
Stix, G. Perfil: David. A. Huffman, Scientific American, septiembre.
1991 54,58
21
Huffman,an, K. Página web de David
Huffman Elegy

Technología
[email protected]
concluye en su artículo de ma 1953 Teoría de la comunicación, pasado, presente, prospectoe,

que como no much ancho de banda se puede guardar en latelegrafía o music transmission, "es evidente
que sólo un beneficio moderate puede ser obtenido por la aplicaciónde modern communicación
teoría" a estos campos.
Codificación de
canales
Lapopularidad de los datos demla presión y la codificación dela fuente, la verdaderai mportance del
ruidoso teorema del canal de Shannon no fue reconocida. Fue tratado como un poco mmineral que
una curiosidad teórica. Las razones detrás de esto fueron simple mple: unfter all, una forma
de alcanzar unaunicación de comm confiable es hacer estallar la señal en una mayor relación señal-
ruido. Si quieres que te escuchen, grita. Otro problema era el hardware: error-correcting
schemes eran complex y demanded computation power, que era prohibitivamente caro.
"I remember John Pierce en Bell Labs... He Era el jefe de Shannon. Estaba
playing down the importance de the ruidoso canal theorem, saying: 'just
use morebandwidth, more power'... there no era li mitation then – you
podía hacer lo que ynecesitaba en terms deunicación commfiablesin
codificación larga. Y además, incluso si ustedou quería to, you estaban muy
mal limited por equipment complexity and cost..."
2001]
Afortunadamente, todavía había un few minds interesados en explorar las posibilidades de

corrección de errores. Estos primeros pioneros deferred los problemas de la aplicabilidad, y
continuaron explorando el potencial del ruidoso canal de teorem.
Códigos convolucionales y decodificación

secuencial
Peter Elias inventó códigos convolucionales en 1955. A diferencia de simple códigos de bloque,
códigos convolucionales aproximcomió un árbol aleatorio structure, y son mmineral potente.
Son la base de tanmede los códigos populares most en uso hoyen día.
What m adeeste particular method particularmente
atractivo fue la relativa facilidad con la que los
datos podrían ser codificados. Sin embargo,,
como señala el profesor Forney en su Conferencia
Shannon de 1995, un honor anual otorgado por la IEEE
Information TheorySociety, "el obstáculo clave para
acercarse prácticamente a la capacidad del canal no fue
Figura 5. Un codificador SimpleConvolutional la construcción de códigos largos específicos... más
bien
fue la decodificación
complexia"22
Para loscódigos convolucionales, laplexigla co mde decoding aumentó exponencialmente con la

longitud del código. Así, los códigos convolucionales, a pesar de sus atractivas propiedades,
vermed doomed ala extinción.

Technología
[email protected]
Luego, en su tesis doctoral de 1957, "Sequential Decoding for Reliable Communication",
John
22
Forney, D. Conferencia Shannon, 1995. Boletín de la Sociedad de TI
IEEE, Summer '98 :21

Technología
[email protected]
Wozencraft abordó el problema de la decodificación complexity. La decodificación secuencial era

esencialmente una clase de "técnicas exhaustivas de búsqueda de árboles"23 cuyo enfoque
probabilístico le dio una ventaja. La decodificación complantitadez de su algorithm rosa
polynomially con la longitud de los códigos, en lugar de exponencialmente - un avance major. With
Fano's improvements en 1963, decodificación secuencial became untractable method de manejo
de códigos convolucionales.
El trabajo de estos pioneros, sin embargo remaiained teórico. Aunque el decodificador de

Wozencraft made el uso de códigos convolucionales factible, la tecnología de hardware estaba muy
por detrás. El decodificador secuencial ental original experim,SECO construido en Lincoln Labs en
'62 fue extremely grande, tomando dos sólidos rooms deequipment.
Plagado por la falta deotivación, y peor aún, por la falta de tecnología, el ruidoso teorema del canal
vermed doomed al estancamiento. m Pero entonces sucedió tanmm ething que dio corrección de
errores y el ruidoso teorema del canal su primera gran oportunidad. Y que tangrandeera el espacio.
Sputnik
El lanzamiento del Sputnik en 1957 lo cambió todo. Los rusos habían tomado la delantera en
la Carrera Espacial, y había un dismay en los Estados Unidos. El efecto se ha parecido a
un segundo 'Pearl Harbor'. There Hubo un repentino aumento de interés mm en los
lanzamientos espaciales, y en consecuencia, en la unicación espacial. Determined para no ser
superado por los rusos, los Estados Unidos rápidamente mejoraron el espacio domestic
program. En 1958, el presidente Eisenhower aprobó un plan parasatélites, y se estableció la
NASA. f
Sputnik, y el posterior desarrolloment del espacio program,, generó una gran cantidad de
interés en la unicación fiable co mmmmen presenciade ruido. De repente fue unmuy verdaderoproble m,
y ya no era posible decir glibramente 'simplemente use el poder delmineral m.' Como
resultado, se trabajó mucho en la codificación de canales.
"Wsombrero realmente cambió toda la picture era espacio communicación.

Debido a que la potencia es muy cara en el espacio - la generación de energía,
el peso de la potencia supply. Y that's cuando the industry, y the
investigación en general comenzó a thtinta much more seriamente sobre
launicación comm en the presencia de ruido. El espacio cambió el panorama
por completo..."
2001]
En realidad había un number de factores que made channel codificación tan perfectamente
adaptado al problema de la commdeespacio profundo.
En primermlugar, como mentioned, la energía es muy cara en el espacio

El canal del espacio profundo – el canal de unicación de commcon sondas espaciales –
almost perfectly matches el canal ruidoso teórico model que Shannan presentó
en su artículo original, que fue muy bien entendido.
El ancho de banda, que se utiliza mediante la codificación, es relativamente abundante en el
espacio.
Technología
[email protected]
23
Forney, D. Conferencia Shannon, 1995. Boletín de la Sociedad de TI IEEE,
Summer '98 : 21

Technología
[email protected]
Como As estamosentioned, equiparment complexide m adeade codificación una

propuesta tan costosa que most personas noseriamente consider. Pero para un espacio
ultra-caro mission, el costo porcentual de la codificación equipment es small.
Además, cada dB ahorrado por codificación resultó en mmineral que un $1000,000
de ahorro en la unicación commequipm In ent. Y eso es $1000,000 en 1960.
Por estas razones Professor James L. Massey llamó al espacio

profundo communicación y codificación un "mmarriage made in
heaven"24. Space dio a la codificación su primera aplicación
real, y el campo que originalmente había sido arginalizado
rápidamente comenzó a prosperar. m
Avances en tecnología de
hardware
La tecnología espacialhe no sólo impulsó la necesidad de avances de
codificación, sino también para los avances de hardware. En 1958,
Figura 6. Mars, Mariner IV, Jack Kilby en Texas Instruments came up con el circuitointegrado,
'64 usando no codificación. que reemplazóa los transistores discrete. Elith time, costo, el peso
y la potencia necesarios para la operación de decodificación promedio se
redujeron por órdenes de magnitude. En el same time, las
velocidades dedecodificación alcanzaron varios megabits por
segundo. Complexigla becamemenos preocupante como circuitos
integrados más nuevos y más rápidos se desarrollaron. Esto
permitió la aplicación práctica de la codificación de canales, no
sólo en el espacio, sino también en otras áreas. En 1968, el
decodificador secuencial que solía ocupar dos rooms enLincoln
Lab, había sido miniaturized enough para ser colocado en
Pioneer 9 – una nave espacial sm todoelpeso de un mere 67
Figura 7. Mars, Mariner VI, kilograms.
'69 usando la codificación Reed-
Muller.
Aplicaciones
espaciales
Así iqueme de laprimera serie de missions para usar la
codificación fueron Pioneer de la NASA y Mariner missions. A
partir de Mariner VI en 1969, la serie Mariner fue la primera en
utilizar oficialmente la codificación. Mariner VI utilizó códigos
Reed-Muller, que fue desarrollado en 1954 y permitió la
corrección de una variable number de errores. Observe la
diferencia entre la Figura 6, que muestra una de las primeras
imágenes de primer plano de Marte cortesía de Mariner IV, que no
utiliza codificación, y la Figura 7, otra toma de Marte de Mariner
VI, utilizando el código Reed-Muller mentioned.
Figura 8. Saturno, Voyager,
'71 usando la codificación While estaban desarrollando códigos Reed-Muller para la serie
Golay. Mariner, la tecnología becamedisponible para utilizar un
decodificador secuencial en el espacio. Así, en 1968 los
ingenieros de la NASA decidieron probar el decodificador
secuencial, diseñado por el profesor Forney del MIT en Codex
Technología
[email protected]
poniéndolo sobre una "base deexperienciaental" en Pioneer IX. m
24
Massey, J. L. "Deep-space communication and coding.", en Lecture Notes on Control and Information Sciences, 1992.

Technología
[email protected]
Esta fue una estratagema deliberada para evitar el procesode aprobación de la NASA 25. Pioneer
IX, de hecho became la primera nave espacial en utilizar la codificación.
En 1979, las sondas Voyager fueron lanzadas, y were capaces de transmitting imágenes a color.
Para el color, el alfabeto de origen es much más grande, y por lo tanto se necesita una mejor
corrección de errores. El scheme de codificación elegido fue elcódigo Golay.
Teoría de codificación, y la tecnología de hardware necesaria para implement se estaba

expandiendo rápidamente. Así que much Soo, que el Voyager mission fue cambiado changed
en la mosca para mantenerse al día con imdemostrarments en la tecnología. El código Golay que
used en el lanzamiento fueron reemplazados por Reed-Solomencódigos - los códigos ubicuos
ahora se utilizan en todas partes para la corrección de errores, incluyendo CDs y discos duros. Reed-
Solomen códigos fueron inventados en 1960 en Lincoln Lab.
La rapidez con la que el campo estaba progresando se puede ver observando que entre el
lanzamiento del time Voyager y su llegada a Neptuno, hubo un aumento de seis veces en la tasa de datos
transmission.
Un sentido aún more dramatic de cómo much, y lo rápido, el campo había progresado se
puede obtener señalando que latasa de telemetry para Voyager en Neptuno. La velocidad era de
21,6 kbits/s a una distancia de 4,4 mil millones de m, una a porfomance improvem entent de
almost 107 sobre Mariner IV en una década mere.
"La codificación
está muerta"
A finales de los años 60, había una fanhelación generalhen Information Theory como un
campo, y la codificación en particular, estaba muriendo. La decodificación secuencial había sido
implemented en el espacio, pero remained demasiado caro para el usoercial commm. El microchip
aún no estaba cerca, no se estaban inventando nuevas aplicaciones, y la nueva codificación
schemesque se sugiere ya era demasiado complexa implement.
Los códigos convolucionales y la decodificación secuencial habían conseguido que la codificación

se acercara al Shannon Limit, y había desarrollado una "creencia cuasi-religiosa" general de
que había... (era a) m "capacidad práctica" de un canal memoless, y que mediante el uso de la
decodificación secuencial la capacidad práctica podría alcanzarse o menos. Problema
resuelto"26
... ry A lamentable consecuencia de thes conclusion (que es rather irónico

en vista of the later histoof sequential decoding) fue then the M.I.T. i
nformationtheory group, probablemente the greatest assemblage of talent thhas
ever known, began to dispersd to other fields and institutions,llevando así a un
fin the primera edad de oro de inparamation theory...
[Forney, Shannon Lecture,
1995]
El profesor Fano, junto con lose profesores Shannon y Elias, eran tande los incluidos en este
"gran assemblage", que decidieron ira proyectosinteresantes.

Technología
[email protected]
25
Costello et. al. Aplicaciones de Error-Control Coding, IEEE Transactions on Information Theory,
Oct '98
26
IEEE, Summer '98 : 21

Technología
[email protected]
En the 60, lots de personas sentían then el campo the era becoming
obsoleto. Nohingmuy interesting estaba sucediendo... Se was mostrado then
you podría codificar y decodificar eficiente yy, pero the aplicación práctica
de thes una ciéta diferente y. Todas lashe operaciones implicadas en la
codificación y decodificación fueron very, muy expensive... [Entrevista con
Fano, R. 2001]
Las cosas eran desalentadoras, y se estaban poniendo worse. El profesor Gallager recuerda que
así queme de las cabezas más sabias en el MIT sugirió que se meove en un campo de more
promising, 'como tubos de vacío'. El profesor Forney recuerda haber recibido consejossimilar.
A finales de la década matters tenía come a una cabeza. En 1971, se llevó a cabo un taller
de codificación en San Petersburgo, Florida, titulado "Future Directions". Muchos teóricos de la
codificación prominent asistieron para discutir otras áreas a investigar. Después de pasar uno o
dos días discutiendo las posibilidades futuras, llegaron a la conclusión de que todo lo que era
de interés para su unidad de commmm estaba finished, y que no había ninguna dirección futura,
excepto fuera. En la conferencia, Robert McEliece dio una charla infaamous titulada "Coding is
Dead"
El thesis de h su charla era then él y otros eoristas de codificación paramed

a smtodo grupo endogámico que había sido aislado de la realidad demasiado
tiempo. Ilustró esta charla con un solo slide showinguna pluma de ratas
thenpsychólogos había escrito en un espacio confinado durante un extenso
período de time. No puedo decirle aquí lo que esas ratas estaban haciendo,
pero basta con decir then the slide desde e ha sido prestado mcualquiertimes
para representar the profundidades de la depravación ina which un grupo
desconectado puede caer. Las ratas m ade Lord ofthe lasmoscas se ven like
un picnic escolar.
aTodo el thes depraved behavior hadsu parallel in theactivities of coding
theorists. Demasiado mcualquier ecuación había sido generadoed con muy
pocas consecuencias... Coding theorist profesores habían engendrado more
codificando theory PhDs en their propio imedad... no ene else cared; it fue
time para ver thes persversion for when él era. Give up thes fantasíay
asumir una ocupación útil... La codificación está muerta.
[Suertey, R. Lucky Strikes Again '93, Compilation de artículos de IEEE
Spectrum] p
El profesor Proakis de la Universidad Northeastern recuerda el dismay ala que la conferencia creó. "Se
tratabaor mber de personas que habían estado trabajando en la teoríade la codificación durante unos
años, y llegaron a la conclusión de que todo lo que valía la pena hacer ya se había hecho". Los
investigadores que asistieron al taller creían que la codificación tenía unpapel muy limited, sus
únicas aplicaciones en el espacio profundo communicación y en el iñimido m. En este time,
incluso el trabajo deViterbi, que era la clave para optimal decodificación de códigos secuenciales,
fue little entendido y no apreciado, y era simply demasiado caro para impliment.
Una de las pocas voces disidentes en la conferencia fue la de Irwin Jacob. Se puso de pie,
diciendo: "La teoría de la codificación no está muerta", mientras sacaba un registro de turnos
integrado de 4 bits de su bolsillo, "y por eso".
it Ese 4-bit shift registro m ayay be pitiful para los estándares de hoy’'s, pero era una gran cosa
entonces. Había sido la falta de tecnología de hardware lo que llevó halos teóricos a anunciar
Technología
[email protected]
lamuerte de la codificación. Sin embargo, también fue la disponibilidad de tecnología de
hardware, lo que daría paso a su reactivación.

Technología
[email protected]
TRAJECTORY III - APLICACIONES COMERCIALES Y PROBLEMAS DE

TECNOLOGIA
La tecnología de hardware siempre ha sido elining factor disuasorio para Information Theory. m
La teoría es sólo eso: teoría. Algorithms, conceptos, códigos. They Requieren tecnología, en
forma de hardware the complex y componiendo energía para ser utilizado. La tecnología When
era escasa, complex y cara, como a principios de los años 60 – las aplicaciones eran confinedined a
aquellos con los bolsillos a unfford elm: NASA yel military. m
A finales demi los años 60, la revolución delconductor se estaba acelerando rápidamente. Intel
came out con el primer croprocesador mi en 1971. Así como la falta de tecnología de hardware
había empujado la codificación a un coma,a, la creciente disponibilidad de tecnología allanó
el camino para su reactivación. De hecho, a finales de los años 60,mila tecnología de conductor es
necesarioteníaeunasesión suficiente que ming era lo suficientemente factible para Inforfining
mation Theory para romper de los límites dela estafa de aplicaciones ultrailitary costosas del
espacio y el espacio y fijar su mirada en elmundoercial comm.
ge "Ciertamente los circuitos integrados jugaron un papel en making estas codificaciones

schemes práctico"27 dice el profesor Proakis. El profesor Fano lo dijo mímineral emfáticamente:
"Fue la revolución del croprocesador mila quecambió todo el panorama! "28
La tecnología de nuevo, en forma de hardware listo y barato, y componer poder, está detrás
del éxito fenomenal de Information Theoryhoy. Esto es exemplificado por la historia de los códigos
de verificación de paridad de baja densidad. Estos códigos permiten que uno se acerque mally al
aliado deShannon Lim– sonlos m códigos de gran alcance conocidos actualmente. Lo interesante es
que fueron propuestos por el profesor Gallager, en su doctorado de 1960.tation. La tecnología ha mplem
tardado cuarenta años en llegar al punto en el que pueden estar.
De hecho, Codex Corporation, uno de los primerosmpanies deInfor m ation en aplicar los
conceptosde Information Theory commercially, aquired the rights to Low Density Parity Check
codes in the 1960s. Los códigos nunca fueron implemented: eran simply demasiado complex.
Códic
e
Codex fue una startup del MIT, fundada en 1962. Elhen profesor Forney se unió a él después de
completing su doctorado en 1965, fue un smtodos12 personas startup. El Códice originalmente,
como todos los demás, estaba en el negocio de las aplicaciones de military. Trabajaron en la
construcción de parches independientes de corrección de errores, que fueron fitted en la aplicación
existente military communication systems. "Nuestro negocio entonces era poner 'vendages' en
systems que ya había sido diseñado", recuerda el profesor Forney. "We fueron capaces de
conseguir tanme negocio, almost todo desde el gobiernoment, pero era becoming claro que
29
la codificación de errores independiente no era el camino a seguir. " Así que Codex moved
on del uso de Information Theory ideas en error corrección de fo military work, para
aplicarlos a su commgolpeercial, el modulator-demodulator, mejor conocido como, el modam.

Technología
[email protected]
Aftab
27 Cheung
Proakis, Kim Thakkar Yeddanapudi
J. Interview INFORMATION THEORY & THE DIGITAL REvolución 38
28
Fano, R. Interview
29
Una conversación con Forney, D. Boletín de la Sociedad de TI IEEE, junio de 1997

Technología
[email protected]
De hecho, modems fueron una de las primerasm aplicaciones mmerciales de informmation:

modems, y el trabajo relacionado en facsimile machines, son los que le permitieron entrar en la
arenaercial comm.
El profesor Gallager, que trabajaba como asesor para el Codex, era consciente de que Jerry
Holsinger estaba trabajando en un diseño para un 9600 baudios modem en un abetode defensa de
California m. Gallager sugirió que la firma adquiriera Holsinger y su investigación. Como
resultado, en 1967 el Codex obtuvo el diseño de hardware inary prelimpara lo quefinalmente became
suprimer modem: elAE-96.
El AE-96, lanzado en 1968, fue una "bestia grande que costó $23,000"30 remembers Profesor
Forney. Aunque era una pieza voluminosa de equipment, no terriblemente confiable, y era
más barato comprar un coche, el AE-96 fue el primer 9600 m de baudios modedelmundo, y
generó mucho interés.
Uno de los mayores obstáculos en commercializing modems yfax machines fue el estado de
derecho. Era ilegal adjuntar cualquier cosa a las líneas telefónicas de AT&T, a menos que fuera
made de AT&T. Este requerimiento había paralizado efectivamente cualquier incentivo para
producir dispositivos deunicación de telecommde telecoercial comm. ¿Cuál sería el punto de mun
dispositivo que nadie podría usar? Peroel 2 de junio6th en el año same que el AE-96 made su debut,
la FCC dictaminó que en adelante sería legal utilizar no-AT&T modems en las líneas telefónicas
públicas. Esta decisión abrió el campo deunicationde telecomma cualquier company interesado en
making equipment. El efecto en la industria fue fenommenal. En 1970, el Codex, y cualquierotro,
habían cambiado su enfoque por completo alsectorercial comm.
En el time, el profesor Gallager y otros habían estado investigando la teoría y la estructura de

Quadrature Amplitude Modulation, o QAM, una técnica que podría ser valiosa en el diseño
de modem. QAM es un method de combining dos señales en un solo canal, duplicando así
efectivamente el ancho de banda.
El Codex utilizó esta investigación parai mplement a 9600 baud
QAM modem que came out en 1971. En esto ng vemos la
cara de las cosas a come: la tecnología se inició to para progresar
hasta el punto en que la investigación actual de la Teoría de la
Informaationation podría aplicarse rápidamente. El QAM 9600
fue un éxito fenommen todo el mundo. De hecho, el estándar
internacional de 9600 baudios modem, V.29, "fue en gran medida
escrito alrededor de nuestro 9600 baudios modam31", dice el profesor
Figura 9. Codex QAM 9600 Forney.
Linkabit
Otro company pionero que aplicó los conceptos de Information Theory fue Linkabit, fundada por
el profesor Irwin Jacobs del MIT, y los Professors Andrew Viterbi y Len Kleinrock de UCLA
en 1968. Linkabit fue una consultora a parte detime que comenzó en el campo de la
codificación y

Technología
[email protected]
30
Una conversación con Forney, D. Boletín de la Sociedad de TI
IEEE, junio de 1997
31
ibid

Technología
[email protected]
Descifrar. Sin embargo, pronto cambiaron sus focus a satélite communications, y time-division
multiple-access (TDMA) systems32.
Al igual que el Codex, Linkabit se apresuró a tratar de aplicar ideas teóricas. Uno de los avances
major en la teoría de la codificación fue la decodificación Viterbi, un algoritmo optimal para
decodificar códigos convolucionales desarrollado por Andrew Viterbi en 1967. Decodificación
secuencial, se sabía que la técnica probada era sub-optimal. El Viterbi algorithm, demasiado
demy para la tecnología de finales de los años sesenta, fue first implemented por Linkabit:
defirmó uno de los decodificadores Muy first Viterbi, implemented en VLSI, y lo aplicó a
military systems. "La edad de los años 70 era la edad del algorithmde Viterbi",”, dice Proakis33
emfasizing how important the Viterbi algorithm is in today communication systems.
También como el Codex, Linkabit finalmente shifted frominvestigación y m trabajo ilitary

para el sector ercial comm. Desarrollaron el primer teléfono TDMA inalámbricoercial comm, y el
primer commercial cifrado televisión por satélite system,VideoCypher.
Qualcomm
Una de las pioneraspanies com que commercialized tecnología de espectro de propagación fue
Qualcomm. Qualcomm fue fundada por Viterbi a nd Jacobs, quien dejó Linkabit en 1985.
Su enfoque inicial estaba enla unidad de comminalámbricadigital, mm y desarrollaron CDMA para
launicación de voz inalámbrica. CDMA es una técnica de espectro extendido que permite a las
personas more compartir bandas de frecuencia en el sametimesin cross-talk, estática o interferencia.
[Qualcomm]. Qualcomm desarrolló la tecnología CDMA que podría accommodate multiple
usuarios en el canal same. Antes de eso, el espectrosidered extendido era undesperdicio de ancho de
banda, ya que utilizaba un rango de frecuencias. Hoy en día, CDMA es un estándar parala
unicación inalámbrica de commy se utiliza en todoel mundo.
Aplicaciones
actuales
Los avances en lamtecnología de hardware tienen dos pactosportant imsobre Information Theory. Ha
proporcionado el poder decolocación com para realizar complicated codificación schemes.
Increíblemente complex schemescomo CDMA puede hoy ser implemented en un solo chip.
También tiene made codificación asequible y fácilmente disponible. Para example, un Reed-
Solomen el decodificador ahora se sienta en el estante de todos dentro de un reproductor de CD.
La teoría de la Information tiene innumerableaplicacioneshoy. CDMA todavía está siendo

utilizado e investigado a improbar voz y datos communications systems. prove voice and data co Las
aplicaciones modernas del espectro extendido van desde desarrollos de seguridad ices contra
incendios de baja velocidad hasta redes de área local inalámbricas de alta velocidad.
Dispositivos de almacenamiento, como discos duros y RAM, también employ Information
Theory conceptos. Usando Reed-Solomen códigos para compression, y códigos Haamming
codes para corregir errores, major los avances han sido made, permitiendo que losgigabits de
information sealmacenen en pulgadas de espacio.

Technología
[email protected]
Aftab
32
RLECheung KimMasa.
Currents, Thakkar
Inst.Yeddanapudi
La tecnología. , INFORMATION THEORY & THE DIGITAL REvolución 42
Spring 1996
33
Proakis, J.
Interview

Technología
[email protected]
La larga sombra de la teoría de la Information cae sobre m mmineral de las cosas que han sido
become commen ellugar hoy. Ha influido fuertemente no sólo en el desarrolloment de siste
inalámbricounication ms, CDs, y el almacenamiento de datos, sino también computer networks,
satélites, comm óptico systems, mobile teléfonos, MP3s, JPEG, y por supuesto, Internet. Estas
son quizás las áreas que continuarán utilizando las ideas de Information Theory en elfuturo.
La codificación está
muerta... Otra vez
Irónicamente, el pasado mes de junio de 2001, en el IEEE International Symposium on
Information Theory (ISIT), teóricos de information se reunieron una vez más y proclaimed el
campo para estar muerto. Esto no es nada nuevo. Como dijoel profesor Forney 34, "el campo
ha sido declarado muerto una y otra vez. Creo que e hay un moral en eso, porque cada uno
delos que se declara muerto, por lo quemething new comes a lolargo.
Pero estemcampo está siendo declarado muerto por una nueva razón. No es debido a una
limitation en la tecnología, ni es porque la capacidad del canal se puede alcanzar teóricamente. Se está
declarando muerto porque la capacidad del canal se ha alcanzado realmente en la práctica,
mediante el uso de códigos de verificación de paridad de baja densidad y códigos turbo. El
limquepromised por Shannon finalmente se ha cumplido.
¿La codificación, entonces, está realmente muerta me? esta? ¿Esto es me de verdad? It
Sería más justo decir, que en lugar de morir, ha accomplished lo que se había procurado
hacer: ha alcanzado el Shannon limit para el canal de ruidogaussiano de hite Aditivo W. W
La clave, sin embargo, es que la capacidad sólo ha sido met fo Additive White Gaussian canales de
ruido. Estos canales ahora sem entienden virtualmente. Commercial modems están disponibles
que llegan muy cerca del Shannon limpara estos canales. Pero todavía m hay
problemspara ser abordado, canales para los cuales el limsu todavía no se han alcanzado,
tales como canales inalámbricos y canalesultisource multisource.
Así queight aunque se dice que partes de Information Theory son "seriamente m
35"
aturature una indicación saludable del estado de InformationTheory today es el gran volume del
último númerode Transacciones IEEE sobre Teoríade la Información. Todavía se están escribiendo
documentos y aún queda por investigar. El profesor de Princeton y paraeler presidente de la
IEEE Information Theory Society, Sergio Verdu dice: "Tal vez el día come cuando un
paquete de software permitirá al ingeniero acercarse a la capacidad de almost cualquier
channel con la tecnología del día. Admittedly, Soy unafraid somos nosotros los queestaremos
muertos cuando llegue ese día! 36"
Ultimen absoluto, ¿quién puede decir qué es come? "Cada dos años el límite entre 'factible' y
'inviable' avanza por otro factor de dos." 37 Si la historia es alguna indicación, Information Theory y el
legado de ClaudeShannon tienen mcualquier moe años productivos por delante de lam.
34
Transcript, IEEE Workshop on Information Theory - 'Shannon Theory: Present and Future'
December 1994.
Technología
[email protected]
35
Aftab Cheung Kim
McEliece, Thakkar Yeddanapudi
R. International Symposium on Information Theory, junio de
INFORMATION THEORY
2001, &citado
THE Den
IGITAL REvolución
Forney & 44
Proakis interviews.
36
Transcript, IEEE Workshop on Information Theory - 'Shannon Theory: Present and Future'
December 1994.
37
IEEE, Summer '98 : 21

Technología
[email protected]
DISCUSIÓN Y RESUMEN
Según Christensen38,, las tecnologías emerging teníandiferencias quese financiaban. ¿Quéfue

Information Theory, no es el caso? El military financió fuertemente la investigación de
Information Theory porque creían en su potencial en las unicaciones decomm,unications, su
área particular de interés. Los investigadores trataron de aprovechar este interés ilitario
adjuntando la frase "Information Theory" a su trabajo, relacionado o no. Este efecto no se
limitó a los Estados Unidos; como la fachadae de Information Theory se extendió, el
fenommenon ocurrió en m Rusia. "Ellos estaban a la up también! 39" exclaimed
ProfesorFano.
La naturaleza generalizada del contrato de Tri-servicios también ayudó a financiar la investigación

de Information Theory, especialmente en el MIT, porque había menos restricciones sobre cómo se
utilizó el money. Creían que Information Theory revolucionaría lasunicaciones de mary interest
comm, pero su interés pri m ary era la generación de un grupo de individuos expertos en
ingeniería deunications commy electrónica. El profesor Fano se explica de lo exitosos que
tuvieron en este objetivo en particular:
Terminé my doctotasa en junio de 1947. Yo era the fiftieth doctotasa

otorgada por the IngenieríaEléctrica salidament. En unos años después del
contrato, nos graduamos hen mcualquier doctoral estudiantes en un oído...
[Entrevista con Fano, R. 2001]
e Han rastreado la evolución de information Theory desde sus inicios hasta su estado actual.
We han visto la mcualquier influencia diferente que han dado forma a su progreso, making lo
que es hoy. Como infs such hemos have comentado, factores sociales como la destilumiento
personal del PGIT members influential, como Shannon yElias, ayudaron a dar forma a los límites
del campo. Controlaban las Transacciones IRE y lo que se publicó en ella. Al minunicar
luenced el foro de discusión itself, que enel los quese encuentran en el outcome del debate.
Además, los intereses de los puristas estaban alineados con los del the puebloilitary que
querían investigación en unicación de comm. Juntos, eran fácilmente capaces de sofomar la
disidencia.
such Como hemos visto, influencias políticas como el Sputnik y la Carrera Espacial
ayudaron a cambiar el enfoque del campo hacia la codificación de canales. Hardware technological
limitations demasiado controló el progreso del campo, arrestándolo en times yprestándolo impetus a
otros.
A través de todo esto, Shannon profetizóqueestaba impulsandoel progreso en Information

Theory.
he Durante 50 y oídos, la gente ha trabajado para llegar a lacapacidad

del canal que dijo que era posible. Hace poco otten hemos cerrado. Su
influencia fue profunda. [Suerte y, R., citado en Technology Review, jul
2001]
MacKenzie40 dice que una trayectoria tecnológica es como una profecía autocumplida [168]. Análogo
amit definla Ley de Moore, la de Shannon definees un caminomap, dando a la gente una idea de
Technología
[email protected]
Aftab Cheung Kim Thakkar Yeddanapudi INFORMATION THEORY & THE DIGITAL REvolución46
dónde están en relación con dónde pueden estar. Antes de Shannon, el limsu eran
desconocidos y no había
38
Christensen, el dilema de los innovadores
39
Fano, R. Interview
40
MacKenzie, D. Inventing Accuracy,168

Technología
[email protected]
no hay motivación clara para empujar elm. Su visión proporcionó el impetus para innovar. Una
vez que explicó el limsu y definió los horizontes, la gente se esforzó por alcanzar elm. A lo
largo del fondo de nuestra historia, Shannon ha estado allí, su Limtirando de la trayectoria de
Information Theory hacia cada vez másperformance.
Bibliografía
Abraham, L.G. Carta a Robert Fano. 1954.
Administrative Committee, El. "Un Estadoment de Política Editorial." IRE Transactiones en Information
Theory.
December 1959: 136.
Bates, J.A.V. "Importancia de la Teoría de la Information a Neurophysiology." IRE

Transactiones en
Inf oormation Thoory. Febrero 1953: 137-142.
Betty Shannon. Entrevista telefónica. 30 Novembb er
2001.
Blachman, Nelson. "El Tercer Londres Symposium en Information Theory." Transacciones IRE en
Information
Teoría. Arco March 1956: 17
Caiainiello, E.R. Carta a Jerome B. Quégenio. Arco de 11
March 1958. CDMA Desarrollarment Grupo. ¿Qué es
CDMA? 2000.
<http://www.cdg.org/tech/about_cdma.asp>.
Cheatham, Thomcomo P. Jr. "Una base más amplia para el PGIT." IRE Transactiones en Information
Teoría. December 1958: 135.
Chiu, Eugene, et al. "Mathematical Theory de Claude Shannon." 13 December
2001. Christensen, The Innovators Dilemma,HarperBusiness 2000.
Committee in Communication Sciences attheUniversity of Michigaan. Informe resumido de the

Programa en Communication Sciences en the University of Michigan. 15 de abril de 1960.
Costello et al. "Aplicaciones de codificación de control de errores." IEEE Transacciones IEEE sobre Teoríade la
Información . Octubre
1998: página ????.
De Rosa, L.A. "En Which Fields Do WeGraze? " IRE Transactiones en Information Theory. December 1955:
2
Eden, Murray. Entrevista personal. 5 November 2001.
Elias, Peter. Carta a Andrew E. Ford. 3 de
septiembre de 1959. 6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Technología
[email protected]
Aftab
Elias,Cheung
Peter. Kim
"DosThakkar
FamousYeddanapudi INFORMATION
Papers." IRE Transactiones THEORY &Theory.
en Information THE DIGITAL REvolución
September 1958: 99 48
Fano, Robert M. "PreliminaryAnnouncement – Symposium en Information Theory." Arco March
19, 1954. Fano, Robert M. Entrevista personal. 1 November 2001.
Fano, Robert M. Entrevista personal. 15 Novembb er 2001.

Technología
[email protected]
Fano, Robert M. 6.574 notas de lectura. notes. 1950.
Forney, David G. Entrevista personal. 29 Novembb er 2001.
Forney, David G. "Conferencia Shannon 1995." IEEE Information Theory Society Newsletter. Summer 1998: 21.
<http://golay.uvic.ca/nltr/96_mar/06sha.pdf>.
Banda ancha fronteriza. Historia de Spread Spectrum Technology page. 30 Novembb er 2001.
<http://www.frontierbb.com/benefits_history.html>.
Gabor, D. "Communicación Teoría pasado, presente y prospectivo." IRE Transactiones en Information Theory.
Febrero de 1953: 2.
Gallager, Robert. Entrevista personal. 19 Novembb er 2001.
Gallager, Robert G. "Claude E. Shannon: Una retrospectivave sobre su vida, Work, y yoestoypacto. IEEE
Transacciones IEEE en
Inf oormation Thoory. Nuevember 2001: 2681-2695.
Hochfelder, D. "Una historia oral con el Dr. Paul Green." Centro de Historia IEEE. 15 de octubre de 1999.
<http://www.ieee.org/organizations/history_center/oral_histories/transcripts/pgreen.html>.
Huffmean, Ken. Página de David Huffman Elegy .

Lt;httphttp://home.columbus.rr.com//kenhuffman/family/elegny. htmlm l.
Huggins, W. H. Carta a Commyer Gould Hunter. 1954.
IEEE Information Theory Society Newsletter. "IEEE Workshop en Information Theory

'Teoría de Shannon: presente y futuro.'" December 1994.
IEEE Information Theory Society Newsletter. "Una onversation C con G. David Forney Jr." Junio
de 1997. Jachimczyk, W. Worcester PolytechnicInstitute. Página de espectro extendido.

<http://www.ece.wpi.edu/courses/ee535/hwk11cd95/witek/witek.html>.
Jamil, Asad. "Un codificadormpconvolucional y un decodificador Viterbi."

<http://www.ecel.ufl.edu/ajamil/report400.html>.
Latour, B. Science In Action, Harvard University Press,
1987
Massey, J.L. "Deep-space communication and coding.", en Lecture Notes on Control and Information Sciences
82
Hagenauer, Ed. Bonn, Germany:Springer-Verlag, 1992.
Mueller, G.E. " Information Theory Progress Report 1960-1963: Space Communication."
IEEE Transactiones en Information Theory. Octubre 1963: 257-264.
MacKenzie, D. Inventando precisión, MIT Press 1993.
Peterson, W. W. y J. Massey. " Information Theory Progress Report 1960-1963: Codificación

Teoría." IEEE Transacciones IEEE sobre Teoríade la Información . Octubre
de 1963: 223-229. Proakis, John. Entrevista personal. Interview. 16 Novembb er
2001. 6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Technología
[email protected]
Aftab Cheung Acerca
Qualcomm. Kim Thakkar Yeddanapudi
de Page. INFORMATION THEORY & THE DIGITAL REvolución
<http://www.qualcomm.com/about/>. 50

Technología
[email protected]
Reynolds, John H. Carta a Robert Fano. 27 de febrero de 1973.
Riley, Laura J. 4i2i Communications Ltd. "Codificación convolucional." 11 de octubre de 2001.

<http://www.4i2i.com/viterbi.htm>.
RLE Currents. "En the Road to Success con AlumniCompde RLE anyFounders." Primavera de 1996.
<http://rleweb. mit.edu/Publicatiens/currents/8-1cov. htm#jaco>.
Ross, Arthur H. M. Introducción a CDMA. 11 de junio de 1996.

<http://www.amug.org/~ahmrphd/Intro.html>.
Shannon, Claude E. "El Carro de La Banda." IRE Transactiones en Information Theory. Arco March 1956: 3
Shannon, Claude E. y Warren Weaver. "La Menhemteoríaatical de Communicación."

Urbana, Illinois: University of Illinois Press, 1949.
Stephenson, Robert C. Carta a Robert Fano. 13 de julio de 1965.
Stumpers, F. Louis H. M. "Teoríade la Information y Organizaciones Internacionales de Radio." IRE

Transactiones en
Inf oormation Thoory. Junio 1957: 85.
Tuller, W. C. Carta a L.G. Abraham. 11 de enero de 1954.
Viterbi, Andrew J. "Information Theoryin theSixties." IEEE Transacciones IEEE sobre información
Teoría. May 1973: 257-262.
Waldrop, Mitchell M. "Claude Shannon: Reluctant Father of the Digital Age." Tecnología
Review. Julio/Agosto 2001. < http://www.techreview.com/magazine/jul01/waldrop.asp>.
Wiener, Norbert. "Wsombrero es Information Theory? ". IRE Transactiones en Information Theory. Junio de
1956: 48
Si,lf, Jack K. "Una encuesta de teoryde codificación :1967-1972." IEEE Transacciones IEEE sobre información
Teoría. Julio 1973: 381-388.
Yankopolus, Andreas. "Historial de cápsulas de codificación de control de errores."

<http://www.csc.gatech.edu/yank/research/history.pdf>.

Technología
[email protected]

Teoría de La Información

Cargado por

Copyright:

Formatos disponibles

Teoría de La Información

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Teoría de La Información

Cargado por

Copyright:

Formatos disponibles

Aftab Cheung Kim Thakkar Yeddanapudi INFORMATION THEORY & THE DIGITAL REvolución 1

AFTAB, CHEUNG, KIM, THAKKAR,

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

What made possible, lo que indujo the desarrollarment de codificación como

En el curso de nuestra historia, exploramos cómo el área de codificación, en particular,

Ensu artículo, exploramos cómo estosmesy conceptos m másrápido en la trayectoria de

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

limtecnológicas – de hecho, la falta de tal tecnología causó la "muerte" de Information

En 1948, Shannon publicó su artículo "A Mathematical Theory of Communication" en el Bell

¿Quéfue tan influyente el periódico de Shannon? ¿Quétalas un papel al que la gente se

Capacidad de canal y teorema de codificación de canales

La mala noticia es que es mathematically imposible obtener communicación libre de errores

Para make the oportunidad de error como smtodocomo usteddesea? Nadie

Arquitectura Formal de Los Sistemas de

Figura 1. De la teoría athematical de Commde Shannon de Shannon, unication”,

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

sistema deunicación comm se puede separar en components, que se pueden tratar

La visión de Shannon unificó toda la ingeniería deunicación de co mm, estableciendo que el

Eficiencia de la representación: Codificación

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

me Ahora que hemos discutido así losconceptos de la fundamental en el trabajo de Shannon,

me Comenzare explorando la historia de Information Theory, cómo el campo evolucionó y

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Otra tarea en la creación de un nuevo campo es reclutar unmateurs para el trabajo de

Circulación y Propagación de Ideas

absolute Inicialmente había un absoluto fervor de excitement. Las universidades comenzaron a

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Verque, como si siguiendo elconsejode Latour, Information Theory rápidamente encontró su

Para estos symposia, los organizadores buscaron la "crema de la cosecha" en terms de

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

antropología, computers, economics, electrónica, linguística, mathematics, neuropsiatry,

... he las aves claramente tienen the problema de communicating en la

Innumerables artículos superficiales basados en campos'no-enginee r'ing' fields estaban siendo

PGIT members se dividieron. Así quemcreo que si el conocimiento y la aplicación de

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

The first paper hasthe generic title 'Information Theory, Photosynthesis

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

[Elías, P. Dos papeles famosos , sep

Teórico y fundamestudios entales come primero, y much trabajo rem

Digresión – Algunos antecedentes

El foco de la unicación commde largadistancia, too había cambiado, de la transtrans mission de

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Temas iener heir m ystems, and appropriateness nclude nformation

"El cambio tecnológico es social through y through. th Take Llévese...

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Al final de nuestro documento, al final de nuestro documento sevolverá a examinar estas

TRAJECTORY II - PROGRESSION OF THE FIELD

W ork en la teoría dela Information tendía a centrarse en tres áreas main de

El salto de frecuencia, que involves ciclismo a través de frecuencias

El concepto de espectro extendido como se conoce hoy en día stems de

Gran parte del trabajo inicial sobre el espectro de propagación se

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

Así queme de la important primeras preguntas de investigación y cuestiones de aplicabilidad

Por lo tanto, el enfoque de los primeros trabajos en la codificación remainedla eficiencia de la

6.933 ProjEct HiGrandey, Instituto De Massachusetts de

concluye en su artículo de ma 1953 Teoría de la comunicación, pasado, presente, prospectoe,

Afortunadamente, todavía había un few minds interesados en explorar las posibilidades de