Logo UAB
2022/2023

Teoría de la Información

Código: 104405 Créditos ECTS: 3
Titulación Tipo Curso Semestre
2503740 Matemática Computacional y Analítica de Datos OB 3 1

Contacto

Nombre:
Adrià Figuerola Torrell
Correo electrónico:
adria.figuerola@uab.cat

Uso de idiomas

Lengua vehicular mayoritaria:
catalán (cat)
Algún grupo íntegramente en inglés:
No
Algún grupo íntegramente en catalán:
Sí
Algún grupo íntegramente en español:
No

Equipo docente

Joan Serra Sagristà

Prerequisitos

No hay prerequisitos. En cualquier caso, es aconsejable que se tenga dominio de las cuestiones más básicas de álgebra lineal fundamental y teoría de probabilidades.

Objetivos y contextualización

Estudiar la teoría matemática de la información, en el caso discreto, basada en las publicaciones de C.E. Shannon el año 1948. Estudiar las fuentes de datos, la codificación de la fuente, la compressión de datos y la codificación del canal, con la finalidad de obtener una transmissión o almacenamiento eficiente de datos.

 

Competencias

  • Demostrar una elevada capacidad de abstracción y de traducción de fenómenos y comportamientos a formulaciones matemáticas.
  • Formular hipótesis e imaginar estrategias para confirmarlas o refutarlas.
  • Relacionar objetos matemáticos nuevos con otros conocidos y deducir sus propiedades.

Resultados de aprendizaje

  1. Conocer los conceptos de entropía y compresión de datos, información mutua y capacidad y su aplicación a la transmisión de datos.
  2. Conocer los resultados básicos y las propiedades fundamentales de la entropía y la información mutua.
  3. Contrastar, si es posible, el uso del cálculo con el uso de la abstracción para resolver un problema.
  4. Desarrollar estrategias autónomas para la resolución de problemas propios del curso, discriminar los problemas rutinarios de los no rutinarios y diseñar y evaluar una estrategia para resolver un problema.
  5. Evaluar las ventajas e inconvenientes del uso del cálculo y de la abstracción.
  6. Explicar ideas y conceptos matemáticos propios del curso, así como comunicar a terceros razonamientos propios.
  7. Leer y comprender un texto de matemáticas del nivel del curso.

Contenido

  1. Conceptos básicos de teoría de la información

    1. Medida de la información.

    2. Modelo de Shannon de fuente discreta sin memoria.

    3. Entropía de una variable aleatoria discreta.

    4. Información mutua entre dos v.a. discretas. Capacidad de un canal.

  2. Codificación del canal

    1. Modelos importantes de canales discretos sin memoria.

    2. Reglas de descodificación.

  3. Codificación de la fuente

    1. Códigos de longitud fixa, variable, a descodificación única e instantáneos.

    2. Primer teorema de Shannon. Existencia de códigos óptimos.

    3. Construcción de códigos óptimos: método de Huffman.

  4. Compresión de datos

    1. Tipos de compresión.

    2. Métodos estadísticos y técnicas de diccionario.

Metodología

Las clases de teoría se basarán en lecciones magistrales, si bien se intentará fomentar la participación del alumnado en la resolución de ejemplos, etc. Estas clases pueden ser en formato presencial o a través de videos colgados al CV. En las clases de problemas, se seguirá una lista de ejercicios que el estudiante intentará resolver por su cuenta. Se fomentará la exposición de la resolución de problemas por parte del alumnado. Se usará el Campus Virtual como medio de comunicación del profesorado hacia el alumnado (material, noticias, etc.).

Nota: se reservarán 15 minutos de una clase dentro del calendario establecido por el centro o por la titulación para que el alumnado rellene las encuestas de evaluación de la actuación del profesorado y de evaluación de la asignatura o módulo.

Actividades

Título Horas ECTS Resultados de aprendizaje
Tipo: Dirigidas      
Clases de teoría 13 0,52 5, 3, 1, 2, 7
Seminarios 12 0,48 5, 3, 1, 2, 4, 6, 7
Tipo: Supervisadas      
Tutorías y consultas 6 0,24 5, 3, 1, 2, 7
Tipo: Autónomas      
Preparación de problemas 16 0,64 4, 7
Preparación de pruebas de evaluación y estudio independiente 16 0,64 1, 2, 4, 7

Evaluación

Las fechas de evaluación continuada se publicarán en el Campus Virtual y a las transparencias de presentación de la asignatura y pueden estar sujetas a cambios de programación por motivos de adaptación a posibles incidencias. Siempre se informará en el Campus Virtual sobre estos cambios, puesto que se entiende que esta es la plataforma habitual de intercambio de información entre profesorado y alumnado.


La evaluación de la asignatura, sobre 10 puntos, se hará de la forma siguiente:

  • Dos pruebas parciales individuales, 3 puntos cada una. Como parte de la evaluación continuada, la primera prueba se hará durante la semana de exámenes intersemestrales acordadas por la coordinación. La segunda prueba parcial se hará el último día del curso. Hay que obtener al menos 1.2 de los 3 puntos en cada una de las pruebas individuales para poder superar la asignatura.
  • Entregable de actividades, 1.5 punto. Se tendrá que entregar una actividad relacionada con algunos de los temas de la asignatura.
  • Resolución de ejercicios, 2.5 puntos. Como parte de la evaluación continuada, se tendrán que realizar actividades o resolver ejercicios vía cuestionarios en línea. En algún caso se podría programar alguna otra actividad de evaluación y se pondrá en conocimiento del alumnado a través del Campus Virtual.
  • Examen final, 6 puntos. Quien no haya superado la asignatura a raíz de las pruebas individuales tendrá la opción de presentarse al examen final para recuperar toda la materia de la asignatura. Hay que obtener al menos 2.4 sobre 6 puntos para poder superar la asignatura.

No se podrán recuperar las siguientes actividades:

  • Resolución de ejercicios.
  • Presentación de actividad.

Sin perjuicio otras medidas disciplinarias que se estimen oportunas, y de acuerdo con la normativa académica vigente, las actividades de evaluación (prácticas, problemas o exámenes) con irregularidades cometidas por un estudiante que puedan conducir a una variación de la calificación se calificarán íntegramente con un cero (0). Las actividades de evaluación cualificadas de esta forma y por este procedimiento no serán recuperables. Si es necesario superar cualquier de estas actividades de evaluación para aprobar la asignatura, esta quedará suspendida directamente, sin oportunidad de recuperarla en el mismo curso. Estas irregularidades incluyen, entre otros:

  • la copia total o parcial de cualquier actividad de evaluación;
  • dejar copiar;
  • presentar un trabajo de grupo no hecho íntegramente por los miembros del grupo;
  • presentar como propios materiales elaborados por un tercero, aunque sean traducciones o adaptaciones, y en general trabajos con elementos no originales y exclusivos del estudiante;
  • tener dispositivos de comunicación (como teléfonos móviles, *smart *watches, etc.) accesibles durante las pruebas de evaluación individuales (exámenes).

Para aprobar es necesario que la evaluación de cada una de las partes supere el mínimo exigido y que la evaluación total supere los 5 puntos. En caso de no superar la asignatura debido a que alguna de las actividades de evaluación no llega a la nota mínima requerida, la nota numérica del expediente será el valor menor entre 4.5 y la media ponderada de las notas. Se otorgará la calificación de "no evaluable" a quien no participe en ninguno de las actividades de evaluación, y de que la nota numérica del expediente será el valor menor entre 3.0 y la media ponderada de las notas, en caso de que se haya cometido irregularidades en un acto de evaluación (y, por lo tanto, no será posible el aprobado por compensación). Para poder obtener una *MH la nota final tiene que ser igual o superior a los 9 puntos. Como que el número de *MH no puede superar el 5% del número de estudiantes matriculados, se concederán a quién tenga las notas finales más altas. En caso de empate, se tendrán en cuenta las resoluciones de las
pruebas parciales. Es importante tener en cuenta que no se hará ninguna actividad de evaluación a ningún alumno en un horario diferente al establecido si no existe una causa justificada, se ha avisado con anterioridad en la actividad y el profesorado ha dado su consentimiento. En cualquier otro caso, si el estudiante no ha asistido a una actividad, esta no se puede recuperar. En el caso de evaluaciones en línea de cuestionarios, se podrá pedir una revisión posteriormente a la fecha de cierre del cuestionario. Para el resto de actividades de evaluación, se indicará un lugar, fecha y hora de revisión en la cual el estudiante podrá revisar la actividad con el/la profesor/a. En este contexto, se podrán hacer reclamaciones sobre la nota de la actividad, que serán evaluadas por el profesorado responsable de la asignatura. Si el estudiante no se presenta a esta revisión, no se revisará posteriormente esta actividad.


Podéis consultar la normativa académica de la UAB aprobada por el Consejo de Gobierno de la UAB:http://webs2002.uab.es/afers_academics/info_ac/0041.htm

Actividades de evaluación

Título Peso Horas ECTS Resultados de aprendizaje
Entregable d'actividades 1.5 1,5 0,06 5, 3, 4, 6, 7
Examen final 6 3 0,12 5, 3, 1, 2, 4, 6, 7
Pruebas individuales 6 6 0,24 5, 3, 1, 2, 4, 6, 7
Resolución de ejercicios 2.5 1,5 0,06 3, 1, 2, 4, 7

Bibliografía

Bibliografía básica

  • L. Huguet i J. Rifà. Comunicación Digital. Ed. Masson, 1991.
  • D. Salomon: Data compression - The Complete Reference, 4th Edition. Springer 2007.
  • R.B. Ash. Information Theory. John Wiley and Sons Inc, 1965.
  • G. Alvarez. Teoría matemática de la información. Ediciones ICE, 1981.
  • T.C. Bell, J.G. Cleary i I.H. Witten. Text Compression. Prentice Hall, 1990.

Bibliografía complementaria

  • C.E. Shannon, "A mathematical theory of communications," Bell Syst. Tech. J., 27, 379-423, 1948.
  • B. McMillan, "The basic theorems of Information Theory," Ann. Math. Stat., 24, 196-219, 1953.
  • A.I. Khinchin. Mathematical foundations of Information Theory. Dover Publications, Inc., 1957.
  • R. W. Hamming. Coding and Information Theory. Prentice Hall, Inc., 1980.
  • M. Mansuripur. Introduction to Information Theory. Prentice Hall, Inc., 1987.
  • G.J. Chaitin. Algorithmic Information Theory. Cambridge University Press., 1987.
  • V. Shoup. A computational Introduction to number theory and Algebra. http://shoup.net/ntb/

Software

Los software MATLAB, Excel, Python, entre otros son adecuados para llevar a cabo las actividades.