Teoria da Informação (2022)

  • 4ª-feira 9:30 – 13:00 nas salas 137 e 140 do FC6.
  • O primeiro teste será na aula de 9 de Novembro.
  • Enunciado do primeiro trabalho de programação (em inglês): link
    • Vídeo de 2020 com explicação do algoritmo: link
  • Enunciado do 2º trabalho de programação (agora em Português): link

Sumários

O livro da cadeira

  • David MacKay, Information theory, inference, and learning algorithms
    Sacar o livro (disponível de graça) na página dele.
    Utilizaremos para quase tudo e seguiremos o livro de perto.

O programa da cadeira

  1. Introduçao à teoria da informação
    MacKay Capítulo 1.
  2. Repescagem de teoria das probabilidades, entropia e informação mútua
    MacKay Capítulo 2.
  3. O primeiro teorema de Shannon, e vários códigos de fonte
    MacKay Capítulos 4, 5 e 6.
  4. O segundo teorema de Shannon e códigos LDPC
    MacKay Capítulos 8, 9, 10 e 47.

Avaliação

A avaliação consiste em 2 testes e 2 trabalhos práticos de programação.

O primeiro teste será sobre as partes 2 e 3 do programa (ver acima). O segundo teste será sobre a parte 4. O teste consistirá de exercícios parecidos com os do livro, e será pedido para fazer demonstrações dadas na aula.

O primeiro trabalho prático será uma implementação de um compressor e descompressor Lempel-Ziv, e o segundo será uma implementação de um codificador e descodificador para um código LDPC.

A linguagem de programação será o Python, que é irrealista como linguagem de programação para compressão e codificação, mas permitirá tornar o código mais simples de escrever e corrigir.

Ambos os testes e trabalhos práticos podem ser recuperados na 2ª época de exames.

Advertisement