Como e por que a abordagem formal em multimodalidade é fundamental para o letramento computacional e transmidiático?

Abstract

Resumo: Central para a abordagem formal em multimodalidade é a definição de modo semiótico, que combina três níveis interdependentes: o substrato material, as características técnicas organizadas em eixos de descrição (estrutura) e o nível da semântica do discurso. O narrador computacional mapeia regularidades formais de um artefato/situação comunicativa e demonstra a formalização de uma semântica para o discurso multimodal, a fim de construir novas hipóteses sobre a coerência do discurso em diferentes níveis de detalhe. O trabalho empreendido é situado tanto em termos de aproveitamento das tecnologias disponíveis, quanto de desenvolver maneiras de organizar dados multimodalmente complexos. O movimento metodológico é desenvolver camadas abstratas de anotação que nos permitam avançar sobre as propriedades de dados mensuráveis para interpretações e caracterizações em termos de narrativas e estratégias, sob o desafio de chegar aos significados dos padrões, em vez de apenas encontrar padrões.