La idea de "comunicación multimodal" es la aplicación contemporánea tecnológica de las formas múltiples de comunicación que el ser humano a utilizado separadamente desde siempre: voz, vista, tacto, oído... Lo que es una innovación es la combinación de estas capacidades sensoriales entre el hombre y la máquina. En esencia se llama "Multimodal" a la comunicación en la que intervienen modos humanos, como, por ejemplo: la voz o el habla, los gestos, los movimientos, y otros sentidos entre las computadoras y los usuarios. El objetivo de la comunicación multimodal es hacer más "natural" la interacción hombre-máquina.
El texto multimodal
Un texto es multimodal cuando combina dos o más sistemas semióticos. Hay cinco sistemas semióticos en total:
- Lingüísticos: comprende aspectos como el vocabulario, la estructura genérica y la gramática de la lengua oral y escrita.
- Visual: comprende aspectos tales como color, vectores y puntos de vista en imágenes fijas y en movimiento.
- Audio: comprende aspectos tales como el volumen, el tono y el ritmo de la música y efectos de sonido.
- Gestual: comprende aspectos tales como el movimiento, la velocidad y la quietud en la expresión facial y el lenguaje corporal.
- Espacial: comprende aspectos tales como la proximidad, la dirección, la posición de la disposición y organización de objetos en el espacio.
Algunos ejemplos de textos multimodales:
- Libros ilustrados: (picture books) en los que el texto y los elementos visuales (ilustraciones) están integrados, contribuyendo ambos al significado de la historia.
- Páginas web: se combinan elementos como efectos de sonido, lenguaje oral, lenguaje escrito, música o imágenes fijas o en movimiento.
- Artículo de prensa: la información esta presentada a través del texto e infografía (gráficos, cuadros, etc.).
- Otros ejemplos son las historias o cómics, las películas, una presentación Power Point y los anuncios publicitarios
