Estos tipos de datos multimedia incluyen imágenes, tales como fotografías y gráficos, videos, audio; ya sea canciones o mensajes de voz, y documentos como pueden ser libros o páginas HTML. Esto se hace necesario ya que todos estos son usados en múltiples aplicaciones que utilizan Internet como plataforma de comunicaciones.
Existen 2 factores principales para la administración adecuada de estos tipos de datos multimedia:
Estos datos multimedia se pueden utilizar para localizar una fuente multimedia que contiene objetos con ciertas características especificas, como por ejemplo localizar todos los videos que incluyen un determinado automóvil, o archivos de audio que incluyan una frase en particular. En el caso de los videos se podría realizar una búsqueda que contenga la llegada a la meta del vehículo que hemos mencionado.
Estos tipos de datos también tiene características para soportar operaciones de recuperación basadas en el contenido (Content Based Retrieval). Por ejemplo en un archivo de audio se pueden extraer características matemáticas tipo específicas automáticamente como intensidad, claridad, amplificación etc.
La principal técnica en la identificación de características es aislarlas en un segmento de la fuente. En el caso de imágenes, un segmento es una región de celdas rectangulares adyacentes de un determinado alto y ancho. En el caso de los videos, un segmento es un determinado número de frames contiguo, identificado por sus frames de inicio y fin en la fuente. Identificando estas características un segmento pude ser indexado.