Artículo BIT
Buscadores visuales
a existen algunos sistemas comerciales de búsqueda que utilizan contenido visual, y se usan, por ejemplo, para encontrar el objeto deseado en sistemas de comercio electrónico. Pero estos sistemas están diseñados para una tarea especial y buscan sólo en una colección de imágenes definida y usualmente no muy amplia. Sin embargo, a pesar del alto grado de interés que tendrían los buscadores visuales de uso universal, todavía no se ha encontrado una solución satisfactoria para todos los casos. Aunque, desde luego, existen sistemas dedicados de búsqueda visual, los sistemas más populares al ofrecer una búsqueda de imágenes utilizan sólo los textos asociados, pero no su contenido gráfico. Tampoco se pueden ver por ahora los resultados de proyectos como QUAERO, el anunciado buscador europeo, que tiene como objetivo, entre otros, desarrollar un buscador gráfico. Hay más de una causa para todas estas dificultades. En primer lugar, la comparación de las imágenes no es determinística. A diferencia de los textos nunca se puede esperar que dos imágenes sean idénticas. Pueden ser más o menos parecidas, pero el grado de similitud es subjetivo y depende de los criterios utilizados. Es más, es muy difícil usar en la búsqueda automática los mismos criterios que usan las personas, a veces incluso sin que éstas sean conscientes de ello. El sistema informático puede obtener con cierta facilidad unas características de la imagen que se pueden denominar “de nivel bajo”, como por ejemplo información sobre los colores y su Mirando al futuro Buscadores visuales Sería difícil imaginar Internet sin buscadores. Gracias a ellos podemos encontrar lo que nos interesa en este enorme y desordenado almacén que es la red de redes. Pero Internet no es sólo una colección de textos; incluye cada día más información multimedia, como imágenes, videos y audio. Los usuarios de las redes sociales o de servicios de compartición facilitan, por ejemplo, millones de sus fotos en Internet, pero raramente añaden alguna descripción textual de utilidad para la búsqueda. A veces incluso, aunque las imágenes tengan una descripción textual, no podemos usarla: tenemos en la memoria la imagen de una especie de planta o de animal que nos interesa pero no sabemos su nombre, o imaginamos el aspecto de la alfombra que queremos comprar pero no sabemos describirlo con palabras. Los buscadores audiovisuales intentan, precisamente, responder a estos nuevos retos. Paweł Rotter Centro Común de Investigación de la Comisión Europea Instituto de Prospectiva Tecnológica, Sevilla AGH-Universidad de Ciencias y Tecnología, Kraków Departamento de Automática Y “La búsqueda visual por medio de contenido significa que buscamos una imagen sin utilizar ninguna descripción textual” Sección coordinada por Claudio Feijoo, IPTS-JRC-EC, con la colaboración de COITAOC/ASITANO MIRANDO AL FUTURO. Buscadores visuales distribución, sobre la textura o el aspecto de los contornos. Pero las personas valoran la similitud con más frecuencia por medio de características de nivel alto: qué entes aparecen en la imagen, qué acciones representan, cuáles son sus relaciones, etc. Esta división entre la percepción de información visual que presentan los ordenadores y los humanos se llama la brecha semántica (semantic gap) y es uno de los problemas más difíciles de resolver en el ámbito de la búsqueda visual. El suministro de la consulta Existen dos modos fundamentales de proceder a una búsqueda visual: – El usuario suministra al sistema una imagen-consulta (query image). La tarea para el sistema es encontrar una imagen similar. – El usuario no dispone de la imagen del objeto que busca. Esto es más difícil de resolver, porque a parte de la búsqueda incluye la tarea de la recuperación de las preferencias del usuario. Se puede intentar resolver de forma interactiva, presentando algunas imágenes al usuario para que éste evalúe su similitud con la imagen deseada. La complejidad del contenido visual No todos los buscadores visuales se diseñan para la búsqueda general en Internet. Para buscar dentro de una clase concreta de imágenes, especialmente si están prefabricadas de alguna manera, ya existen sistemas que se utilizan en la práctica. Desde el punto de vista de la complejidad de la búsqueda se pueden distinguir los siguientes tipos de imágenes: – Objetos singulares bidimensionales Son objetos singulares (unique objects) los que aparecen en una imagen 2D siempre con el mismo aspecto. El objeto singular puede situarse en diferentes lugares de la imagen, puede estar girado, empequeñecido o agrandado, pero sus proporciones permanecen sin cambios. Algunos ejemplos son las marcas comerciales, los símbolos cartográficos o las banderas. Cuando se tiene una imagen de una marca, buscarla en la base de datos es una tarea viable con la tecnología actual. – Objetos bidimensionales o con proyección 2-D definida Un ejemplo de este tipo de objetos se presenta en la . Aunque el objeto original es tridimensional, se representa siempre en la misma proyección, y por eso se puede tratar como un objeto 2D. Pero este tipo de objetos es más general que los objetos singulares: por ejemplo la colocación y la intensidad de las manchas de colores de una mariposa no es exactamente la misma para individuos diferentes de la misma especie. No es suficiente superponer dos imágenes para calcular su similitud. Hay que identificar las áreas con color o textura uniforme (en otras palabras, segmentar los objetos básicos) y luego considerar relaciones entre ellas. Para encontrar la correspondencia entre el conjunto de las relaciones de los objetos básicos y la pertenencia a una cierta clase de imágenes (que en Figura 1 . El proceso de búsqueda interactiva. De este modo el sistema puede “adivinar” qué busca el usuario sin necesidad de un ejemplo gráfico. Figura 2. Objetos de este tipo se pueden reconocer y buscar a base de tan sólo una proyección 2-D. bit 166 DIC.-ENE. 2008 87 MIRANDO AL FUTURO. Buscadores visuales este caso es la especie), se pueden utilizar una serie de ejemplos en el proceso del aprendizaje del sistema. – Objetos tridimensionales singulares El aspecto del objeto tridimensional que se presenta en la imagen 2D depende del punto de vista en que se coloca la cámara. Existen dos grupos principales de métodos para el reconocimiento automático de los objetos 3D: a) Aquellos en que la base de datos incluye las imágenes de los objetos en varias direcciones. Por ejemplo en la base científica de imágenes ALOI (http://staff.science.uva.nl/~aloi) cada uno de los mil objetos de que consta se presenta con cien ángulos de vista distintos. Los sistemas que utilizan este tipo de base de datos comparan la imagen-consulta con todas estas muestras para elegir la más parecida. b) Aquellos en que la base de datos incluye los modelos 3-D de los objetos. Durante la comparación el sistema produce proyecciones 2-D a base de este modelo y las compara con la imagen-consulta para encontrar la más parecida. El método (a) consume más memoria para la base de datos, mientras que en el (b) la comparación es más complicada y más lenta. De todas formas, la búsqueda o incluso solo la estimación automática de similitud de los objetos 3-D a base de sus proyecciones 2-D es bastante compleja y su uso en la práctica, a día de hoy, se limita a casos muy concretos. – Objetos tridimensionales En general, el aspecto de los objetos 3D puede ser muy diferente aún dentro de la misma clase. Por ejemplo las partes del cuerpo de un animal pueden aparecer en un gran número de configuraciones distintas. Como en el caso anterior, hay dos modos de resolver este problema: incorporar en el sistema muestras diferentes del mismo objeto o construir un modelo 3D que incluya el conocimiento sobre posibles relaciones entre las partes del objeto. – Las escenas reales Una simple foto de un viaje o de una fiesta es mucho más complicada que todos los casos descritos anteriormente. En una foto típica existen varios objetos, algunos de los cuales están cubiertos en parte por otros, y considerando solamente la tarea de la distinción automática de los objetos (la segmentación), ésta no se ha resuelto satisfactoriamente. La cuestión de fondo es que para segmentar correctamente los objetos de una escena hay que “entenderlos”. Gracias al color o a la textura se puede distinguir entre una camisa y unos pantalones, pero no entre una persona y otra. Se genera entonces un círculo vicioso: la maquina tiene que interpretar (reconocer) los objetos para segmentarlos, pero no puede reconocerlos sin conocer sus contornos. Entonces ¿como lo hacemos nosotros? En el cerebro humano los procesos de segmentación y reconocimiento de las imágenes suceden en paralelo, como procesos simultáneos y relacionados, pero la capacidad de los ordenadores para este tipo de tareas está todavía muy poco desarrollada con respecto a lo que sería preciso para simular este proceso. Se han realizado algunos intentos de “A diferencia de los textos, nunca se puede esperar que dos imágenes sean idénticas. Pueden ser más o menos parecidas, pero el grado de la similitud es subjetivo y depende de los criterios utilizados” Figura 3. Un avión de un tipo concreto es un ejemplo de objeto tridimensional singular. Fuente: http://www.dkimages.com/discover hacerlo en modo iterativo (como bucle de pasos consecutivos de segmentación y reconocimiento), pero la mayoría de los sistemas de búsqueda de escena utiliza sólo las características de nivel bajo. En algunos casos esto puede bastar, por ejemplo para distinguir entre la puesta del sol y el interior de la casa –la distribución de los colores seguramente será diferente– pero parece que falta aún para que los sistemas automáticos puedan acercarse a la percepción humana de la similitud de imágenes. Aparte de los cuatros tipos de imágenes que hemos presentado en grado creciente de dificultad para la búsqueda, existen también “imágenes especializadas”, que tienen características muy particulares. Por ejemplo, se puede encontrar automáticamente la imagen de las huellas dactilares a base de minutiae – unos puntos característicos de la huella; los sistemas AFIS (Automatic Fingerprint Indentification System) valoran la similitud tan solo de forma un poco menos exacta que los humanos, pero mucho más rápida. Otras medidas biométricas, como la imagen del iris o de la cara, también tienen sus características particulares equivalentes. También hay algunos casos en los que las características de nivel bajo reflejan la percepción humana. Por ejemplo se puede buscar la estampación favorita entre un conjunto de alfombras a base de la textura y distribución de los colores. La cuestión de la velocidad Para efectuar una búsqueda visual en una gran base de datos, hay que comparar la consulta gráfica con todas las imágenes en esta base. Aparte de todas las dificultades mencionadas sobre la estimación automática de similitud de imágenes, el largo tiempo del proceso, especialmente en caso de una búsqueda entre la enorme cantidad de gráficos que existen en Internet, impide actualmente el desarrollo de buscadores visuales efectivos. En el caso de los buscadores textuales, gracias a la indexación, se puede encontrar el texto correspondiente sin haber comparado la consulta con toda la información. Con las imágenes la indexación es mucho más complicada. Para cada uno de los métodos distintos que existen en el caso de las imágenes hay que aplicar metodologías específicas de indexación, y además, la indexación de imágenes casi siempre es mucho menos efectiva que la indexación de textos. Mirando al futuro Como en muchas otras ramas de la inteligencia artificial (por ejemplo: la traducción automática), después de una optimista explosión inicial de sistemas, aún falta mucho para que la máquina pueda simular la comprensión humana. La mayoría de los buscadores visuales científicos conocidos se desarrollaron hace una década (sistemas como NETRA, MARS, MindReader, VisualSeek, o QBIC). Desde entonces, a pesar del esfuerzo de los científicos y de un número considerable de propuestas de métodos nuevos, desde el punto de vista de los usuarios el progreso no ha sido considerable. Los sistemas siguen hablando el idioma de características de nivel bajo (colores dominantes, textura, etc.) que en muchos casos no se corresponde con los conceptos de nivel más alto que querrían expresar (y obtener) los usuarios. Por ahora, el uso de la información textual relacionada con las imágenes parece ser el mejor modo de búsqueda de imágenes en Internet. Las leyendas, las etiquetas añadidas por usuarios (tags) o incluso el texto que se encuentra cerca de la imagen en la página web, si están accesibles, permiten una búsqueda más eficaz y rápida hoy en día. Sin embargo, los sistemas de búsqueda visual por medio de contenido gráfico van a seguir desarrollándose, aunque es difícil predecir si se puede esperar un gran avance en los próximos años. Este trabajo forma parte de un proyecto del Instituto de Prospectiva Tecnológica del Centro Común de Investigación de la Comisión Europea (IPTS-JRC-EC) sobre la evolución de los buscadores audiovisuales y su impacto en la economía y sociedad europeas que tendrá sus resultados finales a lo largo de 2008. Para más información consultar. Nota Las opiniones expresadas en este artículo corresponden únicamente a los autores del mismo y, en ningún caso, deben considerarse opiniones oficiales de la Comisión Europea. Figura 4. Para reconocer el caballo en cualquier posición, en la base ETH-80 se representa en 10 muestras diferentes y cada una de ellas se presenta a su vez en 40 proyecciones. Por tanto, solamente para comprobar si una consulta pertenece a la clase “caballo” hay que compararla con 400 imágenes. MIRANDO AL FUTURO. Buscadores visuales
30 oct 2015