Imagem da demonstração de programa de acompanhamento em tempo real de mímica e expressões faciais (Real-time Facial Expression Tracking and Mimicking)

Para materializar esses projetos, os cientistas do MIT desenvolvem técnicas como 
FaceView (para reconhecer movimentos faciais), Seamless Hockney (para comparação de imagens estáticas, incluindo zoom, mudança do eixo visual, inclinação e rotação, podendo gerar mosaicos de imagens pelo simples deslocamento do observador em relação à imagem original – literalmente "pintando com o olhar").

O projeto Speech and Audio Processing (Processamento de Áudio e Fala) embala um grupo de outros projetos de interfaces multimodais de comunicação e tem até um “mascote”, Toco o Tucano, inspirado por modelos de aquisição de linguagem e aprendizado animal, num sistema que combina reconhecimento da fala, visão e aprendizado computadorizados. A Computação Afetiva já foi tratada nesta série, são sistemas que reagem conforme o estado emocional do usuário.

Toco, o Tucano

Photobook (agora rebatizado como FourEyes) é um sistema de busca de imagens num banco de dados por meio de comparações múltiplas com uma amostra determinada. Por exemplo, o usuário pode pedir ao sistema que mostre todas as imagens parecidas com a que ele está vendo, e o Photobook irá utilizar um vasto repertório de algoritmos de busca, incluindo um que incorpore o resultado de uma busca em outras, aprendendo assim o conceito que o usuário tem de similaridade de imagens.

O reconhecimento automático de rostos permite detectar, reconhecer e codificar rostos para aplicações como videotelefonia, compressão de imagens em bancos de dados e o próprio reconhecimento automático de rostos. Com apenas cerca de 100 bytes de dados, o sistema consegue gerar imagens faciais de boa qualidade, e – testado numa base de dados de cerca de duas mil fotos de rostos, conseguiu reconhecer 97% deles, aumentando esse índice para 99% num trabalho com duas imagens frontais de 155 indivíduos.

Pontos de referência do sistema de reconhecimento de rostos Face Recognition

O sistema Face Recognition participou em setembro de 1996 de um teste Feret administrado pelo US Army Research Laboratory, com 3.800 imagens frontais, obtendo resultado pelo menos 10% superior ao do competidor mais próximo.

Para completar, uma pesquisa que deve interessar particularmente aos esportistas: Computers Watching Football, que estuda problemas associados com a chamada anotação automática em vídeo. O objetivo é fazer o computador acompanhar os jogadores através de vídeo em tempo real, reconhecendo-os, e futuramente reconhecer suas trajetórias de jogo, num sistema que permitiria colocar na tela um rótulo identificando o jogador e o que ele está fazendo...