Sikuli automatiza cualquier cosa que vea en la pantalla. Utiliza el reconocimiento de imágenes para identificar y controlar los componentes GUI. Es útil cuando no hay un fácil acceso al código interno o la fuente de una GUI. En la comunicación humana a humano, pidiendo información acerca de los objetos tangibles que se puede lograr de forma natural, mediante referencias visuales directos a ellos. Por ejemplo, para hacer una guía para explicar más sobre una pintura, diríamos "dime más sobre esto", mientras que apunta a la imagen. Dar órdenes verbales que implican objetos tangibles también se pueden realizar de forma natural al hacer referencias visuales similares.
Fabricantes Sikuli: “Nuestro sistema de pantalla de
búsqueda, Sikuli Buscar, consta de tres componentes: un motor de búsqueda de
pantalla, una interfaz de usuario para consultar el motor de búsqueda, y una
interfaz de usuario para añadir imágenes con anotaciones personalizados para el
índice”.
