El funcionamiento del algoritmo parece de lo más sencillo, aunque requiere una gran cantidad de cálculos. A partir de una fotografía de entrada, el algoritmo IM2GPS analiza la composición de la fotografía y busca en Flickr fotografías con características similares. A partir de estas fotografías, se determina la localización exacta con un nivel de acierto del 16%, siendo capaz de ofrecer información muy valiosa sobre la geolocalización de las fotografías, incluso cuándo no es capaz de ofrecer la localización exacta.