La iglesia de Kish se encuentra en Kish, a pocos kilómetros de la ciudad de Sheki. En el año 550 a. C., Atrobats, gobernador medo del Imperio persa, bautizó el lugar como «Azerbaiyán», que significa «protegido por el fuego». En el siglo IV d. C., una tribu autodenominada Arran estableció el Reino de Albania, cuyo territorio abarcaba las montañas del Cáucaso, y gradualmente se convirtieron del zoroastrismo persa al cristianismo. A partir del siglo VII d. C., el Reino de Albania fue conquistado sucesivamente por los árabes, los mongoles, los timúridas y el Imperio otomano, hasta desaparecer por completo de la historia. La fragmentación entre Persia, el Imperio otomano y Rusia entre los siglos XVI y XVIII es una razón importante para la actual división de Azerbaiyán en tres países. El reino albanés caucásico llegó a abarcar gran parte del norte de Azerbaiyán, pero existen pocos documentos históricos y aún menos yacimientos arqueológicos relacionados con él, lo que confiere a esta iglesia una particular importancia cultural. Los azerbaiyanos llevan mucho tiempo intentando borrar las huellas de la presencia armenia en su territorio, alegando que estas zonas han sido «parte integral de Azerbaiyán desde la antigüedad». La iglesia se ha convertido ahora en el Museo de la Albania del Cáucaso, que narra el complejo pasado de la región del Cáucaso. Su interior exhibe información histórica relacionada, y los visitantes pueden observar restos antiguos a través de vidrieras en el suelo de la iglesia.