Svrljig se pominje u vreme Stevana Nemanje. Naime, kada je 1186 godine izbio u Bugarskoj ustanak Petra i Asena, protiv njih je ratovao vizantiski car Isak Anđel. Veliki župan Stevan Nemanja sklopio je tada savez sa Petrom, pa je zauzeo Niš i porušio  u dolini Timoka gradove Svrljig, Ravni (sada Ravno) i Kozli (sada Koželj), koji su potpadali pod nišku episkopiju. Iz ovog vremena poznat je put koji je vodio od Svrljiga u Vidin, a išao je preko Ravnog i Kozlija. Tah drum nije prolazio kroz današnji Lnjaževac i Zaječar, jer su ta mesta kasnije sagrađena.

Najinteresantije nalazište iz ovog perioda otkriveno je u Svrljiškoj Klisuri u Banjici. U prečniku od nekoliko stotina metara otkopane su tris srednjevekovne crkve sa freskama koje su sada potpuno uništene. U grobnici ispod oltara najveće crkve pronađen je  olovni sarkofar sa nekoliko srpskih i bugarskih novčića, jednim bronzanim prstenom sa staroslovenačkim napisom Georgios i jednim srebrnim krstom velike umetničke vrednosti koji je na neobjašniv način nestao.