W swej historii budynek był fortecą, więzieniem, pałacem, a nawet służył jako zoo. Budowla (łącznie z Bramą Zdrajców) pilnowana jest przez charakterystycznie ubranych strażników. W twierdzy są dziś przechowywane liczne zbroje, broń, klejnoty i insygnia koronacyjne (królewski pierścień i jabłko oraz berło z krzyżem i największym na świecie brylantem Cullinanem I, a także koronę brytyjską zdobioną drugim co do wielkości na świecie brylantem Cullinanem II).

Symbolem Tower są kruki. Jedna z legend głosi, że dopóki na wieżach Tower będą żyły kruki, tak długo trwać będzie imperium brytyjskie