Kernov dom stojí na rohu Rybárskej brány a Hviezdoslavovho námestia. Rybárska brána bola jednou zo štyroch vstupov do stredovekého mesta (spolu s Laurinskou, Michalskou a Vydrickou bránou).
V 18. storočí dala brány spolu s mestskými hradbami zbúrať Mária Terézia, umožňujúc tak rast mesta. Ruiny Rybárskej brány môžu návštevníci vidieť pod skleneným krytom umiestneným pred historickou budovou Slovenského národného divadla. V roku 2002 táto nápaditá prezentácia archeologického nálezu získala cenu Európskej únie za kultúrne dedičstvo Europa Nostra.