Hinter dieser von den Zinnen bekrönten Attika befindet sich ein Grabendach. Damit ist dieses Haus im weitesten Sinne dem Inn-Salzach-Stil zuzurechnen.
Das mittlere Gebäude, dessen Durchfahrt als Hauptzugang zum Marktplatz dient, war vor dem Umbau als „Gewelibhaus“ (1437) bezeichnet worden. Der Mitteltrakt weist über der Tordurchfahrt neben Ornamenten, Löwenfiguren und Wappen die Inschrift „Hanns Fierenz von Goerz, 1583“ auf. Das Wappen von Hanns Fierenz ist in Umschrift mit dessen Leitspruch versehen: „Alles mit der Zeit“. Fierenz war Rentmeister des Grafen Julius II. von Hardegg, von dem das Haus in die heutige Form eines Bürgerhauses „in venezianischem Stil“ gebracht wurde. In einer Figurennische des Hausteils Nr. 34 befindet sich eine Statue der Maria Immaculata, die in die Mitte des 18. Jahrhunderts datiert wird.
Das Gebäude ist nach den Brüdern Thomas (1792–1886) sowie Georg, Josef und Johann Verderber benannt. Die „Verderberbrüder“ waren Kaufleute aus der Gottschee die zu Beginn des 19. Jahrhunderts nach Retz zuzogen.
Ganz augenscheinlich nahm das Verderberhaus im historischen Retzer Stadtbild nicht jene Sonderstellung ein, die ihm heute sogar im gesamtösterreichischen Maßstab zukommt. Erst um 1890 wurde an der Südostecke des Marktes der Gasthof zum Heiligen Geist abgerissen, der ebenfalls eine "exotische" Zinnenbekrönung aufwies, und auf alten Stichen erscheint mehr oder weniger die gesamte Nordseite des Platzes zinnenbekrönt. Auch im unweiten Znaim fanden sich etliche solcher Häuser, einige sind bis heute erhalten geblieben.