Quincy Punx bracht hun debuutalbum "We're Not Punks...But We Play Them On TV" uit als LP in het jaar 1994. Op deze eerste plaat presenteren de Minneapolis punkrockers hun rauwe, energieke stijl die
direct aansluit bij het punkgenre. De muziek wordt gekenmerkt door een snelle, ongepolijste benadering, grove humor en een directe attitude die typerend is voor de underground punk uit de jaren 90.
Het album staat bekend als een klassieker binnen de Amerikaanse punkscene; het laat de oprechte, maar ook ironische benadering van
Quincy Punx horen. De band neemt afstand van het typische punk-etiket, wat terugkomt in zowel de albumtitel als het toonbeeld van hun muziek: ze spelen met clichés en laten tegelijkertijd hun eigen visie op het genre horen. "We're Not Punks...But We Play Them On TV" is een authentieke uiting van de lokale punkcultuur van Minneapolis die tot op heden als invloedrijk wordt beschouwd.