Ghost Knife bracht Kill Shelter, Yes! uit in 2011 via het label End Sounds. Het album vertegenwoordigt een interessante samenwerking tussen Mike Wiebe, bekend van Riverboat Gamblers en High Tension Wires, en de ritmesectie van de voormalige punkband J Church, bestaande uit bassist Ben Snakepit en drummer Chris Pfeffer.
Het album beweegt zich binnen het punkrockgenre en biedt een meer gestripte, losjesere aanpak vergeleken met Wiebes andere projecten. De muzikale setting geeft Wiebe de ruimte om zijn karakteristieke stijl op een andere manier te presenteren, waarbij de ervaring van de J Church-leden zorgt voor een solide ritmische basis.
Kill Shelter, Yes! werd uitgebracht op cd-formaat en toont een band die de spanning tussen energie en melodie weet te bewaren. De samenwerking tussen deze ervaren muzikanten uit de Amerikaanse punkscene resulteerde in een album dat zowel de directheid van punk behoudt als ruimte laat voor muzikale variatie. Het album draagt de catalogusnummer End 1028 en werd goed ontvangen binnen de punkgemeenschap, waarbij de chemie tussen de bandleden en hun collectieve ervaring duidelijk hoorbaar is in de uitvoering.
