Como parte de la serie de suscripción de vinilo «Born Under a Good Sign» de Merge, A Giant Dog ha cubierto Neon Bible de Arcade Fire en su totalidad. Estará disponible para su escucha en plataformas de streaming y disponible para comprar en vinilo negro en tiendas de discos seleccionadas en octubre. La portada del álbum A Giant Dog, es similar a la original, pero presenta un butthole prominente.
Sabrina Ellis de la banda explicó en un comunicado que a A Giant Dog se les permitió elegir cualquier álbum para cubrir y debatieron múltiples ideas, incluidas Sheer Heart Attack de Queen y Purple Rain de Prince. Finalmente decidieron cubrir el disco de los canadienses. «Los temas del álbum, de indignación con el liderazgo de Estados Unidos a principios de la década de 2000, y la necesidad de escapar de nuestro clima social, lamentablemente, siguen siendo pertinentes hoy«, dijo Ellis. Ella continuó:
Al grabar un álbum tributo, nos sentimos como actores en una película. Tomar las líneas de otra persona y encarnar esas emociones, y expresar esas ideas a través de nosotros mismos, nos convirtió en portales de la expresión humana … y es por eso que la portada del álbum es un agujero abierto.