Konsekwencje zaniedbania zgłoszenia zmiany rezydencji podatkowej

Witam, Od XXXX roku posiadam jednoosobową działalność gospodarczą. Działalność mojej firmy skupia się na prowadzeniu usług budowlanych za granicą głównie w XXXX, a od dwóch lat sprzedaję także materiały budowlane w XXXX. Za zeszły rok z VATu wyszła mi spora kwota, którą US powinien mi zwrócić. W związku z dużą kwotą US zaczął prowadzić kontrolę mojej firmy. Wszystkie dokumenty są w porządku: posiadam wszystkie faktury, zakupowe, sprzedażowe, potwierdzenia dostawy i CMR-ki. Jednak swoje działania sprawdzające Urząd rozpoczął od sprawdzenia adresu zarejestrowania działalności. Podałem adres mojej siostry. Pech chciał, że akurat krótko przed kontrolą XXXX, dodatkowo XXXX zeznał, że XXXX. Prawdą jest, że od XXXX lat na stałe wraz z żoną i córeczką przeprowadziliśmy się do XXXX, jednak nie ujawniliśmy tego faktu, zresztą nie jestem pewien, czy zgodnie z polskimi przepisami zmieniłem rezydencję podatkową na szwedzką. Jednak byłem przez rok zameldowany pod tym adresem oraz przebywałem tam przez pewien czas (bardziej pomieszkiwałem niż mieszkałem). Polska firma funkcjonowała cały czas w ten sam sposób - dokumenty dostarczałem do księgowej osobiście lub pocztą. Księgowa doradziła bym podczas przesłuchania w Urzędzie nie ujawniał, że XXXX. Powiedziałem więc, że tak naprawdę nie posiadam stałego miejsca zamieszkania, bo część czasu spędzam w XXXX, część u żony, a część w rozjazdach po Polsce załatwiając rożne interesy, ale że chciałbym na stałe osiąść w powiecie XXXX. Przed złożeniem oświadczenia w Us przerejestrowałam firmę do tzw. e-biura, a dla księgowej sporządziłem pełnomocnictwo by mogła mnie reprezentować podczas pozostałych czynności kontrolnych. Po przesłuchaniu w US otrzymałem pismo, że kontrola nie zostaje zakończona i powiadomiono mnie o tym, że wzywają świadków do przesłuchania, a termin zwrotu pieniędzy zostaje przesunięty na połowę września (ww pismo doślę). Dowiedziałem się, że świadkami mają być XXXX, XXXX oraz XXXX. Dziś pisma wzywające na przesłuchanie dostała także XXXX. Bardzo chciałbym odzyskać VAT, ale teraz już nie wiem co mam zrobić. Czy ujawnić, że moje centrum interesów życiowych jest w Szwecji i czy tam jest rzeczywiście? Czy żona XXXX? (sytuację komplikuje to, że XXXX).

Jakie kary czekają mnie po ujawnieniu prawdy i czy nadal będę mógł się ubiegać o zwrot VATu za sprzedane w XXXX XXXX?