Основателями проекта были Михаил Родионов и Кирилл Назаров. Родионов проявил интерес к музыке в детском возрасте и уже тогда пытался сочинять песни. Подростком он брал уроки игры на гитаре, но через три месяца отказался от них и занялся самообразованием. Среди музыкантов, повлиявших на его творчество, Родионов упоминает группу Beirut и Александра Вертинского. В 2007 году вместе с Кириллом Назаровым они начали играть и записывать на диктофон короткие импровизации, которые размещали в сети. Вскоре Назаров оставил музыку, и Родионов продолжил записываться в одиночку. В 2009 году к нему присоединился Кирилл Парастаев; позже состав музыкантов несколько раз расширялся. В том же году на интернет-лейбле Whispering вышел дебютный альбом Echo, который распространялся бесплатно. Первое выступление на публике состоялось 12 мая 2009 года.

В 2010 году Родионов, подготовивший к тому времени большую часть будущего альбома, обратился в звукозаписывающую компанию «Снегири», и его трек «Flood» включили в сборник No Oil. No Stress. No Noise, выпущенный 5 февраля. Позже с музыкантом связался менеджер лейбла Иван Белаш и предложил встретиться и обсудить дальнейшее сотрудничество. 14 мая 2011 года группа выступила на акустической сцене фестиваля «Тёмные лошадки». В мае — июне были представлены несколько треков из альбома Waltz Baltika! в таких изданиях, как OpenSpace.ru, «Афиша», Lenta.ru, а 14 июня состоялась презентация пластинки в московском клубе «16 тонн». Диск, изданный на лейбле «Снегири», получил в целом положительный отклик в музыкальной прессе. 23 июля The Retuses выступили на «Пикнике „Афиши“».