История "Sweet" началась с группы "Wainwright's Gentlemen", первым солистом в которой был Ян Гиллан, перешедший позже в "Deep Purple". Коллектив выступал в клубах, исполняя смесь ритм-энд-блюза и психоделии. После распада группы Коннолли и Мик Такер (ударные, вокал), также бывший участник "Wainwright's Gentlemen", совместно со Стивом Пристом (бас) и Фрэнком Торпи (гитара) в 1968 году создали команду "Sweetshop", позднее ставшую "The Sweet".
В ноябре 1971-го вышел первый альбом "Sweet", представлявший собой компиляцию из их синглов. Таким же был и второй диск - "Sweet's Biggest Hits". Затем Чинн и Чапмэн начали создавать роковые номера, и команда перешла в более тяжелую категорию.
Их первый глэм-роковый сингл "Wig Wam Bam" вышел в сентябре 1972 года и занял 4 позицию в британских хит-парадах. С этим номером они впервые появились на "Top Of The Pops". Первым хитом, ставшим №1 в Англии был "Blockbuster", вышедший синглом в январе 1973-го. Репутацию крутых глэм-рокеров закрепили следующие хиты: "Hell Raiser", "Ballroom Blitz", "Teenage Rampage", "Six Teens". Кроме того, их собственные композиции типа "Rock & Rolle Disgrace" и "Need A Lot Of Loving", пользовались не меньшим спросом, чем творения Чинна-Чапмэна. Также группа явно тяготела к более жесткой форме рока, поэтому концертные реализации их хитов были намного жестче записанных в студии. Песни "Set Me Free", "Restless" и "Sweet F.A." утвердили репутацию "Sweet", как хард-роковых музыкантов.