Панк-рок команда Paramore начала свое существование во Франклине, когда вокалистка Hayley Williams познакомилась с братьями Josh и Zac Farro (гитарист и барабанщик, соответственно) после переезда из Миссиссиппи. У ребят уже была группа, так что вскоре они предложили девушке присоединиться к ним. Открыв 13-летнюю Williams, слушающую U2, the Cure, Sparta, и Failure, подростки начали работать вместе под именем Paramore, а вскоре к ним присоединились гитарист Jason Bynum и бассист Jeremy Davis. Они демонстрировали свой талант в школе перед тем, как начать выступать в местных рок-клубах. Приятные мелодии квинтета и серьезная харизма, в конечном счете обратили на себя внимание Florida Fueled из Ramen label, который подписал контракт с группой в апреле 2005. Работая с James Wisner (Dashboard Confessional, Underoath) и Mike Green (Yellowcard, the Black Maria), Paramore записали их полный дебютный альбом All We Know Is Falling. Альбом был выпущен позднее в Июле 2005, и Paramore тут же запрыгнули в свой фургон, отправившись в тур в поддержку альбома.
В дополнение к отпечатку на New Jersey's Bamboozle Festival и многократным выступлениями на Warped Tour, они так же играли с группами Simple Plan и Straylight Run.
Затем в декабре 2005 Hunter Lamb заменил Bynum`а. Начало следующего года она провели в туре с Halifax, So They Say, и Bayside. Как и многие из их музыкальных сверстников, летом 2006 они отправились на ежегодный Warped Tour. Lamb продолжал играть с ними вплоть до начала 2007 года, затем женился и Paramore продолжили выступать и записывать новый материал, как квартет. Следующим летом (2007) они выпустили их второй альбом Riot! в сотрудничестве с продюсером David Bendeth`ом и подписали договор о лейбле с Atlantic.