Il a fait partie de quatre autres groupes avant que Quinn Allman lui propose d'entrer dans The Used. Jeph Howard lui laisse la place de chanteur principal et devient le bassiste. À cette époque, Bert est accro à plusieurs drogues (l'album Maybe Memories parle de cette période), c'est en partie la musique qui l'aide à s'en sortir.
Le batteur, Branden Steineckert envoie un enregistrement à John Feldmann. Feldmann les adore, et décide de les inviter chez lui pour enregistrer leur démo. Ils font leurs débuts avec leur premier album éponyme en 2002. Ils partent en tournée avec Goldfinger, et participent au Warped Tour et à l'Ozzfest.
Le 27 mai 2003, Bert s'écroule pendant l'enregistrement de "On my Own" et ne peut pas continuer à chanter. Il est emmené d'urgence à l'hôpital, on lui diagnostique une pancréatite aigüe. L'abus d'alcool a été nié par un porte-parole. Bientôt après, le groupe commence a enregistrer leur second album, In Love And Death.
Bert avait une petite amie nommée Kate, morte par overdose alors qu'elle portait l'enfant du chanteur. La chanson "Hard to Say" lui est dédiée.
Il a eu une relation avec Kelly Osbourne. Bert était très ami avec My Chemical Romance, en particulier avec Gerard Way, le chanteur du groupe, mais à cause d'une raison que Berth n'a pas envie de citer, ils ne sont plus amis.




