Zamek usytuowany jest w mieście Abergavenny, Monmoutshire, Walia. Zamek postawiono na naturalnym podwyższeniu, gdzie górował nad doliną, w której schodzą się dwie rzeki Usk oraz Gavenny. Wybór miejsca na budowę zamku był podyktowany częstymi najazdami. Dogodne do obrony położenie zostało zauważone już przez Rzymian, którzy wznieśli w tym miejscu fort. W 1075 roku dzięki Hemelin do Balun powstał normański fort stożkowy (motte-and-bailey). W 1233 roku zamek był własnością Richarda Marschala, trzeciego Barona Penbroke. W 1175 roku fort był świadkiem przerażającego morderstwa w Abergavenny. Henry Fitzmiles, 1. Baron Hereford został brutalnie zamordowany przez walijskiego lidera. Ze względu na brak bezpośredniego męskiego potomka zamek przeszedł w ręce siostrzeńca Williama de Braose, 3. Lord Bamber, który pomścił śmierć wuja Henry’ego. William, mimo, że działał w dobrej wierze, poniósł karę i zmarł podczas tortur. Zamek odziedziczył jego syn Willam de Braose, 4. Lord Bamber. W XIII i XIV wieku zamek należał do rodziny Hastngs. W czasie Wojny Domowej budowla została zruinowana. W XIX wieku ruinami zaopiekowało się Muzeum Abergavenny. Pierwszy Great Hall był prawdopodobnie drewniany, zamek posiadał dwie wieże, barbakan i metalową bramę spuszczaną.