Zijn grootvader [[Karel I van Napels|Karel I van Anjou]], werd na de [[Slag bij Benevento]] (1266) koning van Zuid-Italië. Na de tegen zijn grootvader gerichte [[Siciliaanse Vespers]] van 1282 was de toen zevenjarige Robert een gijzelaar van [[Peter III van Aragón]], zijn grootvaders vijand. Karel I behield enkel nog het [[koninkrijk Napels]]. Toen drie jaar later (1285) zijn grootvader op 59-jarige leeftijd kwam te sterven bij [[Foggia (stad)|Foggia]] in Italië – Robert was slechts tien jaar oud – werd zijn vader (die toentertijd een gijzelaar was) Karel II koning van Napels. Zijn vader Karel II werd in 1288 vrijgelaten, na het betalen van losgeld. Roberts broer, [[Karel Martel van Anjou]] stierf in 1295 aan de pest. Zijn andere broer [[Lodewijk van Toulouse|Lodewijk]] zag van zijn aanspraken op de troon af (hij had zich aangesloten bij de [[spiritualen]], de radicale stroming binnen de Orde van de [[Franciscanen]] die de armoederegel van [[Franciscus van Assisi]] strikt wilde navolgen), en stierf in 1297 als bisschop van Toulouse.

Teneinde ook de kroon van het naburige [[koninkrijk Sicilië]] te verwerven, trouwde Robert in 1295 met Jolanda, de zus van koning [[Jacobus II van Aragón|Jacobus I van Sicilië]], en beloofde Jacobus om af te zien van zijn aanspraken op [[Sicilië]]. De Siciliaanse edelen weigerden hem echter te erkennen en verkozen daarop Jacobus' broer en Roberts zwager, [[Frederik II van Sicilië|Frederik II]], tot koning van Sicilië. De oorlog bleef aldus aanslepen en met de [[Vrede van Caltabellotta]] (1302) zagen Robert en het [[huis Anjou-Sicilië]] hun aanspraken op Sicilië voor eeuwig verloren gaan, waardoor hun grondgebied beperkt bleef tot het zuiden van het Italische schiereiland.