El terme comprèn dos sectors que corresponen als antics municipis, a banda i banda de la Noguera Pallaresa: el sector tradicional del terme de Rialp s'estén principalment a l'esquerra de la Noguera Pallaresa, a la zona de confluència amb la vall d'Àssua; la part de la dreta del riu, on hi ha la plana on s'assenta la vila de Rialp, centre del municipi, és molt estreta, i la de l'esquerra, on hi ha els pobles agregats de Beraní i de Roní, s'endinsa pels vessants esquerres de la Ribalera (el Romadriu constitueix, en part, el límit fins a la seva confluència amb la Noguera). Les terres de l'antic terme municipal de Surp s'estenen a la dreta de la Noguera Pallaresa i comprenen un ampli sector del N de la vall d'Àssua (tota la vall del riu de Caregue i els vessants esquerres del riu de Sant Antoni, fins prop de Rialp). La vall de la Noguera, llevat de la plana oberta a la desembocadura del riu de Sant Antoni (que es forma per la unió del Rialpo, o riu de Berasti, i el de Caregue), és encaixada entre els grans massissos que marquen el límit entre les altes valls d'origen glacial i la ribera de Sort, menys alterosa i oberta a les influències mediterrànies. El sector de l'esquerra de la Noguera Pallaresa, molt abrupte i trencat, és format pels vessants NO del cim de la Torreta de l'Orri o tossal de l'Orri de Rubió, que assoleix els 2.437 m (ja a Soriguera), dins l'alineació muntanyosa que separa la coma de Rubió de la Ribalera. El terme comprèn la vila de Rialp, cap administratiu del municipi, i els pobles de Surp, Beraní (o Braní), Caregue, Escàs, Rodés i Roní, el santuari de la Muntanya i les restes de l'antic monestir d'Oveix.