Ce quartier, constituant la partie la plus haute de l'ancien village intra-muros, tire son nom de sa particularité topographique. Le mot pigeolet est le diminutif de puy ou pig signifiant montagne. Au XIIIème siècle nous y trouvons le château, appelé également "La Tour". Des bases de donjon étaient effectivement encore visibles il y a quelques décennies dans les soubassements d'une maison de ce quartier.

Nous trouvons dans les archives, les traces de ce bâtiment jusqu'au XVIIIème siècle. Tantôt appelé "La tour", tantôt "La maison claustrale" , il appartenait au chapitre de Saint Didier d'Avignon, prieur du lieu.

Une autre maison dans le même quartier, mérite une attention toute particulière à plus d'un titre. En effet, nous savons qu'avant sa restauration en 1949, elle possédait une niche admirable du XVIIème siècle en pierres de Pernes, de plus il y avait sur la façade méridionale à hauteur de premier étage une pierre avec une inscription en latin datant de 1685.

Enfin, élément encore plus remarquable, il y a dans la cour de cette maison, un puits exceptionnel à trois étages. Ce puits est constitué d'un escalier en colimaçon en pierre d'un mètre cinquante environ de diamètre à côté du trou cylindrique constituant le puits en lui-même de même dimension que l'escalier. De plus sur le côté il y a, à chaque étage, une pièce rectangulaire d'environ trois mètres par deux, qui communique avec l'escalier par une porte et avec le puits par une ouverture. Dans cette pièce, côté Est, il y a une niche d'environ 50cm de profondeur. Autre curiosité, après le premier quart de rond de l'escalier, il part en direction du sud une galerie qui est murée.

Cet édifice souterrain est assez curieux et pose quelques questions concernant son usage et sa destination originelle. Était-il simplement destiné à constituer une grande quantité d'eau en réserve en cas de nécessité, ou avait-il une vocation de cachette en cas de guerre? Mais si le niveau de l'eau était assez élevé, la surface de refuge offerte pouvait être très réduite.