El gestor de la familia de los Villarroel era Diego de Villarroel, casado con Luisa Rodríguez de Jufre, siendo sus hijos el Alonso, Silvestre, Jerónimo y Luisa de Villarroel. Durante algunos años Diego de Villarroel fue alcaide del castillo y administrador de las rentas del marqués, con una finca de 500 fanegas en el Campillo de Oliar, término de Vélez Rubio.

Las noticias que tenemos sobre sus hijos Silvestre, Alonso y Jerónimo son las siguientes: Silvestre de Villarroel se casó con doña María de Urrutia. Fue alguacil mayor de Cuevas y de Vélez Blanco. Su hermano Alonso de Villarroel, casado con Ana Moreno, era regidor de Vélez Blanco en 1621. Su otro hermano, el capitán Jerónimo de Villarroel (+1619), estaba casado con doña Francisca del Moral y Salmerón, hija de Ginés Salmerón y Bárbara del Moral, vecinos de Caravaca. Jerónimo fue alguacil mayor de Mula, fue capitán de armas en varias partes de Italia (Sicilia) y acumuló hasta seis haciendas de población en Vélez Blanco. En 1606 encargó la obra de una capilla de la advocación de San Juan en la parroquia de Santiago a Juan Fernández Piñero, maestro de arquitectura y vecino de Caravaca, y al albañil Francisco de Cabrera,

El capitán Jerónimo de Villarroel tuvo al menos dos hijos de los que tenemos información. Por un lado, Jerónima de Villarroel, que casó con Pedro de Estremera Fuertes, vecino de Cazorla; por otro, su hijo, el capitán, don Bernabé de Villarroel, casó con doña Dionisia de Estremera, hija Juan de Estremera Fuertes y de doña María de Torres, vecinos de Cazorla.

Tenemos datos de que otro miembro de la estirpe, Alonso de Villarroel se casó con doña Clara de Montoya y Cardona. En 1623 Baltasar de Bermúdez, vecino de Huéscar, se casó con doña Luisa de Villarroel, hija de Alonso de Villarroel. Los otros hijos de Alonso eran Juan, Alonso y Pedro de Villarroel.

Francisco Pérez de Villarroel era hijo de Úrsula de Villarroel y Juan Pérez, casándose en 1636 con doña Catalina de Estremera. En 1639 Francisco Pérez de Villarroel estipuló en su testamento ser enterrado en la capilla que su hermano Juan Pérez de Villarroel tenía en el convento de San Luis. Francisco Pérez de Villarroel instituyó un mayorazgo y vínculo sobre una labor de secano con casa, era y pozo en el pago de Campillo, término de Vélez Rubio, nombrando por su sucesor en el mayorazgo a su hermano Juan Pérez de Villarroel. Doña Jerónima de Villarroel se casó con el procurador Francisco Arias, hijo de Fernando Sánchez Franco, vecino de Granada.

Juan Pérez de Villarroel era hijo de Juan Pérez y Úrsula de Villarroel y se casó con doña Francisca de Guevara, hija de Alonso de Guevara y doña Catalina Montesinos. Juan Pérez de Villarroel instituyó otro vínculo y mayorazgo. Hermano de Juan Pérez de Villarroel era el beneficiado licenciado Agustín Pérez de Villarroel, sucesor en el vínculo tío de don Diego Pérez de Villarroel, y administrador de las rentas del marqués de Espinardo.

Don Diego Pérez de Villarroel era alcalde en 1691 y con casa en la calle de San Agustín, lindando con la ermita. Tenía dos fincas con un total de400 fanegas con casas, pozos, eras y ejidos en Topares. Una vez viudo de su prima doña Quiteria Fernández Valera, don Diego Pérez de Villarroel se hizo clérigo de menores órdenes e iba vendiendo buena parte del patrimonio familiar, entre otras cosas una de las labores de Topares lindando con las tierras de don Pedro de Aguino y Macián. Fue enterrado en la capilla familiar de San Juan Bautista en el convento de San Luis en 1711.