Au XVIIéme siècle, le domaine n'est pas encore une île. Différents propriétaires se partagent alors cette terre, divisée en plusieurs parcelles. Jean Bandinel, Sieur de Figueret possède la partie la plus vaste de ce que l'on nommera plus tard Belle-Isle.
A la suite de la percée du Canal du Midi en 1676, puis du canalet, ce terrain prend un caractère insulaire et devient le domaine de Belle-Isle.

 Au XVIIIéme, les Bandinel restent les propriétaires principaux du domaine qui semble être une exploitation agricole assez conséquente avec plusieurs corps de bâtiment. C'est après la Révolution que la famille Bandinel, devenue Bandinelli, vend le domaine. En 1830, Belle-Isle devient la propriété d'Antoine Bastide, l'oncle de Saint-Etienne Laurens. Antoine Bastide développe l'exploitation et fait construire de nouveaux bâtiments : une maison pour le régisseur, une remise, des écuries ainsi qu'un pavillon, qui agrandit la maison d'habitation. Au décès d'Antoine Bastide, en 1879, son neveu Saint-Etienne Laurens hérite du domaine. Belle-Isle entre ainsi dans le patrimoine de la famille Laurens.

 Saint Etienne Laurens mène de front son activité de directeur de l'Usine à gaz et l'exploitation du domaine qu'il fait prospérer. Lorsque son fils, Emmanuel Laurens, hérite de Belle-Isle en 1897, il prend possession d'un domaine florissant, doté d'une maison d'habitation assez cossue. En effet, quelques années avant son décès, Saint-Etienne a réaménagé la bâtisse dans un goût fin de siècle, notamment le pavillon et les façades avec l'ajout de nombreux balustres, ainsi que de céramiques polychromes. Cependant, Emmanuel a d'autres rêves pour Belle-Isle : il souhaite construire une demeure qui serait sa résidence principale, dans un style plus personnel et plus moderne. La maison d'habitation existante va être entièrement remaniée, et même adjointe de nouveaux corps de bâtiments.

  Aucun nom d'architecte n'a été retrouvé pour ce projet de réaménagement. Il semble donc qu'Emmanuel a lui-même conçu les plans de sa villa, vraisemblablement aidé d'un bon entrepreneur. Il faut préciser que Saint Etienne Laurens et son frère Charles étaient tout deux ingénieurs diplômés de l'Ecole Centrale. De plus, Charles Laurens, l'oncle d'Emmanuel a été l'architecte de la ville durant douze années, et sa bibliothèque contenait de très nombreux ouvrages d'architecture. Emmanuel a, par conséquent, baigné dans un environnement familial très formateur, qui l'a probablement préparé à ce genre d'expérience. Les travaux entrepris dès 1898 débutent semble t-il par la partie latérale du château jusqu'alors appelée " pavillon ", que nous nommerons " petits appartements ". Emmanuel n'en modifie pas l'aspect extérieur, conserve les façades mais réaménage entièrement cet ancien pavillon. De nouveaux décors y sont ajoutés, tels que des vitraux, des tentures ou encore une luxueuse salle de bain.

 De façon presque concomitante, le corps principal du château est aménagé à partir du bâtiment d'habitation préexistant. Reprenant un certain nombre de murs et d'élévations, l'aspect général de la bâtisse est radicalement transformé.
 Les travaux s'étalent sur trois années et s'achèvent en 1901 avec la réalisation par Eugène Dufour de la plupart des travaux de décoration. Cependant, les décors de certaines pièces seront effectués bien plus tardivement. En effet, Eugène Dufour est rappelé vers 1928 par Emmanuel Laurens afin de réaliser des peintures murales et des panneaux décoratifs dans le fumoir ainsi que dans le salon de musique. Cette dernière intervention sur le décor peut s'expliquer par une évolution du goût du propriétaire ou tout simplement par l'absence d'un décor d'origine satisfaisant.

 Sans descendance et tourmenté par des revers de fortune, Emmanuel Laurens vend le domaine et le château en viager en 1938 à une famille montpelliéraine qui n'en prendra pleinement possession qu'en 1959 au décès d'Emmanuel. Malmené pendant la guerre par les allemands qui occupent les lieux, peu entretenu par les nouveaux propriétaires, le château se dégrade. En 1994, la mairie d'Agde fait l'acquisition de Belle-Isle et du château qui, livré aux intempéries, a subi de grosses détériorations. Des mesures d'urgence s'imposent : le château et une partie du parc sont classés en 1996 et des travaux conservatoires sont réalisés dès 1997. Depuis, le château est en attente d'une véritable restauration qui saura lui redonner un peu de sa superbe.