„Der Seewind raunt von einem Schloss, versunken längst mit Turm und Tross “, reimte Lokalhistoriker Hans Marti anno 1956.
Die Legende erzählt von einem herrschsüchtigen Ritter, der in Egolzwil ein kleines Schlossgut besass. Er war ein „gottloser“ Mann, der seine Knechte unerbittlich antrieb. An einem heissen Sommertag lag viel Heu auf den Feldern, das noch hätte eingebracht werden sollen. Da sich schnell ein gewaltiges Gewitter näherte, schrie der Ritter rasend vor Wut: „Herrgott, wenn du mir das Heu nicht trocken lassen willst, so schlag mich mit deinem Donnerwetter samt allem in den Boden hinein!“ Mit fürchterlichem Blitz und Donnergetöse versank das Schlossgut mit dem Ritter und seinem Gefolge. Zurück blieb der liebliche See. Der Volksmund berichtet, dass an ruhigen Mai-Sonntagen, zwischen 4 und 5 Uhr morgens, das Glöcklein des versunkenen Schlosses zu hören sei.
Es gibt zudem Mutmassungen, dass zwischen dem Egolzwilersee und der Burgruine Kastelen in Alberswil ein unterirdischer Gang bestehe – bis anhin wurden bei Grabungen aber keine Hinweise oder Spuren solch einer Verbindung entdeckt.
Zudem tauchten früher immer wieder Aussagen und Gerüchte über „Wirbel“ im See auf: sie sollen Schwimmende in die Tiefe ziehen. Niemand weiss aber von solchen Vorkommnissen. Tatsache ist jedoch, dass sich der See kaum zum Baden eignet, zumal das Seeufer rundum mit Schilf und Sträuchern bewachsen ist.
