Seit 1169 sind die «Herren von Rossberg» urkundlich belegt. Diese unterhielten auf dem Rossberg bei Töss ein Gehöft. Bereits im 12. oder spätestens im 13. Jahrhundert veranlassten die Kyburger den Bau einer Wegkapelle. Diese befand sich direkt entlang der alten Landstrassen von Winterthur nach Pfäffikon. 1241 wird die Kapelle auf dem Rossberg schriftlich erstmals erwähnt. Damals gehörte sie zur Pfarrei Illnau. Zwischen 1266 und 1525 gehörte die Kapelle hauptsächlich zum Dominikanerinnenkloster Töss, mit kurzzeitigen Wechseln zu Rudolf von Habsburg und dem Kloster Wettingen.