Nei primi anni dell’era cristiana l’impero romano crollò, le orde barbariche sfruttando le strade romane avanzavano velocemente, uccidendo e distruggendo tutto quello che si trovava sul loro camino. La desolazione durò circa fino all’anno mille. Tra queste rovine si formarono delle comunità, alcune dipendenti da un Signore, feudatario di qualche sovrano, altre da un autorità ecclesiastica (Vescovo), altre si governavano per proprio conto più o meno democraticamente.

  Nel 1195 Treviso era un Comune libero, con confini non ben definiti ma molto più piccolo dell’attuale provincia.

  In quegli anni le guerre tra “province” erano frequenti, battaglie contro i Bellunesi, invasioni da parte dei Friulani e contro invasioni nel Friuli da parte dei Trevisani con conseguenti uccisioni e razzie. Avendo sentore che i Padovani e Vicentini si fossero messi d’accordo per attaccare arrivando dal Brenta, i Trevisani decisero di rendere sicure le frontiere dell’ovest. Decisero di costruire una fortificazione stabile vicino alle rive del Muson nel luogo dove si intersecavano le vie da Padova per Asolo e Bassano, e da Vicenza per Treviso. Acquistarono molti terreni vicino ad un villaggio detto “della Pieve Nuova” che sorgeva dove oggi c’è il Borgo Pieve. Reclutati oltre mille persone tra manovali e maestri muratori, li misero agli ordini del conte Schenella di Collalto, esperto in costruzioni militari.

  Il castello fu costruito in circa dieci anni, sopra gli alti terrapieni di un’antica fortificazione romana. Perciò ebbe forma quadrata con due lati paralleli alla via Postumia. Ai quattro angoli furono erette delle robuste torri e nel punto di mezzo di ogni mura laterale una torre più piccola. A ciascuna torre piccola corrispondeva una porta ed un ponte levatoio. La torre sul lato verso Treviso, oggi modificata da varie aggiunte e restauri è sede della campana civica e fu detta Torre Principale e quella opposta che si affaccia verso il fiume Muson detta Torre del Musile. Quella verso Padova, la cui porta oggi non c’è più, era detta Torre dei Morti, essa è vicina alla chiesa ed un tempo i morti si seppellivano nel sagrato. La torre opposta sì chiamò Torre dei Beghi, oggi la torre non esiste più ma il ponte porta ancora il suo nome. La Torre dei Morti e quella dei Beghi erano usate solo per il traffico pedonale.

  Il territorio di Castelfranco comprendeva quattordici castelli e ventisette villaggi, ed era quindi molto più vasto di quello dell’attuale Comune. Comprendeva anche paesi distanti fra loro come San Martino, Trevignano, Pagnano e Torreselle.

La bandiera di Castelfranco naturalmente era come quella di Treviso, rossa con una croce bianca.