In 1834 nam E.H. Cauwenbergh, pastoor te Hoogstraten, het initiatief om een college op te richten. Dit Aartsbisschoppelijk College werd in 1837 omgevormd tot Eerste afdeling van het Aartsbisschoppelijk Seminarie te Hoogstraten. Meteen was het Klein Seminarie van Hoogstraten geboren. Het werd zo veel mogelijk eenvormig gemaakt met het Klein Seminarie van Mechelen: zelfde reglement, programmering, dagindelingen … Toch zou de school in Hoogstraten een eigen karakter weten op te bouwen. Een belangrijke bestaansreden van het Klein Seminarie was het ontwikkelen van priesterroepingen. Hiertoe werd naast een degelijk onderwijs ook een eigen sfeer gecreëerd waarin godsdienstigheid kon bloeien.

Gedurende meer dan 120 jaar veranderden de structuren vrijwel niet. Het Klein Seminarie was een éénrichtingsstudie, met als basisvakken Grieks en Latijn. In 1959 startten echter grote veranderingen met de oprichting van een externaat naast het reeds 125 jaar oude internaat. Studiedifferentiatie zorgde in 1960 voor een nieuwe mijlpaal in de geschiedenis van de school, naast de Latijn-Griekse afdeling kwam er ook een Moderne Humaniora. De daarop volgende jaren werd de differentiatie steeds ruimer zodat de school in 1965 beschikte over de afdelingen Latijn-Grieks, Latijn-wetenschappen, Latijn-wiskunde, wetenschappelijke A en wetenschappelijke B. In 1970 kwam daar nog een economische afdeling bij. Na de oprichting van de handelsafdeling in 1979 verschenen in 1982 de eerste meisjes binnen de schoolmuren. Vanaf het midden van de jaren ’90 kregen de verschillende studierichtingen nieuwe namen en nieuwe accenten, in 2005 werd de richting Humane wetenschappen opgestart.

Geen nieuwe studierichting, maar wel een uitbreiding op een ander niveau vond plaats toen in 1980 het internaat zijn deuren opende voor de jongensinternen van de andere scholen in Hoogstraten. Het interscolair jongensinternaat werd een realiteit en omvatte de scholen Klein Seminarie, VITO en VTI.

Sinds 1999 maakt het Klein Seminarie samen met de drie andere Hoogstraatse secundaire scholen (Instituut Spijker, VTI Spijker en VITO)  deel uit van de scholengemeenschap Markdal. In 2014 werd ook Berkenbeek (BUSO, gevestigd in Wuustwezel) lid.