Gražiškių kraštas per ilgą savo istoriją gan turtingas mokyklomis. Pirmoji pradinė mokykla prie parapijinės bažnyčios įsteigta 1623 m. Šią mokyklą 1862 m. lankė 40 mokinių. Lietuviškai kalbėti drausta. Gražiškiuose valdiška mokykla įsteigta 1865 m. Jos steigėjai: pirmasis mokytojas E. Šteinys, Dotamų viršaitis Kudžma ir apylinkės gyventojai. 1888 m. Gražiškių savivaldybė nupirko iš žydo Ickio Šaco buvusios karčemos namą mokyklai, kuriame ji išbuvo iki 1925 m. 
1925 m. pastatyta nauja medinė mokykla, kurioje veikė 6 skyriai. Prieš Antrąjį Pasaulinį karą šios pradinės mokyklos vedėju buvo mokytojas Juozas Liutkevičius. 1944 m. vasarą pradinę mokyklą vokiečių kareiviai apgriovė. 
1946 m. Gražupių kaime Vaclovo Barkausko name įkurta progimnazija. 1951 m. ant senos mokyklos pamatų pastatyta naua medinė dviejų aukštų vidurinė mokykla. Po to 1960 m. ir 1975 m. prie mokyklos pastatyti mūriniai priestatai. 
Per paskutinius 50 metų mokykloje direktoriais dirbo: J. Graužys, J. Karvauskas, A. Ruseckas, J. Rožas, J. Tamošaitis.
Buvęs mokyklos auklėtinis Albinas Petrulis rašė: „Smagu kai tavo gimtinėje, tarp dviejų brolių kalnų- Svirkalnio ir Grybkalnio- prie Gražupio upės, puikus pedagogų kolektyvas ugdo savo mokinius ir buvusiems mokiniams savo grožį, gerumą ir dvasingumą skleidžia. Vyksta gražus mokyklos renesansas“.