Le collège Georges Besse est issu de la partition du lycée Alfred de Vigny, qui lui-même avait pour origine un cours complémentaire installé à l'école de garçons Alfred de Vigny.

Avant la Seconde Guerre mondiale, ces cours étaient placés sous la responsabilité du directeur de l'Ecole normale d'instituteurs du département, créée à Loches. Cette école, qui formait les futurs enseignants, fut fermée lorsque le gouvernement de Vichy supprima ce type d'établissement par décret du 15 août 1941. Rétablie à la Libération, l'Ecole normale d'instituteurs s'installa à Fondettes, ce qui permit à la ville de Loches d'accueillir de façon durable dès 1945 dans les bâtiments abandonnés par cette école situés sur la rive droite de l'Indre l'ensemble des élèves du secondaire.

En 1951, les cours du secondaire prennent le nom de « Collège de Loches (annexe du lycée Descartes de Tours) », puis l'augmentation des effectifs d'enfants scolarisés après leurs 14 ans impose la transformation de l'établissement en un lycée indépendant du lycée Descartes de Tours. En 1961, il est dénommé lycée national mixte de Loches. Les locaux, déjà vétustes, deviennent exigus. La ville de Loches fait procéder en 1963 à des expropriations de terrains pour construire de nouveaux bâtiments, projet qui sera réalisé quelques années plus tard. En 1965, l'établissement accueille 500 élèves de la 6ème à la terminale, dont un jeune élève de 3ème, Jacky Villeret, deviendra Jacques Villeret à la scène.

L'édification d'un nouveau collège d'enseignement secondaire (CES) conduit à la séparation des administrations du collège et du lycée dès février 1969. A partir de la rentrée de 1970, les classes de 6ème et de 5ème ne sont plus accueillies dans les bâtiments du lycée. Une partie d'entre elles est installée provisoirement dans l'école Lamblardie. Lors de la rentrée de 1971, les deux établissements, lycée et collège, sont entièrement distincts. Le collège compte alors 613 élèves. En 1978, le lycée est séparé de ses « sections pratiques », du CET (collège d'enseignement technique), qui vont intégrer les nouveaux locaux du lycée professionnel Émile Delataille, situés non loin du collège Georges Besse. Les bâtiments du collège seront entièrement restructurés en 2006.

En 2014, le collège accueille près de 700 élèves. Il propose une section sportive football.

Sources complémentaires aux Archives départementales :
- 1007W98 (fonds du patrimoine immobilier départemental, bâtiments de l'enseignement)
- 1242W28 (fonds de la préfecture, services chargés des actions interministérielles, équipement, établissement du second degré)
- Edep132/4M2-3,8 (fonds de la commune de Loches, édifices à usage d'établissement d'enseignement)
- 953W4, 1406W159 (fonds des archives des services de la préfecture chargés de la comptabilité, affaires scolaires)
- 2385W (fonds du lycée Alfred de Vigny de Loches, dossiers scolaires)
- 88J281 (fonds d'archives privées, architecte Novello)