Hauptinitiator für die Gründung der kleinen Bürgerwehr kann wohl die Schützendirektion Biberach angesehen werden. Diese wollte den Kinderumzug des historischen Schützenfestes in Biberach erweitern.
Der erste Start erfolgte am 5. Juni 1933. An dem Tag wurde dem Verwaltungsrat der historischen Bürgerwehr Mittelbiberach-Oberdorf Musteruniformen vorgestellt. Jeweils eine Uniform für Knaben und Mädchen. Diese fanden große Zustimmung. Rasch wurden 25 Mädchen- und 40 Knabenuniformen hergestellt.
Der erste Auftritt erfolgte dann am Dienstag, 4. Juli 1933 über den in der Zeitschrift „Anzeiger im Oberland“ geschrieben wurde:
„ Mit Spannung sah man dem erstmaligen Auftreten der Jugendlichen aus Mittelbiberach-Oberdorf, dargestellt von den dortigen Schülern, entgegen. Da kamen sie daher, in ihrer kleidsamen Uniform im gleichen Schritt und Tritt, voraus stramme Marschmusik und am Ende der Schloßwagen mit der Abtei. Alles wie aus dem Schächtelchen blitzblank. Die weiblichen Gardisten hatten zwar kein Schießgewehr, standen aber ihren männlichen Kameraden in nichts nach.“
Die Kosten für die Uniformen beliefen sich damals auf 466,97 Reichsmark. Das entspricht heute ungefähr 3.300 Euro. Diese wurden von der Schützendirektion (200 RM), den Eltern (3,50 RM pro Kind) und den damals noch selbständigen Gemeinden Mittelbiberach und Oberdorf aufgebracht.
Nach dem 2. Weltkrieg wurde 1949 die historische Bürgerwehr wieder ins Leben gerufen und mit ihr die kleine Bürgerwehr. Da die französische Militärregierung alle Waffen einziehen lies, bestand die Bewaffnung der historischen, sowie der kleine Bürgerwehr aus Hellebarden aus Holz.
1952 marschierte die kleine Bürgerwehr erstmals wieder beim Schützenfest mit, aber ohne Mädchen. Ausgebildet und geleitet wurden sie in dieser Zeit von den Volksschullehrern. Der Andrang in die kleine Bürgerwehr war jedes Jahr groß und die Lehrer hatten das Problem den Ansturm zu bewältigen.
Durch die wachsende Schülerzahl und dem sich dezentralisierenden Schulsystem war es sinnvoll die Ausbildung der kleinen Bürgerwehr in der historischen Bürgerwehr zu integrieren. Der damalige Hauptfeldwebel Anton Weiß übernahm dies. Unterstützt wurde er dabei von Anton Hermann.
Die Uniformen und Ausrüstungen der kleinen Bürgerwehr lagerten von 1933 bis 1949 bei der Schützendirektion. Danach auf der Bühne des Schulhauses in Mittelbiberach. In den Jahren verschlissen die Uniformen Zusehens. Daher beschaffte 1975 die Gemeindeverwaltung der kleinen Bürgerwehr neue Uniformen und eine neue Fahne. Die Kosten hierfür beliefen sich auf 15.000 DM.
Einziges Ehrenmitglied der kleinen Bürgerwehr ist Alois Riedmüller, der sich 1981 sehr verdient gemacht hat um die kleine Bürgerwehr.
Beim Schützenfestumzug 1983 liefen dann erstmals wieder 2 Mädchen an der Seite des Hauptmannes wieder beim Umzug mit