Il s'aperçoit alors que ce qui manque le plus aux enfants ce sont des maîtres de valeur. Il recrute donc de jeunes maîtres auxquels il propose une forme de vie consacrée à Dieu qui leur laisserait cependant leur caractère laïc. À leur intention, il rédige une sorte de règle dans cet esprit. Ainsi se forme le noyau du futur Institut des Frères des Écoles chrétiennes, voué à l'instruction et à l'éducation des enfants des milieux populaires. Pour la formation à la fois spirituelle et pédagogique des frères, il crée en 1692 à Vaugirard le premier noviciat et en 1698 achève de mettre au point les règles de la Congrégation.

En 1685, il fonde à Reims un séminaire qui constitue une véritable école normale d'instituteurs, innovation qui n'a pas alors d'équivalent, en dehors de la formation assurée à leurs religieux par les Jésuites pour l'enseignement des milieux plus aisés. En 1688, il ouvre les premières écoles à Paris, la première au 12 rue Princesse dans le VI arrondissement, où il vient s'installer.

En 1694, il est élu supérieur de la nouvelle congrégation et la dote d'une règle plus élaborée. Il poursuit son œuvre pédagogique et spirituelle, rédigeant notamment un ensemble d'ouvrages à l'intention des maîtres.

Appelé à Rouen en 1705 par Mgr Colbert, archevêque de cette ville, il ouvrit un pensionnat à Saint-Yon et y fit venir, en 1714, le noviciat de Paris.

Vers la fin de sa vie, il se démet de ses fonctions. Il meurt dans la maison-mère qu'il a fixée à Rouen. Après sa mort, son institut continue à se développer rapidement en France et dans le monde entier, servant volontiers de référence aux congrégations enseignantes.

Fragment de la pierre tombale

Deux innovations : la leçon n'est pas donnée individuellement mais dans une classe et l'on apprend à lire en français et non en latin. Ces nouveautés ont bouleversé la pédagogie en France.