De geschiedenis van de gemeenschap begon in 1940 toen broeder Roger (Roger Schutz) in het plaatsje Taizé in de omgeving van Cluny aankwam. Hij kocht er een huis waar hij mensen opving die het oorlogsgeweld trachtten te ontvluchten, voornamelijk Joden. In 1942 moest hij vluchten, maar reeds in 1944 keerde hij in Taizé terug. In de tussentijd hadden de eerste broeders zich bij hem aangesloten, waarmee de oecumenische gemeenschap was geboren.
In de jaren na de oorlog bezochten de broeders geregeld gevangenen uit een nabijgelegen krijgsgevangenenkamp, die ze ook in de zondagse diensten mochten ontvangen. Ze namen weeskinderen op. Sinds 1949 wijden de broeders zich aan een leven in celibaat, gemeenschapsleven en grote eenvoud. Op paaszondag 17 april 1949 legden de eerste zeven broeders daarover geloften af. Anno 2007 waren er ruim 100 broeders in de communiteit.
Vanaf het begin trokken veel theologen naar Taizé om kennis te maken met deze oecumenische kloostergemeenschap. Vanaf het eind van de jaren vijftig kwamen steeds meer jongeren op bezoek in Taizé.
Op 16 augustus 2005 werd broeder Roger tijdens de dienst neergestoken door een verwarde Roemeense vrouw. Hij overleed aan zijn verwondingen. Broeder Alois, die door broeder Roger tot zijn opvolger was benoemd, heeft zijn plaats ingenomen. Op 14 mei 2006 ontving de gemeenschap in Middelburg één van de prestigieuze Four Freedoms Awards (vrijheid van godsdienst). De prijs werd door broeder Alois persoonlijk in ontvangst genomen.
De gemeenschap heeft inmiddels broeders uitgezonden naar een aantal ontwikkelingslanden, waaronder Bangladesh.