Tragedin inträffade på fängelset Tuluá i sydvästra Colombia under morgontimmarna. Enligt Tito Castellanos, som är chef för nationella kriminalvårds- och fängelseinstitutet, hade fångar barrikaderat sig. De tros ha försökt förhindra polis att tränga förbi avspärrningarna.
– Tråkigt nog så har 51 fångar dött och ytterligare 24 skadats, sade justitieminister Wilson Ruiz till radiostationen W.
Läget var kritiskt för sex av de skadade fångarna.
Fängelset inrymmer 1 200 fångar, troligen fler. Upploppet tros ha startat när rivaliserande fånggrupper drabbade samman. Tidiga rapporter talade om ett flyktförsök, men detta dementerades senare.
– Troligen började det med att en fånge tände eld på en madrass, vilket utlöste branden, sade justitieministern.
Avgående president Iván Duque sände sina kondoleanser till offrens anhöriga:
"Jag har beordrat en undersökning för att utreda denna hemska händelse. Mina tankar går till offrens familjer."
Även blivande president Gustavo Petro kommenterade dödsbranden, och sade att rättssystemet måste ändras:
"Den colombianska staten har tidigare sett fängelse som en plats för hämnd, inte för rehabilitering."
Tuluá ligger norr om staden Cali i västra Colombia.