Slottet består av två delar. Den äldre och lägre delen uppfördes 1832 av färgaren Jakob Widoff. Han köpte Berga för att ha som sommarviste. Dit kunde hans familj söka sig när sommarvärmen i stadskärnan gjorde att stanken från Linköpingsbornas avfall och spillningen från deras djur blev alltför påträngande.
Widoffs dotter Emilie gifte sig 1845 med tidningsmannen C F Ridderstad. Efter svärfaderns bortgång 1856 stod Ridderstad som Bergas ägare. Paret Ridderstad bodde, precis som familjen Widoff gjort, inne i Linköping och använde Berga som sommarbostad. C F Ridderstad hade flyttat till Linköping 1840. Från 1843 var han både ägare och chefredaktör för Corren. Han var även såväl författare som politiker.
Efter C F Ridderstads död blev sonen löjtnant Anton Ridderstad ägare till Berga. Han löste till sig merparten av föräldrahemmets inventarier, bland annat faderns arkiv. För att hysa de samlingarna och de betydande kulturhistoriska samlingar han själv skapade lät han 1896 bygga Bergas slottsliknande del.
Byggnaden kom därefter att bestå av tjugo rum. Över portalen lät han sätta upp en relief med släkten Ridderstads vapen. Ritningarna till om- och tillbyggnaden är signerade av Linköpingsarkitekten Johan Lagerström.
Anton Ridderstad grundade 1884 Östergötlands fornminnes- och museiförening och var fram till 1903 tillika dess förste intendent. Han planerade att i Berga hage, som ingick i hans ägor, uppföra en byggnad för Östergötlands museum. Den tanken omintetgjordes dock genom den så kallade museistriden i början av 1900-talet. Ridderstad hade vidare planer på att vid Berga skapa ett östgötskt friluftsmuseum. Testamentariskt skänkte Anton Ridderstad sina samlingar till Östergötlands Museum.
Anton Ridderstad gick bort 1933, men hans bibliotek stod kvar på Berga så länge gården var i familjens ägo. Under några år hyrde chefen för ELGE-verken, Finn-Eric Weyde, en del av huvudbyggnaden.
År 1955 köpte Linköpings stad Berga egendom av familjen Ridderstad.
När Österbergaskolan planerades begärde skolstyrelsen att slottet skulle rivas. Stadens ledning föreslog då att slottet skulle bli stadsdelsbibliotek, vilket stadsbibliotekarien bestämt motsatte sig. Slottet räddas av att två daghem samt ett fritidshem 1965 öppnades i byggnaden.
Från hösten 2021 inryms ett närbibliotek och en rad andra kommunala verksamheter i Berga slott.
Detta är skrivet efter en förfrågan från bibliotekspersonalen i Berga.