Det är i takt med att statyer av slavhandlare rivits världen över som svenska exempel börjat diskuteras.
Bland annat har en namnlista startats för att Carl von Linné-statyer ska avlägsnas.
– Carl von Linné var en rasist utan dess like. I min bok citerar jag hans åsikter. Han ansåg att det fanns olika raser av människor. Lägst stod hottentotter som var närmast djuren. Han var fruktansvärd egentligen, säger Carl Johan De Geer.
– Men å andra sidan tjänar det ingenting till att riva ner statyer. Risken är att ingen kommer att känna till här frågorna om hundra år. De kan få finnas kvar som minnen, fast med information på skyltar, tycker jag.
Beslutet att göra upp med familjens historia i projektet "Släkten och slavarna" – namnet på både en bok och en konstutställning – bottnade i möten med svarta som berättat för honom om hur deras släktingar sålts som slavar.
– En av dem är en man som är ättling till en av de slavar som Louis De Geer med gräslig transport tvingade till Brasilien på 1600-talet, säger Carl Johan De Geer.
– Han hade sett mitt efternamn som det som orsakat hans släkts hemska öde i flera hundra år.
Men att göra sig av med slavhandlares minnesmärken ser han inte som lösningen.
– Drottning Kristina var med och som tog initiativ till den svenska slavhandeln. Om man välte eller skrotade hennes statyer skulle det bli väldigt kontroversiellt. Hon anses ju vara något av en feministisk förebild, även i vår tid, säger Carl Johan De Geer.
I Norrköping är det Louis De Geer-statyns framtid som debatten kretsar kring. Den är skapad av Carl Milles, en konstnär som pekats ut som nazistsympatisör vars verk finns i många svenska städer.
– Skulle man ta bort alla hans statyer? Och stänga Millesgården? Risken är att frågan snabbt vidgas och blir ohanterlig, säger Carl Johan De Geer.
Redan för några år sedan erbjöd han sig att komplettera statyn med ett av sina egna, mindre smickrande, konstverk. Nu har förslaget blivit aktuellt på nytt.
– Det är ett slags nidporträtt av Louis de Geer. Det är ett huvud som avsiktligen är fruktansvärt fult.
Huvudet är gjutet i brons och placerat i en skolbänk med öppet lock.
– Man har inte undervisat om det här i skolorna. Därför tyckte jag att skolbänken var en väldigt bra symbol.