Sarvilinnan kukoistava puutarha, arboretum, on rakennettu karulle kalliolle. Puutarhan perussuunnittelu - louhinnat, hiekkakäytävät ja kivipengermät - vaativat aikoinaan paljon työtä. Saareen ajettiin talvikausina lasteittain maata hevoskuormilla.

Puutarhan suunnitelma laadittiin laajan ulkomaisen aineiston perusteella yhteistyössä huvilan rakennuttajan sekä silloisen maankuulun puutarhuri Olssonin kanssa. Perennoja, pensaita ja puita hankittiin sekä Suomesta että Saksasta, Tanskasta ja Hollannista. Parhaimmillaan Sarvilinnan arboretumissa oli noin 2000 lajiketta. Arboretumiin liittyi myös hyötypuutarha kasvihuoneineen, marjapensaineen, omenapuineen ja mansikkamaineen.

Puutarhasta löytyvät mm. Suomen suurimmat koreantuijat sekä harvinainen metsäsaarnen kurttulehtinen muoto, “perunapuu”. Saaren puutarhanhoidon haasteet ovat kuivuus ja kovat talvet. Lumisuoja puuttuu talvisin kokonaan. Puutarhassa viihtyvätkin parhaiten kovia olosuhteita kestävät kasvit, kuten vuorenkilpi, kiiltotuhkapensas ja isotuomipihlaja.

“Puutarhat ovat ihanteellista kulttuuria,
jossa jalostettu luonto on sulautunut esikuvallisesti
siihen hyvyydellä suhtautuvaan ihmiseen.”
Le Nôtre