回遊式の枯山水庭園で、杉本家母屋の客間の東側と土塀の間に広がる。
作庭は、江戸時代末から近江で活躍した「鈍穴(どんけつ)」の手によると伝えられる。
客間からは庭園の見所でもある滝石組が見える。低い築山に配された、やや前方に傾いた立石右側から端を発する流れは、蛇行しながら自然石の石橋を渡って池に至る。滝流れ・池ともに白い玉石で表現する。
枯滝の右側には、深山幽谷を思わせる荒々しく力強い石組みが見えるのに対し、左側は数個の景石や石燈籠と奥庭に至る飛石の園路が続き、柔らかく明るい開放感ある景色となっている。
客間縁側から飛石や蛇行する石畳園路をつたって奥庭へ歩みを進め、「紅遊(くれないにあそぶ)」の額のかかる小門をくぐると、眼前に「秋錦亭(しゅうきんてい)」と呼ばれている茶室が現れる。ここからの景色は、客間から見える前庭とは異なり、ドウダンツツジやアカマツ、コケなどの植栽主題とした空間となっている。
茶室の北西には「帰緑苔(緑苔(りょくたい)に帰る)」 と刻まれた大振りな立石があり、この庭園の名称で ある「緑苔園」の由来ともなっている。
客間から見える石組みを中心とした2つの異なる雰囲気の景色。茶室から見える植栽を中心とした景色。限られた空間内での景色・植栽等、視点の移動にともなって変化する庭の景色には、作者の優れた造形感覚がいかんなく発揮されており、この代表作として重要であるばかりでなく、大きな改変もなく、現在まで伝えられてきた本庭園 は、地域の資産として、末永く後世にまで伝え残すべき名庭である。