杭城上城區(qū)馬坡巷16號(hào)最初是清朝桐鄉(xiāng)貢生汪淮所購(gòu)的中式宅院，園內(nèi)原有水池、三曲橋、假山等。因傳聞北宋大書(shū)法家米芾之子在此留有遺址，便以“小米”二字定名，稱“小米山房”(俗稱小米園)。

清乾隆五十三年(1788)軍機(jī)處行走龔禔身辭去朝官，回家鄉(xiāng)杭城后，正值汪家敗落，趁機(jī)買下小米山房為終老之所，孫子龔自珍就在小米園出生并求學(xué)。龔自珍的父親龔麗正，精于史學(xué)，著有《國(guó)語(yǔ)韋昭注疏》等；其母親也是通書(shū)達(dá)理的大家閨秀；外祖父段玉裁更是精通文字學(xué)，重要著作有《說(shuō)文解字注》、《毛詩(shī)詁訓(xùn)傳》、《古文尚書(shū)撰異》、《六書(shū)音均表》、《周禮漢讀考》、《儀禮漢讀考》、《經(jīng)韻樓集》等，學(xué)問(wèn)精深淵博。當(dāng)龔麗正于嘉慶年間考取進(jìn)士不過(guò)幾年，敬身、自珍及藻身這三個(gè)兒子相繼中舉，并在道光年間也先后考中進(jìn)士，三兄弟并稱為杭州“東城三龔”。

龔自珍不僅出生在杭城，而且晚年有段時(shí)間回歸故里，主持過(guò)杭州紫陽(yáng)書(shū)院。小米園歷經(jīng)數(shù)百年后衰敗，僅存殘園和一廳。1988年進(jìn)行修復(fù)，將該園辟為“龔自珍紀(jì)念館”對(duì)外開(kāi)放。占地六百多平方米，兩層樓房，上下五開(kāi)間，兼有耳房，雕梁畫(huà)棟，古樸典雅。館內(nèi)正廳安放龔自珍半身古銅色塑像，四周懸掛沙孟海、趙樸初等名家提寫(xiě)的匾額、楹聯(lián)。四個(gè)展室，陳列了龔自珍生平圖文簡(jiǎn)介、大事年表、史料、龔氏年譜、詩(shī)選和后人研究文集等。庭院內(nèi)小橋流水、假山亭榭，在花木襯托下，富有江南園林的特色。紀(jì)念館大門朝東，石庫(kù)門上方鑲著一塊石匾，刻著“龔自珍紀(jì)念館”六個(gè)字，由趙樸初先生題寫(xiě)。門外立有一塊石碑，上刻“杭州市市級(jí)文物保護(hù)單位：小米園”，進(jìn)馬坡巷一百多米就能見(jiàn)之