相傳是清道光10年自大馬武窟社分社移下來的阿美族聚落,乃以小馬武窟社命名,民國二十六年改稱小馬。但還有另2種說法:1.昔時部落前山嶽發生崩塌,因山崩阿美語為ranaru,所以原稱ranaru社。2.因該社有泉水,且雜草繁茂,社人取水時,從葉面滴下的露水打在泉面,發出的聲響,被阿美人擬音為tsuratsutsuratsu,社名由此而來。
本地人稱此地為Piohu，其意為苗圃，日據時代因日本人在此栽植東海岸的木麻黃苗，故取譯音，為成功鎮最南端的中型部落。