族人原居於一個叫tjakulim的地方(今萬巒鄉萬金村)，族人傳說，有一天部落首長的兩兄弟吵架，長兄Kuljilji想去更方便的地方耕作，因此搬到一個名為Tjaciaven(今萬安村與成德村之間)的山坡地定居並耕作，隔了幾年後，族人離開Tjaciaven，沿著安平溪(seludja)更往山區，找到一個平緩的地方開始建設家園，稱為Kaludjan，意思是原來的ludja部落。某一天，Kaludjan豪雨不斷，部落水滿為患，蝦子竄出，族人覺得受到詛咒，紛紛逃離到其他部落，當時，部落頭目zingrur家本來要前往更深山裡面去定居，但是到了tjapucpu時，狗不願離開，於是決定在此地居，並稱此地為Ludja，之後，部落與山下Tjakualim部落發生爭執，頭目pudju覺得此地不再是好地方，於是與族人商量後，決定往更深山的tjaaveleng居住，仍稱此地為Ludja。到了民國43年，族人開始由深山遷入山下，於Tjaringudjalj(今泰武鄉萬安村)定居，仍稱為Ludja部落。