其先民可追溯到距今2～3万年前的旧石器时代的“在镇人”。对于高山族的来源，说法很多，但比较一致的说法是，主要来自内地沿海一带古越族，与来自琉球群岛和菲律宾群岛的居民，相互融合发展而成。至今高山族人仍然保留着一些本民族的特色，如黥面、凿齿、穿耳等习俗。高山族人主要从事农业、林业和狩猎，其中雅美人主要从事捕鱼。