在马来半岛、沙巴与砂拉越均有考古遗留出土。 人类在这个区域栖息的最古老证据可追溯到距今4000年前,发掘了旧石器时代早期文化-坦彭文化 ,旧石器时代晚期文化-巴基特·椿平遗址等, 这些旧石器时代猎人可能是塞芒人的祖先,这个矮黑人群体在马来半岛具有极深的渊源。
在距今1 万年前起始,东南亚由旧石器时代向新石器时代过渡,在距今5000年以前的新石器时代,中国南方属于百越民族的族群不断迁徙入中南半岛,公元前第2个千年期间,青铜器在东南亚北部地区普遍出现,铁器也在公元前500年以后大量使用。
瑟诺伊人似乎是个复合群体,有一半的母系DNA谱系来自塞芒人,另有一半来自晚近从中南半岛迁来的祖先。学者主张他们是早期南岛语族农耕者的后代,大约在距今4000年前,将语言与技术带到半岛南部。他们与塞芒人结合起来并混血。