商品房工地长期在半夜里施工吵得居民无法正常休息

温州市瓯海区南白象街道这边的南盛景园西面有一块工地长期在半夜里施工，各种机器和大型挖机等等在半夜里吵的人睡不着觉。打电话给相关部门却被告知该工地有通宵施工的许可证，想问一下大家这个是否合法。难道附近居民就没有正常休息的权利吗？