香港懲教署在1970年代至90年代期間為越南船民建立了以下主要的羈留中心：
望后石羈留中心：根据消除种族歧视公约中国香港特别行政区报告（2001），望后石难民中心于2000年五月关闭，当时居住的约580名难民、430名越南船民和60名从中国内地到港的越南人均必须迁出。
九龙羈留中心：根据维基百科，自1978年惩教署前身——监狱署在九龙建立了羈留中心供越南船民入住。
万宜羈留中心：根据关闭万宜羈留中心的报道，被遣返的越南人士包括二百六十五名非法入境者及两名越南船民，而餘下三十二名居住於万宜中心的越南人已被迁移至其他惩教机构。
这些羈留中心是香港懲教署为应对越南船民问题而建立的，用以安置和处理越南船民的居住和身份问题。