1927年7月，胡祥仁经人介绍打入了当时霍山县第三区自卫队任队长。当时，自卫队有50多人，分为3个班，自卫队名义上是保境安民，实际上是与土匪没有什么区别，还经常与土匪互相勾结，狼狈为奸。他们为反动政府充