为什么有些人很难有归属感？

根据题主的问题补充，我认为这并不是一个完全与归属感有关的问题。
生而为女，原谅我只能从女子的角度加以考量。
 
如我成长的过程所见，绝大多数女生都是会小范围内的抱团的。菇凉们会对群体外加入讨论的人笑容有加，所以你不会觉得自己特别的格格不入，但这种给人以宾至如归感的社交礼仪，是不会让你有进一步融入的可能性的。从来只有客随主便，而没有反客为主的。
这似乎就是最近火爆朋友圈的圈子。

为什么一定要融入别人的群体？任意的群体？
你是一个独立的个体，你的交友会自然而然带有你特有的印记。
从小到大，我都是一个不善于打开局面的人。以至于在小学到初中甚至于高中刚开始的时候，我都眼睁睁看着周围人慢慢抱团，三三两两的聚在一起，发现老师要求春游自由组队的时候，自己去挂个名也要遭受嫌弃。那一段应该是最迷茫的时候，自己是不是社交障碍？
高中的时候我交到了三个朋友。因为各种各样的机缘巧合，在那个傻不拉几的年代格外的觉得对方特别（这似乎又是另外的故事了），有男有女，但却都是单个的联系和认识。
是的，直到今天，我都没能融入到一个所谓的集体中。但随着朋友一个一个增多，我有了在我眼中足够数量、足够分量的朋友，我们谈笑无忌，但我还是没办法把他&她们请上一张大圆桌，来形成一个让别人想加入群体。
我就是这么一个性格的人，对朋友足够的宽容、友善、真诚。做不到长袖善舞、做不到虚与委蛇，我言行跳脱，让我帮忙肯定先毒舌嘲讽一番，但能做到的不会拒绝。所以我没有普通朋友。
我知道普通朋友需要客气，每次见面要相互试探，一个由普通朋友组起的群体出去玩需要考虑利益关系，而我不想考虑这些，我想要说走就走，想要为了见面你说请就请假，我说飞来看你就飞来看你，你说你要请客我就信你真心，你说你没钱了我就给你管饭。
 
为什么归属感要归于某一个群体？

百度百科：
归属感，或称隶属感，隶属，有以下几种含义：
1、指个人自己感觉被别人或被团体认可与接纳时的一种感受；
2、是佛洛姆（ E ． F r o m m） 氏理论中的术语，意指心理上的安全感与落实感。

归属可以归属于群体，也可以归属于个体。
我们是朋友，那么我们彼此给予对方归属。我总是觉得，朋友是我心甘情愿为自己找的联系，没有束缚又有最强束缚的联系。我们之间没有利益纠葛，没有彼此相欠，没有国家颁发的友谊证，有的是性情相投，有的是那些能说的不能说的话滔滔不绝的讲下去，因为我们在某方面那么的情投意合，在某方面那么的彼此熟悉，可以心甘情愿的为对方出力，可以把痛彻心扉的故事讲给对方听。
在一场友谊里，你有绝对的自由离开，又怎么忍心？
 
如果这就是社交障碍，那我会这么障碍下去的。
为什么要改变呢？
——————————————————————————————————————————
我从题主问题理解到的是对交友方式的质疑，对群体交友还是个体交友的疑惑。如果你极度渴望被某一个群体接纳，那么先停一停，想一想，你是因为意图结交其中一个人或是几个人，还是对这整个群体的价值观、处事方式等等的理解接纳、渴望融入，再作出决定。
如果是针对于一个社团或者团队来说的话，大家都是共事的人，能够不“显得特别格格不入”就已经足够了。