根据《中国共产主义青年团章程》第二十二条规定，团委有权对团支部书记进行免职。具体情况需要根据团委的工作需要和团支部书记的履职情况来决定。一般来说，团委免职团支部书记需要经过一定的程序和程序，并且基于一定的理由，例如团支部书记失职、违法违纪、工作不力等。所以，团支部书记可以直接由团委免职。