1938年3月，日军侵占山东枣庄。这年初夏，当地青年洪振海、王志胜由人介绍到滕县墓山参加了中国共产党领导的人民抗日义勇队，几个月后两人均升任排长。

当时，苏鲁地区人民抗日义勇总队转移到了抱犊崮山区。为了及时掌握敌人出动的情况，总队选派洪振海和王志胜到敌占区枣庄建立抗日情报站。10月，洪振海、王志胜在峄县建立情报站，洪为站长，王为副站长，这就是“铁道游击队”的初创。

为及时搜集敌人情报，王志胜运用关系到日军在枣庄设立的洋行任职。

1939年8月的一天，洪振海和王志胜第一次打洋行，击毙大掌柜、二掌柜，击伤三掌柜，夺取长短枪各一支。10月，他们又在枣临铁路“飞车”袭击日军，劫取枪支弹药并及时运到苏鲁支队。在枣庄车站北陈庄以开炭场作掩护，积极发展抗日力量。11月，洪振海召集6名战友，在峄县情报站的基础上秘密成立了一支队伍。

1940年1月25日，鲁南铁道队在陈庄成立。2月，苏鲁支队正式将铁道队纳归直属，同时任命洪振海为铁道队队长，王志胜为副队长，杜季伟任政委。

此时，铁道队的队员已发展到20多人，经过整训，队员们的军政素质有了根本提高。铁道队开始向临城方向转移，公开打出了“八路军鲁南铁道队”的旗号。这支队伍最多时达300余人，主要由铁路工人、矿工组成。