林祥谦，名元德，1892年10月19日出生于福建闽侯县尚干镇的一户贫农家庭。祖父林发舒，辛劳一辈子，只留下一间木构房屋和几亩薄田。父亲林其庄，是马尾造船厂锅炉工。母亲翁氏，是个勤劳能干的农村妇女，操持一家人的生活。
人生的坎坷经历，磨炼出他鲜明的个性。1904年端午节，林祥谦和一群小朋友去观看龙舟竞赛，突然人群中发出一阵急促的呼救声。原来是岸边一个小女孩被欢腾的人群挤压掉进江中。眼看那翻腾的浪花很快就把小女孩吞没了，12岁的小样谦毫不迟疑，勇猛地跳进江中，去追寻那被江水卷走的女孩。他使尽全身力气，从江中把小女孩托出水面，救上龙舟。人们以敬佩的目光，盛赞这位勇敢的小英雄。
1905年，夏粮歉收，林祥谦全家盼着那棵祖传的龙眼树果实尽快成熟，好拿它换点钱粮度日。一天，三个地主的儿子偷偷爬上龙眼树边摘边吃边扔。眼看快要成熟的果实被糟蹋，小祥谦气愤极了，上前喝令他们下来。这三个坏家伙下来后，竟将祥谦围起来殴打一顿。林祥谦愤慨地说：“难道穷人就该受欺侮吗？”妈妈深怕孩子惹祸，连忙劝慰说：“孩子，人家有钱有势，惹不得。”倔强的小祥谦实在咽不下这口恶气。当天夜晚，他约了几个小伙伴，摸到地主宅前，用石头猛砸他家屋顶，还在他家墙壁上写下：“打倒财主仔！”五个大字。事后，林祥谦到马尾找父亲，想结交几位朋友回来找地主算账。饱经风霜的林其庄怕儿子回去会吃亏，就把他留在马尾，送进一所小学读了1年多的书。
1906年，父亲变卖家当，筹借100元保证金，把14岁的小祥谦送进马尾造船厂当钳工学徒。这里的工人，每天劳动12小时，住的是肮脏潮湿的泥墙屋，20个人睡在一张统铺上，挤得连翻个身子都困难。在厂里5年时间，他团结工人，与洋人、官僚资本家和工头作斗争。
1912年初，林祥谦通过技工考试，进入江岸铁路工厂当钳工，正式加入铁路工人队伍。这里工人所受的压榨也是很残酷的。为了改善工人的政治和经济地位，林祥谦和工友们曾开展小规模的罢工斗争，也用过怠工的办法来对付工头的压迫。
1917年秋，林祥谦的母亲因劳累过度，贫病交迫，含恨离开了人世。林祥谦忍着巨大的悲痛，回家料理丧事，随后又重返江岸。此后，他开始努力探索改变工人处境的道路。
1921年，中国共产党诞生后，武汉党组织负责人陈潭秋、林育南等经常深入到江岸铁路工人当中，宣传革命道理。党组织派项德隆以办工人夜校的名义来到江岸开展工作，很快发现了富有反抗精神、在工人中有较高威望的林祥谦，及时对他进行教育和培养。林祥谦阶级觉悟很快提高，在党的领导下更积极地从事工人运动，参与筹组江岸工人俱乐部，并当选为干事；协助举办工人夜校；领导工人进行了一系列斗争，迅速成长为工人阶级的先锋战士。1922年夏天，他光荣地加入中国共产党。同年10月，江岸工人俱乐部改名为江岸京汉铁路工会。林祥谦被推选为江岸分工会的领导成员。不久，又当选为江岸分工会委员长。
京汉铁路是旧中国重要的交通命脉，它的收入是直系军阀头子吴佩孚军饷的主要来源之一。1922年，我党领导的第一次工人运动出现了高潮。京汉铁路沿线各站，在一年内相继成立了16个分工会。为了加强对工人运动的领导，实现京汉铁路工人要求成立京汉铁路总工会的迫切愿望，京汉铁路总工会筹委会决定于1923年2月1日在郑州举行京汉铁路总工会成立大会。曾通电“保护劳工”的吴佩孚闻讯立即翻下脸来，下令郑州警察局长黄殿辰武力制止开会。当天清晨，黄殿辰派出大批荷枪实弹的军警，三步一岗，五步一哨，在郑州全城实行戒严。工人代表和来宾们毫不畏惧，整队向成立大会会场普乐园戏院前进。他们在林祥谦、项德隆（即项英）、施洋等共产党员的带领下，冲破敌人的封锁线，涌入会场，高呼：“京汉铁路总工会万岁！”等口号，宣布京汉铁路总工会正式诞生。
敌人是不会甘心失败的，他们冲进会场，砸坏各单位赠送的匾额和各种礼品。下午又派出军警占领总工会会所，驱逐总工会工作人员，查抄总工会文件材料，甚至包围、监视代表们的住处。当晚，总工会在郑州召开秘密会议，一致决定向反动当局提出撤革赵继贤、黄殿辰，赔偿损失等五项要求，如48小时内不答应，将实行全路总罢工。会议还决定将总工会迁到江岸办公，组织总罢工委员会，并指定各分会的罢工领导人。林祥谦被指定为江岸地区罢工总领导，他们于当晚从郑州乘车南下，回到江岸。
2月2日，江岸分工会召开会员大会，林祥谦当众怒斥军阀迫害代表，破坏总工会成立的种种罪行，宣布京汉铁路总工会已在激烈的阶级大搏斗中诞生；并传达总工会关于发动全路总同盟罢工的决定，号召工人们积极投入反对军阀暴行的斗争。这时，全场群情激愤，决心为争自由、争人权而战。会后，林祥谦和他的战友紧张地进行罢工的各项准备工作，为了组织宣传队、调查队，扩大工人纠察团，并赶制自卫用的铁棍、木棒，他日夜奔忙，连回家吃饭都顾不上。
2月4日上午9时，林祥谦接到总工会开始罢工的指示后，立即下达罢工令。工人黄正兴拉响了江岸机厂的汽笛，其他汽笛也跟着怒吼起来，响彻武汉三镇，震撼四面八方。世世代代当牛作马的江岸铁路工人，在林祥谦的指挥下，高擎铁棍、木棒，涌出各厂、段、站，犹如铁流直泻，势不可挡。一场在中国共产党领导下的政治大罢工，从江岸开始，沿着全长2400多华里的京汉铁路向北迅速蔓延，在不到3小时内，胜利地实现了全路总罢工。
2月5日，湖北督军萧耀南根据吴佩孚关于从速消灭罢工领导力量的命令，指派督军署参谋长张厚生带着军警来到江岸，佯称要同工会谈判，妄图诱捕林祥谦等领导人。这个阴谋被工人识破后，张厚生又调来大批军队占领工厂，并先后抓走两名司机和三名纠察队员，妄图以此要挟罢工工人生火开车。林祥谦当机立断，先后派出2000多名工人和纠察队员前去营救，终于迫使敌人无条件释放他们。
罢工在继续着，林祥谦和江岸全体工人决心战斗到底的斗争精神得到了武汉工人和各群众团体大力声援。2月6日上午，湖北省工团联合会组织2000多名代表来到江岸亲切慰问罢工工人，江岸一万多名群众参加慰问大会。林祥谦在会上感谢各界群众的声援，揭露帝国主义和封建军阀的破坏阴谋，号召工人们加强团结，坚持罢工。会后，林祥谦和著名律师施洋带领工人群众举行声势浩大的示威游行，沿途3000多名群众自动加入游行队伍。当队伍经过沿江的帝国主义租界时，群众不断高呼：“打倒帝国主义！”“打倒军阀！”“争自由、争人权。”等口号，情绪极为高昂。示威游行历经两小时才结束。
2月7日，罢工进入生死搏斗的紧要关头。林祥谦深知斗争形势的严峻，他鼓励妻子说：“咱工人争自由、争人权是光明正大的。但敌人不会甘心，会下毒手的，咱要有思想准备。死了一个工人，会有千百万工人站起来，革命最终一定会胜利。”
果然，在当天下午4点半左右，纠察团员前来报告：张厚生正检阅全副武装的军队，看样子要来包围工会。5时正，放哨的工人又报告：一批全副武装的军警正从江岸火车站、三道街、福建街向工会包抄过来。情况已十分危急，林祥谦果断地命令纠察团副团长曾玉良带领纠察团迎敌。张厚生命令军队向工人进行疯狂的射击，开始了骇人听闻的“二七大屠杀”。工会门前及周围，弹痕累累。在和敌人英勇搏斗中，曾玉良和30多名铁路工人壮烈牺牲，200多人受伤。敌兵到处搜捕工人，闯进工人家中抢劫财物，奸工人妻女。工会附近的商店也被洗劫一空。林祥谦和60余名工人在同围捕的敌人搏斗中不幸被捕。
晚上7点多钟，北风呼啸，雪花纷飞，整个江岸笼罩在一片白色恐怖之中。敌人把60多名被捕工人捆绑在江岸车站站台上，林祥谦被绑在站台东侧的灯柱上。江岸广大工人听到林祥谦和许多工友被捕的消息后，冒着被敌人捕杀的危险，纷纷奔向车站，想夺回大伙爱戴的领导人和其他阶级弟兄。林祥谦透过层层刀枪，看到和他朝夕相处、共同战斗的战友们和爱妻，顿时力量倍增，他威武不屈地挺立在站台上，怒视敌军官兵，有力地鼓舞着工友们的战斗情绪。
这时，张厚生提着马灯走到林祥谦面前，奸笑着说：“林会长，受委屈了，你现在的唯一出路是下令工人赶快上工，这样做，我保准有你的好处，不然，你就性命难保。”
林祥谦横眉怒视敌人，不予理睬。
威胁利诱不成，张厚生立即凶相毕露地命令刽子手朝林祥谦左肩上砍了一刀，鲜血顿时染红了他的对襟蓝上衣，不断滴落在洒满雪花的站台上。他忍着巨痛，巍然屹立。
张厚生又对林祥谦嚎叫：“上不上工？”
林祥谦瞪圆双眼，坚定地回答：“不上！”
张厚生又气又恼，命令刽子手朝林祥谦右肩又砍一刀，歇斯底里地狂叫：“到底下不下复工令？”林祥谦斩钉截铁地回答：“上工要总工会下命令，我头可断，血可流，工不可复！”
张厚生气得脸色铁青，疯狂地命令刽子手再往林祥谦身上砍去。林祥谦血流如注，顷刻间晕厥过去。当他从昏迷中醒来时，骄横的敌人洋洋得意地问他：“现在怎么样？”林祥谦使尽全身力气，咬牙切齿地痛骂道：“现在还有什么话可说？可怜一个好好的中国，就断送在你们这班军阀手里了……”
张厚生被骂得脸色苍白，气得浑身发抖，不等林祥谦说完，就气急败坏地命令刽子手把他杀害了。中华民族的优秀儿子林祥谦，为了工人阶级和人民大众的解放事业，英勇地献出了宝贵的生命。这时，正是他31岁盛年。