長谷堂城，防禦上杉家的西南三城之一，守將爲志村伊豆守光安，守軍五千人，相比畑谷城，此處城防更爲堅固，易守難攻。自二月十八日起，直江兼續便將本陣佈於城西北的菅澤山，並於當日派遣上杉兵士九百沿大森山麓佈陣，分別向西面的大手口和北面的八幡崎口推進。
在鐵炮的連番射擊下，上杉軍步步逼近長谷堂城，守將志村光安命令城內的鐵炮予以還擊，雙方由此展開激烈對射。上杉軍依仗勢大攻到大手口之下，城內守兵見狀蜂擁而出，兩軍在街道和泥田裡展開白刃戰，長谷堂城合戰就此打響，戰至傍晚，最上家臣新關備前守清房被討死，兩方休兵。
同日在須川、柏倉八幡宮等地，上杉軍也向最上軍陣地發動了進攻。由於最上伊達聯軍的抵抗，上杉軍無法再將戰果擴大，雙方進入了膠着狀態，上杉大軍開始圍困長谷堂城，而留守政景卻爲了保存實力拒絕派軍勢入城，只願意在須川一帶打擊外圍上杉軍。
二月二十日，直江兼續得知伊達政宗攻陷白石城，無奈長谷堂仍是堅城一座，死死擋在山形城前，爲了更有效的圍困長谷堂，他派遣橫田旨俊、色部光長率兵五千進攻長谷堂城南面的上山城，意欲攻陷此城以牽制長谷堂城。
橫田旨俊、色部光長兵分兩路迫近上山城，而上山城守將裡見民部已經於前一天知曉了上杉軍來襲，於是緊急召集城內守軍一千五百人，一方面主動迎擊色部光長，另一方面匯合山形城最上義光派遣的草刈志摩守援軍設伏於上山城南方鍵取山和天神山的山谷。
二十二日上午十時，色部光長首先達到距上山城只有五千米的川口地區向最上軍發動進攻，麾下大將內藤左衛門逐步推進向着石曾根地區集結，此地距離上山城只有兩千五百米。而橫田旨俊的主力軍也穿過忠川沼跨過姥懷地區向着赤阪、藤吾、阿彌陀三地進發。只要佔領這三區，上杉軍就可以突然出現最上家上山守軍的背後，前後夾擊完成奇襲。
然而。在抵達鍵取山和天神山之間的通道時，橫田旨俊背後鐵炮聲連響。兩側山林中的最上伏兵瞬間殺出，上杉軍立即陷入對方重圍之中。混戰中，橫田旨俊被草刈志摩守討取，上杉軍殘部向中山城退卻。
在川口、石曾根方面的上杉軍遭遇裡見民部之弟裡見掃部和裡見東市正率領的一隊最上軍阻擊，在得知橫田旨俊討死後開始向川口以西敗退，遭最上軍追擊時內藤左衛門被討死，色部光長退回掛入石地區。最上軍趁着勝利企圖迫近掛入石。卻遭到上杉守軍奮力還擊，最終兩軍因爲疲勞而各自收兵。
上山合戰是上杉軍進攻最上以來所遭受最慘烈的失敗，不僅損失了橫田旨俊、內藤左衛門等數員大將，還沒有實現攻陷上山城進而合圍長谷堂城的戰略構想。不得不說是對直江兼續的一次重大打擊。
得知上山城戰敗且損失慘重，直江兼續卻無可奈何，上杉軍圍城已有五天，卻沒有取得任何戰果，這期間直江兼續不斷地調集近兩萬五千兵力圍城。包括攻陷白巖城的志馱義秀、攻破谷地城的下吉忠、佔領鳥屋森城的中條三盛以及剛剛退回中山城的色部光長，還特意派遣在須川之戰中有出色表現的水原親憲佈陣於谷柏富神山東麓一帶，用來防範山形城方向的最上軍。
三月初三，在圍城十五天後，直江兼續收到本莊繁長密信。得知伊達政宗在鬆川慘敗準備退回本領，而留守政景也有意向退回巖出山城，便決定乘機向長谷堂城發動總攻。他以前田慶次、中津川秀國、倉賀野元綱、青柳長忠、筱井泰信爲先鋒，配合青海川圖書的鐵炮隊向長谷堂城發動攻勢。
長谷堂城內，深瀨甚助、市川若狹守的鐵炮隊予以還擊，雙方在城外土堀展開對射。當上杉軍攻至城門時，包括志村高治的長谷堂衆、小國大膳的小國衆、阪紀伊守的成澤衆、佐佐木綱知的鮭延衆、後藤將監的山野邊衆、草刈志摩守的天童衆在內的最上軍由城內衝出，兩軍在城外野戰，戰況異常激烈，雙方的鐵炮隊也在不停射擊，戰死者不計其數。
激戰中，上杉家大將岡谷備中及馬場次郎兵衛戰死，最上家也陣亡了數十名家臣，兩軍戰至傍晚依舊不分上下，只好各自罷兵。此後五天時間裡，直江兼續又組織了數次進攻，雖然都被最上方擊退，但礙於缺少援兵，城內處境日益艱難，最終只剩下不足三千人，而作爲援兵的留守政景則是按照伊達政宗的命令嚴守須川一線，不願馳援長谷堂參加守城，因此，勝利的天平正在逐漸向直江兼續傾斜。
然而直江兼續萬萬沒想到，就在攻克長谷堂已經朝不保夕之時，他卻收到上杉景勝急報，說是秀保已經於二月二十八日親率討伐軍出征會津，命令其立即率兵返回若鬆城準備迎戰。
按照直江兼續的設想，秀保出兵至少要一個月時間，在這段時間裡上杉家集中優勢兵力定能壓制最上家，再割讓部分最上領和伊達家保持和睦，確保身後無憂，之後再回兵會津備戰。沒成想秀保雖然是開戰一個月後纔出的兵，可上杉家並沒有利用好這段時間，而是在長谷堂城下一耗便是二十天，非但沒有壓制最上義光，反而損失慘重，並且和伊達政宗刀兵相向，這種周邊環境比開戰前更爲糟糕。
直江兼續本想孤注一擲先攻陷長谷堂城再回師若鬆，但上杉景勝此後三天連續的催促使得他不得不撤圍退兵。三月初十深夜，直江兼續命令青葉入道及反町大膳修繕狐越街道準備撤軍，他將全軍分爲十三段，命春日元忠、筱井泰信二人先行，水原親憲和溝口左馬助殿軍。次日天色微明時分，兼續下令放火燒營，全軍由長谷堂城外的菅澤山本陣開始沿狐越街道撤退，而最上軍卻以爲這是直江兼續的計謀而不敢出城，這反倒爲上杉軍的撤退爭取了時間。