许多生物和非生物因子影响香脂冷杉的生长，病虫害最具有破坏性。此外，地面易燃的针叶，浅层的根系和较薄的皮部使香脂冷杉对火特别敏感,易造成巨大的损失。生长在湿润的浅层土较难经营的成熟林易受风的危害。各种鼠类和鸟类采食香脂冷杉种子，也食用萌芽，黑熊能环状剥取成熟树木的树皮。

香脂冷杉存在几种虫害，最重要的是云杉卷叶蛾。云杉卷叶蛾能够危害云杉和香脂冷杉，而且更倾向于食用香脂冷杉，能够导致树木活力降低和死亡。在北美东部，曾大规模的爆发了食心虫，造成了数千立方米香脂冷杉的损失。落叶病导致大规模的根死亡。冷杉绵球蚜，在加拿大的东南部和美国东北部都有发现，能严重的侵食树干，使树木在3年内死亡，也侵食小枝和芽，冷杉绵球蚜唾液还能引起树木管胞的异常生长，使木材颜色变暗、易碎。根腐还能使树势变弱，使其易受风害。根腐病在香脂冷杉40年林龄时开始发生，随着树木树龄的增加而危害严重，树龄至70年时，大约一半的树木染病。香脂冷杉叶病、溃疡病和丛枝病没有对树木生长和林分产量造成太大的影响。