哈尔滨是全国最早开展气象观测的城市之一，1898年5月8日，俄罗斯人在香坊区司徒街建立了哈尔滨气象测候所，并于6月9日开始观测。建国后，哈尔滨市气象测、预报业务工作由黑龙江省气象台承担。1989年2月，哈尔滨成立了市气象管理处。1992年8月，哈尔滨成立了市气象局。1998年，市政府与黑龙江省气象局协商报中国气象局审批同意后，正式批复（哈编字[1998]99号文件）哈尔滨市气象局为市政府所属一级局(副厅级)，并成立哈尔滨市气象台正式对外发布天气预报。
哈尔滨市气象局实行黑龙江省气象局与哈尔滨市人民政府双重领导，以垂直领导为主的管理体制，依法承担哈尔滨市气象行政管理职能，履行气象主管机构的各项职责。机构由国家气象事业、地方气象事业以及业务科研机构组成。现内设办公室、计划财务审计处、人事教育处（党组纪检组）、业务科技处4个处室和市人工降雨防雹办公室、市气象行政审批办公室（政策法规处）2个政府职能机构。下辖5个直属事业单位：市气象台、市人工影响天气中心、市气象科技服务中心（与市气候环境评价中心合署办公）、市大气探测技术保障中心（与气象信息中心合署办公）、市气象局后勤服务中心（与财务结算中心合署办公）。归口管理哈尔滨市风能太阳能测量评估中心、哈尔滨市防雷设施检测中心两个市政府序列的事业单位。下辖呼兰、阿城2个区气象局，尚志、双城、五常3个市（县级）气象局，宾县、方正、依兰、巴彦、木兰、延寿、通河7个县气象局。
全市在职职工177人，具有大专以上文化程度的人员135人占76%；本科以上78人占44%；高级职称20人（含正研2人），中级职称99人。市局职工60人，47人具有本科以上文化程度，硕士7人（在读 7人），博士1人（在读 1人），高级职称18人（含正研2人），中级职称 25人。
作为哈尔滨市级气象主管机构，负责制定气象事业发展规划、气象台站与监测网络的管理，发布天气预报警报，进行气象灾害防御应急服务；管理、指导和组织实施人工影响天气作业和雷电灾害的预警防御；负责提出利用、保护气候资源和推广气候资源区划等成果的建议等项工作任务；负责气象法制宣传教育、依法行政、行政执法和行政复议；经市政府授权承担雷电安全防护的归口管理和风能太阳能测量评估等工作职责；承担上级气象部门和本级人民政府交办的其他事项。