杨嘉墀回国后就积极投入到中国科学院自动化研究所的筹建工作中。在他和同事们的努力下，中国自动化学会成为国际自动控制联合会18 个发起国家成员之一。1958 年他参加了国内工业自动化和仪器仪表的调查研究，提出了开展自动化技术首先要抓仪器仪表和人才培养。同年他参加中国科学院高空大气物理代表团，赴苏联考察空间科学技术，回国后和其他团员根据当时中国国情向中国科学院提出从研制探空火箭起步发展中国空间技术的建议被采纳，推动中国60 年代初期的探空火箭发射，并取得了可喜的成果。为了配合国防建设，1959 年起杨嘉墀在中国科学院自动化研究所组织力量开展了自动化检测的研究工作，成功研制出用于火箭发动机试车的高温压力计、涡轮流量计、晶体加速度计和火焰温度计等仪表。
1960 年，国防部第五研究院向中国科学院自动化研究所提出研制热应力加热加载测试系统的任务，所里指定杨嘉墀负责总体设计。经充分论证，他提出了程控前馈加热方案、程控液压加载方案和以半导体晶体管模数转换器为基础的数据处理系统，整个系统的试验样机于1963 年通过了国防部第五研究院组织的鉴定，圆满完成研制任务。1962 年杨嘉墀参与中国十年科学技术发展规划的制订工作，提出了以控制计算机为中心的工业自动化试点项目，参与制定了兰州炼油厂、兰州化工厂等单位的自动化方案工作，推动了中国电子计算机在过程控制中的应用，使中国工业过程控制进入了一个新阶段。1963 年，在研制核爆炸试验用测试仪器任务中，杨嘉墀负责技术抓总工作，提出了采用反馈式光电倍增管线路的大量程温度计方案和采用变磁阻式压力传感器的方案。他和参与这项工作的科技人员一起加班加点，于1964 年3 月完成研制工作，为同年10 月中国第一次原子弹试验及后来1965、1966年的两次原子弹试验的顺利进行作出重要贡献。
1965 年，杨嘉墀提出了“三轴稳定姿态控制系统”方案，坚持上天前充分进行地面仿真试验的必要性，经过不分白昼黑夜的各种大型试验，该系统顺利完成中国第一颗返回式卫星的飞行试验。1975年11 月26 日，中国第一颗返回式卫星“太空游子”由“长征二号”运载火箭发射升空。当时只有美国、苏联掌握卫星收回技术。杨嘉墀主持研制的三轴稳定卫星姿态控制系统将决定卫星能否成功返回。当卫星运行到第7 圈时突然出现问题：因气压下降过快，卫星会因氮气耗尽而提前返回，当时钱学森紧急召集杨嘉墀等近10 名专家研究对策。多数专家认为在这种情况下运行3 天后返回是不可能的，主张早些收回。但如果此时召回，卫星落点将会改变到人口密集的河南西部，这势必带来严重的后果。平素沉默寡言的杨嘉墀语出惊人，经测算认为卫星运行3 天后收回没什么问题。一向决策有度的钱学森果断拍板：向中央报告，卫星按原计划3 天后返回。29日，卫星成功回收，中国成为继美、苏之后第3 个掌握卫星回收技术的国家。1975-1987 年，中国成功发射了10 颗返回式卫星，卫星上使用的都是杨嘉墀主持研制的三轴稳定姿态控制系统。