Институт точной механики и вычислительной техники был образован для создания в СССР новых средств вычислительной техники, в первую очередь — быстродействующей вычислительной машины (тогда еще не существовало термина суперЭВМ).
Постановление Совета Министров СССР № 2369 о формировании нового института в составе Академии наук СССР датировано 29 июня 1948 года и подписано главой Правительства СССР И. В. Сталиным. Решением руководства института день 29 июня объявлен днем рождения ИТМиВТ, хотя, конечно, работа над созданием института началась еще до принятия правительственного Постановления и продолжалась после его принятия длительное время.
16 июля 1948 года вышел первый приказ по ИТМиВТ о начале исполнения обязанностей первым директором института Николаем Григорьевичем Бруевичем. До сентября решались организационные вопросы создания нового института: штаты, структура, помещения,... В приказе № 2 от 2 октября 1948 года за подписью Н. Г. Бруевича говорилось о зачислении в штат ИТМиВТ с 16 сентября 1948 года приблизительно 60 сотрудников с установлением им окладов в пределах штатного расписания.
ИТМиВТ образован на базе трех институтов АН СССР: института Машиноведения, Энергетического и Математического институтов.
Из института машиноведения выделен отдел точной механики во главе с академиком Н. Г. Бруевичем. Из Энергетического института выделена лаборатория электромоделирования во главе с профессором Л. И. Гутенмахером. Из сотрудников Математического института им. В. А. Стеклова образованы отдел приближенных вычислений (начальник отдела — член-корр. Л. А. Люстерник) и экспериментально- счетная лаборатория во главе с И. Я. Акушским.
Территориально вновь образованный институт находился в двух помещениях. Отдел точной механики располагался на территории института Машиноведения (Малый Харитоньевский переулок). Здесь же находились дирекция, бухгалтерия, кадры. Остальные подразделения остались в здании на Большой Калужской улице (ныне Ленинский проспект), где сотрудники работали до образования ИТМиВТ.
В отдел точной механики ИТМиВТ были переведены 13 человек из института Машиноведения, в их числе будущий лауреат Государственной премии, а тогда младший научный сотрудник П. П. Головистиков). В конце 1948 года в отдел был зачислен м. н. с. В. И. Рыжов, закончивший МВТУ им. Н. Э. Баумана, а также некоторые другие сотрудники.
Из Энергетического института в ИТМиВТ были переведены 19 человек, в том числе В. В. Бардиж, будущий лауреат Государственной премии, много сделавший для института.