Родился Саргон в городе Азупирану («городок крокусов») и был выходцем из низов. Настоящее имя Саргона неизвестно; имя, принятое им по восшествии на престол, означает «царь истинен». До этого он жил в Кише и был приближенным или слугой-чашеносцем царя Ур-Забабы. После разрушения Киша царем Шумера Лугальзагеси Саргон провозгласил себя правителем, избрав столицей нового государства почти безвестный Аккад. Киш, однако, при Саргоне сохранял автономию и по-прежнему имел собственных царей.

В борьбе с родовой аристократией Саргон стремился создать централизованное деспотическое государство, где опорой была бы не родовая и лично преданная ему знать; древнейшие органы самоуправления в городах при нем превратились в низовую администрацию только с исполнительными функциями. Клинописные источники сообщают о целой волне недовольства и восстаний против такой политики царя. В одном из походов против мятежников Саргон разбил армию Лугальзагеси и 50 его союзников и подчинил себе все города-государства Двуречья. Саргон Древний также совершил походы в Элам, Сирию, Малую Азию; в одной из поэм его именуют «Царем битвы».

В управлении государством Саргон уделял особое внимание развитию ирригации, улучшению дорог, ввел единую систему мер и веса на подвластной Аккаду территории. В эпической традиции сложилось представление, что Саргон относился к богам с гордыней и пренебрежением, однако факты говорят о несомненном почитании им богов Аккада и Киша, а также общешумерского бога Энлиля, святилище которого находилось в Ниплуре. Свою дочь Саргон сделал верховной жрицей в городе Уре. Один из шедевров древневосточного искусства — так называемая золотая голова Саргона Древнего — традиционно связывается с именем величайшего правителя Древней Месопотамии. После смерти Саргона правили его сыновья: Римуш и затем Маништушу.