Op het congres van de Sorbonne in 1894 werd een groot aantal sporten voorgesteld voor het programma in Athene. De eerste officiële aankondigingen over de te houden sportevenementen bevatten sporten als voetbal en cricket, maar deze plannen werden nooit afgerond en deze sporten haalden de definitieve lijst voor de Spelen niet. Roeien en zeilen waren wel gepland, maar moesten worden afgelast wegens het slechte weer op de geplande wedstrijddag.
Atletiek
De atletiekwedstrijden hadden het meest internationale deelnemersveld van alle sporten. Het grote hoogtepunt was de marathon, die voor het eerst in internationale competitie werd gehouden. Spyridon Louis was de enige Griekse atletiekkampioen en een nationale held. Hoewel Griekenland favoriet was om de discus of het kogelstoten te winnen, eindigden de beste Griekse atleten in beide onderdelen net achter de Amerikaan Robert Garrett.
Er werden geen wereldrecords gevestigd, omdat weinig internationale topdeelnemers hadden gekozen voor deelname. Bovendien waren de bochten van de baan erg krap, waardoor snelle tijden in de loopevenementen moeilijk waren. Desondanks won Thomas Burke, van de Verenigde Staten, de 100 meter in 12,0 seconden en de 400 meter in 54,2 seconden. was de enige die de "hurkstart" gebruikte (zijn knie op de grond zetten), wat de jury in verwarring bracht. Uiteindelijk mocht hij vanuit zijn "ongemakkelijke positie" starten.
Fietsen
De regels van de International Cycling Association werden gebruikt voor de wielerwedstrijden. De baanwielerwedstrijden werden gehouden in het nieuw gebouwde Neo Phaliron Velodrome. Er werd slechts één evenement op de weg gehouden, een race van Athene naar Marathon en terug (87 kilometer).
Bij de baanwedstrijden was de beste wielrenner de Fransman Paul Masson, die de tijdrit over één ronde, de sprint en de 10.000 meter won. Op de 100 kilometer deed Masson mee als gangmaker voor zijn landgenoot Léon Flameng. Flameng won de wedstrijd, na een val en na te hebben gewacht op zijn Griekse tegenstander Georgios Kolettis om een mechanisch probleem op te lossen. De Oostenrijkse schermer Adolf Schmal won de 12-uursrace, die door slechts twee fietsers werd voltooid, terwijl de wegwedstrijd werd gewonnen door Aristidis Konstantinidis.
Hekwerk
De schermwedstrijden werden gehouden in het Zappeion, dat was gebouwd met geld dat Evangelos Zappas had gegeven om de oude Olympische Spelen nieuw leven in te blazen. In tegenstelling tot andere sporten (waaraan alleen amateurs mochten deelnemen op de Olympische Spelen), mochten professionals deelnemen aan het schermen, zij het in een apart evenement. Deze professionals werden beschouwd als gentlemen athletes, net als de amateurs.
Er stonden vier onderdelen op het programma, maar het onderdeel épée werd om onbekende redenen afgelast. De floretwedstrijd werd gewonnen door de Fransman Eugène-Henri Gravelotte, die in de finale zijn landgenoot Henri Callot versloeg. De twee andere onderdelen, sabel en floret voor meesters, werden gewonnen door Griekse schermers. Leonidas Pyrgos, die dit laatste onderdeel won, werd de eerste Griekse Olympische kampioen in de moderne tijd.
Gymnastiek
Het turnen vond plaats op het binnenveld van het Panathinaiko Stadion. Duitsland stuurde een team van 11 personen, dat vijf van de acht onderdelen won, waaronder beide teamonderdelen. In het teamonderdeel aan de rekstok was het Duitse team ongeslagen. Drie Duitsers voegden individuele titels toe: Hermann Weingärtner won de rekstok, Alfred Flatow won de rekstok; en Carl Schuhmann, die ook succesvol deelnam aan het worstelen, won het polsstokspringen. Louis Zutter, een Zwitserse turner, won het paardvoltige, terwijl de Grieken Ioannis Mitropoulos en Nikolaos Andriakopoulos zegevierden in respectievelijk de ringen en het touwklimmen.
Schieten
De schietwedstrijd werd gehouden op een schietbaan in Kallithea en bestond uit vijf onderdelen: twee met een geweer en drie met een pistool. Het eerste onderdeel, het militaire geweer, werd gewonnen door Pantelis Karasevdas, de enige deelnemer die met al zijn schoten het doel raakte. Het tweede onderdeel, voor militaire pistolen, werd gedomineerd door twee Amerikaanse broers: John en Sumner Paine werden de eerste broers en zussen die in hetzelfde onderdeel als eerste en tweede eindigden. Om hun gastheren niet in verlegenheid te brengen, besloten de broers dat slechts één van hen zou deelnemen aan het volgende onderdeel, het vrije pistool. Sumner Paine won dat onderdeel.
De gebroeders Paine deden niet mee aan het onderdeel 25 meter pistool, omdat de jury had vastgesteld dat hun wapens niet van het vereiste kaliber waren. In hun afwezigheid won Ioannis Phrangoudis. Het laatste onderdeel, het vrije geweer, begon op dezelfde dag. De wedstrijd werd echter niet voltooid vanwege de duisternis en werd de volgende ochtend afgerond, toen Georgios Orphanidis tot kampioen werd gekroond.
Zwemmen
De zwemwedstrijd werd gehouden in open zee. Bijna 20.000 toeschouwers stonden in de baai van Zea voor de kust van Piraeus om de wedstrijden te volgen. Het water in de baai was koud en de deelnemers hadden het zwaar te verduren tijdens hun races. Er waren drie open evenementen (100 meter vrije slag voor mannen, 500 meter vrije slag voor mannen en 1200 meter vrije slag voor mannen), naast een speciaal evenement dat alleen voor Griekse zeilers toegankelijk was en dat allemaal op dezelfde dag (11 april) plaatsvond.
Voor Alfréd Hajós uit Hongarije betekende het feit dat hij op dezelfde dag was, dat hij slechts aan twee onderdelen kon deelnemen. Hij won de twee onderdelen waarin hij zwom, de 100 en 1200 meter vrije slag. Hajós werd later een van de slechts twee Olympiërs die een medaille wonnen in zowel de atletische als de artistieke wedstrijden, toen hij in 1924 een zilveren medaille won voor architectuur. De 500 meter vrije slag werd gewonnen door de Oostenrijkse zwemmer Paul Neumann, die zijn tegenstanders met meer dan anderhalve minuut versloeg.
Tennis
Hoewel tennis tegen het einde van de 19e eeuw al een belangrijke sport was, kwam geen enkele topspeler opdagen voor het toernooi in Athene. De competitie vond plaats op de banen van de Athens Lawn Tennis Club, en op het binnenveld van het velodrome dat voor de wielerwedstrijden werd gebruikt. John Pius Boland, die het evenement won, was ingeschreven door een medestudent van hem in Oxford. In de eerste ronde versloeg Boland Friedrich Traun, een veelbelovende tennisser uit Hamburg, die was uitgeschakeld in de 100 meter sprintwedstrijd. Boland en Traun besloten een team te vormen voor het dubbelspel, waarin zij de finale bereikten en hun Griekse en Egyptische tegenstanders versloegen nadat zij de eerste set hadden verloren.
Gewichtheffen
De gewichthefsport was nog jong in 1896, en de regels verschilden van die van vandaag. De wedstrijden werden buiten gehouden, op het binnenveld van het stadion, en er waren geen gewichtslimieten. De eerste wedstrijd werd gehouden in een stijl die nu bekend staat als de "clean and jerk". Twee deelnemers vielen op: De Schot Launceston Elliot en Viggo Jensen uit Denemarken. Beiden tilden hetzelfde gewicht, maar de jury, met prins George als voorzitter, oordeelde dat Jensen dat in een betere stijl had gedaan. De Britse delegatie, niet bekend met deze regel, diende een protest in. Uiteindelijk mochten de gewichtheffers nog een poging wagen, maar geen van beiden verbeterde zich en Jensen werd uitgeroepen tot kampioen.
Elliot won het onderdeel met één hand, dat onmiddellijk na het onderdeel met twee handen werd gehouden. Jensen was tijdens zijn laatste poging met twee handen licht geblesseerd geraakt en was geen partij voor Elliot, die de wedstrijd gemakkelijk won. Het Griekse publiek was gecharmeerd van de Schotse winnaar, die zij zeer aantrekkelijk vonden. Tijdens het gewichtheffen deed zich een merkwaardig voorval voor: een bediende kreeg de opdracht de gewichten te verwijderen, wat voor hem een moeilijke taak bleek te zijn. Prins George kwam hem te hulp; hij pakte het gewicht op en gooide het met gemak een heel eind weg, tot groot genoegen van de menigte.
Worstelen
Er bestonden geen gewichtsklassen voor de worstelwedstrijd, die in het Panathinaiko Stadion werd gehouden, wat betekende dat er slechts één winnaar was onder de deelnemers van alle groottes. De regels waren vergelijkbaar met het moderne Grieks-Romeins worstelen, hoewel er geen tijdslimiet was en niet alle beengrepen verboden waren (in tegenstelling tot de huidige regels).
Behalve de twee Griekse deelnemers waren alle deelnemers eerder actief geweest in andere sporten. Gewichthefkampioen Launceston Elliot stond tegenover turnkampioen Carl Schuhmann. Laatstgenoemde won en ging door naar de finale, waar hij Georgios Tsitas ontmoette, die eerder Stephanos Christopoulos had verslagen. Door duisternis moest de finale na 40 minuten worden onderbroken; deze werd de volgende dag voortgezet, toen Schuhmann slechts een kwartier nodig had om de wedstrijd te beëindigen.