Początek rozwoju broni palnej jest związany z wynalezieniem prochu czarnego w Chinach w IX wieku; wkrótce po wynalezieniu znalazł on zastosowania militarne. Za czasów dynastii Song był dość powszechne stosowany do wyrobu min, prostych granatów i bomb. Tam też stworzono pierwszą broń rakietową oraz palną.

Prekursorem broni palnej jest lanca ognista z X w.: pojemnik z prochem i niewielkimi pociskami (odłamkami ceramiki, metalu, kamieniami itp.), umieszczony na kiju. Po podpaleniu służył jako rodzaj miotacza ognia, rażąc przeciwników kilkumetrowym jęzorem płomieni i rozpalonymi pociskami. Nie była to jednak broń palna w pełnym tego słowa znaczeniu, ponieważ pociski miały dużo mniejszą średnicę niż lufa, przez co ich prędkość wylotowa była bardzo mała, a zasięg broni też nieznaczny.

Następnym etapem rozwoju był tzw. eruptor, o metalowej lufie, ściślej dopasowanym pocisku, używający szybciej spalającego się prochu o zawartości saletry powyżej 70%. Zdolny był on wyrzucić pocisk nawet na kilkaset metrów (przynajmniej według ówczesnych opisów). Zwiększanie wytrzymałości luf, wygładzanie ich wnętrza by miały jednolicie równy przekrój i ściślejsze dopasowywanie pocisków doprowadziły do stworzenia broni palnej sensu stricto, której głównym czynnikiem rażącym jest wyrzucany ciśnieniem gazów prochowych, z wielką prędkością, pocisk. Do dziś, mimo upływu setek lat i rewolucyjnych zmian w technice i technologii, istota działania broni palnej jest w zasadzie taka sama.

Najstarsza znana broń palna, z lufą z brązu, też pochodzi z Chin, z Achengu niedaleko Harbinu i datowana jest na rok 1288 (dynastia Yuan). Z tego samego okresu znane są z ikonografii i znalezisk archeologicznych, wybuchowe granaty, których mongolscy wojownicy używali w czasie inwazji na Japonię.

Znajomość prochu czarnego dotarła do Europy Szlakiem Jedwabnym lub też za pośrednictwem wymiany handlowej z Bliskim Wschodem.

Niektórzy twierdzą, że „sekret alchemików” przywiózł do Wiednia Marco Polo ze swej słynnej wyprawy do Chin w latach1271-1292. Inni twierdzą, że Europejczycy sami do niej doszli. W tym kontekście wymienia się zwłaszcza nazwiska Rogera Bacona i Bertholda Schwarza, mnicha z Freiburga, od którego nazwiska ("Czarny") autorzy niemieckojęzyczni wywodzą nazwę "czarny proch". Nazwa ta może jednak pochodzić także od koloru, jaki przybiera sama gotowa mieszanka 75% saletry potasowej, 10% siarki i 15% węgla drzewnego.

Pierwsze rodzaje broni palnej były bardzo prymitywne. Składała się na nie metalowa rura (lufa), zamknięta z jednej strony. W jej tylnej części w pobliżu wspomnianego zamknięcia wykonany był otwór, zwany otworem zapałowym. Do rury wsypywano przez otwór wlotowy pewną ilość prochu, czyli ładunek, który następnie ubijano. Potem umieszczano w lufie pocisk, początkowo kamienny, żelazny, a w końcu ołowiany. Pierwsze pociski miały kształt sferyczny, stąd do dziś w potocznym języku często mówi się o pocisku "kula". Po osadzeniu w lufie pocisku broń palna była gotowa do strzału. Czynność przygotowania takiej broni do strzału wymagała ubijania poszczególnych komponentów w lufie, tak by szczelnie wypełniały jej wnętrze, toteż nazywano ją „nabijaniem” broni. W dzisiejszych czasach termin ten także jest stosowany, choć już od dawna, co najmniej od czasu wprowadzenia broni odtylcowej, strzelec nie musi niczego ubijać. W broni wielostrzałowej termin ten oznacza bezpośrednie przygotowanie broni do strzału: wprowadzenie naboju do lufy broni uprzednio "załadowanej", to jest takiej, w której w magazynku znajdują się naboje, ale która nie jest przez to jeszcze gotowa do strzału.

Aby oddać strzał z tak przygotowanej broni, trzeba było doprowadzić do zapłonu prochu. W tym celu przez otwór zapałowy do ładunku prochowego doprowadzano ogień. Początkowo służyły do tego żarzące się kawałki drewna, rozżarzone pręty żelazne, tlący się lont, w późniejszych czasach pojawiły się zamki mechaniczne krzeszące iskry z krzemienia, a w końcu ich miejsce zajął zapłon chemiczny, w którym iskry powstawały w wyniku detonacji substancji chemicznych na skutek uderzenia kurkiem broni. Zapłon prochu w broni odprzodowej, aż do wynalezienia zapłonu chemicznego, następował w specjalnym wydrążeniu obok lufy, zwanym panewką. Ogień z palącego się na panewce prochu przechodził przez otwór zapałowy do głównego ładunku i powodował jego zapłon. Jeżeli otwór był niedrożny, strzał nie mógł paść, bo nie dochodziło do zapalenia prochu w lufie, spalał się tylko proch na panewce. Pamiątką tego jest w języku potocznym zwrot „spalić na panewce”, oznaczający działanie nie przynoszące rezultatu.

Kwestią dyskusyjną już od momentu wprowadzenia na użytek wojskowy pierwszych modeli broni palnej była jej realna skuteczność. Pomimo postępującego rozwoju konstrukcyjnego autorzy podręczników wojskowych i innych źródeł z okresu od XVI do XVIII wieku twierdzili, że do zabicia na polu bitwy jednego przeciwnika potrzeba było od kilku do nawet 10 000 pocisków.