Les premières références à Octave sont de l'année 1988 quand celui-ci était pensé comme un complément génial pour un livre universitaire de réacteurs chimiques. À partir de ce moment là, le développement a continué imparable jusqu'à ce que il est devenu un des meilleurs logiciels mathématiques.
Ce logiciel, en réalité est un ensemble de bibliothèques destinées à faire des logiciels pour obtenir des résultats numériques, graphiques et des simulations à analyser postérieurement. Pour cela, Octave inclut quelques applications spécialement préparées pour cela.
Une des applications inclues est gnuplot, un logiciel pour générer des graphiques de fonctions et qui s'intègre parfaitement dans le langage de développement que propose Octave.
Pour exécuter les instructions, Octave proportionne une console du système qui permet l'exécution interactive ou par lots facilement.
Octave est programmé en langage C++ et utilise la bibliothèques STL mais la syntaxe pour programmer les applications ou les calculs ressemblent beaucoup à MATLAB, l'équivalent commercial à ce logiciel.