Olá.
Livros sobre Geometria Analítica tem vários, mas eu indico o “Geometria Analítica, um tratamento vetorial” (Camargo / Boulos). A própria GA (Quaternions, etc) é um artefato computacional, então fica difícil dizer se é ou não o que você está buscando. O livro não traz nenhum exemplo codificado em linguagens de programação (se é o que você está buscando).
Não sou Matemático, mas na minha opinião as coisas se misturam e nem mesmo sei porque dão tantos nomes. Então, sugiro também que adquira o livro “Álgebra Linear com Aplicações” (Anton / Rorres). Esse é um dos meu favoritos e os exemplos de aplicações são bem esclarecedores.
Há outros títulos nacionais ou não, mas sugiro que, independente da sua busca, tenha esses dois livros como base para os seus estudos. No final você vai perceber que sem o conhecimento adquirido nesses livros a coisa toda fica muito complicada e sem sentido.
É praticamente impossível lidar com um problema computacional sem levar isso em consideração.
Acredito que o assunto que esteja procurando seja “Geometria Computacional”. Busque por esse tema e você encontrará muitas coisas interessantes.
Se você busca por algoritmos relacionados a esse assunto, a maioria dos livros sobre algoritmos trarão dois ou mais capítulos (Ex.: Introduction to Algorithms - Cormen - sei que tem a versão em português).
Espero que isso ajude.
[]s