МО – перпендикуляр к плоскости ОАВ; <AOB = 90° (рис. 167); МА и MB - наклонные. МО = 1 см, ОВ = 4 см, МА = корінь10 см.

Есть прямая, есть координаты ее начала и конца. " - давайте будем аккуратнее со словами, скажем, что не координаты начала и конца, а просто двух точек, лежащих на этой прямой. я так понимаю, речь идёт о плоскости (потому что такая имеет смысл только на плоскости) и координаты - декартовы прямоугольные - уравнение прямой ax+bу+с=0, подставляя в него последовательно сначала координаты одной точки, потом второй, получим систему из 2-х уравнений - из неё находим а, в и с - в итоге получаем уравнение прямой, коэффициенты определяются неоднозначно, но две переменные можно выразить через третью - выберите так, чтобы b (коэффициент при у) было положительным (из-за этого и возникают у вас противоречивые результаты - вы это не учли) - и тогда, если подставите координаты точки, не лежащей на прямой в уравнение этой прямой, ax+bу+с> 0 если точка лежит выше прямой и ax+bу+с< 0, если ниже