Linear approximation과 관련한 tensorflow 예측모델 수식의 linear combination에 대한 질문

참고 수업 : [Tensorflow1-12]
https://www.youtube.com/watch?v=NuFJlM65qz4&list=PLl1irxoYh2wyLwJutUZx5Q_QEEDZoXBnz&index=11
3분 58초 경 그림을 참고해주세요!

해당 화면 및 설명을 들어보면, 각각의 독립변수 X(i) (for 1=<i=<N) 를 통하여 종속변수 Y를 추정하는 수식 모델로서
Y를 X(i)에 대한 linear combination을 사용한 것을 알 수 있습니다.

Real_analysis와 calculus에서 Real function( F : Rn-->Rm | F is diff-) graph에 대한 linear approximation은 domain을 local하게 define하거나, (domain을 global하게 잡으면 잡을수록 error가 커지는 것으로 알고있습니다.)
domain을 fixed point X와 distance를 정한 뒤 내부에서의 추정만을 유효하다고 가정하며 사용하였는데요,

제가 텐서플로우를 이용하여 만든 예측모델은

1. domain의 range가 특정되지도 않았으며,
   (실제로 학습시킨 데이터와 동떨어진 수치를 넣어도, 결과값은 1차원적으로는 흡사하게 나옵니다)
2. constant인 weight W(i)와의 linear combination 만으로 이루어진 수식모델입니다.
   (즉, 각각의 항목들이 taylor series처럼 차수가 계속 증가하는 polynomal 형태가 아닌것이 의아합니다. 그만큼 오차가 클텐데..)
   의 정확성이 어떻게 충족되는지 궁금합니다!

충족된다면 어떤 이유로 충족되는지, 충족되지 않는다면 기술적인 한계로 linearity를 상정한 것인지도 궁금합니다!

또한, 제가 수학에서의 linear approximation에 대해 잘못 이해했거나, 수학에서의 approximation과 다른 어떤 원리가 있다면 그 차이도 궁금합니다!

[RayleighKim]

사실 x의 차원이 늘어나면 늘어날수록, 내부의 추정만이 유효하다는 말도 흔들리게 되죠.. 단순히 이 영역에서는 interpolation문제라고 말하는 것 조차 어렵게 됩니다. 이런측면에선 질문자님의 생각에 공감을 합니다.

하지만, 그 관점을 가져가시되 약간의 차이를 캐치하시면 더 좋을 것 같은데요.

수학에서 선형근사를 처음 배울 때는, 비선형(비선형이 아니어도, 알고있는) 함수의 좁은 범위 일부를 선형 취급하여 이해하거나.. 데이터의 일부 좁은 범위를 쉽게 이해해보기위해 사용한다는 인상을 많이 받습니다. (조심스럽습니다..! 이게 전부는 아니니까요)

회귀분석에서도 당연히 이를 포함하여.. 고려하는 에러가 무척 많이 있습니다.

1. Y = f(x) + e : 데이터 자체의 에러 e
2. f를 linear function 이리라 가정하면 추가로 또 생기는 error.(기술적한계보다는, 모델링한사람의 어떤 의도에 의해) (여기도 많이 다르죠. Linear approximation에선 원래 함수를 미분하여 만들지만.. 여긴 함수관계가 unknown이라 가정부터 하면서 시작)
   이미 1, 2 번에서.. 정확성 충족이란 말도 많이 흔들리고
3. New observed data 가 데이터의 range안에 있을 때 어느정도 오차가 생길지
4. New observed data가 데이터의 range를 벗어날 때 무슨일이 생기는지

x와 y 데이터 쌍만 잔뜩 있는 상태에서 x와 y의 함수관계를 통으로 approximation하는 것이라, locally approximate 하는 것보다도 더 신경쓸 에러가 여기저기 넘쳐납니다.
Polynomial regression을 해도 마찬가지가 된답니다.

환영합니다. 에러가 가득한 세상에서 그래도 어떻게든 시그널을 캐치하려는 곳에 오셨습니다.

정확성이 충족된다니요.. 정확성이 있어보였다면, 그나마 데이터가 쉬운 데이터여서 그랬을 확률이 큽니다..

적고나니까 슬프네요

계속 인공지능 공부하시면 좋겠습니다.
그런 수학 관점을 집요하게 가져가야 튼튼합니다!

이해에 큰 도움 되었습니다. 친절한 설명 감사합니다

정확성의 충족은, 분명 현업에서 사용할 땐 일정 수준의 error analysis를 통해 일정 수준 이상의 정확성을 확보할 수 있을 것+ 해야만 할 것이라 생각해서입니다. 너무나도 naive한 대학생의 시각일 수 있겠네요..

특히, 원함수 f 자체를 모르는 상태에서 접근한다는 시각을 가져본 적 없었기에 그 차이를 의식해 본 적 없습니다. 사실 적잖은 충격을 받았습니다. 수학 공부를 더 깊게 하고싶어지는 말씀이네요.
머신러닝 알고리즘을 바라보는 새로운 시각을 열어주셔서 감사합니다!

[RayleighKim]

나이브하다니요. 좋은 생각입니다.
에러를 최소화하고, 일정수준 이하로 stable하게 나올 수 있다면 베스트입니다.
또한 케이스 바이 케이스로 에러분석 반드시 해야해요.
응원합니다.