[수치해석] 기본 개념 정리

용어

a = ±m · 10^n,  (0.1 <= |m| < 1), n은 정수
m : 가수(man-tissa)
n : 지수(exponent)

지수의 범위

IEEE-754 및 single precision, double precision 참고(컴퓨터 OS bit에 따라 연산 범위가 다를 수 있으니 CAD 개발 또는 이용시 문서 이용하여 계산 범위가 어디까지인지 미리 알아두는 것이 좋다.

underflow : 수가 너무 작어 표현할 수 없는 경우 0으로 처리하고 계산을 진행한다.

overflow : 수가 너무 커서 표현하기 어려울 때 발생하는데 IMSL, NAG 등 대부분의 표준 코드에서 overflow 발생을 방지하고 있다고 한다. Math library를 이용하여 개발할 때 underflow, overflow에 대한 가드(guard)가 있는지 확인해볼 필요가 있다.

끝처리(Round off)
계산상의 오차는 숫자의 끝처리를 chooping(버림)하거나 rounding(반올림)하면서 발생하는데 버림이나 반올림에 의한 오차를 round-off error라고 한다.
chooping은 계산이 빠르다는 장점이 있지만 오차가 반올림보다 크다.

 

광고

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중