"파이썬으로 배우는 통계학 교과서" 

파이썬으로 많은 것 (인공지능, 웹, 크롤링 등) 을 할수 있지만 데이터 분석 ,인공지능 공부에 어려움이 있어서 몇몇 기본서적 (입문서적)을 읽어 왔는데 이번에는 통계학 입문서인 "파이썬으로 배우는 통계학 교과서"를 읽게 되었다. 

책의 "이책에 대하여"와 같이 이책은 

1. 데이터는 어떻게 분석하는가?

2. 왜 그렇게 분석하는게 좋은가?

3. 파이썬을 사용해서 어떻게 분석하는가?

를 설명하고 있었다. 

보통 다른 책은 용어 , 수식 그리고 왜 쓰는지를 설명하지 않아서 통계 수학 공식만 보고 이해를 하다가 포기 또는 다음 내용으로 넘어 갔었는데 이책은 좀 지나치다 싶을 정도로 레퍼런스 같이 하나의 항목에 대해서 파이썬 코드, 이미지, 표, 공식 등을 자세하게 설명하고 있고 어떻게든 통계를 이해할수 있도록 상세하게 지도하는 책이었다. 그리고 책 내용이 연결이 잘되어 있어서 하나씩 하나씩 하다 보면 통계의 큰 그림을 볼 수 있는 책이었다. 상세한 내용은 다른책을 통해서 해야 하겠지만 기본적인 그리고 입문하는 내용에 맞게 책이 쓰여있었고 전체적인 통계의 항목 및 그림을 학습을 할 수 있었다. 

크게 이책은

1. 통계학 기본

2. 파이썬과 주피터 노트북 기초 

3. 파이썬을 이용한 데이터 분석

4. 통계모듈 기본

5. 정규선형모델

6. 일반선형모델

7. 통계학과 머신러닝

으로 구성되고 있고 각각의 chapter는 많은 소주제 및 목차로 각각에 대한 설명을 하고 있었다. 다른 책과 다르게 좀 지나치게 많은 목차 chapter로 구성되어 있는 책이었다. 전체 페이지는 380 정도인데 정말로 많은 내용을 담고 있는 입문서, 기본서라고 할수 있을것 같다. 

다른 데이터 분석, 인공지능 하기 전에 레퍼런스 또는 정리용으로 해당 책을 추천할수 있을것 같다. 

무난하고 좋은 책이고 통계나 수학에 대한 레퍼런스 용으로 딱 좋은 책이라고 생각된다. 

이 책은 전공 점추정과 구간추정, 그리고 최대우도와 분산분석까지, 머신러닝과 품질관리등 많은 산업군에서 기본적으로 필요한 통계 지식을 다루고 있습니다. 산업공학과 커리큘럼으로 보자면 기초통계와 응용통계학 1 수준의 범위가 되는 것 같습니다. 하지만 매우 상세한 설명과 이해하기 쉬운 도식으로 처음 통계를 접하거나 자신이 없는 분들이 접하기에 좋을 것 같습니다. 특히 처음에 많이 헷갈리는 부분인 평균과 분산에 따른 데이터 분포 차이와 공분산을 매트릭스로 설명하는 부분 등은 저에게도 직관적인 이해에 많은 도움이 되었습니다.

이 책은 통계적인 개념을 알려줄 뿐 아니라 요근래 머신러닝에 많이 사용되는 파이썬과 넘파이(numpy),판다스(pandas)와 같은 라이브러리를 활용하여 통계량을 계산하고 분산분석과 선형 모델을 개발하는 등 이론과 실기를 동시에 나가는 전공 수업과 비슷한 커리큘럼을 가지고 있습니다.

아마 많은 분들이 전공 과목으로 통계학을 들을 때,  손으로 계산하거나 엑셀, 미니탭, R과 같은 툴을 이용하여 계산했을 것입니다. 그리고 아직도 위와 같은 고전적인 툴을 이용하여 통계학을 설명하는 책들이 많습니다. 물론 위에서 언급된 툴들이 강력하고 활용도가 높은 것은 사실이지만, 지금 통계학을 공부하고자 하는 분들의 대부분은 머신러닝과 딥러닝에 관심을 가지고 있을 것이고, 그렇기 때문에 위에서 언급한 미니탭과 R보다는 많이 사용되는 파이썬으로 공부하기를 원할 것입니다. 그러한 점에서 이 책은 독자의 니즈를 꿰뚫어본 책이라고 생각됩니다.

이 책을 보기 전까지 파이썬으로 R처럼 분산분석이나 회귀모델, 통계적 검정을 유연하게 할 수 있을까라는 생각을 했었는데, statsmodels라는 라이브러리를 통해서 R을 사용하는 것 처럼 활용할 수 있다는 것을 새로 알게되었습니다. R과 비슷한 API와 출력 형식을 사용하므로 기존에 R로 통계를 배웠던 분들도 거부감 없이 활용할 수 있을 것 같습니다.

총평

저는 요 근래 입시를 준비하며 통계 개념들을 다시 살펴보기 위해서 여러 책들을 찾아보고 있었습니다. 그리고 참고하기 위해 찾아본 많은 책들은 빠르게 훑어보기에 너무 딱딱하거나 너무 얕은 범위를 다루고 있었습니다. 기존에 통계를 공부한 적이 있는 사람이라면 가볍게 리뷰할 수 있는 책, 그리고 처음 공부하는 분들에게는 자주 사용되는 내용을 좌절감을 느끼지 않으며 공부할 수 있는 책입니다. 이러한 관점에서 이 책을 한 마디로 요약하자면 ‘적당한 범위와 적당한 수준의 범위를 다루는 실용적인 책’이라고 할 수 있을 것 같습니다.

<파이썬으로 배우는 통계학 교과서>, 바바 신야 지음, 윤웅식 옮김, 한빛미디어, 2020

기업에서 보통 투자 의사결정을 위해 미래예측을 한다. 미래의 발생가능한 매출과 이익을 산출해 투자한 자금의 회수기간이 어느 정도인지 가늠하는것이다. 이때 미래 예측에 여러 경영 변수들을 적용하는데, 기본은과거의 연평균 성장률을 사용한다. 경영 변수가 적다면 최근 3개년또는 최근 5개년 연평균 성장률로 앞으로도 성장할 것이라 가정한다.

그런데 과거 연평균 성장률은 미래 실적을 담보하지 않는다. 예측력이높지 않다는 뜻이다. 이런 현실적 한계에도 불구하고 대안이 없어 연평균 성장률을 습관적(?)으로 사용한다.

그러한 가운데 빅데이터와 머신러닝으로 미래 예측이 가능하다는 말에 솔깃해 아무 것도 모르면서 무작정 뛰어들었다. 누구나 쉽게 배울 수 있다는 파이썬 입문서를 사서 열심히 따라했다. 실습을통해 기본 사용법과 명령어를 익혔지만, 통계 기반의 데이터 분석력이 없으면 활용에 제한이 있다는 것을깨닫게 되었다.

통계학에 대한 지식이 부족하고, 통계학과 파이썬을 어떻게 연결해 사용해야 하는지 잘 몰라 막막했다. <파이썬으로배우는 통계학 교과서>는 이 부족한 부분을 채워주는 책이었다. 통계학의기초부터 파이썬의 기본과 통계 분석 방법에 대해 설명하고 있다. 또한 이를 바탕으로 통계학을 이용한예측 개념에 대해서도 설명하고 있다.

여전히 통계학에 대한 지식이 부족하고, 파이썬 활용에는 제한적이지만, 파이썬 활용 중 사전처럼 빠르게 찾아서이해하고 활용할 수 있을 것으로 기대된다.

이 책을 읽기 전까지 통계와 관련된 여러 책들을 봤었다. 지금까지 봤던 책들은 대부분 너무 어렵거나 파이썬이 아닌 R로 설명이 되어 있어서 적당한 수준의 파이썬 통계책이 있었으면 좋겠다고 생각했을 시점에 이 책을 보게 되었다.

너무 어려운 수준의 통계용어와 수식은 읽고나서도 무슨 내용인지 어떻게 적용해야 될지 감이 잘 오지 않았는데 이 책은 파이썬의 고수준 라이브러리인 seaborn, scipy 등을 사용해서 설명하기 때문에 어려운 통계 지식을 추상화해서 익혀볼 수 있다는 장점이 있다.

추상화해서 익혀보고 더 궁금하면 여기에서 좀 더 깊게 들어가는 책을 보면 좋을거 같다.

분량도 너무 두껍지 않고 들고다니기 적당한 두께라 읽을때도 부담없이 읽을 수 있었다. 물론 이 책은 내가 주로 사용하는 시각화 도구가 seaborn 이라 더 쉽게 느껴졌을 수도 있을거 같다.

seaborn은 matplotlib을 고수준으로 추상화해서 복잡한 통계연산에 대한 이해가 없더라도 데이터를 넣어주면 짠! 하고 다양한 통계적 연산을 통한 그래프를 그려볼 수 있다.

여기에서는 물고기 낚시를 통해 설명을 하는데 적절한 비유를 통한 설명도 이 책의 장점이다.

이 책의 목차를 보게 되면 기본적인 기술통계값에 대한 이해를 도울 수 있는 설명부터 데이터분석, 머신러닝, 딥러닝에 필요한 확률과 회귀에 대한 개념을 적절하게 추상화해서 설명해 준다.

이렇게 추상화를 통해 설명할 수 있는건 matplotlib을 사용하기 쉽게 만들어 놓은 seaborn 덕도 클것이라는 생각이 든다. seaborn은 파이썬 시각화 도구 중에 가장 자주 사용하는 도구인데 기본적인 통계적인 지식을 이해하고 있다면 쉽게 활용해 볼 수 있다.

그리고 책 후반부에는 통계학과 머신러닝, 딥러닝까지 연결해서 설명을 해준다.

코드 예제는 파이썬, 주피터 노트북이 있다면 대부분 간단한 코드로 되어 있기 때문에 바로 따라해 볼 수 있을 정도다. 요즘 생활코딩의 머신러닝 야학을 듣고 있는데 '적게 배워서 최대한 많이 써먹을 수 있는 전략'이 나오는데 이 책이 그런 역할을 해주고 있지 않나 싶다.

[평균과 분산과 데이터의 범위에 대한 그림] 중학교 때 배웠던 평균, 분산, 표준편차도 막상 업무에 적용하려면 어려울 때도 있다. 그림으로 이해하기 쉽게 설명을 해주고 있다.

[구간추정 결과의 해석] 뉴스나 신문기사에서 신뢰구간에 대한 용어를 가끔씩 듣게 되는데 이 신뢰구간도 간략하게 잘 설명이 되어 있다.

[신뢰구간의 계산]

[다중공선성]

[선형모델과 비선형모델의 차이]

파이썬으로 된 "쉬운" 통계책이 있었으면 좋겠다고 생각해 왔었는데 이 책이 그 답이 아닐까 싶다. 또, 코드 몇 줄로 다양한 통계연산을 구현할 수 있는 파이썬의 여러 라이브러리 덕도 클것 같다. 이 책은 "나는 리뷰어다" 이벤트 전에도 도서관에서 빌려와서 읽었던 책인데 코로나19로 도서관이 휴관을 하게 되어 장기간 대출해서 읽어봤던 책이기도 하다. 이번 이벤트를 통해 자주 꺼내 읽고 싶다는 생각이 들어 다시 읽어보게 되었다.

데이터 분석 업무를 하면서 데이터의 특성을 파악하기 위해 사용하는 알고리즘들을 이해하고 잘 표현하기 위해, 최근 통계학 학습의 필요성을 느끼고 있었습니다.

이 책은 기초 통계를 파이썬 코드를 통해 학습할 수 있다는 점이 큰 장점입니다. 책의 내용을 따라 학습하다 보면 빠르게 기초 통계를 습득하고 사용할 수 있을 것 입니다.

다만, 통계와 파이썬을 사용해 보지 않은 사람을 대상으로 쓰여진 것 같아 내용의 깊이가 아쉬웠습니다.

통계학을 전혀 공부해 보지 않았고 파이썬도 익숙하지 않지만 통계학 공부를 시작해 보려 하시는 분들에게 추천드립니다.

이번에 선택한 책도 목차를 보시면 아시겠지만, 통계 개념들이 엄청 많습니다. 요즘에는 시각화 툴(요즘 MS 파워 BI로 공부하고 있습니다)이 워낙 잘 나와서, 약간의 통계 지식과 시각화 객체를 다룰줄 알면 여러 어려운 개념들을 몰라도, 데이터 탐색을 할 수 있게 되었습니다.

이번 책의 장점으로 이 많은 개념들을 강에서 고기를 잡는 이야기로 쉽게 풀어서 설명한다는 점입니다. 읽다가 보면 어~어~ 하면서 이해합니다. 그런데 암기력이 좀 떨어지는 저는 몇 장을 넘어가면 그 사이에 개념들을 잊어버려서 다시 앞으로 가서 읽고, 형광색도 칠하였습니다. 책 중반 이후 머신러닝 결과에서 자주 인용되는 개념들에 와서는 개념이 어려워서 살짝 안 와 닫기는 했는데, 다시 복습해야 할 것 같아요.

그리고 전 처음 통계 이론은 R 로 공부시작하였습니다. 그런데 요즘 Python 만 보거든요(가끔). 이 책이 파이썬 라이브러리를 사용한다는 점도 좋았습니다. R 처럼 Python 도 간단하게 함수명만 알면 통계 처리할 수 있거든요. 함수명이나 구조도 어렵지 않아서, 개념만 알면 사용하는데 별 무리가 없어보였습니다. 그 함수가 나오기 위한 약간의 수식을 python 코드로 그 과정을 보여주는 것도 좋았습니다.

다 읽고 난 다음 느낌은 이 책 읽는다고 대학에서 통계학을 전공하는 것처럼 알수는 없는 것이고, 그저 초보자 입장에서 일본에서 나온 그림으로 된 간단한 통계학 책 읽으신 분이, 파이썬으로 직접 통계 함수를 다루어보고, 여러 통계 개념들이 어떤 것인지 맛만 보려는 분들에게는 좋은 것 같습니다. 그리고 사이키런과 같은 머신러닝 정도에서 활용하시는 분들에게 더 이상 깊은 통계 지식이 필요할까 고민도 됩니다. 뭐든 알면 좋겠지만, 읽고 알아야 할 것도 많은 세상, 시간 대비 효율성을 따질때 이 책 넘어가는 것도 위험하지 않나 생각합니다. 전 이 책에서 배운 알맹이 정도에서 Power BI 가지고 시각화하면서 통계의 기술적 분석을 해 보려고 합니다. 

* 이 서평은 교재를 제공받아 작성되었으며, Yes24, 한빛 홈 사이트에도 같이 등록됩니다.

서두에 나와있는대로 통계학을 공부하기 위한 툴로서 파이썬이 사용된다. 따라서 파이썬 초보자도 쉽게 따라할 수 있다.

통계이론부터 파이썬 기본 문법, 그리고 파이썬으로 기술통계를 돌리는 법과 추정, 통계적가설검정, 결과 해석, 통계모델링, 정규선형모델, 일반선형모델, 머신러닝까지 꽤 많은 범위를 다루고 있다.

머신러닝과 파이썬에는 익숙하지만 통계 이론에는 자신이 없는 사람이라면 해당 부분을 참고할 용으로 봐도 좋다. 이 경우 4장의 파라미터 추정 이후부터 익숙한 내용이 중간중간 나오기 시작하기 때문에 아는 내용은 건너뛰면서 보면 된다. 머신러닝을 공부하다보면 통계쪽 이론을 부분적으로 습득하는 경우가 있는데 마찬가지로 1장부터 읽으면서 아는 내용을 건너뛰어도 된다. 

책 내용에서 좋았던 점은 다음과 같다.

중요한 단어나 문장의 경우 밝은 파란색 처리가 되어 있어 핵심을 파악하기 좋다. 

모집단, 기댓값 등 용어를 설명할 때 쉬운 예를 같이 들기 때문에 이해하기 좋다.