반응형

프로그래밍 기술/IT 이야기 23

[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다.

[4차 산업, 빅데이터] A/B 테스트에 카이제곱검정과 p value를 더하다. 안녕하세요. 언제나 휴일, 언휴예요. 마켓팅과 웹 분석에서 A/B 테스트는 두 가지 형태의 테스트 중에 어느 것이 나은지 검토하는 것입니다. (세 가지 이상의 형태 중에 나은 것을 찾는 것 또한 A/B 테스트라고 부릅니다.) 예를 들어 한 회사의 배너 광고를 왼쪽에 다는 것과 오른쪽에 다는 것 중에 어느 쪽이 방문자의 머무는 시간이 길게 유도하는지를 파악하는 것을 들 수 있다. 그런데 이와 같은 형태의 A/B 테스트의 결과를 보다 신뢰성있게 사용하고자 한다면 오차를 고려하여야 할 것입니다. 그리고 이를 통해 테스트 결과가 유의미한 것인지 무의미한 것인지를 판별하는 것이죠. 이처럼 A/B 테스트의 결과(교차 분할표)를 보고 의..

[4차 산업, 빅데이터] 쓸모 없는 통계, 쓸모 있는 통계 - 2

[4차 산업, 빅데이터] 쓸모 없는 통계, 쓸모 있는 통계 - 2 안녕하세요. 언제나 휴일, 언휴예요. 이전 글에서 언급했듯이 의미가 있는 통계해석이라면 다음 질문에 "Yes"를 대답할 수 있어야 합니다. * 어떤 요인을 변화시켜야 이익이 향상될까?* 그런 변화를 일으키는 행동이 실제로 가능한가?* 그에 따르는 비용이 이익을 상회할까? [그림] 의미 없는 통계 위 그래프는 특정 광고를 보았는지 여부를 조사한 통계 그래프이다. 통계 그래프를 보면 "보았다."와 "본 것 같다."의 합이 75%정도이다. 이러한 값을 보고 많은 이들이 광고를 보거나 본 것으로 기억하고 있다고 볼 수 있다. 하지만 광고를 본 것이 실제 구매로 얼마나 이어졌는지 알 수 없다. [그림] 광고를 본 것과 실제 구매와의 관계를 알 수 ..

[4차 산업, 빅데이터] 쓸모있는 통계, 쓸모없는 통계

[4차 산업, 빅데이터] 쓸모있는 통계, 쓸모없는 통계 안녕하세요. 언제나 휴일, 언휴예요. 이번에는 단순한 통계는 들어가는 비용보다 가치있는 정보를 얻을 수 없다는 주제를 가지로 얘기할게요. "빅데이터를 지배하는 통계의 힘"에서는 단순한 집계만 하는 통계는 들어가는 비용에 따른 가치 있는 정보를 주지 못한다는 얘기를 합니다. 그리고 다음의 세 가지 질문에 "Yes"를 대답할 수 있을 때 실질적인 가치가 있는 통계이며 빅데이터라고 말하고 있습니다. 어떤 요인을 변화시켜야 이익이 향상될까? 그런 변화를 일으키는 행동이 실제로 가능한가? 그에 따르는 비용이 이익을 상회할까? [그림] 단순 집계 정보만 보여주는 통계 그래프 위 통계 그래프는 단순히 데이터를 집계한 후에 이를 그래프로 나타낸 것일 뿐입니다. 이..

[4차 산업, 빅데이터] 표본 조사 결과와 표준오차

[4차 산업, 빅데이터] 표본 조사 결과와 표준오차 안녕하세요. 언제나 휴일, 언휴예요. 이번에는 표준 조사의 결과와 표준오차에 관한 얘기입니다. 현실 세계에서 표본을 조사하여 실제 값이 얼마일지 예측하는 것은 비일비재합니다. 선거 예측이나 지지율 조사 등을 들 수가 있습니다. 하지만 표본 조사가 얼마나 가치 있는 정보인지를 판별하려면 오차가 생길 수 있는 범위를 인지할 수 있어야 합니다. 이를 위해 통계학에서 사용하는 것이 표준오차입니다. 다음은 표준오차 산출식입니다. ▶표준오차 산출식 그리고 95% 신뢰성에서 참 값과 표본 값의 차이는 표준오차의 두 배를 벗어나지 않습니다. 표본 값-(표준오차 X 2)

[4차 산업] 빅데이터 관련 전문용어 7가지

[4차 산업] 빅데이터 관련 전문용어 7가지 데이터마이닝 Data mining 대량의 데이터 안에서 통계적 규칙이나 패턴을 체계적이고 자동적으로 찾아내는 것을 말한다. 다른 말로는 데이터베이스 속에서 지식 발견(KDD, Knowledge discovery in database)라고도 부릅니다. 분류, 군집화, 연관성, 연속성, 예측을 적용하여 결과를 도출해 낼 수 있습니다. 텍스트마이닝 Text mining 텍스트를 분석하여 가치 있는 정보를 추출하는 과정을 말합니다. 텍스트 내의 단어의 빈도를 파악하고 이를 통해 예측 분석 및 연관 분석 등을 할 수 있습니다. 분산처리 Distributed processing 네트워크로 이루어진 여러 컴퓨터들의 처리 능력을 이용하여 거대한 계산 문제를 해결하는 방법입니..

[4차 산업, 빅데이터] 질병의 역학조사, 통계가 답이다.

[4차 산업, 빅데이터] 질병의 역학조사, 통계가 답이다. 안녕하세요. 언제나 휴일, 언휴예요. 역학은 통계학의 한 분야로 원인을 모르는 전염병의 원인을 파악하여 전염병이 번지는 것을 막기 위해 연구하는 학문입니다. 이러한 역학은 19세기 런던의 콜레라에 관한 역학 연구가 시초라고 볼 수 있어요. '역학의 아버지' 라고 불리는 존 스노(John Snow,1813~1858)는 런던의 원인 모를 전염병이 번지는 것을 막기 위해 다음과 같은 조사를 하였다고 합니다. * 콜레라로 목숨을 잃은 희생자 집을 방문해 이것저것 묻고 주변환경을 관찰* 콜레라에 걸린 사람과 걸리지 않은 사람의 차이점 비교 * 가설을 세워 대규모의 데이터를 분석하여 관련이 있다고 보여지면 어느 정도의 확실성이 있는지 검증 그리고 다음은 존..

통계와 IT 만남, 빅데이터를 빛내다.

통계와 IT 만남, 빅데이터를 빛내다. 안녕하세요. 언제나 휴일, 언휴예요. 최근 들어 4차산업에 관한 얘기는 굉장히 많이 나오네요. 그리고 2010년 이후부터 4차산업의 기반인 빅데이터와 인공지능이 여러 분야에 접목하고 있죠. 하지만 빅데이터와 인공지능을 비롯한 4차산업은 통계가 없다면 아무 쓸모가 없는 것일 수도 있어요. 물론 이런 가정은 할 필요는 없어요. 이미 통계학은 1960년대부터 확고하기 때문이죠. 정 반대로 IT가 없었다면 통계가 다양한 분야에 활용하지 못했을 거예요. 예전에는 리터러시(literacy, 읽고 쓰는 능력)가 없다면 중요한 계약이나 교육, 법률 등을 알 수가 없어 중요한 사회 생활을 할 수 없었을 거예요. 그런데 어떤 이들은 가까운 미래에는 통계학적 리터러시가 없다면 중요한 ..

[가트너] 2018년에는 어떠한 기술이 주도할까? 10대 전략 기술 트렌드

[가트너] 2018년에는 어떠한 기술이 주도할까? 10대 전략 기술 트렌드 1. AI Foundataion (인공지능 강화 시스템)인공지능 능력이 주 원동력으로 작용 2. Intelligent Apps and Analytics (지능형 앱과 분석)앞으로 많은 앱이나 애플리케이션은 일정 부분 AI를 포함하여 지능화 3. Intelligent Things (지능형 사물)사물이 주변 환경이나 4. Digital Twins ( 디지털 쌍둥이)현실 세계의 존재를 디지털로 매핑하여 운영 5. Cloud to the Edge(클라우드에서 에지로)클라우드 시스템을 사용했던 서비스들을 인접한 위치의 에지 시스템을 이용 6. Conversational Platforms(대화형 플랫폼)인간과 디지털 세계와 상호작용 7. I..

SNS 전문가, 4차 산업 시대에는 이런 직업이 뜬다. - 직무 개요

SNS 전문가, 4차 산업 시대에는 이런 직업이 뜬다. - 직무 개요 1. 직무 개요 SNS 전문가의 직무는 SNS를 개인 및 조직에 맞게 사용하기 위해 컨텐츠 기획, 제작, 구독, 배포 등에 관한 정보 및 기술을 제공하고 이를 통해 수익을 창출할 수 있는 방법과 기술을 제공하는 일이다. 그리고 SNS 전문가의 직무는 다른 기술과 융합하여 전문적인 분야를 SNS를 활용하여 비지니스를 수행하여 수익을 창출할 수 있는 방법과 기술을 제공하는 일이다. 2. 직무 능력 단위 SNS 정보 교육 SNS 사용 SNS 사용자 환경 설정 SNS 구독 및 배포 SNS 컨텐츠 제작 SNS를 활용한 비지니스 수행 SNS 융합을 통한 전문 비지니스 수행 3. 직무 능력 단위 정의 SNS 정보 교육 SNS의 정의를 이해하고 사용..

지능형 에이전트(Intelligent agent)

안녕하세요. 언제나 휴일, 언휴예요. 이번에는 지능형 에이전트를 알아보기로 해요. 지능형 에이전트(Intelligent agent) 특정 목적을 달성하기 위해 사용자 개입없이 작업을 수행하는 시스템 에이전트 설계 시 고려해야 할 과제 환경 PEAS Performance: 성능을 판별하는 기준이 필요합니다. Environmemt: 에이전트가 동작하는 환경을 파악해야 합니다. Actuators: 에이전트가 취할 수 있는 동작을 조사해야 합니다. Sensors: 에이전트가 감지해야 할 것들과 이에 관한 센서를 파악합니다. 예) 자동차 에이전트 Performancd: 안전, 이동시간, 안전, 고장 등 Environment: 도로, 보행자, 신호, 다른 차량 등 Actuators: 가속, 감속, 방향 전환 등 S..

반응형