마법사의 코딩

[머신러닝] 선형회귀모델(개요, 모델가정, 파라미터 추정, 최소제곱법)

마법사 코딩공주 — Fri, 28 Jul 2023 14:55:27 +0900

수치예측, 범주예측

수치예측(예측)

X, Y를 설명하는 데이터가 주어졌을 때 관계를 잘 설명할 수 있는 함수식

범주예측(분류)

- 실제 숫자를 예측하는게 아니라, 새로운 데이터가 발생했을 때 두 범주사이에서 어떤 범주에 속하는지 예측하는 것

변수 사이의 관계

- x변수(원인)과 y변수(결과) 사이의 관계

확정적 관계 : X변수만으로 Y를 100% 표현(오차항 없음)

예) 힘 = f(질량, 가속도), 주행거리 = f(속도, 시간)

확률적 관계 : X변수와 오차항이 Y를 표현(오차항 있음)

예) 반도체 수율 = f(설비 파라미터들의 상태, 온도, 습도) + ε
포도주 가격 = f(강우량, 온도, 포도품종) + ε
위조카드 여부 = f(사용시간, 사용액, 사용장소) + ε

선형회귀 모델

입력변수 X와 출력변수 Y 평균과의 관계를 설명하는 선형식 찾기

- 선형회귀모델 : 출력변수 Y를 입력변수 X들의 선형결합으로 표현한 모델

* 선형결합 : 변수들은(상수 배와) 더하기 빼기를 통해 결합

선형회귀모델링 목적

- X변수와 Y변수 사이의 관계를 수치로 설명
- 미래의 반응변수 (Y) 값을 예측

선형회귀모델링 분류

선형회귀 모델 가정

선형회귀 모델 파라미터 추정 알고리즘

비용함수를 최소화시키는 파라미터 구하기

이를 알고리즘을 통해 베타0과 베타1을 구하기

Cost function is convex → globally optimal solution exists(전역 최적해 존재)
Algorithm : Least Squares Estimation Algorithm(최소제곱법, 최소자승법)

잔차(Residual) :

잔차 e는 확률오차 엡실론(ε) 실제로 구현된 값

[Python] 소수구하기 - 에라토스테네스의 체

마법사 코딩공주 — Tue, 25 Jul 2023 14:44:38 +0900

소수 : 1과 그 수 자신 이외의 자연수로는 나눌 수 없는 자연수를 의미

1부터 100사이의 소수구하기 코드구현

에라토스테네스의 체

범위에서 합성수를 지우는 방식으로 소수를 찾는 방법

1. 1은 제거

2. 지워지지 않은 수 중 제일 작은 2를 소수로 채택하고, 나머지 2의 배수를 모두 지운다.

3. 지워지지않은 수 중 제일 작은 3을 소수로 채택하고, 나머지 3의 배소룰 모두 지운다.

4. 지워지지 않은 수 중 제일 작은 5를 소수로 채택하고, 나머지 5의 배수를 모두 지운다.

n = 100

a = [False, False] + [True]*(n-1)
primes=[]

for i in range(2, n+1):
	if a[i]:
    	primes.append(i)
        for j in range(i*2, n+1, i):
        	a[j] = False
print(primes)

[프로그래머스] Lv1.Summer/Winter / 예산 - 파이썬(Python)

마법사 코딩공주 — Tue, 25 Jul 2023 14:11:25 +0900

https://school.programmers.co.kr/learn/courses/30/lessons/12982

프로그래머스

코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.

programmers.co.kr

문제설명

S사에서는 각 부서에 필요한 물품을 지원해 주기 위해 부서별로 물품을 구매하는데 필요한 금액을 조사했습니다. 그러나, 전체 예산이 정해져 있기 때문에 모든 부서의 물품을 구매해 줄 수는 없습니다. 그래서 최대한 많은 부서의 물품을 구매해 줄 수 있도록 하려고 합니다.
물품을 구매해 줄 때는 각 부서가 신청한 금액만큼을 모두 지원해 줘야 합니다. 예를 들어 1,000원을 신청한 부서에는 정확히 1,000원을 지원해야 하며, 1,000원보다 적은 금액을 지원해 줄 수는 없습니다.
부서별로 신청한 금액이 들어있는 배열 d와 예산 budget이 매개변수로 주어질 때, 최대 몇 개의 부서에 물품을 지원할 수 있는지 return 하도록 solution 함수를 완성해주세요.

제한 사항

- d는 부서별로 신청한 금액이 들어있는 배열이며, 길이(전체 부서의 개수)는 1 이상 100 이하입니다.
- d의 각 원소는 부서별로 신청한 금액을 나타내며, 부서별 신청 금액은 1 이상 100,000 이하의 자연수입니다.
- budget은 예산을 나타내며, 1 이상 10,000,000 이하의 자연수입니다.

입출력예

입출력 예 #1
각 부서에서 [1원, 3원, 2원, 5원, 4원]만큼의 금액을 신청했습니다. 만약에, 1원, 2원, 4원을 신청한 부서의 물품을 구매해주면 예산 9원에서 7원이 소비되어 2원이 남습니다. 항상 정확히 신청한 금액만큼 지원해 줘야 하므로 남은 2원으로 나머지 부서를 지원해 주지 않습니다. 위 방법 외에 3개 부서를 지원해 줄 방법들은 다음과 같습니다.

1원, 2원, 3원을 신청한 부서의 물품을 구매해주려면 6원이 필요합니다.
1원, 2원, 5원을 신청한 부서의 물품을 구매해주려면 8원이 필요합니다.
1원, 3원, 4원을 신청한 부서의 물품을 구매해주려면 8원이 필요합니다.
1원, 3원, 5원을 신청한 부서의 물품을 구매해주려면 9원이 필요합니다.

3개 부서보다 더 많은 부서의 물품을 구매해 줄 수는 없으므로 최대 3개 부서의 물품을 구매해 줄 수 있습니다.

입출력 예 #2
모든 부서의 물품을 구매해주면 10원이 됩니다. 따라서 최대 4개 부서의 물품을 구매해 줄 수 있습니다.

문제풀이

리스트 값 중 최대 지원을 할 수 있는 결과를 얻어야 하므로 리스트를 정렬함
정렬 후, 리스트 요소 값이 budget보다 작거나 같을 경우 answer에 +1을 해줌
그리고 리스트 요소만큼 예산이 지원되기 때문에 budget에서 지원받은 리스트요소만큼 빼줌 d[i]

def solution(d, budget):
    answer = 0
    d.sort()
    
    for i in range(len(d)):
        if d[i] <= budget:
            answer += 1
            budget -= d[i]
              
    return answer

머신러닝을 위한 선형대수, 벡터, 행렬 연산

마법사 코딩공주 — Tue, 20 Jun 2023 15:38:55 +0900

선형대수

◾ 선형 대수학은 데이터의 수학이다.

◾ 선형 대수학은 통계 분야에 많은 영향을 끼쳤다.

◾ 선형 대수학은 푸리에 급수 및 컴퓨터 그래픽과 같은 여러 분야에서 수학적인 도구의 기초가 된다.

◾ 스칼라는 어떤 것을 표현하는 값이다.

벡터(Vectors)

◾ 컴퓨터 과학자들은 벡터를 무언가는 나타내는 숫자 목록으로 해석할 수 있다.

◾ 물리학자들은 벡터를 방향이 있는 스칼라로 간주하며 평면과 무관하다고 간주한다.

◾ 수학자들은 벡터를 두 가지의 조합으로 간주하고 이를 일반화 시키려고 노력한다.

◾ 선형 대수는 벡터 연산이 많은 부분을 차지하고 있으며 벡터는 스칼라라고 하는 하나 이상의 값으로 구성된 튜플이다.

벡터 연산

◾ 벡터 덧셈(vector addition)과 뺄셈(vector subtraction)

◾ 스칼라 곱셈

벡터를 스칼라와 곱셈을 수행하면 그 값이 거지거나 줄어든다. 이는 벡터에 양수나 음수를 곱하는 행위에 따라 결정된다.

◾ 벡터 곱셈, 나눗셈

덧셈과 뺄셈 연산과 마찬가지로 곱셈, 나눗셈 연산도 요소를 기반으로 수행되며 같은 길이의 새로운 벡터가 생성된다.

◾ 벡터의 길이와 내적(vector length and dot product)

길이가 같은 두 벡터를 곱한 요소들의 합을 계산하게 되면 스칼라값을 얻을 수 있다. 이는 연산을 위해 사용되는 내적 연산자 때문에 이를 내적이라고 한다.
내적은 벡터 투영, 벡터 분해를 계산하고 직교성을 결정하기 위해 많이 사용된다.
내적 연산은 머신러닝에서 벡터의 가중치 합을 계산하는 데 사용된다.

수학에서는 0은 항상 특2별한 의미를 갖는다.

내적의 경우에는 두 벡터가 수직(perpendicular)임을 의미한다.

벡터의 길이 공식 및 파이썬 구현

벡터 노름(Vector Norms)

어떤 벡터를 길이나 크기와 같은 양적인 수치를 계산하기 위해서 직접 계산하거나 벡터 연산 또는 벡터-행렬 연산을 이용할 수 있다. 벡터의 길이는 벡터 노름 또는 벡터의 크기라고 한다. 벡터의 길이는 공간에서 벡터의 범위를 나타내는 음이 아닌 수자이며 이를 벡터의 크기 또는 노름이라고 한다.

행렬 연산(Matrix Operation)

행렬의 사칙연산은 각각의 요소별로 이루어진다.

◾ 전치(transpose)행렬 : 행렬의 행과 열을 교환하는것

고유 분해(Eigendecomposition)

행렬 분해는 복잡한 연산의 범위를 단수화하기 위해 행렬을 부분으로 줄이는 유용한 도구
가장 많이 사용되는 행렬 분해 유형은 고유벡터와 고유 분해
이는 주성분 분석(Principal Component Analysis)과 같은 머신러닝에서도 중요한 역할을 한다.
고유벡터는 길이 또는 크기가 1인 단위 벡터이다. 이는 오른쪽 벡터라고 불리며, 횡 벡터라 부르는 왼쪽 벡터와 반대인 열벡터를 의미한다.
고윳값은 벡터에 길이 또는 크기를 제공하는 고유벡터에 적용되는 계수이다.

파이썬으로 구현

[데이터 속성] 데이터 속성이란?(구조, 형상, 데이터 타입)

마법사 코딩공주 — Tue, 20 Jun 2023 13:20:38 +0900

데이터 속성

정형데이터 : CVS, 데이터베이스 테이블

거의 모든 트랜잭션 시스템이 백 엔드로 관계형 데이터베이스와 같은 구조적 데이터 저장소를 사용
전체 데이터 세트를 스키마/데이터 모델 사용하기 때문에 상대적으로 작업하기 쉽다.

반정형데이터 : JSON, XML, HTML

JSON 및 XML은 데이터 교환 또는 모듈 간/시스템 통합을 위해 API에서 사용되는 데이터 교환 형식
JSON은 키-값 쌍 접근 방식을 따르며, XML 태그 기반 구조를 갖는다.
데이터 구조 측면에서는 유연하지만, 작업은 상대적으로 어렵다.
HTML(Hyper Text Markup Language)은 웹 개발에 사용되는 언어이며, 웹서버에 이 문서를 저장하고 클라이언트가 특정 HTML 페이지를 요청하면 해당 HTML문서를 클라이언트로 전송한다.

비정형데이터 : 텍스트, 이미지, 영상, 오디오

다앙한 소스로부터 얻은 데이터는 특정 구조로 되어있어 있지 않음

수치형과 범주형 데이터 비교

특징	수치형	범주형
값	연속	이산
순서	있음	없음
모델링	연속확률분포	범주형/ 이산확률분포
기술 통계학	스케일링과 정규화	모드
예측모델	회귀	분류
시각화 기술	히스토그램, 라잍차트, 스케터 플럿	파이차트, 바 차트

명목형 : 불연속적, 순서없이 구분만 가능한 자료 예를 들어 인종은 여러 범주가 있는 명목변수이지만 가장 높은 것에서 가장 낮은것으로 또는 그 반대로 정렬하는 특정방법이 없다.

[백준 15596 / 파이썬(Python) / Bronze Ⅱ] 구현 / 정수 N개의 합

마법사 코딩공주 — Mon, 19 Jun 2023 13:14:08 +0900

문제링크 : https://www.acmicpc.net/problem/15596

15596번: 정수 N개의 합

C++17, Java 8, Python 3, C11, PyPy3, C99, C++98, C++11, C++14, Go, C99 (Clang), C++98 (Clang), C++11 (Clang), C++14 (Clang), C11 (Clang), C++17 (Clang)

www.acmicpc.net

■ 문제

정수 n개가 주어졌을 때, n개의 합을 구하는 함수를 작성하시오.

작성해야 하는 함수는 다음과 같다.

Python 2, Python 3, PyPy, PyPy3: def solve(a: list) -> int
- a: 합을 구해야 하는 정수 n개가 저장되어 있는 리스트 (0 ≤ a[i] ≤ 1,000,000, 1 ≤ n ≤ 3,000,000)
- 리턴값: a에 포함되어 있는 정수 n개의 합 (정수)

■ 풀이

리스트 합을 구하는거 같아서 파이썬 내장함수 sum()을 사용함

# 코드 1
def solve(a):
    
    return sum(a)

# 코드 2
def solve(a):
    ans = 0
    for i in a:
        ans += i
    return ans

확인용 코드

def solve(a):
    ans = 0
    for i in a:
        ans += i
    return ans
n = list(map(int, input().split()))
solve(n)

# 30

[백준 1193 / 파이썬(Python) / Silver Ⅴ] 구현 / 분수찾기

마법사 코딩공주 — Sun, 4 Jun 2023 15:27:17 +0900

문제링크 : https://www.acmicpc.net/problem/1193

1193번: 분수찾기

첫째 줄에 X(1 ≤ X ≤ 10,000,000)가 주어진다.

www.acmicpc.net

■ 문제

이와 같이 나열된 분수들을 1/1 → 1/2 → 2/1 → 3/1 → 2/2 → … 과 같은 지그재그 순서로 차례대로 1번, 2번, 3번, 4번, 5번, … 분수라고 하자.

X가 주어졌을 때, X번째 분수를 구하는 프로그램을 작성하시오.

■ 입력

첫째 줄에 X(1 ≤ X ≤ 10,000,000)가 주어진다.

■ 출력

첫째 줄에 분수를 출력한다.

■ 풀이

대각선 줄이 홀수인지 짝수인지 판단하여 구하고, 분자, 분모의 숫자의 방향이 홀수 줄인경우는 분자는 오름차순, 분모는 내림차순, 짝수인경우 분모는 내림차순, 분자는 오름차순

x = int(input())

line = 1

while x > line:
    x -= line
    line += 1

if line % 2 == 0:
    a = x
    b = line - x + 1

else:
    a = line - x + 1
    b = x

print(str(a)+'/'+str(b))

[Python] dir(), hepl() 함수 사용법

마법사 코딩공주 — Sat, 3 Jun 2023 17:37:22 +0900

dir() 함수란?

파이썬 내장함수로, 어떤 객체의 유효한 속성 및 메서드 목록을 반환

사용법

object는 생략 가능한 매개변수로, 객체의 속성 및 메서드를 확인하려는 객체를 지정
생략하면 현재 범위의 모듈의 속성과 메서드를 보여준다.

dir([object])

[예시]

my_list = [1, 2, 3]
print(dir(my_list))

help() 함수란?

- 파이썬 내장함수로, 함수 객체애 대한 도움말 정보를 제공

- 주로 모듈, 함수, 클래스 등의 객체애 대한 사용 방법과 설명을 제공합니다.

사용법

object는 생략 가능한 매개변수로, 객체의 속성 및 메서드를 확인하려는 객체를 지정
생략하면 현재 범위의 모듈의 속성과 메서드를 보여준다.

help([object])

참고 : https://sogeodev.tistory.com/23

[Pandas] str_cantains() 문자열을 포함하는지 여부확인

마법사 코딩공주 — Sat, 3 Jun 2023 17:30:03 +0900

str.contains() 판다스 문자열 메서드란?

문자열을 포함하는지 여부를 확인하는 문자열 메서드입니다.

이 메서드는 주어진 문자열 시리즈 또는 데이터프레임 열에 대해 각 요소를 검사하여 지정된 문자열이 포함되어 있는지 여부를 확인합니다.

기본 형태 : series.str.contains(pat, case=True, regex=True, na=None, flags=0)

사용법

pat : 포함 여부를 확인할 문자열 또는 패턴
case : 대소문자 구분 여부
regex : 정규식을 사용하여 패턴 매칭 여부를 설정하며, 문자열을 정규식으로 해석합니다.
na : 결측값(NaN)을 처리하는 방법을 설정. 기본값은 None이며, 결측값을 처리하지 않습니다.
flags : 정규식 플래그를 설정합니다.

<예시-1> : 'a' 가 포함되어 있는지 여부를 반환

import pandas as pd

# 문자열 시리즈 생성
s = pd.Series(['apple', 'banana', 'orange', 'kiwi'])

# 'a'가 포함된 문자열 찾기
result = s.str.contains('a')
print(result)

<출력-1>

<예시-2> : 정규식 사용하여 패턴 매칭

import pandas as pd

# 문자열 시리즈 생성
s = pd.Series(['apple', 'banana', 'orange', 'kiwi'])

result = s.str.contains('^a', regex=True)
print(result)

<출력-2> : a로 시작하는 문자열을 찾아 반환

[Python] import collections 모듈이란?

마법사 코딩공주 — Wed, 31 May 2023 12:35:54 +0900

collections 모듈이란?

파이썬 내장 모듈 중 하나로, 다양한 컨테이너 데이터 타입을 제공하는 모듈이다.

이 모듈은 기본적으로 'list', 'tuple', 'set', 'dict' 등과 같은 데이터 구조를 보다 효율적으로 다룰 수 있다.

○ Counter : 요소의 개수를 셀 수 있는 컨테이너 객체를 생성

○ dafaultdict : 딕셔너리의 기본값을 설정할 수 있는 딕셔너리 객체를 생성

○ deque : 양쪽 끝에서 빠른 삽입과 삭제를 지원하는 큐(Deque) 객체를 생성

○ namedtuple : 필드 이름으로 접근할 수 있는 튜플 객체를 생성

○ OrderedDict : 삽입 순서를 기억하는 딕셔너리 객체를 생성

참고 : https://docs.python.org/ko/3/library/collections.html

collections — Container datatypes

Source code: Lib/collections/__init__.py This module implements specialized container datatypes providing alternatives to Python’s general purpose built-in containers, dict, list, set, and tuple.,,...

docs.python.org