728x90 728x90 데이터 분석 환경32 엑셀 데이터 DDE 연동 2 - 엑셀파일 자동저장 하는 방법 어제 DDE 연결을 하고 해당엑셀파일을 파이썬에서 데이터프레임으로 가져와 데이터 처리를 하려고 했다.그런데 1분 간격으로 데이터를 모니터링하려고 했는데 계속 같은 데이터만 읽어오는 오류를 발견했다. 이유는 엑셀에서 저장된 시점에서의 값만 가져오기때문에 실시간 반영하는 엑셀데이터 값을 가져오려면강제로 저장버튼을 눌러주어야 한다는 것을 깨닫고이번에는 VBA로 1분간격으로 자동 저장하는 스크립트를 작성해 보았다. 그런데 이 방법은 매월 새로운 DDE를 만들 때마다 이 스크립트를 반영해주어야 한다는 불편함이 존재한다.시간이 나면 다른 방법을 찾아보고 싶은데 일단 빨리 진행해야 하는 관계로 일단 이 방법 노팅해 둔다. ===> 이후에 다른 방법 사용 : 파이썬으로 접근하지 말고 집계용 엑셀파일 만들어 여기서 DD.. 2024. 7. 11. 엑셀데이터 DDE 연동 1 - 관심종목 실시간 현황판 만들기 키움증권에서 제공하는 OPEN API 이용해서 데이터를 실시간으로 데이터를 보는 것을 파이썬으로 구현할까 했는데 그것보다 더 간단한 방법, 증권사 HTS에서 제공하는 데이터 DDE연동하기 기능이 생각났다.예전에 사용했던 기능이라 거의 10년만에 다시 들어가 보니 기억이 가물가물.....이제 내 나이를 생각해서 이번에 설정한것을 기록해 본다.특히 엑셀설정 부분에서 오류가 나는데 그거 해결하는라 좀 시간이 걸렸고 혹시 노트북을 변경하면 또 발생한 문제인지라..... 1. 엑셀에서 기능메뉴 - 엑셀데이터 연동서비스 시작 클릭 2. 내가 원하는 DDE 설정신규버튼 - My DDE 이름을 저장관심종목을 추가저장엑셀로보내기 클릭 3. 엑셀화면이 나오면 이 파일을 내가 원하는 곳에 원하.. 2024. 7. 8. 비지도학습 맛보기와 오렌지3 (Orange3) 설치 비지도 학습 ( Unsupervised Learning ) 이해하기 비지도학습(Unsupervised Learning)을 이해하기 위해서는 지도학습(Supervised Learning)과 비교하지 않을 수 없다. 처음 이 용어를 적했을때 비지도가 뭐지? 매우 생소했는데 알고 보니 지도와 비지도가 서로 대비되는 용어로 주로 패턴인식의 한 분야로 이해하면 좀 더 쉽게 다가가질 수 있을 것 같다. 일단, 지도학습은 여러데이터의 답안지인 결괏값이 존재하는 데이터를 가지고 학습시킨 후 다른 데이터에 적용 비지도학습은 온갖 흩트러진 물건들에 대하여 스스로 분류기준을 찾아 나가는 것으로 비유하면 좀 더 쉽게 이해가 될 것 같다 1. 주요 알고리즘 차원축소 : 입력변수의 개수를 줄이는 방법으로 주로 주성분 분석(PCA.. 2023. 12. 28. LSTM 활용한 주식가격 예측 모델 만들기 첫걸음. 개인적으로 데이터 분석에 대한 지식이 필요해서 자기 학습을 진행하고 있는데 흥미롭기도 하지만 데이터 유형이나 분석하고자 하는 것이 무엇(?)이냐에 따라서 그에 맞는 분석방법을 찾는 것이 숙제인 것 같다. 공개된 자료를 찾아 공부하다보니, 커다란 퍼즐판을 맞추기 위해 어디에 맞춰 놓아야 하는 조각들 인지도 모르면서, 조각을 찾는 느낌이 들기도 한다. 결국, LSTM모델까지 오긴 했는데 최적의 모델을 찾아내기 위해 해야 하는 세밀한 작업도 만만치 않은 것 같다. 일단, 지금까지 학습한 것들을 간략하게 정리해 보고 LSTM, GRU, CNN 모델을 만들어 봐야겠다. 시계열데이터 분석을 위한 여러 가지 방법과 모델들.. 1. 통계기반 분석방법 지수평활법 (Exponential Smoothing) 최근 데이터에 .. 2023. 11. 14. 주피터노트북(Jupyter Notebook) 가상환경 적용하기 주피터노트북(Jupyter Notebook) 실행환경에 가상환경 적용하기 아나콘다에서 직접 구성한 가상환경을 주피터에서 사용하고 싶으면 Anaconda Powershell Prompt 실행 후 다음과 같은 절차에 따라 수행하면 OK 1) 아나콘다 프롬프트에서 가상환경을 활성화합니다. conda activate 가상환경명 2) 가상환경 커널을 추가합니다. python -m ipykernel install --user --name 가상환경명 3) 주피터 노트북을 실행하고 New 버튼을 클릭합니다. 4) Python [가상환경명]을 선택합니다. 4) 이제 주피터 노트북에서 가상환경을 사용; 2023. 9. 5. Talib로 OBV, MFI, ADL 거래량관련 지표 그래프 그리기 주식 기술적 보조지표 중 거래량과 관련된 OBV, MFI, ADL에 대해서 알아보고 이것을 Talib로 계산해서 그래프로 그려보고자 합니다. OBV , ADL, MFI 해석 및 비교 OBV (On Balance Volume) ADL (Accumulation/Distribution Line) Money Flow Index (MFI) 현재 종가 > 이전 종가 : OBV = 이전 OBV + 현재 볼륨 현재 종가 < 이전 종가: OBV = 이전 OBV - 현재 볼륨 현재 종가 = 이전 종가: 현재 OBV = 이전 OBV ADI = 이전 ADI + 현재 Money Flow Multiplier × 현재 거래량 Money Flow Multiplier = ((현재 종가 - 최저가) - (최고가 - 현재 종가)) ÷ (.. 2023. 5. 8. Talib로 파라볼릭 PSAR, RSI ,DMI 그래프 그리기 지금까지 공부했던 지표를 Talib를 이용하여 하나의 Figure에 그리는 테스트해봤습니다. ^^ ADX 지표와 DMI 지표 차이점 구분 ADX DMI 목적 추세의 강도 추세 방향과 강도 범위 0 ~ 100 0 ~ 100 해석 25 이상 : 강한 추세 25미만 : 약한 추세 +DI > -DI : 상승추세 ( ADX 25이상 ) +DI (전일 저점 - 당일 저점) 이면 (당일 고점 - 전일 고점), 그렇지 않으면 0 -DI = (전일 저점 - 당일 저점) > (당일 고점 - 전일 고점) 이면 (전일 저점 - 당일 저점), 그렇지 않으면 0 DMI = (ABS(+DI - -DI) / ( +DI + -DI)) x 100.. 2023. 5. 6. 스토캐스틱 Stochastics과 RSI 계산 방법 저의 경우 기술적 지표 Stochastic 스토캐스틱은 RSI나 PSAR을 같이 참고합니다. 스토캐스틱은 과매수 및 과매도 상태를 파악하는 데 도움이 되지만, 다른 보조지표와 같이 참고해서 사용해야 매수. 매도 진입시점 파악하기가 더 좋은 것 같습니다. RSI는 상대강도지수(Relative Strength Index)의 약어로, 매수세와 매도세의 강도를 파악할 수 있는 지표이고 PSAR(Parabolic Stop and Reverse)는 상승추세, 하락추세를 파악하는 지표입니다. 지금까지는 증권사 HTS에서 제공하는 지표를 사용해왔는데 그 값이 어떻게 계산되는지가 궁금해졌습니다. 증권사마다 기준으로 하는 값이 다른지 그 값들이 조금씩 다르게 나오지만 기본적인 계산 방식을 이해한다는 측면에서는 도움이 될 .. 2023. 5. 2. 주식차트 이동평균선 Talib SMA 구하고 그래프 그리기 일전에 설치한 Talib는 32bit 환경에서 설치 한 관계로 최근에 만든 64Bit 가상환경에서는 실행이 안되기 때문에 새로운 환경에 맞는 Talib버전을 찾아 다운로드하고 가상환경이 동작하는 해당 폴더로 다운로드한 파일을 이동하여 pip install 명령으로 재설치를 했다. 1. 맞는 버전의 Talib 찾아 다운로드 2. 가상환경을 activate 한 이후 pip install로 talib 설치 3. Talib로 10일, 60일 이동 평균 계산 ### sqlite3 저장된 주식 데이터 로드해서 Talib로 이평 구하는 예제 import pandas as pd import matplotlib.pyplot as plt import tensorflow as tf import sqlite3 import t.. 2023. 5. 2. 텐서플로우 로그레벨 TF_CPP_MIN_LOG_LEVEL 설정 처음 텐서플로우로 연산처리를 해보는데 아래와 같이 로그메시지가 붉은색으로 출력되어 한참을 원인파악을 해보니 OS에서 로그레벨이 "0" 으로 되어있어 나오는 것으로 파악되었습니다. 이것을 2로 설정하는 것이 적당 한 것 같네요 ^^ 텐서플로우 TensorFlow 오류(?) 로그 인가? #### 텐서플로우 실행시 로그 출력 ~~~~ This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 To enable them in other operations, rebuild Tenso.. 2023. 4. 27. 아나콘다 Anaconda 가상환경 생성 및 사용 방법 64비트 운영체제에서 32비트용 아나콘다를 설치한 경우에는 32비트용 파이썬과 라이브러리만 사용할 수 있습니다. 이 경우에는 64비트 가상환경을 만들 수 없습니다. 하지만, 만약 64비트 운영체제에서 64비트용 아나콘다를 설치하고, 그 안에서 32비트 가상환경을 만든다면 가능합니다. 이렇게 하면 32비트 환경에서만 필요한 라이브러리나 애플리케이션을 실행할 수 있으며, 64비트 환경에서는 64비트 라이브러리나 애플리케이션을 실행할 수 있습니다. 따라서, 64비트 운영체제를 사용하고 있는데 32bit용 환경이 꼭 필요하다면, 64비트용 아나콘다를 설치하여 32비트 가상환경을 만드는 것을 권장하고 싶습니다. 아나콘다 설치가 성공적으로 끝났으니 이제 아나콘다 가상환경을 만들어야 겠습니다. 가상환경을 만드는 이유.. 2023. 4. 21. 머신러닝, 딥러닝 - 텐서플로우 TensorFlow 부터 알아보자 머신러닝, 딥러닝을 위한 프레임워크들로 텐서플로우 TensorFlow, 파이토치 PyTorch, 케라스 Keras, 사이킷런 Scikit-learn 등이 다양하게 사용되고 있습니다. 이중 텐서플로우 TensorFlow, 파이토치 PyTorch 가 가장 많이 사용된다고 하니 먼저 텐서플로우부터 알아보고자 합니다. 텐서플로우 TensorFlow 를 설치하고 테스트 해보려는데 텐서플로우가 64Bit 환경에서만 처리되는 관계로 64bit용 아나콘다 재설치, 가상환경 생성, 가상환경에서 필요한 패키지들 설치하느라 예상치 않은 시간을 소요했네요 ㅠㅠ 텐서플로우 TensorFlow 개요 텐서플로우 (TensorFlow) 란 더 보기 구글에서 만든 머신러닝을 위한 오픈 소스 라이브러리로 복잡한 수학계산을 효율적으로 처.. 2023. 4. 20. CNN 분석에서 합성곱 Concolution 과 Feature Map ? 최근 무료 온라인 강의를 통해 빅데이터 분석 관련 교육을 듣다 보니 일단 2가지를 테스팅해봐야겠다는 생각이 들었다. 첫 번째는 이미지 분석 CNN모델을 적용해 패턴을 분석해 보는 것 두 번째는 회사 업무에 유용할 것 같은 텍스트 분석 RNN모델을 적용해 보는 것이다. 개인적으로는 CNN을 통한 패턴 분석을 테스트해보는 것이 더 필요 한지라 일단 CNN 모델 적용부터 시작해 보려고 한다. CNN(Convolutional Neural Network)은 이미지를 처리하는 딥러닝 모델 중 하나! CNN (Convolutional Neural Network) 용어 정의 Convolution(합성곱): 입력 데이터와 필터(커널)를 곱한 후 합산하는 연산으로, 이미지에서 특징을 추출하는 데 사용 Feature Map.. 2023. 4. 19. 선형 회귀분석, 로지스틱 회귀분석, 시계열분석 이해하기 주식데이터에 대한 다각도의 분석을 하려고 하니 결국 회귀분석까지 이해해야 하는 상황까지 왔네요. ^^ 여기서는 이론적인 것들을 나름대로 이해해 보고 나중에 실제 분석모델을 적용해서 테스트를 해볼까 합니다. 회귀분석(regression analysis) 이란 ? 종속 변수(y)에 영향을 주는 독립변수(x1, x2...)와의 관계를 분석하여 종속 변수의 값들을 예측하기 위하여 사용되는 통계학적 분석방법 회귀분석(Regression analysis) 종류 단순 선형 회귀분석: 하나의 독립변수 종속변수 간의 관계 분석 다중 선형 회귀분석: 둘 이상의 독립변수와 종속변수 간의 관계를 분석 로지스틱 회귀분석: 이항 분류 문제를 해결하는 방법으로, 종속변수가 이항 변수인 경우에 사용 다항 회귀분석: 독립변수와 종속변.. 2023. 4. 12. 베타계수와 상관계수 개념 이해는 데이터 분석의 시작 올해 상반기 개인적 목표 중 하나는 주식시장과 종목과 종목 간 상관관계, 투자자와 종목 간 상관관계, 종목과 다른 변수들과의 다양한 상관관계 분석과 거래량의 변화 또는 미결제약정의 변화에 따른 선물이나 옵션의 가격변화등 다양한 변수들을 가지고 회귀분석을 테스트해보는 것이다. 이를 위해 베타계수와 상관계수에 대한 사전지식이 필요하여 정리해 보았다. 베타 (β) 계수 와 상관계수 정의 1. 베타계수 주식시장에서 사용하는 베타값(베타계수)은 시장 변동에 개별 주식종목 각각이 어느 정도 영향을 받는지 그 정도를 알려주는 통계학적 용어로 사용되며, 시장의 방향과 개별 주식의 방향들을 데이터화하여 회귀 분석을 통한 선의 기울기 라고 할 수 있다 예를 들어 아래표처럼 어떤 종목의 52주 베타 값이 0.98이라는 의미.. 2023. 4. 10. 이전 1 2 3 다음 728x90 728x90
