money-expert

이제 본격적으로 전략 시뮬레이션을 개발해 보겠습니다. 

이 글은 시스템 트레이딩에 관심을 가지고 직접 개발해보고 싶은 전산 비 전공자를 대상으로 합니다. 가능한 쉽게 이해할 수 있도록 기술해보도록 하겠습니다.

이번에 개발할 전략은 Larry Williams의 변동성 돌파 전략(이하 LW)입니다. 

LW와 관련하여 검색을 해보니 좋은 글들이 많았습니다. 이 중 heybit에서 LW를 실제 운영 중이라고 하는군요. 여기 나오는 전략을 개발해보도록 하겠습니다. 

support.heybit.io/ko/articles/2297782-

이외에도 systraders79님의 아래 글도 굉장히 좋습니다. 이제 막 퀀트를 시작하시는 분들은 일독을 권합니다.

cafe.naver.com/invest79

전략에 대한 자세한 설명은 위에 Heybit글을 참고하시면 될 것 같습니다.

LW를 개발하기 위하여 필요한 사항을 정리해보겠습니다.

1. test 대상 ticker : 암호화폐 BTC, ETH

2. back data : 2017-09-25 ~ 2020-11-12 일봉 데이타. 

3. 거래 규칙 :

   매수 : 일봉 데이타의 high 값이 매수 예정 가격(시가+전일 변동성*k)보다 높으면 매수

   청산 : 당일 종가 (주식의 경우에는 다음 날 시초가 매도가 성과가 좋다고 알려져 있으나 암호화폐는 24시간 거래가 되므로 다음 날 시초가 의미가 없음)

   수수료 : 0.035% (upbit 기준)

   일단 k = 0.5로 고정, noise는 사용하지 않습니다.

전략을 돌려보기 위해서는 준비해야할 것들이 많습니다. 우선 파일에 저장된 과거 데이터를 읽어와야 합니다. 이런 부분은 전략을 만드는 것과는 크게 관련이 없기 때문에 제가 소개해드리는 코드를 그냥 사용하시면 됩니다.

기본 함수들

- read_csv_to_dict() :  csv 형태로 저장된 과거 데이터를 dict 형태로 돌려주는 함수

- save_to_file_csv() : 전략 test 중 중간 값들을 보관한 후 그 결과를 csv 파일에 저장하는 함수. 이렇게 하는 이유는 LW가  제대로 동작하였는지 excel로 검정해보기 위하여 사용합니다.

- class Candle() : candle 데이터를 묶어서 처리하는 class. class라는 용어가 나오는데, 일단은 관련 함수의 집합이라고 생각하시면 됩니다. 앞으로 Candle()을 발전시켜서 분/일봉 관리 그리고 각종 지표들도 모두 구현해볼 예정입니다.

- make_candle_info() : simluation 데이터를 candle로 바꾸어 주는 함수

여기까지는 그냥 이런 함수들이 필요하다 정도만 생각하시고 내용은 무시하여도 됩니다.

이 함수들을 바탕으로 이제 본격적으로 전략 시뮬레이터를 만들어보겠습니다. 일단은 막 짜보겠습니다. 막 짠 코드이기 때문에 직관적이고 읽기 좋은 코드입니다 :)

시뮬레이터는 아래와 같은 형식으로 동작할 것입니다.

백데이터 읽기

LW 초기화 ( 가장 오래된 일봉에서 range값 구함 )

while(모든 데이터에 대하여) :

    if 매수 조건을 만족하면 :

         수익 = 오늘 종가 - 매수가격 

         누적수익 += 수익

print(누적수익)

LW와 관련된 구현내용입니다. 이것도 편의상 class로 개발해보았습니다. 앞에서 설명하였듯이 class는 그냥 관련 함수의 집합이다라고 생각하시면 이해가 편하실 것입니다.

class TR_LW()은 크게 세 함수로 구성되어 있습니다.

- __init__() : 초기화 함수, LW에서 사용하는 변수를 초기화 합니다. k 값은 일단 0.5로 사용합니다.

- update_new_range() : 새로운 일봉으로 변경하는 부분입니다. range 값을 update합니다. 

- is_enter_candle() : 주어진 일봉에 대하여 매수 가능한지 여부를 판단합니다. 주어진 일봉의 고가가 매수예정가 보다 높으면 매수 예정가를 돌려줍니다. 아니면 0 return

이제 주 함수인 simulation() 입니다.

test용 백데이터는 candle_data에 저장되어 있습니다. simulation 중 발생하는 데이터를 기록하고 싶으면 이 변수에 추가를 하면 됩니다. 일단은 buy한 일봉에 대하여 buying 가격, 수익, draw down 값을 저장하도록 하겠습니다. 개발 과정에서 궁금한 변수가 있으면 여기에 계속 추가하면 됩니다.

    # simulation 중 파일에 저장할 변수들 추가 [-1]은 가장 마지막을 의미함
    candle_data[-1]['buying'] = 0 # buy 여부 저장
    candle_data[-1]['profit'] = 0 # profit 저장

    candle_data[-1]['total_profit'] = 0 # total_profit 저장
    candle_data[-1]['dd'] = 0 # downd draw 저장

시뮬레이션에 필요한 변수를 초기화합니다. 초기 투입금액, 각종 통계용 변수들 등등

candle_data는 내림차순으로 저장되어 있기 때문에 simulation은 뒤에서 앞으로 읽어가면서 처리합니다.

    for i in range(len(candle_data)-2,-1,-1)  :# 내림차순으로 저장되어 있으므로 뒤에서 한개씩

매수 조건을 만족하는 일봉이라면 아래 일들을 합니다.

1. 매수 금액 결정 : 매수 금액을 복리로 할지 단리로 할지 결정을 해야합니다. 일단 최대 초기 원금으로 투자하는 것으로 하겠습니다. 다만 원금 손실이 발생하면 초기 원금보다 적을 수 있으므로 현재잔고(balance)와 초기원금(deposit) 중 min 값을 매수가능 금액으로 결정합니다.

            # 매수 금액 결정, min(balance, deposit) 초기 deposit 금액 혹은 balance가 초기 deposit 이하이면 balance
            buying_amount = min(balance, deposit)

2. 매수 수량을 구한 후 종가에 매도 기준으로 수익을 계산한 후 balance update합니다.

3. 수수료를 계산하여 balance에 update합니다.

4. 통계를 위한 변수들을 update

5. log를 위하여 필요한 변수들을 저장

이렇게 모든 데이터에 대하여 돌린 후에는 그 결과를 csv 파일 형태로 저장합니다.

다음에는 simulation 결과를 간단하게 화면에 표시합니다.

마지막으로 simulation 결과를 파일에 저장합니다 파일 이름은 임의로 정의하시면 됩니다.

simulation을 위한 준비가 끝났습니다. 이제 이 함수를 부르기만 하면 됩니다.

이 함수는 ticker와 백데이터가 저장된 파일명, 전략을 인자로 받습니다.

simulation(ticker, fname, tr_logic)

simulation을 부를 때 전략을 전달하기 때문에 앞으로는 전략만 개발하면 됩니다. 

fname = '.\\sim_data\\BTC_day-2017-09-25-2020-11-12.csv'

ticker = 'KRW-STEEM'

# Larry William 변동성 돌파, 일봉 사용

tr_logic = TR_LW('day', 1)

simulation(ticker, fname, tr_logic)

2017년 09월 25일 부터 2020년 11월 12일 동안 BTC 일봉으로 돌려보았습니다. 올해 BTC가 상승세를 보여서인지 1백만원 투입해서 수수료 제외하고 약 2.9백만원이 되었군요. 

LW 전략이 암호화폐에 좋다는 이야기는 많이 들었는데, 역시나 좋군요.

github에 올린 코드를 보면 직관적으로 막 짰기 때문에 조금 지저분한 느낌이 듭니다. 새로운 전략이 나올 때 마다 코드 수정량이 많으면 생산성이 떨어지기 때문에 코드를 조금 정리를 해야합니다.

다음에는 이번에 소개해드린 코드를 조금 정리해서 향후 새로온 전략을 적용하기 좋은 형태로 바꾸어 보겠습니다.

소스코드는 아래에 있습니다.

github.com/multizone-quant/System_trading_ex/blob/main/Larry_williams1.py

주의사항.

시뮬레이션 결과가 저장된 파일이 열려있으면 동작 중 오류가 발생합니다. 따라서 시뮬레이션을 돌릴 때는 결과가 저장된 파일은 반드시 닫아야 합니다.

자동 매매를 하게 되면 사지 말아야 할 주식이 있습니다. 예를들어 관리종목이라든가 본인이 싫어하는 종목 등등이 있겠죠. 혹시라도 매매할 대상으로 이런 종목이 선정이 되면 무시하는 부분을 추가하여야 합니다. 추가로 거래량이 별로 없는 종목들도 빼야합니다. 그래서 자동 매매를 할 때는 개인적으로 빼야할 종목 기록한 파일을 하나 더 사용을 합니다.

네이버 주식에서 관리종목, 거래중지 종목을 검색할 수 있습니다.

우선 관리종목과 거래정지 종목은 아래 링크로 검색할 수 있습니다.

• 관리종목 : https://finance.naver.com/sise/management.nhn
• 거래중지 : https://finance.naver.com/sise/trading_halt.nhn

위 두 링크에서 검색이 되는 종목을 뽑아보겠습니다.

  주어진 url에서 BeautifulSoup을 이용하여 html 구조를 얻는다.

  html 구조에 \tr로 시작하는 부분을 검색한 후

       \th 부분에 있는 title 이름을 얻는다.

  html 구조에 \td에 있는 주식 정보를 얻는다.
       정보 중 종목명을 찾은 후 이에 해당하는 code를 찾아서 list에 보관

  파일에 결과를 json 형태와 csv 형태로 저장한다. 

전체 소스코드는 아래 깃허브에 있습니다.

https://github.com/multizone-quant/system-trading/blob/master/get_warning_stock_list

거래소가 열리는 날은 공휴일과 특별한 일자를 제외한 주중입니다. 자동 매매 로직 중 어제 정보를 활용하는 경우가 있습니다. 이때 어제 값을 받을 수 있는 함수가 있으면 편리할 것 같습니다.

그래서 거래소 관점에서의 어제를 구하는 파이썬 함수를 만들었습니다.

어제 일자를 구하는 방법은 다음과 같습니다.

현재 시각의 time_t 값을 구합니다. time_t값으로 현지 시각을 구합니다.

이때 현지 시각은 아래 구조를 가집니다. 여기에서 관심이 있는 값은 tm_wday 입니다. 월요일이 0으로 시작해서 일요일은 6의 값을 갖습니다.

우리가 구하고 싶은 어제는 86400초(하루)  값을 뺀 후 다시 아래 구조 값을 받으면 됩니다. 만약 월요일(tm_wday 값이 0)인 경우에는 토/일을 빼야하기  86400*3초(사흘) 값을 빼면 됩니다.

이렇게 얻은 값에서 년,월,일로 원하는 형태를 만들어서 돌려주면 됩니다.

주식 시장 관점에서 어제를 구하는 함수는 아래 github에 있습니다. 추가로 해야할 일은 주식 시장이 열리지 않는 공휴일과 몇몇 특별한 날도 제외하는 부분을 추가하는 것입니다.

https://github.com/multizone-quant/system-trading/blob/master/get_yesterday

지난 번에 올린 상승 종목에 이어 전략을 적용하려면 증시에 상장된 모든 종목의 일봉 정보도 필요합니다. 이 정보 역시 naver에서 가져올 수 있습니다.

아래 그림에서 보듯이 네이버에서 가져올 수 있는 정보가 다양합니다만, 한 시점에 6항목을 고를 수 있습니다. default로 설정되어 있는 값은 본인이 원하는 값과 틀린 경우에는 필요한 정보를 선택을 하여야 합니다.

이렇게 웹 페이지에서 원하는 항목을 선택하기 위해서는 webdriver를 설치하여 페이지를 그려야합니다. 브라우저에 따라 webdriver가 있는데 아래는 chrom driver를 사용한 예입니다. chrom driver를 인터넷에서 찾아서 down받은 후 저장된 위치를 지정하여 사용하면 됩니다.

크롬웹드라이버에서 웹 페이지를 읽은 후 원하는 항목을 선택하는 방식을 이용하면 됩니다. 우선 원하는 url을 지정하여 화면에 뜨는 상태를 확인합니다. 

우리가 필요한 것은 오늘 일봉 정보가 필요합니다. 즉 시가/고가/저가가 필요합니다. 이를 위하여 필요한 항목을 찾아서  click() 함수를 호출하고, 불필요한 항목을 찾아서 click()함수를 호출하면 원하는 항목으로 변경이 가능합니다. 

    driver = webdriver.Chrome("C:\\my\\chromedriver.exe")
    url = https://finance.naver.com/sise/sise_market_sum.nhn?sosok=1'
    driver.get(url)

    driver.find_element_by_xpath(".//*[contains(text(), '고가')]").click()
    driver.find_element_by_id("option7").click()  # 시가
    driver.find_element_by_xpath(".//*[contains(text(), '저가')]").click()
    driver.find_element_by_xpath(".//*[contains(text(), '외국인비율')]").click()  # 삭제
    driver.find_element_by_xpath(".//*[contains(text(), '상장주식수')]").click()  # 삭제
    driver.find_element_by_xpath(".//*[contains(text(), 'ROE')]").click()  # 삭제

    driver.find_element_by_css_selector('[alt="적용하기"]').click()

이렇게 설정을 하면 아래와 같이 원하는 항목만 선택이 가능합니다.

코스피와 코스닥 정보를 얻을 수 있는 url은 다음과 같습니다.

• 코스피 : https://finance.naver.com/sise/sise_market_sum.nhnsosok=0
• 코스닥 : https://finance.naver.com/sise/sise_market_sum.nhn?sosok=1

한 화면에 보이는 종목의 수는 최대 50개이므로 페이지를 계속 변경해가면서 정보를 크롤링해야합니다.

url에 페이지 정보를 추가할 수 있습니다. page 번호를 증가시키면서 검색을 계속하면 됩니다.

https://finance.naver.com/sise/sise_market_sum.nhn?sosok=1&page=2

이러한 정보를 바탕으로 코스피, 코스닥 전 종목 일봉을 받아오는 크롤링 프로그램을 만들어보겠습니다.

우선 코스피, 코스닥 기본 url을 지정을 합니다. 현재 네이버에서 검색이 가능한 코스피,코스닥 각각의 최대 page 수를 지정합니다. 이후에는 loop를 돌면서 page 수를 증가시키면서 해당 page의 시세 정보를 가져오는 get_stock_list()를 부릅니다.

아래 함수는 특정 url에 있는 주식 시세 정보를 뽑아내는 함수입니다. (자세한 사항은 github 코드 참고)

~~~

def get_stock_list(url, cnt) :

~~~

네이버에서는 최대 6개까지 검색할 항목을 지정할 수 있는데요. 꼭 필요한 정보만 설정을 했습니다. 만약 다른 정보가 추가로 필요하다면 설정을 바꾼 후 한번 더 호출하면 될 것 같습니다.

해당 페이지에서 주식 시세를 뽑는 방법은 이전 글에서 설명한 상승종목 뽑는 방식과 동일합니다. 다만 첫 컬럼에 있는 no 값이 1부터 시작하는 것이 아니라 페이지 별로 50씩 증가하는 값을 입력을 받아서 사용하는 부분만 차이가 납니다.

이렇게 뽑혀진 주식 시세는 별도 파일에 저장하여 향후에 다시 사용합니다. 저장하는 방법은 json 형태로 해도 되고, cvs 형태로 할 수도 있습니다.

소스코드는 git hub에 올려 놓았습니다. 

github.com/multizone-quant/system-trading/blob/master/day-bong-list-soup.py

시스템 트레이딩을 위하여 필요한 정보를 모아보도록 하겠습니다.

이번에 개발할 로직은 코스닥에서 상승 추세 종목 찾아서 매매하기입니다.

이를 위하여 오늘 상승한 종목을 구해야합니다.

이베스트 xing api에서는 전 종목 일봉 데이터를 얻을 수는 있지만 시간이 많이 걸린다고 합니다.

네이버에 있는 주식 관련 정보 중 상승종목을 보여주는 페이지가 있습니다. 제가 필요한 정보가 바로 이겁니다.

화면에 보여주는 정보는 최대 7개를 설정할 수 있습니다. 제가 설정한 정보는 거래량,시가,고가,저가,시가총액,per,poe 입니다. 이를 바탕으로 코딩을 했습니다. 혹시라도 다른 정보가 필요하다면 필요한 항목을 선택하시고, 아래 title_list의 내용도 함께 변경하시기 바랍니다.

~~~

    title_list = ['no', 'name', 'close', 'diff', 'per', 'qty', 'open', 'high', 'low', 'sichong', 'per', 'pbr']

~~~

이제 이 정보를 크롤링을 해서 파일에 저장한 후 사용을 하면 되겠죠. 오랜만에 크롤링을 해 봅니다.

특정 페이지를 크롤링을 하기 위해서는 크롬에서 개발자모드로 들어가서 해당 페이지의 html 구조를 파악해야 합니다. 다행히 이 페이지는 table 형태로 구성이 되어 있어서 크롤링하는데 문제가 없습니다.

오랜만에 사용하는 package라 구글링으로 사용법을 찾아보면서 코딩을 했습니다.
urllib로 해당 페이지 내용을 읽어오고, BeautifulSoup으로 html 문서 파싱을 하면 됩니다.

화면에 보이는 그대로 html 문서가 구성되어 있기 때문에 중간에 공백도 있고 줄도 있습니다. 이런 부분들은 제거하고 주식 정보만 뽑는 코드는 다음과 같습니다. 

첫 글짜가 숫자인 경우에 한하여 일련번호를 증가시키면서 해당하는 종목 정보를 저장합니다. 첫 글짜가 숫자가 아닌 경우에는 except가 발생합니다. 이런 경우에는 그냥 무시하시면 됩니다.

그리고 크롤링한 결과 날짜별로 이름을 붙여서 저장하는 것으로 마무리합니다.

장이 끝나면 이 프로그램 한번 돌려서 오늘 상승한 종목을 저장해 놓은 후 다음 날 장 시작하기전에 투자 검토 대상을 뽑은 후 조건을 만족하면 자동 매수를 하면 될 것 같습니다. 

해당 코드는 아래 github에 올려놓았습니다.

https://github.com/multizone-quant/system-trading/blob/master/ascending-stock-list.py

개발은 파이썬을 이용하도록 하겠습니다. 관련 예제가 블로그에 많이 있습니다. dev center에 있는 예제와 블로그들을 참고하였습니다.

개발 IDE로는 spyder나 Visual Studio Code 등 본인이 익숙한 것을 사용하면 됩니다.

전 기존에 visual studio를 사용하던 습관이 있어서 Visual Studio Code를 사용하기로 했습니다.

이베스트 xingApi와 통신을 위해서는 win32com을 사용합니다. 이를 위하여 win32com을 설치해야하는데요. 아나콘다32를 설치하면 일반적으로 함께 설치가 됩니다. 혹시라도 win32com을 찾을 수 없다고 나오면 아래와 같은 명령어로 설치하시면 됩니다.

pip install pywin32

우선 login 과정을 보도록 하겠습니다.

그 절차는 다음과 같습니다.

1. 로그인에 관련된 정보를 입력한 후 xing api에게 login 명령어를 보냅니다.
2. xingApi에서 답이 오기를 기다립니다.
3. 등록한 callback 함수로 login 결과가 옵니다. login 성공 여부를 여기에서 확인합니다.

이베스트 주식 거래를 위한 class를 만들었습니다.

앞으로 선물거래 그리고 암호화폐 거래까지 포함하기 위하여 거래소 별로 class를 만들어 보도록 하겠습니다.

거래소별 base class인 Exchange를 기반으로 이베스트주식 거래 class입니다.

class XASessionEventHandler:  
    login_state = 0

def OnLogin(self, code, msg):  
    print('on login start')  
    if code == "0000":  
        print("login succ")  
        XASessionEventHandler.login\_state = 1  
    else:  
        print("login fail")  

def wait_for_event(code) :
    while XAQueryEventHandler.query_state == 0:
        pythoncom.PumpWaitingMessages()
    if XAQueryEventHandler.query_code != code :
        print('diff code : wish(',code,')', XAQueryEventHandler.query_code)
        return 0
    XAQueryEventHandler.query_state = 0
    XAQueryEventHandler.query_code = ''
    return 1

class EBestStock(Exchange):  
    def __init__(self):
        self.operation_begin = '085000'
        self.operation_end = '153000'

    def login(self, server, id, pwd, cer_pwd, acc, acc_pwd) :
        self.instXASession = win32com.client.DispatchWithEvents("XA_Session.XASession", XASessionEventHandler)
        self.id = id
        self.passwd = pwd
        self.cert_passwd = cer_pwd
        self.account_number = acc
        self.account_pwd = acc_pwd
        self.instXASession.ConnectServer(server, 20001)
        self.instXASession.Login(self.id, self.passwd, self.cert_passwd, 0, 0)
        while XASessionEventHandler.login_state == 0:
            pythoncom.PumpWaitingMessages()

        self.login = XASessionEventHandler.login_state
        return self.login        

if __name__ == "__main__":
    print('\\nebest testing')

server = "hts.ebestsec.co.kr"  # or "demo.ebestsec.co.kr" 모의투자
id = "user id"
passwd = "user password"
cert_passwd = "공인인증서암호"
account_number = "계좌번호"
account_pwd = "계좌비밀번호"

ebest_st = EBestStock()
ret = ebest_st.login(server, id, passwd, cert_passwd, account_number, account_pwd)
if ret == 0 :
    print('fail to login')
    quit(0)

print('login ok')  

실행 결과입니다. 계정 정보를 정확하게 입력하였다면 login 성공할 것입니다.

주식 자동 매매를 위하여 여러 증권사 API를 알아보았습니다. 수수료와 개발 지원 사항을 검토해보고 이베스트의 xingAPI를 이용하기로 결정하였습니다. 다음은 xingAPI를 사용하기 위한 절차입니다.

1. xingAPI 다운받기

우선 이베스트 증권사에 계좌를 만들어야합니다. 비대면으로 계좌를 만들 수 있으니 계좌가 없으면 우선 계좌를 개설하세요.

이베스트 계좌가 있다면 우선 로그인을 하세요. 로그인 후 고객센터/API 항목을 클릭하세요.

xingAPI 패키지 중 PC를 선택하면 프로그램이 다운됩니다. 다운이 끝나면 해당 프로그램을 실행하세요.

2. 설치가 끝났으면 dev center를 실행합니다.

dev center 창이 뜨면 필요한 정보를 입력합니다. 접속서버는 demo/실서버 중 선택하세요.

3. api 매뉴얼 다운로드

api 사용하기 전에 관련 매뉴얼을 보면 많은 도움이 됩니다. dev center 매뉴 중 도움말에서 xingAPI 매뉴얼을 다운받을 수 있습니다.

4. Res 파일 다운로드

api를 사용하기 위해서는 Res 파일이 필요합니다. 아래 버튼을 이용하여 Res 파일을 모두 다운받으세요.

5. xingAPI를 사용하기 위해서는 32bit 시스템이 필요합니다. 요즘 PC는 대부분 64bit이므로 32bit 환경을 만들어주는 도구가 필요합니다. 이를 위하여 Anaconda 32비트를 설치합니다.

아래 위치에서 다운 받으시면 됩니다. 

https://www.anaconda.com/products/individual 

윈도우를 사용한다면 윈도우용 패키지를 다운받습니다. 이때 반드시 32비트를 선택합니다.

Anaconda 32비트를 설치하면 모든 준비가 완료됩니다.