上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

ヒストリカルデータの加工 (2017/12/03)

hstファイルをcsvファイルに変換

この手順はhstファイルをcsvファイルに変換したい場合のみである。

「EURJPY.hst」、「EURUSD.hst」、「USDJPY.hst」のhstファイルを変換し、「EURJPY.csv」、「EURUSD.csv」、「USDJPY.csv」のcsvファイルとして生成する。csvファイルは新たに生成され、hstファイルはそのまま残る。

○以下のコマンドをIPythonコンソールで実行する。

import forex_system as fs
to_csv_file('EURJPY')
to_csv_file('EURUSD')
to_csv_file('USDJPY')

ヒストリカルデータの加工と他の足の作成

「EURJPY.csv」、「EURUSD.csv」、「USDJPY.csv」のcsvファイルを使い、2007年1月1日から2017年1月1日までの各足を生成する。

○以下のコマンドをIPythonコンソールで実行する。

import forex_system as fs
start = '2007.01.01'
end = '2017.01.01'
for symbol in ['EURJPY', 'EURUSD', 'USDJPY']:
    fs.get_historical_data(symbol, start, end)

備考

①デューカスコピーのヒストリカルデータはGMT基準であるように思われる(夏時間があるようなのでUTCではない)。NYクロージング基準に変更するため、元データから2時間進ませている。

②土日以外のすべての足を作成し、データが欠けている場合は前の足のデータで補間している。データが欠けている場合はデータに変動がないと考えれば前の足の終値を使うことには問題ないが、始値、高値、安値、出来高ではそうはいかない。テクニカル指標なども、元データを使った場合と若干の違いが出ることもある。

③1分足データを元に2分、3分、4分、5分、6分、10分、12分、15分、20分、30分、1時間、2時間、3時間、4時間、6時間、8時間、12時間、1日の各足を作成している。

スポンサーサイト

Python環境の構築 (2017/11/11)

Ubuntuには初めからPythonがインストールされている。だが、ここではAnacondaをインストールして、その中のPythonを使うことにする。いくつかのライブラリはAnacondaからのほうが導入が楽だからである。

Anacondaのインストール

①以下のアドレスをクリックする。

https://www.anaconda.com/download/#linux

②「Anaconda 5.0.1 For Linux Installer」で「Python 3.6 version」の「Download」ボタンをクリックする。

環境によってダウンロードされるファイルが違うようである。私の場合は「Anaconda3-5.0.1-Linux-x86_64.sh」ファイルがダウンロードされる。

③「Anaconda3-5.0.1-Linux-x86_64.sh を開く」で「ファイルを保存する」を選択する。

④「OK」ボタンをクリックする。

私の環境ではファイルは「~/ダウンロード」フォルダーに保存される。

⑤ブラウザに戻って「Thank You For Downloading Anaconda!」で「No Thanks」ボタンをクリックする。

⑥端末で以下のコマンドを実行する。

$ bash ~/ダウンロード/Anaconda3-5.0.1-Linux-x86_64.sh

⑦端末の

In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue
>>>

で、

Please answer 'yes' or 'no':'
>>>

と表示されるまで「Enter」キーを押し続ける。

⑧「yes」と入力して「Enter」キーを押す。

⑨端末の

Anaconda3 will now be installed into this location:
/home/****/anaconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

[/home/****/anaconda3] >>>

で「Enter」キーを押す。インストールが始まるので、しばらく待つ。

⑩端末の

Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /home/****/.bashrc ? [yes|no]
[no] >>>

で「yes」と入力して「Enter」キーを押す。

⑪端末を再起動する。

設定を反映させるにはこの手順が必要なようである。

Anacondaのアップデート

①端末で以下のコマンドを実行する。

$ conda update conda;conda update anaconda;conda update --all

②もし端末で

Proceed ([y]/n)?

と表示されたら「Enter」キーを押す。最大で3回表示される可能性がある。

作業用フォルダーの作成

○端末で以下のコマンドを実行する。

$ mkdir ~/py

「ホーム」フォルダーに「py」フォルダーが生成する。これを作業用フォルダーとする。

SpyderのLauncherへの登録

①端末で以下のコマンドを実行する。

$ spyder

Spyderが起動する。

②Launcher上の「Spyder (Python 3.4)」を右クリックする。

③「Launcherに登録」を選択する。

Spyderの設定

①Spyderのメニューバーで「ツール」をクリックする。

②「設定」をクリックする。

③「設定」で「現在の作業ディレクトリ」をクリックする。

④「コンソールディレクトリ」で「以下のディレクトリ」を選択する。

⑤続いて「/home/****/py」を選択する。

⑥「設定」で「IPythonコンソール」をクリックする。

⑨「グラフィックス」タブをクリックする。

⑩「画像のサポート(Matplotlib)」で「サポートを有効化」にチェックを入れる。

⑪「設定」で「OK」ボタンをクリックする。

ライブラリのインストール

Anacondaにはデフォルトで含まれていないライブラリがある。その中で私がよく使うものをここでインストールする。

以下の手順で、もし端末に

Proceed ([y]/n)?

と表示されたら、その都度「Enter」キーを押す。

OANDA API

①端末で以下のコマンドを実行する。

$ pip install git+https://github.com/oanda/oandapy.git

TensorFlow

②端末で以下のコマンドを実行する。

$ pip install --ignore-installed --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.0.1-cp36-cp36m-linux_x86_64.whl

私のPCは古いので、ここではPython 3.6対応、CPUのみのバージョンをインストールする。

CVXOPT

③端末で以下のコマンドを実行する。

$ conda install cvxopt

pandas-datareader

④端末で以下のコマンドを実行する。

$ conda install pandas-datareader

jupyter

⑤端末で以下のコマンドを実行する。

$ conda install -c conda-forge jupyter_contrib_nbextensions

markdown

⑥端末で以下のコマンドを実行する。

$ conda install markdown

ライブラリのチュートリアル(入門レベル)

pandas

http://pandas.pydata.org/pandas-docs/stable/10min.html

scikit-learn

http://scikit-learn.org/stable/tutorial/basic/tutorial.html

TensorFlow

https://www.tensorflow.org/get_started/get_started

tf.estimator

https://www.tensorflow.org/get_started/estimator

ヒストリカルデータのダウンロード (2017/11/04)

JForexを使ってヒストリカルデータをダウンロードする。

ヒストリカルデータを保存するフォルダーの作成(初回のみ)

○端末に以下のコマンドを入力して「Enter」キーを押す。

$ mkdir ~/py/historical_data

「~/py」フォルダーに「historical_data」フォルダーが生成する。これをヒストリカルデータを保存するフォルダーとする。

古いヒストリカルデータの削除

初めてヒストリカルデータをダウンロードする場合、この手順はいらない。すでにヒストリカルデータをダウンロードしていて、新しいデータをダウンロードする場合に実行する。

○IPythonコンソールで以下のコマンドを実行する。

import forex_system as fs
fs.empty_folder('historical_data')

「~/py/historical_data」フォルダー内のファイルが削除される。

ヒストリカルデータのダウンロード

例として2007年1月1日から2016年12月31日までのデータをダウンロードする。

①JForexのツールバーで「表示」をクリックする。

②「ヒストリカルデータ取得」をクリックする。

③「ヒストリカルデータ取得」の「時間範囲」で「カスタム」を選択する。

④「カスタム・タイムレンジ」の「開始日時」で2007年1月1日を選択する。

⑤「終了日時」で2016年12月31日を選択する。

⑥「OK」ボタンをクリックする。

⑦「ヒストリカルデータ取得」に戻って「期間」で「1分」を選択する。

他の種類の足はデータを加工するときに作成するが、それは別の機会で触れることにする。

⑧「銘柄」でダウンロードしたい通貨ペアにチェックを入れる。

⑨「アスク」のチェックを外す。

⑩「ダウンロード設定」ボタンをクリックする。

⑪「ダウンロード設定」の「形式」で「CSV」を選択する。

⑫「日付形式」で「YYYY.MM.DD HH:MM:SS」を選択する。

⑬「区切り」で「,」(カンマ)を選択する。

⑭「データ出力先」で「/home/****/py/historical_data」を選択する。

⑮「OK」ボタンをクリックする。

⑯「ヒストリカルデータ取得」に戻って「開始」ボタンをクリックする。

⑰ダウンロードが「100%」になるのを待つ。

⑱「ヒストリカルデータ取得」の「×」ボタンをクリックする。

ファイル名の変更

ファイル名には日付などが入っているが邪魔なので通貨ペア名以外の部分は削除する。

○IPythonコンソールで以下のコマンドを実行する。

import forex_system as fs
fs.rename_historical_data_filename()

JForexのインストール (2017/11/04)

デューカスコピーのJForexというツールをインストールする。デューカスコピーのヒストリカルデータはこのツールでダウンロードする。

デモ口座の開設

先ず、デューカスコピーでデモ口座を開設する。デモ口座の期限は1ヶ月となっている。だが、デューカスコピーにメールで依頼すれば無期限にしてもらうこともできる。

①以下のアドレスをクリックする。

https://www.dukascopy.jp/home/

②「デモ口座開設」ボタンをクリックする。

③「デモ口座開設」の「デモ口座の申し込み」で必要事項にチェックを入れる、または入力する。

④「デモ口座を開設する」ボタンをクリックする。

⑤登録したメールアドレスに「デューカスコピー・ジャパン株式会社」からメールが来るので「ログイン」と「パスワード」を確認する。

JForexのダウンロード

①以下のアドレスをクリックする。

https://www.dukascopy.jp/home/

②ページ右上の「ログイン」ボタンをクリックする。

③「インストール版 JForex(推奨)」で「JForexをインストール」ボタンをクリックする。

使用しているOSに合ったバージョンのファイルが自動的に選択される。私の環境では「JForex_unix_64_JRE_bundled.sh」ファイルが選択された。

④「JForex_unix_64_JRE_bundled.sh を開く」で「ファイルを保存する」を選択する。

⑤「OK」ボタンをクリックする。

私の環境では「JForex_unix_64_JRE_bundled.sh」ファイルは「~/ダウンロード」フォルダーに保存される。

JForexのインストール

①端末に以下のコマンドを入力して「Enter」キーを押す。

$ bash ~/ダウンロード/JForex_unix_64_JRE_bundled.sh

②「言語の選択」で「日本語」が選択されているのを確認する。

③「OK」ボタンをクリックする。

④「セットアップ - JForex Platform 2.4」の「ようこそ JForex Platform セットアッププログラムへ。」で「次へ」ボタンをクリックする。

「JForex Platform 2.4」は現時点(2017年11月4日)での最新版である。

⑤「ユーザー設定」で「このユーザー(****)のみにインストールする」が選択されているのを確認する。

⑥「次へ」ボタンをクリックする。

⑦「インストール先の選択」の「インストール先のディレクトリ」で「/home/****/JForex」が選択されているのを確認する。

⑧「次へ」ボタンをクリックする。

⑨「シンボリックリンクのためのディレクトリを選択」で「シンボリックリンクの作成」にチェックが入っているのを確認する。

⑩「インストール先のディレクトリ」で「/home/****/bin」が選択されているのを確認する。

⑪「次へ」ボタンをクリックする。

⑫「ショートカット作成オプションの選択」で「デスクトップアイコンを作成する」にテェックを入れる。

⑬「次へ」ボタンをクリックする。

⑭「JForex Platformのセットアップ完了」で「JForex Platform を実行する」にチェックが入っているのを確認する。

⑮「終了」ボタンをクリックする。

JForexが起動する。

JForexへのログイン

①JForexのログイン画面で「ログイン」にデューカスコピーから送られた「ログイン」を入力する。

②「パスワード」に同じくデューカスコピーから送られた「パスワード」を入力する。

③「環境」で「DEMO」を選択する。

④「バージョン」で「JForex 3」を選択する。

⑤「言語」で「日本語」が選択されているのを確認する。

⑥「ログイン」ボタンをクリックする。

JForexからのログアウト

①JForexのメニューバーの「ファイル」をクリックする。

②「ログアウト」をクリックする。

oandapyのインストール (2017/09/10)

oandapyをインストールする。oandapyはOANDAの口座からデータを取得するので、OANDAのデモ口座も開設しておく。

oandapyのインストール

○以下のコマンドを端末に入力して「Enter」キーを押す。

$ pip install git+https://github.com/oanda/oandapy.git

OANDAデモ口座の開設

①以下のアドレスをクリックする。

https://www.oanda.jp/

②右上の「デモ申込」ボタンをクリックする。

③「無料デモ口座開設フォーム」の「デモ口座利用規程及び個人情報のお取扱いについて」で「同意・承諾します」にチェックを入れる。

④「お申込みフォーム」で必要事項を入力、または選択する。

⑤「勧誘の受諾の意思の表明」で「同意・承諾します」にチェックを入れる。

⑥「勧誘招請について」で「同意・承諾します」にチェックを入れる。

⑦「デモ口座ID(fxTradePracticeID)を発行する」ボタンをクリックする。

⑧登録したメールアドレスに送られたIDとPWを確認する。

アカウントIDとアクセストークンの取得

(注意)以下は私が実際に手続きしたときの手順であり、現在は少し違うかもしれません。

上に続けて実行する。

①「無料デモ口座開設フォーム」で「デモ ログインへ」ボタンをクリックする。

②「デモ口座ログイン」で「お客様のIDを入力してください」にIDを入力する。

③「パスワードを入力してください」にPWを入力する。

④「デモ口座ログイン情報を記憶する」にチェックを入れる。

⑤「ログイン」ボタンをクリックする。

⑥(ブラウザがFirefoxの場合のみ)「このログイン情報を Firefox に記憶させますか?」で「記憶」ボタンをクリックする。

⑦「口座情報」の「アカウント」で「Primary」の右にある数字をメモする。

これがAPIアクセスに必要なアカウントIDとなる。メールアドレスに送られたIDではないので注意。

⑧「MT4/API関連」の「APIアクセスの管理」をクリックする。

⑨「REST APIアクセスの管理」で「発行する」ボタンをクリックする。

⑩「あなたのPersonal Access Tokenは下記となります。」の下のトークンをメモする。

これがAPIアクセスに必要なアクセストークンとなる。

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。