Versionskontrolle in Machine-Learning-Projekten
•
0 gefällt mir•334 views
Data Version Control (DVC) zur Versionskontrolle in Machine-Learning-Projekten
![Installation
$ pipenv install dvc[ssh]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Ähnlich wie Versionskontrolle in Machine-Learning-Projekten
Ähnlich wie Versionskontrolle in Machine-Learning-Projekten (20)
Mehr von cusy GmbH
Mehr von cusy GmbH (11)
Versionskontrolle in Machine-Learning-Projekten
- 2. Installation $ pipenv install dvc[ssh]
- 3. Installation $ pipenv install dvc[ssh] Extras [ssh] [s3] [gs] [azure] [oss] [all]
- 4. Projekt erstellen $ mkdir -p dvc-example/data $ cd dvc-example $ git init $ dvc init $ git add .dvc $ git commit -m "Initialise DVC"
- 5. dvc init erstellteinVerzeichnis .dvc/ mit config , .gitignore und cache -Verzeichnis. git commit stellt .dvc/config und .dvc/.gitignore unterGit-Versionskontrolle.
- 7. $ sudo mkdir -p /var/dvc-storage $ dvc remote add -d local /var/dvc-storage Setting 'local' as a default remote. $ git commit .dvc/config -m "Configure local remote" [master efaeb84] Configure local remote 1 file changed, 4 insertions(+)
- 9. DanebenwerdennochweitereProtokolleunterstützt,diedemPfadvorangestelltwerden,u.a. ssh: , hdfs: , https: . SokannbeispielsweiseeinfacheinwetererentfernterDatenspeicherhinzugefügtwerdenmit: $ dvc remote add webserver https://dvc.cusy.io/myproject
- 10. DiezugehörigeKonfigurationsdatei .dvc/config siehtdannsoaus: ['remote "local"'] url = /var/dvc-storage [core] remote = local ['remote "webserver"'] url = https://dvc.cusy.io/myproject
- 11. Daten hinzufügen $ dvc get https://github.com/iterative/dataset-registry get-started/data.xml -o data/data.xml $ dvc add data/data.xml
- 12. .DiesfügtdieDatei data/data.xml in data/.gitignore hinzu .DieMeta-Angabenwerdenin data/data.xml.dvc geschrieben. WeitereInformationenzumDateiformatder *.dvc -Dateierhaltetihrunter . DVC-FileFormat
- 13. InGitwerdenfürdieverschiedeneVersioneneurerProjektdatenverwaltetindemIhrdieCVS- Dateihinzufügt: $ git add data/.gitignore data/fortune500.csv.dvc $ git commit -m "Add raw data to project"
- 14. Daten speichern und abrufen DieDatenkönnenvomArbeitsverzeichniseuresGit-Repositoryaufdenentfernten Speicherplatzkopiertwerdenmit $ dvc push
- 17. dvc import
- 18. dvc import Beispiel $ dvc import https://github.com/iterative/dataset-registry get-started/data.xml Importing 'get-started/data.xml (https://github.com/iterative/dataset-registry)' -> 'data.xml'
- 19. dvc import Beispiel $ dvc import https://github.com/iterative/dataset-registry get-started/data.xml Importing 'get-started/data.xml (https://github.com/iterative/dataset-registry)' -> 'data.xml' .DieslädtdieDateiausder indasaktuelleArbeitsverzeichnis .fügtsieder .gitignore -Dateihinzu .erstelltdieDatei data.xml.dvc dataset-registry
- 20. dvc update
- 21. dvc update Beispiel $ dvc update data.xml.dvc Stage 'data.xml.dvc' didn't change. Saving information to 'data.xml.dvc'.
- 22. Big Picture
- 23. Big Picture
- 24. Big Picture
- 25. Big Picture
- 26. Big Picture
- 27. Big Picture
- 30. 1. Phase: Aufteilen in Trainings- und Testdaten
- 32. dvc-example/src/split.py $ dvc run -n split -d src/split.py -d data/data.xml -o data/splitted python src/split.py data/data.xml
- 33. dvc-example/src/split.py $ dvc run -n split -d src/split.py -d data/data.xml -o data/splitted python src/split.py data/data.xml -n gibtdenNamenderVerarbeitungsstufean.
- 34. dvc-example/src/split.py $ dvc run -n split -d src/split.py -d data/data.xml -o data/splitted python src/split.py data/data.xml -n gibtdenNamenderVerarbeitungsstufean. -d gibtAbhängigkeiten(dependencies)fürdasreproduzierbareKommandoan. WennzumReproduzierenderErgebnissebeimnächstenMal dvc repo aufgerufen wird,überprüftDVCdieseAbhängigkeitenundentscheidet,obdieseaufdemaktuellen StandsondodererneutausgeführtwerdenmüssenumaktuellereErgebnissezu erhalten.
- 35. dvc-example/src/split.py $ dvc run -n split -d src/split.py -d data/data.xml -o data/splitted python src/split.py data/data.xml -n gibtdenNamenderVerarbeitungsstufean. -d gibtAbhängigkeiten(dependencies)fürdasreproduzierbareKommandoan. WennzumReproduzierenderErgebnissebeimnächstenMal dvc repo aufgerufen wird,überprüftDVCdieseAbhängigkeitenundentscheidet,obdieseaufdemaktuellen StandsondodererneutausgeführtwerdenmüssenumaktuellereErgebnissezu erhalten. -o gibtdieAusgabedateioderdasAusgabeverzeichnisan.
- 36. DerArbeitsbereichhatsichnungeändertin: . ├── data │ ├── data.xml │ ├── data.xml.dvc + │ └── splitted + │ ├── test.tsv + │ └── train.tsv + ├── dvc.lock + ├── dvc.yaml ├── requirements.txt └── src └── split.py
- 37. Diegenerierte dvc.yaml -Dateisiehtdannfolgendermaßenaus: stages: split: cmd: pipenv run python src/split.py data/data.xml deps: - data/data.xml - src/split.py outs: - data/splitted
- 38. DadieDatenimAusgabeverzeichnisniemitGitversioniertwerdensollten,hat dvc run bereitsdie data/.gitignore -Dateigeschrieben: /data.xml + /splitted
- 39. AnschließendmüssendiegeändertenDatennurnochinGitbzw.DVCübernommenwerden: $ git add data/.gitignore dvc.yaml $ git commit -m "Create split stage" $ dvc push
- 40. WerdennunmehrerePhasenmit dvc run erstellt,wobeidieAusgabeeinesKommandosals Abhängigkeiteinesanderenangegebenwird,entstehteineDVCPipeline.
- 43. dvc run mit -p <filename>:<params_list> liestdieParameter,inunseremBeispiel: $ dvc run -n featurize -d src/featurization.py -d data/splitted -p params.yaml:max_features,ngram_range.lo,ngram_range.hi -o data/features python src/featurization.py data/splitted data/features
- 44. Diesergänztdie dvc.yaml -Dateiumden featurize -Abschnitt: featurize: cmd: python src/featurization.py data/splitted data/features deps: - data/splitted - src/featurization.py params: - max_features - ngram_range.lo - ngram_range.hi outs: - data/features
- 45. DamitdiesePhasewiederholtwerdenkann,werdendieMD5-HashwerteundParameterwerte inder dvc.lock -Dateigespeichert: featurize: cmd: python src/featurization.py data/splitted data/features deps: - path: data/splitted md5: 1ce9051bf386e57c03fe779d476d93e7.dir - path: src/featurization.py md5: a56570e715e39134adb4fdc779296373 params: params.yaml: max_features: 1000 ngram_range.hi: 2 ngram_range.lo: 1
- 46. SchließlichmüssennochdiefolgendenDateienimGit-Repositoryaktualisiertwerden: dvc.lock dvc.yaml data/.gitignore $ git add dvc.lock dvc.yaml data/.gitignore
- 49. berechnetdenWertfürdie (engl.:AUC (AreaUndertheCurve). dvc-example/src/evaluate.py FlächeunterderKurve DabeiverwendetesdenTestdatensatz,ließtdieFeaturesaus features/test.pkl und erstelltdieMetrikdatei auc.metric .
- 50. berechnetdenWertfürdie (engl.:AUC (AreaUndertheCurve). dvc-example/src/evaluate.py FlächeunterderKurve DabeiverwendetesdenTestdatensatz,ließtdieFeaturesaus features/test.pkl und erstelltdieMetrikdatei auc.metric . auc.metric kannDVCalsMetrikmitder -M -Optionvon dvc run kenntlichgemacht werden:
- 51. berechnetdenWertfürdie (engl.:AUC (AreaUndertheCurve). dvc-example/src/evaluate.py FlächeunterderKurve DabeiverwendetesdenTestdatensatz,ließtdieFeaturesaus features/test.pkl und erstelltdieMetrikdatei auc.metric . auc.metric kannDVCalsMetrikmitder -M -Optionvon dvc run kenntlichgemacht werden: $ dvc run -n evaluate -d src/evaluate.py -d model.pkl -d data/features -M auc.json python src/evaluate.py model.pkl data/features auc.json
- 52. Dieserweitertdie /dvc.yaml -Dateiumden evaluate -Abschnitt: evaluate: cmd: python src/evaluate.py model.pkl data/features auc.json deps: - data/features - model.pkl - src/evaluate.py metrics: - auc.json: cache: false
- 53. Versuchsmetriken Mit dvc metrics show lassensichExperimenteüberverschiedeneBranchesundTags hinwegvergleichen:
- 54. Versuchsmetriken Mit dvc metrics show lassensichExperimenteüberverschiedeneBranchesundTags hinwegvergleichen: $ dvc metrics show auc.json: 0.514172
- 55. DieDVC-PipelinekannnunzusammenmiteinemTagdemGit-Repositoryhinzugefügt werden: $ git add dvc.yaml dvc.lock auc.json $ git commit -m 'Add stage ‹evaluate›' $ git tag -a 0.1.0 -m "Initial pipeline version 0.1.0"
- 56. Pipelines anzeigen $ dvc dag +-------------------+ | data/data.xml.dvc | +-------------------+ * * * +-------+ | split | +-------+ * * * +-----------+ | featurize | +-----------+ ** ** ** * * **
- 57. +-------+ * | train | ** +-------+ * ** ** ** ** * * +----------+ | evaluate | +----------+ data/data.xml.dvc prepare.dvc featurize.dvc train.dvc evaluate.dvc
- 58. dvc dag --dot generierteine -.dot -Datei,diedannz.B.alsSVG-Datei gerendertwerdenkann: data/data.xml.dvc split featurize train evaluate Graphviz
- 60. 1. Code und Daten wiederherstellen
- 61. 1. Code und Daten wiederherstellen $ git clone https://github.com/veit/dvc-example.git $ cd dvc-example $ dvc pull -TR A data/data.xml 1 file added $ ls data/ data.xml data.xml.dvc
- 63. 2. Ergebnisse reproduzieren $ dvc repro Verifying data sources in stage: 'data/data.xml.dvc' Stage 'split' didn't change, skipping Stage 'featurize' didn't change, skipping Stage 'train' didn't change, skipping Stage 'evaluate' didn't change, skipping
- 65. 3. Parametrisieren DieParameterinder params.yaml -DateikönnengeändertundanschließenddiePipeline erneutdurchlaufenwerden: $ dvc repro Stage 'data/data.xml.dvc' didn't change, skipping Stage 'split' didn't change, skipping Running stage 'featurize' with command: python src/featurization.py data/splitted data/features … Stage 'train' didn't change, skipping Stage 'evaluate' didn't change, skipping To track the changes with git, run: git add dvc.lock