From e3ebb925e1746aaa6953bd714df11d352e18237e Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 7 Nov 2022 22:32:06 +0100 Subject: [PATCH 01/59] =?UTF-8?q?Reforma=20Makefil=C5=AF=20WIP=201?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Makefile | 156 ++------------------------------- Makefile_old | 128 +++++++++++++++++++++++++++ make/all | 17 ++++ make/deploy | 3 + make/deploy_prod | 3 + make/install | 1 + make/install_venv | 3 + make/install_web | 3 + make/lib.sh | 26 ++++++ make/push_compiled_vue_to_test | 3 + make/run | 3 + make/schema | 3 + make/schema_all.pdf | 3 + make/schema_seminar.pdf | 3 + make/sync_local | 3 + make/sync_local_db | 3 + make/sync_local_media | 3 + make/sync_prod_flatpages | 3 + make/sync_test | 3 + make/sync_test_db_aggressive | 3 + make/sync_test_media | 3 + make/test | 3 + make/venv_check | 3 + 23 files changed, 231 insertions(+), 151 deletions(-) create mode 100644 Makefile_old create mode 100755 make/all create mode 100755 make/deploy create mode 100755 make/deploy_prod create mode 120000 make/install create mode 100755 make/install_venv create mode 100755 make/install_web create mode 100644 make/lib.sh create mode 100755 make/push_compiled_vue_to_test create mode 100755 make/run create mode 100755 make/schema create mode 100755 make/schema_all.pdf create mode 100755 make/schema_seminar.pdf create mode 100755 make/sync_local create mode 100755 make/sync_local_db create mode 100755 make/sync_local_media create mode 100755 make/sync_prod_flatpages create mode 100755 make/sync_test create mode 100755 make/sync_test_db_aggressive create mode 100755 make/sync_test_media create mode 100755 make/test create mode 100755 make/venv_check diff --git a/Makefile b/Makefile index 94a377c4..5e3acddc 100644 --- a/Makefile +++ b/Makefile @@ -1,154 +1,8 @@ -PYTHON ?= python3 -VENV ?= ${PYTHON} -m venv -# Všechny flagy, které se s venvem/virtualenvem/... mají volat patří sem. Volá se "${VENV} cesta" -VENV_PATH ?= env -# Musí být definovaná, i kdyby to měla být "." +%: + @make/$* -.PHONY: all venv_check clean install install_web install_venv clean_venv clean_schema run test deploy_test deploy_prod sync_test_media sync_test_db sync_test sync_local_media sync_local_db sync_local - -# activate by mělo být předpokladem ke všemu, co volá webový python (i.e. python nasazený do ${VENV}u kvůli webu, např. manage.py) all: - @# Just echo: - # Install je trochu magický: - # Spusť následující posloupnost příkazů: - # make install_venv - # . ${VENV_PATH}/bin/activate - # make install_web - # - # Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev - # Pokud chybová hláška obsahuje #include , nainstaluj si python3-dev - # - # Až skončíš s vývojem webu, spusť "deactivate". Tím zmizí '(${VENV_PATH})' ze začátku promptu. - -venv_check: - @# Pokud org nemá zapnutý venv, poradíme mu, aby si ho zapnul a spadneme. Jinak nic. - @expr $$PATH : ".*:*$(shell pwd)/${VENV_PATH}/bin" > /dev/null && exit 0 || echo 'Není zapnutý venv, spusť ". ${VENV_PATH}/bin/activate".\nPokud není venv nainstalovaný, spusť "make install_venv"' && false - -clean: clean_venv clean_schema - -install: install_web - -install_web: venv_check - @# venv může být příšerně starý, takže nejdříve upgradujeme venvové věci - pip install --upgrade pip - pip install --upgrade setuptools - # Instalace závislostí webu - pip install -r requirements.txt --upgrade - # Pro vygenerování tesdat spusť ./manage.py testdata - # Po vygenerování testdat spusť ./manage.py loaddata data/*, ať máš menu a další modely - # Pro synchronizaci flatpages spusť make sync_prod_flatpages - -install_venv: - ${VENV} ${VENV_PATH} - -clean_venv: - # Možná není 100% foolproof... - @test ! ${VENV_PATH} = . || ! echo "Smaž si prosím venv sám, nebudu mazat celý web" - rm -rfv ${VENV_PATH} - rm -f pip-selfcheck.json -clean_schema: - rm -f schema_seminar.pdf schema_all.pdf - -run: venv_check - ./manage.py runserver - -test: venv_check - ./manage.py test -v2 seminar mamweb - -# DB schemata - -schema: schema_seminar.pdf schema_all.pdf - -schema_seminar.pdf: venv_check - ./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf - -schema_all.pdf: venv_check - ./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf - -# Deploy to current *mamweb-test* directory -deploy_test: venv_check - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in directory mamweb-test"; exit 1; fi - @echo "Installing version from origin/test ..." - git pull origin test - git clean -f - make install - ./manage.py migrate - ./manage.py collectstatic --noinput - (chown -R :mam . || true ) - (chmod -R g+rX,go-w . || true ) - @echo Restarting systemd unit - systemctl --user restart mamweb-test.service - @echo Done. - -# Deploy to current *mamweb-prod* directory -deploy_prod: venv_check - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-prod" ]; then echo "Only possible in directory mamweb-prod"; exit 1; fi - @echo "Backing up production DB ..." - ( cd -P .. && ./backup_prod_db.sh ) - @echo "Installing version from origin/master ..." - git pull origin master - git clean -f - make install - ./manage.py migrate - ./manage.py collectstatic --noinput - (chown -R :mam . || true ) - (chmod -R g+rX,go-w . || true ) - @echo Restarting systemd user unit for MaM web - systemctl --user restart mamweb-prod.service - @echo Done. - - -sync_prod_flatpages: venv_check - @echo Downloading current version of flatpages from mamweb-prod. - ssh mam-web@gimli.ms.mff.cuni.cz \ - "cd /akce/mam/www/mamweb-prod; . env/bin/activate; ./manage.py dumpdata flatpages --indent=2 > flat.json; ./fix_json.py flat.json flat_fixed.json" - rsync -ave ssh mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/flat_fixed.json data/flat.json - @echo "Applying downloaded flatpages." - ./manage.py loaddata data/flat.json - @echo "Done." - -# Sync test media directory with production -sync_test_media: - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in /akce/mam/www/mamweb-test"; exit 1; fi - rsync -av --delete /akce/mam/www/mamweb-prod/media/ ./media - -# Sync (with drop) test database with production database -sync_test_db_aggressive: - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - pg_dump mam_test > dump-test-`date +"%Y%m%d_%H%M"`.sql - pg_dump -Fc mam_prod > dump-prod.sql - @# I am not sure which shell is used, so I am calling bash to make sure - psql mam_test -c 'DROP OWNED BY "mam-web";' - pg_restore -c --if-exists -d mam_test dump-prod.sql - rm dump-prod.sql - psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" - @echo Done. - -# Sync test with production -# HACK ALERT: using aggressive variant, due to the schemas being too different. -sync_test: sync_test_media sync_test_db_aggressive - - -# Sync media directory with atrey. Useful for local development with production database -# Does not sync Galerie and CACHE (too huge). -sync_local_media: - rsync -ave ssh --exclude Galerie --exclude CACHE\ - mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/media/ ./media/ -# Downloads and restores production database to local database. PostgreSQL only. -sync_local_db: - scp mam-web@gimli.ms.mff.cuni.cz:`ssh mam-web@gimli.ms.mff.cuni.cz 'ls -v /akce/mam/www/backups/mam_prod-*\.pgdump.xz | tail -n 1'` \ - ./last.pgdump.xz - xz -fd last.pgdump.xz - pg_restore -c -d mam-prod last.pgdump - -# Sync database and media. See above lines -sync_local: sync_local_media sync_local_db + @# Nevím, proč to nefunguje bez těla, ale vlastně je mi to jedno… + @make/all -# Push local compiled Vue to gimli test site -push_compiled_vue_to_test: - scp vue_frontend/webpack-stats.json mam-web@gimli:/akce/mam/www/mamweb-test/vue_frontend/ - rsync -ave ssh seminar/static/seminar/vue mam-web@gimli:/akce/mam/www/mamweb-test/seminar/static/seminar/ - ssh mam-web@gimli.ms.mff.cuni.cz 'cd /akce/mam/www/mamweb-test/ && . env/bin/activate && ./manage.py collectstatic --noinput' +.PHONY: all diff --git a/Makefile_old b/Makefile_old new file mode 100644 index 00000000..ccfdb143 --- /dev/null +++ b/Makefile_old @@ -0,0 +1,128 @@ +.PHONY: all venv_check clean install install_web install_venv clean_venv clean_schema run test deploy_test deploy_prod sync_test_media sync_test_db sync_test sync_local_media sync_local_db sync_local + +install: install_web + +install_web: venv_check + @# venv může být příšerně starý, takže nejdříve upgradujeme venvové věci + pip install --upgrade pip + pip install --upgrade setuptools + # Instalace závislostí webu + pip install -r requirements.txt --upgrade + # Pro vygenerování tesdat spusť ./manage.py testdata + # Po vygenerování testdat spusť ./manage.py loaddata data/*, ať máš menu a další modely + # Pro synchronizaci flatpages spusť make sync_prod_flatpages + +install_venv: + ${VENV} ${VENV_PATH} + +clean_venv: + # Možná není 100% foolproof... + @test ! ${VENV_PATH} = . || ! echo "Smaž si prosím venv sám, nebudu mazat celý web" + rm -rfv ${VENV_PATH} + rm -f pip-selfcheck.json +clean_schema: + rm -f schema_seminar.pdf schema_all.pdf + +run: venv_check + ./manage.py runserver + +test: venv_check + ./manage.py test -v2 seminar mamweb + +# DB schemata + +schema: schema_seminar.pdf schema_all.pdf + +schema_seminar.pdf: venv_check + ./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf + +schema_all.pdf: venv_check + ./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf + +# Deploy to current *mamweb-test* directory +deploy: venv_check + @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi + @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in directory mamweb-test"; exit 1; fi + @echo "Installing version from origin/${BRANCH} ..." + git pull origin ${BRANCH} + git clean -f + make install + ./manage.py migrate + ./manage.py collectstatic --noinput + (chown -R :mam . || true ) + (chmod -R g+rX,go-w . || true ) + @echo Restarting systemd unit + systemctl --user restart mamweb-test.service + @echo Done. + +# Deploy to current *mamweb-prod* directory +deploy_prod: venv_check + @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi + @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-prod" ]; then echo "Only possible in directory mamweb-prod"; exit 1; fi + @echo "Backing up production DB ..." + ( cd -P .. && ./backup_prod_db.sh ) + @echo "Installing version from origin/master ..." + git pull origin master + git clean -f + make install + ./manage.py migrate + ./manage.py collectstatic --noinput + (chown -R :mam . || true ) + (chmod -R g+rX,go-w . || true ) + @echo Restarting systemd user unit for MaM web + systemctl --user restart mamweb-prod.service + @echo Done. + + +sync_prod_flatpages: venv_check + @echo Downloading current version of flatpages from mamweb-prod. + ssh mam-web@gimli.ms.mff.cuni.cz \ + "cd /akce/mam/www/mamweb-prod; . env/bin/activate; ./manage.py dumpdata flatpages --indent=2 > flat.json; ./fix_json.py flat.json flat_fixed.json" + rsync -ave ssh mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/flat_fixed.json data/flat.json + @echo "Applying downloaded flatpages." + ./manage.py loaddata data/flat.json + @echo "Done." + +# Sync test media directory with production +sync_test_media: + @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi + @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in /akce/mam/www/mamweb-test"; exit 1; fi + rsync -av --delete /akce/mam/www/mamweb-prod/media/ ./media + +# Sync (with drop) test database with production database +sync_test_db_aggressive: + @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi + pg_dump mam_test > dump-test-`date +"%Y%m%d_%H%M"`.sql + pg_dump -Fc mam_prod > dump-prod.sql + @# I am not sure which shell is used, so I am calling bash to make sure + psql mam_test -c 'DROP OWNED BY "mam-web";' + pg_restore -c --if-exists -d mam_test dump-prod.sql + rm dump-prod.sql + psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" + @echo Done. + +# Sync test with production +# HACK ALERT: using aggressive variant, due to the schemas being too different. +sync_test: sync_test_media sync_test_db_aggressive + + +# Sync media directory with atrey. Useful for local development with production database +# Does not sync Galerie and CACHE (too huge). +sync_local_media: + rsync -ave ssh --exclude Galerie --exclude CACHE\ + mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/media/ ./media/ +# Downloads and restores production database to local database. PostgreSQL only. +sync_local_db: + scp mam-web@gimli.ms.mff.cuni.cz:`ssh mam-web@gimli.ms.mff.cuni.cz 'ls -v /akce/mam/www/backups/mam_prod-*\.pgdump.xz | tail -n 1'` \ + ./last.pgdump.xz + xz -fd last.pgdump.xz + pg_restore -c -d mam-prod last.pgdump + +# Sync database and media. See above lines +sync_local: sync_local_media sync_local_db + +# Push local compiled Vue to gimli test site +push_compiled_vue_to_test: + scp vue_frontend/webpack-stats.json mam-web@gimli:/akce/mam/www/mamweb-test/vue_frontend/ + rsync -ave ssh seminar/static/seminar/vue mam-web@gimli:/akce/mam/www/mamweb-test/seminar/static/seminar/ + ssh mam-web@gimli.ms.mff.cuni.cz 'cd /akce/mam/www/mamweb-test/ && . env/bin/activate && ./manage.py collectstatic --noinput' diff --git a/make/all b/make/all new file mode 100755 index 00000000..de25100a --- /dev/null +++ b/make/all @@ -0,0 +1,17 @@ +#!/bin/bash + +set -euo pipefail +. make/lib.sh + +echo "Install je trochu magický: + Spusť následující posloupnost příkazů: + make install_venv + . ${VENV_PATH}/bin/activate + make install_web + + Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev + Pokud chybová hláška obsahuje #include , nainstaluj si python3-dev + + Až skončíš s vývojem webu, spusť "deactivate". Tím zmizí '(${VENV_PATH})' ze začátku promptu." + + diff --git a/make/deploy b/make/deploy new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/deploy @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/deploy_prod b/make/deploy_prod new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/deploy_prod @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/install b/make/install new file mode 120000 index 00000000..d6d811b7 --- /dev/null +++ b/make/install @@ -0,0 +1 @@ +make/install_web \ No newline at end of file diff --git a/make/install_venv b/make/install_venv new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/install_venv @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/install_web b/make/install_web new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/install_web @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/lib.sh b/make/lib.sh new file mode 100644 index 00000000..e4aac157 --- /dev/null +++ b/make/lib.sh @@ -0,0 +1,26 @@ +#!/bin/false Tohle je knihovna, nemá se spouštět, ale načítat pomocí source(1) nebo '.' + +PYTHON="${PYTHON:-python3}" +VENV="${VENV:-${PYTHON} -m venv}" +VENV_PATH="${VENV_PATH:-env}" +BRANCH="${BRANCH:-master}" + +REPO="${REPO:-git@gitea.ks.matfyz.cz:mam/mamweb.git}" +GIMLI='gimli.ms.mff.cuni.cz' +GIMLI_LOGIN="mam-web@$GIMLI" +# Skutečné cesty, jak je vrátí `realpath` +PRODWEB="/aux/akce/mam/www/mamweb-prod" +TESTWEB="/aux/akce/mam/www/mamweb-test" + +function die { + echo "$@" >&2 + exit 1 +} + +# Vždycky chceme zajistit, že běžíme z rootu repozitáře +test -d '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z kořenového adresáře repozitáře." + +function ensure_venv { + test -f "$VENV_PATH/bin/activate" || $VENV "$VENV_PATH" + . "$VENV_PATH/bin/activate" +} diff --git a/make/push_compiled_vue_to_test b/make/push_compiled_vue_to_test new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/push_compiled_vue_to_test @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/run b/make/run new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/run @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/schema b/make/schema new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/schema @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/schema_all.pdf b/make/schema_all.pdf new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/schema_all.pdf @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/schema_seminar.pdf b/make/schema_seminar.pdf new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/schema_seminar.pdf @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_local b/make/sync_local new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_local @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_local_db b/make/sync_local_db new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_local_db @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_local_media b/make/sync_local_media new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_local_media @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_prod_flatpages b/make/sync_prod_flatpages new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_prod_flatpages @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_test b/make/sync_test new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_test @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_test_db_aggressive b/make/sync_test_db_aggressive new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_test_db_aggressive @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/sync_test_media b/make/sync_test_media new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/sync_test_media @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/test b/make/test new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/test @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail diff --git a/make/venv_check b/make/venv_check new file mode 100755 index 00000000..60347f1e --- /dev/null +++ b/make/venv_check @@ -0,0 +1,3 @@ +#!/bin/bash + +set -exuo pipefail From 75f388ddfb0fd8780c79ceaecb8b4685ffe9d676 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 7 Nov 2022 22:34:54 +0100 Subject: [PATCH 02/59] Fix symlink --- make/install | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/install b/make/install index d6d811b7..53e51b50 120000 --- a/make/install +++ b/make/install @@ -1 +1 @@ -make/install_web \ No newline at end of file +install_web \ No newline at end of file From 9f78963e7f26963cca1d8442d9508f5f179aa7d2 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 7 Nov 2022 23:12:57 +0100 Subject: [PATCH 03/59] =?UTF-8?q?Pozn=C3=A1mka=20o=20neplatnosti=20README?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/README.md b/README.md index 369dd30e..5d2f9c30 100644 --- a/README.md +++ b/README.md @@ -1,3 +1,5 @@ +**TODO: přepsat, tohle dávno neplatí!** + Basic commands for web development ================================== From 8b36e79f045c58d45f2432b9393f8c1babac0ff1 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 7 Nov 2022 23:14:06 +0100 Subject: [PATCH 04/59] Makefile reforma vol.2 [WIP] MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Už máme ty jednoduché targety (nebo byly smazány), zbývá dořešit několik složitých. --- Makefile_old | 63 ---------------------------------- make/install_venv | 3 ++ make/install_web | 13 +++++++ make/lib.sh | 1 + make/push_compiled_vue_to_test | 6 ++++ make/run | 5 +++ make/schema | 6 ++++ make/schema_all.pdf | 3 -- make/schema_seminar.pdf | 3 -- make/sync_local | 3 -- make/sync_local_db | 3 -- make/sync_local_media | 3 -- make/test | 5 +++ 13 files changed, 39 insertions(+), 78 deletions(-) delete mode 100755 make/schema_all.pdf delete mode 100755 make/schema_seminar.pdf delete mode 100755 make/sync_local delete mode 100755 make/sync_local_db delete mode 100755 make/sync_local_media diff --git a/Makefile_old b/Makefile_old index ccfdb143..d9f1f8a2 100644 --- a/Makefile_old +++ b/Makefile_old @@ -1,44 +1,3 @@ -.PHONY: all venv_check clean install install_web install_venv clean_venv clean_schema run test deploy_test deploy_prod sync_test_media sync_test_db sync_test sync_local_media sync_local_db sync_local - -install: install_web - -install_web: venv_check - @# venv může být příšerně starý, takže nejdříve upgradujeme venvové věci - pip install --upgrade pip - pip install --upgrade setuptools - # Instalace závislostí webu - pip install -r requirements.txt --upgrade - # Pro vygenerování tesdat spusť ./manage.py testdata - # Po vygenerování testdat spusť ./manage.py loaddata data/*, ať máš menu a další modely - # Pro synchronizaci flatpages spusť make sync_prod_flatpages - -install_venv: - ${VENV} ${VENV_PATH} - -clean_venv: - # Možná není 100% foolproof... - @test ! ${VENV_PATH} = . || ! echo "Smaž si prosím venv sám, nebudu mazat celý web" - rm -rfv ${VENV_PATH} - rm -f pip-selfcheck.json -clean_schema: - rm -f schema_seminar.pdf schema_all.pdf - -run: venv_check - ./manage.py runserver - -test: venv_check - ./manage.py test -v2 seminar mamweb - -# DB schemata - -schema: schema_seminar.pdf schema_all.pdf - -schema_seminar.pdf: venv_check - ./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf - -schema_all.pdf: venv_check - ./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf - # Deploy to current *mamweb-test* directory deploy: venv_check @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi @@ -104,25 +63,3 @@ sync_test_db_aggressive: # Sync test with production # HACK ALERT: using aggressive variant, due to the schemas being too different. sync_test: sync_test_media sync_test_db_aggressive - - -# Sync media directory with atrey. Useful for local development with production database -# Does not sync Galerie and CACHE (too huge). -sync_local_media: - rsync -ave ssh --exclude Galerie --exclude CACHE\ - mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/media/ ./media/ -# Downloads and restores production database to local database. PostgreSQL only. -sync_local_db: - scp mam-web@gimli.ms.mff.cuni.cz:`ssh mam-web@gimli.ms.mff.cuni.cz 'ls -v /akce/mam/www/backups/mam_prod-*\.pgdump.xz | tail -n 1'` \ - ./last.pgdump.xz - xz -fd last.pgdump.xz - pg_restore -c -d mam-prod last.pgdump - -# Sync database and media. See above lines -sync_local: sync_local_media sync_local_db - -# Push local compiled Vue to gimli test site -push_compiled_vue_to_test: - scp vue_frontend/webpack-stats.json mam-web@gimli:/akce/mam/www/mamweb-test/vue_frontend/ - rsync -ave ssh seminar/static/seminar/vue mam-web@gimli:/akce/mam/www/mamweb-test/seminar/static/seminar/ - ssh mam-web@gimli.ms.mff.cuni.cz 'cd /akce/mam/www/mamweb-test/ && . env/bin/activate && ./manage.py collectstatic --noinput' diff --git a/make/install_venv b/make/install_venv index 60347f1e..f5f3664f 100755 --- a/make/install_venv +++ b/make/install_venv @@ -1,3 +1,6 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +${VENV} ${VENV_PATH} diff --git a/make/install_web b/make/install_web index 60347f1e..5ebf963d 100755 --- a/make/install_web +++ b/make/install_web @@ -1,3 +1,16 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +ensure_venv + +# Aktualizace toolchainu +pip install --upgrade pip setuptools +# Instalace závislostí webu +pip install -r requirements.txt --upgrade + +# XXX: Připomínka z původního Makefile: +echo 'Pro vygenerování tesdat spusť ./manage.py testdata +Po vygenerování testdat spusť ./manage.py loaddata data/*, ať máš menu a další modely +Pro synchronizaci flatpages spusť make/sync_prod_flatpages' diff --git a/make/lib.sh b/make/lib.sh index e4aac157..3e4e99c9 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -18,6 +18,7 @@ function die { } # Vždycky chceme zajistit, že běžíme z rootu repozitáře +# TODO: chceme? Nechceme naopak umět to spouštět odkudkoliv, aspoň u většiny targetů? test -d '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z kořenového adresáře repozitáře." function ensure_venv { diff --git a/make/push_compiled_vue_to_test b/make/push_compiled_vue_to_test index 60347f1e..8ed57cd4 100755 --- a/make/push_compiled_vue_to_test +++ b/make/push_compiled_vue_to_test @@ -1,3 +1,9 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +scp vue_frontend/webpack-stats.json "$GIMLI_LOGIN:$TESTWEB/vue_frontend/" +rsync -ave ssh seminar/static/seminar/vue "$GIMLI_LOGIN:$TESTWEB/seminar/static/seminar/" +# TODO: Je OK tady zapínat venv přímo takhle, nebo by to taky mělo být enkapsulováno do nějakého skriptu (e.g. make/deploy/collect_static)? +ssh "$GIMLI_LOGIN" "cd $TESTWEB && . env/bin/activate && ./manage.py collectstatic --noinput' diff --git a/make/run b/make/run index 60347f1e..44852432 100755 --- a/make/run +++ b/make/run @@ -1,3 +1,8 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +ensure_venv + +./manage.py runserver diff --git a/make/schema b/make/schema index 60347f1e..9688e49a 100755 --- a/make/schema +++ b/make/schema @@ -1,3 +1,9 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +ensure_venv + +./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf +./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf diff --git a/make/schema_all.pdf b/make/schema_all.pdf deleted file mode 100755 index 60347f1e..00000000 --- a/make/schema_all.pdf +++ /dev/null @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/schema_seminar.pdf b/make/schema_seminar.pdf deleted file mode 100755 index 60347f1e..00000000 --- a/make/schema_seminar.pdf +++ /dev/null @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/sync_local b/make/sync_local deleted file mode 100755 index 60347f1e..00000000 --- a/make/sync_local +++ /dev/null @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/sync_local_db b/make/sync_local_db deleted file mode 100755 index 60347f1e..00000000 --- a/make/sync_local_db +++ /dev/null @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/sync_local_media b/make/sync_local_media deleted file mode 100755 index 60347f1e..00000000 --- a/make/sync_local_media +++ /dev/null @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/test b/make/test index 60347f1e..bdf9f12b 100755 --- a/make/test +++ b/make/test @@ -1,3 +1,8 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +ensure_venv + +./manage.py test -v2 From 657e73f2f0ac199dc9bf82bae029b3e634a1af45 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 7 Nov 2022 23:15:39 +0100 Subject: [PATCH 05/59] =?UTF-8?q?Pozn=C3=A1mka=20o=20d=C5=AFvodu=20existen?= =?UTF-8?q?ce=20Makefile?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Makefile | 1 + 1 file changed, 1 insertion(+) diff --git a/Makefile b/Makefile index 5e3acddc..5f902dda 100644 --- a/Makefile +++ b/Makefile @@ -1,3 +1,4 @@ +# Existence tohohle Makefile je tu jen proto, aby fungovala svalová paměť. Pokud můžete, použijte rovnou `make/…` %: @make/$* From 4f7c4057eafd8e49700650a57e4ead3f732addd5 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 14 Nov 2022 21:37:01 +0100 Subject: [PATCH 06/59] fix uvozovek Thanks shellcheck --- make/all | 2 +- make/push_compiled_vue_to_test | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/make/all b/make/all index de25100a..c6a92157 100755 --- a/make/all +++ b/make/all @@ -12,6 +12,6 @@ echo "Install je trochu magický: Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev Pokud chybová hláška obsahuje #include , nainstaluj si python3-dev - Až skončíš s vývojem webu, spusť "deactivate". Tím zmizí '(${VENV_PATH})' ze začátku promptu." + Až skončíš s vývojem webu, spusť 'deactivate'. Tím zmizí '(${VENV_PATH})' ze začátku promptu." diff --git a/make/push_compiled_vue_to_test b/make/push_compiled_vue_to_test index 8ed57cd4..f386ee86 100755 --- a/make/push_compiled_vue_to_test +++ b/make/push_compiled_vue_to_test @@ -6,4 +6,4 @@ set -exuo pipefail scp vue_frontend/webpack-stats.json "$GIMLI_LOGIN:$TESTWEB/vue_frontend/" rsync -ave ssh seminar/static/seminar/vue "$GIMLI_LOGIN:$TESTWEB/seminar/static/seminar/" # TODO: Je OK tady zapínat venv přímo takhle, nebo by to taky mělo být enkapsulováno do nějakého skriptu (e.g. make/deploy/collect_static)? -ssh "$GIMLI_LOGIN" "cd $TESTWEB && . env/bin/activate && ./manage.py collectstatic --noinput' +ssh "$GIMLI_LOGIN" "cd $TESTWEB && . env/bin/activate && ./manage.py collectstatic --noinput" From a9e7cd7af27014dc3904ae9039fb9feb68b09daa Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 14 Nov 2022 23:16:19 +0100 Subject: [PATCH 07/59] =?UTF-8?q?Deploy=20v=20nov=C3=A9m=20kab=C3=A1tu?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit prosím čtěte… --- Makefile_old | 35 ----------------------------------- make/deploy | 22 ++++++++++++++++++++++ make/deploy_prod | 31 +++++++++++++++++++++++++++++++ make/lib.sh | 42 ++++++++++++++++++++++++++++++++++++++++++ 4 files changed, 95 insertions(+), 35 deletions(-) diff --git a/Makefile_old b/Makefile_old index d9f1f8a2..20a19bdf 100644 --- a/Makefile_old +++ b/Makefile_old @@ -1,38 +1,3 @@ -# Deploy to current *mamweb-test* directory -deploy: venv_check - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in directory mamweb-test"; exit 1; fi - @echo "Installing version from origin/${BRANCH} ..." - git pull origin ${BRANCH} - git clean -f - make install - ./manage.py migrate - ./manage.py collectstatic --noinput - (chown -R :mam . || true ) - (chmod -R g+rX,go-w . || true ) - @echo Restarting systemd unit - systemctl --user restart mamweb-test.service - @echo Done. - -# Deploy to current *mamweb-prod* directory -deploy_prod: venv_check - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-prod" ]; then echo "Only possible in directory mamweb-prod"; exit 1; fi - @echo "Backing up production DB ..." - ( cd -P .. && ./backup_prod_db.sh ) - @echo "Installing version from origin/master ..." - git pull origin master - git clean -f - make install - ./manage.py migrate - ./manage.py collectstatic --noinput - (chown -R :mam . || true ) - (chmod -R g+rX,go-w . || true ) - @echo Restarting systemd user unit for MaM web - systemctl --user restart mamweb-prod.service - @echo Done. - - sync_prod_flatpages: venv_check @echo Downloading current version of flatpages from mamweb-prod. ssh mam-web@gimli.ms.mff.cuni.cz \ diff --git a/make/deploy b/make/deploy index 60347f1e..d25df6ce 100755 --- a/make/deploy +++ b/make/deploy @@ -1,3 +1,25 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +if test "$USER" != "mam-web"; +then + echo >&2 "Nasadit web smí jen uživatel mam-web" + exit 1 +fi + +if test "$(readlink -f .)" != "$TESTWEB"; +then + echo >&2 "Nasadit testweb lze jen v jeho složce" + exit 1 +fi + +CURRENT_BRANCH="$(git branch --show-current)" +BRANCH="${1:-$CURRENT_BRANCH}" + +safe_checkout_branch "$BRANCH" "$0" + +# Teď máme správnou větev, jdeme vše nainstalovat +install_everything +systemctl --user restart mamweb-test.service diff --git a/make/deploy_prod b/make/deploy_prod index 60347f1e..8e006938 100755 --- a/make/deploy_prod +++ b/make/deploy_prod @@ -1,3 +1,34 @@ #!/bin/bash set -exuo pipefail +. make/lib.sh + +if test "$USER" != "mam-web" +then + echo >&2 "Nasadit web smí jen uživatel mam-web" + exit 1 +fi + +if test "$(readlink -f .)" != "$PRODWEB" +then + echo >&2 "Nasadit testweb lze jen v jeho složce" + exit 1 +fi + +CURRENT_BRANCH="$(git branch --show-current)" +BRANCH="${1:-$CURRENT_BRANCH}" + +if test "$BRANCH" != master +then + echo "Pozor, nasazuješ na produkci větev, která není master ($BRANCH), chceš pokračovat? Pokud ne, sestřel tento skript." + read +fi + +# Záloha DB +( cd -P .. && ./backup_prod_db.sh ) + +safe_checkout_branch "$BRANCH" "$0" + +# Teď máme správnou větev, jdeme vše nainstalovat +install_everything +systemctl --user restart mamweb-prod.service diff --git a/make/lib.sh b/make/lib.sh index 3e4e99c9..fb56e991 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -25,3 +25,45 @@ function ensure_venv { test -f "$VENV_PATH/bin/activate" || $VENV "$VENV_PATH" . "$VENV_PATH/bin/activate" } + + +function safe_checkout_branch { + if "$#" -ne 2; + then + echo >&2 "Použití: $0 " + return 1 + fi + + BRANCH="$1" + SCRIPT="$2" + + echo "Debug: I am $0, $SCRIPT as param" + + git fetch --all + # Od teď si musíme dát pozor, abychom nezměnili kód, který právě běží. + # Zkontrolujeme, že se nemění tahle knihovna a skript, který běží. + if test $(git rev-parse @:make/lib.sh) != $(git rev-parse "$BRANCH":make/lib.sh) + then + echo >&2 "Změna v make/lib.sh, prosím pullni manuálně" + exit 1 + fi + if test $(git rev-parse @:"$SCRIPT") != $(git rev-parse "$BRANCH":"$SCRIPT") + then + echo >&2 "Změna v $SCRIPT, prosím pullni manuálně" + exit 1 + fi + git checkout "$BRANCH" + git pull + git clean -f +} + +function install_everything { + # Skoro celé nasazení webu je stejné pro testweb i pro produkci, tak je to tady dohromady + ensure_venv + make/install + ./manage.py migrate + ./manage.py collectstatic --noinput + chown -R :mam . || true + chmod -R g+rX,go-w . || true +} + From d80babfd73cab28df5ba6effe77edf680e51d2d6 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 14 Nov 2022 23:20:55 +0100 Subject: [PATCH 08/59] =?UTF-8?q?Smaz=C3=A1n=20obsah=20make/sync*?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Nic tam nebylo a teď je vidět ve `file *`, že tam nic není. --- make/sync_prod_flatpages | 3 --- make/sync_test | 3 --- make/sync_test_db_aggressive | 3 --- make/sync_test_media | 3 --- 4 files changed, 12 deletions(-) diff --git a/make/sync_prod_flatpages b/make/sync_prod_flatpages index 60347f1e..e69de29b 100755 --- a/make/sync_prod_flatpages +++ b/make/sync_prod_flatpages @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/sync_test b/make/sync_test index 60347f1e..e69de29b 100755 --- a/make/sync_test +++ b/make/sync_test @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/sync_test_db_aggressive b/make/sync_test_db_aggressive index 60347f1e..e69de29b 100755 --- a/make/sync_test_db_aggressive +++ b/make/sync_test_db_aggressive @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail diff --git a/make/sync_test_media b/make/sync_test_media index 60347f1e..e69de29b 100755 --- a/make/sync_test_media +++ b/make/sync_test_media @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail From 323477dbf23a46fa20e59ca47e5968a1c18e600c Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 14 Nov 2022 23:21:20 +0100 Subject: [PATCH 09/59] =?UTF-8?q?Smaz=C3=A1n=20venv=5Fcheck?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Je úplně k ničemu, když si nové skripty zapínají venv samy --- make/venv_check | 3 --- 1 file changed, 3 deletions(-) delete mode 100755 make/venv_check diff --git a/make/venv_check b/make/venv_check deleted file mode 100755 index 60347f1e..00000000 --- a/make/venv_check +++ /dev/null @@ -1,3 +0,0 @@ -#!/bin/bash - -set -exuo pipefail From f6d939fc31251ddfe451930e57275f842f287356 Mon Sep 17 00:00:00 2001 From: Pavel 'LEdoian' Turinsky Date: Tue, 15 Nov 2022 11:48:48 +0100 Subject: [PATCH 10/59] =?UTF-8?q?P=C5=99ebyte=C4=8Dn=C3=BD=20st=C5=99edn?= =?UTF-8?q?=C3=ADk?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/lib.sh b/make/lib.sh index fb56e991..8ae08e1f 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -28,7 +28,7 @@ function ensure_venv { function safe_checkout_branch { - if "$#" -ne 2; + if "$#" -ne 2 then echo >&2 "Použití: $0 " return 1 From 0458abb41900904d96d3a2d82f516296aa8509ae Mon Sep 17 00:00:00 2001 From: Pavel 'LEdoian' Turinsky Date: Tue, 15 Nov 2022 11:58:22 +0100 Subject: [PATCH 11/59] Kontroly prerekvizit do knihovny --- make/deploy | 13 ++----------- make/deploy_prod | 13 ++----------- make/lib.sh | 18 ++++++++++++++++++ 3 files changed, 22 insertions(+), 22 deletions(-) diff --git a/make/deploy b/make/deploy index d25df6ce..4e93d5e1 100755 --- a/make/deploy +++ b/make/deploy @@ -3,17 +3,8 @@ set -exuo pipefail . make/lib.sh -if test "$USER" != "mam-web"; -then - echo >&2 "Nasadit web smí jen uživatel mam-web" - exit 1 -fi - -if test "$(readlink -f .)" != "$TESTWEB"; -then - echo >&2 "Nasadit testweb lze jen v jeho složce" - exit 1 -fi +gimli_only +only_in_directory "$TESTWEB" CURRENT_BRANCH="$(git branch --show-current)" BRANCH="${1:-$CURRENT_BRANCH}" diff --git a/make/deploy_prod b/make/deploy_prod index 8e006938..0c10219d 100755 --- a/make/deploy_prod +++ b/make/deploy_prod @@ -3,17 +3,8 @@ set -exuo pipefail . make/lib.sh -if test "$USER" != "mam-web" -then - echo >&2 "Nasadit web smí jen uživatel mam-web" - exit 1 -fi - -if test "$(readlink -f .)" != "$PRODWEB" -then - echo >&2 "Nasadit testweb lze jen v jeho složce" - exit 1 -fi +gimli_only +only_in_directory "$PRODWEB" CURRENT_BRANCH="$(git branch --show-current)" BRANCH="${1:-$CURRENT_BRANCH}" diff --git a/make/lib.sh b/make/lib.sh index 8ae08e1f..20329d3f 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -26,6 +26,24 @@ function ensure_venv { . "$VENV_PATH/bin/activate" } +function gimli_only { + # Rovnou zkontrolujeme i uživatele + if test "$HOSTNAME" != gimli -o "$USER" != mam-web + then + echo "Tento příkaz se má spouštět na gimlim, chceš pokračovat? Pokud ne, sestřel tento skript." + read + fi +} + +function only_in_directory { + DIR="$1" + CURRENT="$(readlink -f .)" + if test "$CURRENT" != "$DIR" + then + echo "Tento příkaz se má spouštět ve složce $DIR, chceš pokračovat? Pokud ne, sestřel tento skript." + read + fi +} function safe_checkout_branch { if "$#" -ne 2 From 5cfadf9236890bcfc418f1b9af6aa223d7e1d1d1 Mon Sep 17 00:00:00 2001 From: Pavel 'LEdoian' Turinsky Date: Tue, 15 Nov 2022 12:05:12 +0100 Subject: [PATCH 12/59] =?UTF-8?q?Make:=20p=C5=99esunuty=20sync=5Ftest=5Fme?= =?UTF-8?q?dia?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Taky jsem smazal nějaké komentáře v Makefile_old, aby nepřekážely. --- Makefile_old | 8 -------- make/sync_test_media | 9 +++++++++ 2 files changed, 9 insertions(+), 8 deletions(-) diff --git a/Makefile_old b/Makefile_old index 20a19bdf..7f3799cc 100644 --- a/Makefile_old +++ b/Makefile_old @@ -7,12 +7,6 @@ sync_prod_flatpages: venv_check ./manage.py loaddata data/flat.json @echo "Done." -# Sync test media directory with production -sync_test_media: - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - @if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in /akce/mam/www/mamweb-test"; exit 1; fi - rsync -av --delete /akce/mam/www/mamweb-prod/media/ ./media - # Sync (with drop) test database with production database sync_test_db_aggressive: @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi @@ -25,6 +19,4 @@ sync_test_db_aggressive: psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" @echo Done. -# Sync test with production -# HACK ALERT: using aggressive variant, due to the schemas being too different. sync_test: sync_test_media sync_test_db_aggressive diff --git a/make/sync_test_media b/make/sync_test_media index e69de29b..d7991b65 100755 --- a/make/sync_test_media +++ b/make/sync_test_media @@ -0,0 +1,9 @@ +#!/bin/bash + +set -exuo pipefail +. make/lib.sh + +gimli_only +only_in_dir "$TESTWEB" + +rsync -av --delete "$PRODWEB/media/" ./media From 5abd93d27f82df656f95d66c823216ab6fc54ece Mon Sep 17 00:00:00 2001 From: Pavel 'LEdoian' Turinsky Date: Tue, 15 Nov 2022 12:16:50 +0100 Subject: [PATCH 13/59] Zbytek sync_test --- Makefile_old | 14 -------------- make/sync_test | 11 +++++++++++ make/sync_test_db_aggressive | 18 ++++++++++++++++++ 3 files changed, 29 insertions(+), 14 deletions(-) diff --git a/Makefile_old b/Makefile_old index 7f3799cc..3b32e7e7 100644 --- a/Makefile_old +++ b/Makefile_old @@ -6,17 +6,3 @@ sync_prod_flatpages: venv_check @echo "Applying downloaded flatpages." ./manage.py loaddata data/flat.json @echo "Done." - -# Sync (with drop) test database with production database -sync_test_db_aggressive: - @if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi - pg_dump mam_test > dump-test-`date +"%Y%m%d_%H%M"`.sql - pg_dump -Fc mam_prod > dump-prod.sql - @# I am not sure which shell is used, so I am calling bash to make sure - psql mam_test -c 'DROP OWNED BY "mam-web";' - pg_restore -c --if-exists -d mam_test dump-prod.sql - rm dump-prod.sql - psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" - @echo Done. - -sync_test: sync_test_media sync_test_db_aggressive diff --git a/make/sync_test b/make/sync_test index e69de29b..68c6020d 100755 --- a/make/sync_test +++ b/make/sync_test @@ -0,0 +1,11 @@ +#!/bin/bash + +set -exuo pipefail +. make/lib.sh + +# Prerekvizity nekontrolujeme, dokud voláme další make skripty, tak by akorát +# vedly k víc dotazům na stejnou věc a bylo by to otravné. Pokud tu někdy bude +# něco jiného, tak pak ať tu prerekvizity zmíněné jsou. + +make/sync_test_db_aggressive +make/sync_test_media diff --git a/make/sync_test_db_aggressive b/make/sync_test_db_aggressive index e69de29b..11faba7b 100755 --- a/make/sync_test_db_aggressive +++ b/make/sync_test_db_aggressive @@ -0,0 +1,18 @@ +#!/bin/bash + +set -exuo pipefail +. make/lib.sh + +gimli_only +# Teoreticky není potřeba, ale stejně jinde make skripty nejsou a pouštět to z +# produkce nezní jako běžný stav, kromě toho to aktuálně vyrábí pomocné soubory +# v aktuální složce (FIXME do budoucna) a to na produkci nechceme +only_in_directory "$TESTWEB" + +pg_dump mam_test > dump-test-`date +"%Y%m%d_%H%M"`.sql +pg_dump -Fc mam_prod > dump-prod.sql +psql mam_test -c 'DROP OWNED BY "mam-web";' +pg_restore -c --if-exists -d mam_test dump-prod.sql +rm dump-prod.sql +psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" + From 7c90c1ef5e4b7343ca6bc4a7d7a7c78c0c7b3af3 Mon Sep 17 00:00:00 2001 From: Pavel 'LEdoian' Turinsky Date: Tue, 15 Nov 2022 12:43:31 +0100 Subject: [PATCH 14/59] sync_prod_flatpages --- Makefile_old | 8 -------- make/sync_prod_flatpages | 18 ++++++++++++++++++ 2 files changed, 18 insertions(+), 8 deletions(-) delete mode 100644 Makefile_old diff --git a/Makefile_old b/Makefile_old deleted file mode 100644 index 3b32e7e7..00000000 --- a/Makefile_old +++ /dev/null @@ -1,8 +0,0 @@ -sync_prod_flatpages: venv_check - @echo Downloading current version of flatpages from mamweb-prod. - ssh mam-web@gimli.ms.mff.cuni.cz \ - "cd /akce/mam/www/mamweb-prod; . env/bin/activate; ./manage.py dumpdata flatpages --indent=2 > flat.json; ./fix_json.py flat.json flat_fixed.json" - rsync -ave ssh mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/flat_fixed.json data/flat.json - @echo "Applying downloaded flatpages." - ./manage.py loaddata data/flat.json - @echo "Done." diff --git a/make/sync_prod_flatpages b/make/sync_prod_flatpages index e69de29b..76c31f1b 100755 --- a/make/sync_prod_flatpages +++ b/make/sync_prod_flatpages @@ -0,0 +1,18 @@ +#!/bin/bash + +set -exuo pipefail +. make/lib.sh + +ensure_venv + +# TODO: This is very ugly, will fix in a future PR (hopefully) +ssh "$GIMLI_LOGIN" " + cd $PRODWEB + . env/bin/activate + ./manage.py dumpdata flatpages --indent=2 > flat.json + ./fix_json.py flat.json flat_fixed.json + " +rsync -ave ssh "$GIMLI_LOGIN:$PRODWEB/flat_fixed.json" data/flat.json + +./manage.py loaddata data/flat.json + From 4fd3a0c4f51f57a45a5bdf14fd73dabc1135aea4 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Thu, 17 Nov 2022 01:57:37 +0100 Subject: [PATCH 15/59] =?UTF-8?q?Hlasit=C4=9Bj=C5=A1=C3=AD=20varov=C3=A1n?= =?UTF-8?q?=C3=AD=20p=C5=99i=20pou=C5=BEit=C3=AD=20make?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Makefile | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/Makefile b/Makefile index 5f902dda..ff0af09e 100644 --- a/Makefile +++ b/Makefile @@ -1,9 +1,10 @@ # Existence tohohle Makefile je tu jen proto, aby fungovala svalová paměť. Pokud můžete, použijte rovnou `make/…` %: - @make/$* + # Používání make jako příkazu je zastaralé, prosím používej radši skripty ze složky make. Spouštím následující příkaz: + make/$* all: @# Nevím, proč to nefunguje bez těla, ale vlastně je mi to jedno… - @make/all + make/all .PHONY: all From 31834b7f8a26df3ab146152988bb416d2533f938 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:12:35 +0100 Subject: [PATCH 16/59] =?UTF-8?q?Zru=C5=A1en=20`make/all`?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Nic moc nedělal, tak jsem ho nahradil (IMHO lepší) dokumentací. --- Makefile | 3 +-- make/README.md | 34 ++++++++++++++++++++++++++++++++++ make/all | 17 ----------------- 3 files changed, 35 insertions(+), 19 deletions(-) create mode 100644 make/README.md delete mode 100755 make/all diff --git a/Makefile b/Makefile index ff0af09e..09d9acc8 100644 --- a/Makefile +++ b/Makefile @@ -4,7 +4,6 @@ make/$* all: - @# Nevím, proč to nefunguje bez těla, ale vlastně je mi to jedno… - make/all + @cat make/README.md .PHONY: all diff --git a/make/README.md b/make/README.md new file mode 100644 index 00000000..1d1baa47 --- /dev/null +++ b/make/README.md @@ -0,0 +1,34 @@ +Milý člověče, M&Mí web tě vítá. Prosím, neděs se, zkusím tě provést lokálním zprovozněním webu. + +Předně: většina příkazů bude asi vypisovat spoustu detailů, takže ti doporučuji +si tento text otevřít někde separátně. Nachází se v repozitáři v +`make/README.md`, případně si jej můžeš zobrazit hezčeji vykreslený na +[Gitee](https://gitea.ks.matfyz.cz/mam/mamweb/src/branch/master/make/README.md). + +O zprovoznění webu se stará hlavně skript `make/install_web`. Ten vytvoří +virtualenv (neexistuje-li) a nainstaluje do něj závislosti webu. Pak ovšem +budeš potřebovat nahrát další data do databáze, což uděláš pomocí příkazů +`./manage.py testdata` a `./manage.py loaddata data/*`. Skript +`make/install_web` ti to kdyžtak připomene. + +Samotný web spustíš třeba pomocí `make/run`, nebo ekvivalentně `./manage.py runserver`. + +Pozor: zatímco skripty v `make/` to nepotřebují, pro použití skriptu +`./manage.py` se potřebuješ přepnout do virtuálního prostředí. To uděláš velmi +pravděpodobně spuštěním `source env/bin/activate`, před začátkem _promptu_ by +se mělo objevit `(env)`. Pro opuštění spusť `deactivate`. + +Časté problémy +----- +Je možné, že nemáš všechny potřebné závislosti v systému. Proto je možné, že +`make/install_web` vyhodí nějakou chybovou hlášku: + +- `Error: pg_config executable not found.`: nainstaluj si `libpq-dev` (na Ubuntu/Debianu, jinde se příslušný balíček může jmenovat jinak) +- Chybová hláška obsahuje `#include `: nainstaluj si `python3-dev` + + + diff --git a/make/all b/make/all deleted file mode 100755 index c6a92157..00000000 --- a/make/all +++ /dev/null @@ -1,17 +0,0 @@ -#!/bin/bash - -set -euo pipefail -. make/lib.sh - -echo "Install je trochu magický: - Spusť následující posloupnost příkazů: - make install_venv - . ${VENV_PATH}/bin/activate - make install_web - - Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev - Pokud chybová hláška obsahuje #include , nainstaluj si python3-dev - - Až skončíš s vývojem webu, spusť 'deactivate'. Tím zmizí '(${VENV_PATH})' ze začátku promptu." - - From 1a56ba02f35d2540ca176276be64dfbe35c2277d Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:13:15 +0100 Subject: [PATCH 17/59] =?UTF-8?q?Make:=20v=C3=BDchoz=C3=AD=20target=20se?= =?UTF-8?q?=20jmenuje=20`default`?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit `all` tam nemá žádnou sémantiku… --- Makefile | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/Makefile b/Makefile index 09d9acc8..fb967112 100644 --- a/Makefile +++ b/Makefile @@ -3,7 +3,7 @@ # Používání make jako příkazu je zastaralé, prosím používej radši skripty ze složky make. Spouštím následující příkaz: make/$* -all: +default: @cat make/README.md -.PHONY: all +.PHONY: default From d0865010956dbf66f885e87c88050237b03248e6 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:15:00 +0100 Subject: [PATCH 18/59] =?UTF-8?q?make/lib:=20lok=C3=A1ln=C3=AD=20prom?= =?UTF-8?q?=C4=9Bnn=C3=A9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/make/lib.sh b/make/lib.sh index 20329d3f..727df395 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -36,8 +36,8 @@ function gimli_only { } function only_in_directory { - DIR="$1" - CURRENT="$(readlink -f .)" + local DIR="$1" + local CURRENT="$(readlink -f .)" if test "$CURRENT" != "$DIR" then echo "Tento příkaz se má spouštět ve složce $DIR, chceš pokračovat? Pokud ne, sestřel tento skript." @@ -52,8 +52,8 @@ function safe_checkout_branch { return 1 fi - BRANCH="$1" - SCRIPT="$2" + local BRANCH="$1" + local SCRIPT="$2" echo "Debug: I am $0, $SCRIPT as param" From 346079cee3e0eb20c924bf09af61e59eac8106a4 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:17:57 +0100 Subject: [PATCH 19/59] make/lib: Funkce install_everything je jen pro Gimliho --- make/lib.sh | 1 + 1 file changed, 1 insertion(+) diff --git a/make/lib.sh b/make/lib.sh index 727df395..bc919886 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -77,6 +77,7 @@ function safe_checkout_branch { function install_everything { # Skoro celé nasazení webu je stejné pro testweb i pro produkci, tak je to tady dohromady + gimli_only ensure_venv make/install ./manage.py migrate From ac9cb53185edf2c2ee29bea8bffece0d21015bc2 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:23:41 +0100 Subject: [PATCH 20/59] =?UTF-8?q?Hez=C4=8D=C3=AD=20SSH=20spojen=C3=AD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Přidal jsem `set -euxo pipefail`, takže nejsou potřeba `&&` a obecně se to chová víc jako ostatní make skripty - Venv se zapíná stejně jako v lokálních skriptech, takže se dá jednoduše změnit jeho cesta --- make/push_compiled_vue_to_test | 9 +++++++-- make/sync_prod_flatpages | 4 +++- 2 files changed, 10 insertions(+), 3 deletions(-) diff --git a/make/push_compiled_vue_to_test b/make/push_compiled_vue_to_test index f386ee86..99495a7b 100755 --- a/make/push_compiled_vue_to_test +++ b/make/push_compiled_vue_to_test @@ -5,5 +5,10 @@ set -exuo pipefail scp vue_frontend/webpack-stats.json "$GIMLI_LOGIN:$TESTWEB/vue_frontend/" rsync -ave ssh seminar/static/seminar/vue "$GIMLI_LOGIN:$TESTWEB/seminar/static/seminar/" -# TODO: Je OK tady zapínat venv přímo takhle, nebo by to taky mělo být enkapsulováno do nějakého skriptu (e.g. make/deploy/collect_static)? -ssh "$GIMLI_LOGIN" "cd $TESTWEB && . env/bin/activate && ./manage.py collectstatic --noinput" +ssh "$GIMLI_LOGIN" " + set -euxo pipefail + cd $TESTWEB + . make/lib.sh + ensure_venv + ./manage.py collectstatic --noinput + " diff --git a/make/sync_prod_flatpages b/make/sync_prod_flatpages index 76c31f1b..4d9d8e1f 100755 --- a/make/sync_prod_flatpages +++ b/make/sync_prod_flatpages @@ -7,8 +7,10 @@ ensure_venv # TODO: This is very ugly, will fix in a future PR (hopefully) ssh "$GIMLI_LOGIN" " + set -euxo pipefail cd $PRODWEB - . env/bin/activate + . make/lib.sh + ensure_venv ./manage.py dumpdata flatpages --indent=2 > flat.json ./fix_json.py flat.json flat_fixed.json " From e36410ee823bffb7e8dbe0be819aa78fc391cbea Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:27:16 +0100 Subject: [PATCH 21/59] =?UTF-8?q?make/lib:=20koment=C3=A1=C5=99e=20kolem?= =?UTF-8?q?=20git-rev-parse?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/make/lib.sh b/make/lib.sh index bc919886..062dc617 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -60,12 +60,13 @@ function safe_checkout_branch { git fetch --all # Od teď si musíme dát pozor, abychom nezměnili kód, který právě běží. # Zkontrolujeme, že se nemění tahle knihovna a skript, který běží. - if test $(git rev-parse @:make/lib.sh) != $(git rev-parse "$BRANCH":make/lib.sh) + # `git rev-parse` dává SHA-1 hashe objektů, vizte manuálovou stránku pro pochopení. + if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$BRANCH":make/lib.sh)" then echo >&2 "Změna v make/lib.sh, prosím pullni manuálně" exit 1 fi - if test $(git rev-parse @:"$SCRIPT") != $(git rev-parse "$BRANCH":"$SCRIPT") + if test "$(git rev-parse @:"$SCRIPT")" != "$(git rev-parse "$BRANCH":"$SCRIPT")" then echo >&2 "Změna v $SCRIPT, prosím pullni manuálně" exit 1 From 28760e2c4d0e8adb43c90b3eeed7f9c764996686 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:33:19 +0100 Subject: [PATCH 22/59] =?UTF-8?q?Smaz=C3=A1n=20install=5Fvenv?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Všechny make skripty stejně vyrábí venv přes `ensure_venv` a protože web nikdo nikdy nebude instalovat jinak (nebo když bude, tak asi ví, co dělá), tak tohle nedává smysl spouštět. --- make/install_venv | 6 ------ 1 file changed, 6 deletions(-) delete mode 100755 make/install_venv diff --git a/make/install_venv b/make/install_venv deleted file mode 100755 index f5f3664f..00000000 --- a/make/install_venv +++ /dev/null @@ -1,6 +0,0 @@ -#!/bin/bash - -set -exuo pipefail -. make/lib.sh - -${VENV} ${VENV_PATH} From 5963089539c955363f18a2558f5175ce5ae4fdae Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:37:27 +0100 Subject: [PATCH 23/59] =?UTF-8?q?make/lib:=20.git=20m=C5=AF=C5=BEe=20b?= =?UTF-8?q?=C3=BDt=20i=20norm=C3=A1ln=C3=AD=20soubor=20(worktree)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/lib.sh b/make/lib.sh index 062dc617..7df79d82 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -19,7 +19,7 @@ function die { # Vždycky chceme zajistit, že běžíme z rootu repozitáře # TODO: chceme? Nechceme naopak umět to spouštět odkudkoliv, aspoň u většiny targetů? -test -d '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z kořenového adresáře repozitáře." +test -e '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z kořenového adresáře repozitáře." function ensure_venv { test -f "$VENV_PATH/bin/activate" || $VENV "$VENV_PATH" From e4c2eda955aef9c1442189273f552f20401158c9 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:38:03 +0100 Subject: [PATCH 24/59] make/run bere parametry --- make/run | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/run b/make/run index 44852432..c601593a 100755 --- a/make/run +++ b/make/run @@ -5,4 +5,4 @@ set -exuo pipefail ensure_venv -./manage.py runserver +./manage.py runserver "$@" From a390ef03293d70945800a3fecbe5041ebfed03d9 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:40:03 +0100 Subject: [PATCH 25/59] =?UTF-8?q?make/lib:=20safe=5Fcheckout=5Fbranch=20st?= =?UTF-8?q?a=C4=8D=C3=AD=201=20parametr?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/deploy | 2 +- make/deploy_prod | 2 +- make/lib.sh | 6 ++---- 3 files changed, 4 insertions(+), 6 deletions(-) diff --git a/make/deploy b/make/deploy index 4e93d5e1..24ade165 100755 --- a/make/deploy +++ b/make/deploy @@ -9,7 +9,7 @@ only_in_directory "$TESTWEB" CURRENT_BRANCH="$(git branch --show-current)" BRANCH="${1:-$CURRENT_BRANCH}" -safe_checkout_branch "$BRANCH" "$0" +safe_checkout_branch "$BRANCH" # Teď máme správnou větev, jdeme vše nainstalovat install_everything diff --git a/make/deploy_prod b/make/deploy_prod index 0c10219d..ec3110c6 100755 --- a/make/deploy_prod +++ b/make/deploy_prod @@ -18,7 +18,7 @@ fi # Záloha DB ( cd -P .. && ./backup_prod_db.sh ) -safe_checkout_branch "$BRANCH" "$0" +safe_checkout_branch "$BRANCH" # Teď máme správnou větev, jdeme vše nainstalovat install_everything diff --git a/make/lib.sh b/make/lib.sh index 7df79d82..581252cf 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -48,14 +48,12 @@ function only_in_directory { function safe_checkout_branch { if "$#" -ne 2 then - echo >&2 "Použití: $0 " + echo >&2 "Použití: $0 " return 1 fi local BRANCH="$1" - local SCRIPT="$2" - - echo "Debug: I am $0, $SCRIPT as param" + local SCRIPT="$0" git fetch --all # Od teď si musíme dát pozor, abychom nezměnili kód, který právě běží. From 1615e921590d06e151d80b3bf8e56e615bc0ee2d Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:45:48 +0100 Subject: [PATCH 26/59] =?UTF-8?q?safe=5Fcheckout=5Fbranch:=20porovn=C3=A1v?= =?UTF-8?q?=C3=A1me=20proti=20upstreamu,=20ne=20aktu=C3=A1ln=C3=AD=20verzi?= =?UTF-8?q?.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/make/lib.sh b/make/lib.sh index 581252cf..e45df48f 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -59,12 +59,12 @@ function safe_checkout_branch { # Od teď si musíme dát pozor, abychom nezměnili kód, který právě běží. # Zkontrolujeme, že se nemění tahle knihovna a skript, který běží. # `git rev-parse` dává SHA-1 hashe objektů, vizte manuálovou stránku pro pochopení. - if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$BRANCH":make/lib.sh)" + if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$BRANCH"@{u}:make/lib.sh)" then echo >&2 "Změna v make/lib.sh, prosím pullni manuálně" exit 1 fi - if test "$(git rev-parse @:"$SCRIPT")" != "$(git rev-parse "$BRANCH":"$SCRIPT")" + if test "$(git rev-parse @:"$SCRIPT")" != "$(git rev-parse "$BRANCH"@{u}:"$SCRIPT")" then echo >&2 "Změna v $SCRIPT, prosím pullni manuálně" exit 1 From 34e751fd699b4b0e637935848b00145925925a4c Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:52:51 +0100 Subject: [PATCH 27/59] =?UTF-8?q?fixup!=20make/lib:=20safe=5Fcheckout=5Fbr?= =?UTF-8?q?anch=20sta=C4=8D=C3=AD=201=20parametr?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/lib.sh b/make/lib.sh index e45df48f..2085ad8f 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -46,7 +46,7 @@ function only_in_directory { } function safe_checkout_branch { - if "$#" -ne 2 + if test "$#" -ne 1 then echo >&2 "Použití: $0 " return 1 From b1e6448c3c47a0b2bc936c9bb4da18cdda3fb348 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 04:57:48 +0100 Subject: [PATCH 28/59] =?UTF-8?q?safe=5Fcheckout=5Fbranch:=20varov=C3=A1n?= =?UTF-8?q?=C3=AD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 1 + 1 file changed, 1 insertion(+) diff --git a/make/lib.sh b/make/lib.sh index 2085ad8f..ce4c9a4d 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -59,6 +59,7 @@ function safe_checkout_branch { # Od teď si musíme dát pozor, abychom nezměnili kód, který právě běží. # Zkontrolujeme, že se nemění tahle knihovna a skript, který běží. # `git rev-parse` dává SHA-1 hashe objektů, vizte manuálovou stránku pro pochopení. + # Pozor: tohle porovnává jen verze commitnuté do gitu. Lokální změny udělají něco náhodného… if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$BRANCH"@{u}:make/lib.sh)" then echo >&2 "Změna v make/lib.sh, prosím pullni manuálně" From 3fcc03b769014fad6be594c18b3d714eae1901a4 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 05:08:24 +0100 Subject: [PATCH 29/59] Shellcheck :-) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Ne že by mi na tom záviselo, ale kód to nezhoršuje a pokud to aspoň o trochu zmenší šanci na nějaké přehlédnutí, tak je to OK. A spoustu varování shellchecku jsem vyignoroval a nemíním plevelit kód komentáři, o čem všem vím a on ne :-) --- make/lib.sh | 4 ++-- make/sync_test_db_aggressive | 2 +- 2 files changed, 3 insertions(+), 3 deletions(-) diff --git a/make/lib.sh b/make/lib.sh index ce4c9a4d..f04b9941 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -60,12 +60,12 @@ function safe_checkout_branch { # Zkontrolujeme, že se nemění tahle knihovna a skript, který běží. # `git rev-parse` dává SHA-1 hashe objektů, vizte manuálovou stránku pro pochopení. # Pozor: tohle porovnává jen verze commitnuté do gitu. Lokální změny udělají něco náhodného… - if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$BRANCH"@{u}:make/lib.sh)" + if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$BRANCH@{u}":make/lib.sh)" then echo >&2 "Změna v make/lib.sh, prosím pullni manuálně" exit 1 fi - if test "$(git rev-parse @:"$SCRIPT")" != "$(git rev-parse "$BRANCH"@{u}:"$SCRIPT")" + if test "$(git rev-parse @:"$SCRIPT")" != "$(git rev-parse "$BRANCH@{u}":"$SCRIPT")" then echo >&2 "Změna v $SCRIPT, prosím pullni manuálně" exit 1 diff --git a/make/sync_test_db_aggressive b/make/sync_test_db_aggressive index 11faba7b..9acce93b 100755 --- a/make/sync_test_db_aggressive +++ b/make/sync_test_db_aggressive @@ -9,7 +9,7 @@ gimli_only # v aktuální složce (FIXME do budoucna) a to na produkci nechceme only_in_directory "$TESTWEB" -pg_dump mam_test > dump-test-`date +"%Y%m%d_%H%M"`.sql +pg_dump mam_test > "dump-test-$(date +"%Y%m%d_%H%M").sql" pg_dump -Fc mam_prod > dump-prod.sql psql mam_test -c 'DROP OWNED BY "mam-web";' pg_restore -c --if-exists -d mam_test dump-prod.sql From a184871bf9b26aa4977e5227a809a7a4811b24bd Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 05:16:02 +0100 Subject: [PATCH 30/59] =?UTF-8?q?make/lib:=20Kdy=C5=BE=20se=20to=20nepoved?= =?UTF-8?q?e,=20tak=20budeme=20k=C5=99i=C4=8Det?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Uvědomil jsem si, že aktuálně nejde skoro vůbec poznat, jestli make skript uspěl nebo ne. Tohle by se mělo vypsat, když se nepovede. Víc by se mi líbilo, kdyby úspěšné doběhnutí ohlásilo "OK", ale to neumím udělat bez nějakého zápatí skriptů. (Resp. uměl bych: make/lib může být interpretr, který na začátku zinicalizuje proměnné, pak natáhne příslušný skript a na konci ohlásí OK. Ale přijde mi to trochu moc magické, takže pokud někdo nebude nějak extra pro, tak to tak neudělám :-)) --- make/lib.sh | 2 ++ 1 file changed, 2 insertions(+) diff --git a/make/lib.sh b/make/lib.sh index f04b9941..135f859e 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -17,6 +17,8 @@ function die { exit 1 } +trap 'echo Něco se nepovedlo :-/' ERR + # Vždycky chceme zajistit, že běžíme z rootu repozitáře # TODO: chceme? Nechceme naopak umět to spouštět odkudkoliv, aspoň u většiny targetů? test -e '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z kořenového adresáře repozitáře." From 50eaaf9eb7838b8560e2823b26bda124c8e8f054 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 15:38:41 +0100 Subject: [PATCH 31/59] =?UTF-8?q?P=C5=99ed=C4=9Bl=C3=A1no=20Readme?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Teď vypadá víc jako readme, na které chceš narazit v gitee, než jako pár random tipů. Random tipy jsem přesunul do dokumentace --- README.md | 137 +++++++++++++++++++++++------------------------------- 1 file changed, 58 insertions(+), 79 deletions(-) diff --git a/README.md b/README.md index 5d2f9c30..94b8cf2d 100644 --- a/README.md +++ b/README.md @@ -1,79 +1,58 @@ -**TODO: přepsat, tohle dávno neplatí!** - -Basic commands for web development -================================== - -After you clone this repository, run `make`. It will download, locally install -and setup virtualenv and pip, and then locally install all required packages -from `requirements.txt`. - -When working with the code, always use the binaries in `./bin/`, such as -`bin/pip`, `bin/python`, ... never the global python, pip, ... -Use `make` and `./manage.py` for most things. - -Use git :-) - -Quickstart ----------- -Run the following commands: - make install_venv - . env/bin/activate - make install_web - -Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev -Pokud chybová hláška obsahuje #include , nainstaluj si python3-dev - -After finishing development, run "deactivate". - -Make commands -------------- - -* `make install` (or `make`) - locally install and setup virtualpy, install - required packages. Ran again installs missing packages. Run after changing - `requirements.txt`. - -* `make clean` - remove local python packages. - -* `make veryclean` - remove local packages and virtualpy enviroment and - binaries. - -* `make run` - runs "./manage.py runserver_plus" - -* `make push_test` - pushes the last commited version to test location. - Only git-commited changes are pushed! Rest is re-generated from scratch. - At test server, the media data and database are kept the same. - Everything else not in .gitignore is deleted/overwritten on the test server. - -* `make schema` - generates graph of seminar and all schemas as PDF. Supercool! - -* `make sync_prod_flatpages` - downloads and applies static/flat pages from mamweb-prod - -./manage.py commands --------------------- - -* `./manage.py migrate` - update the database schema, initialise the database. - You need to run this in the beginning. - -* `./manage.py runserver_plus` - run a debugging server for the web. Slightly - enhanced compared to `./manage.py runserver`. - Open [127.0.0.1:8000](127.0.0.1:8000). - -* `./manage.py testdata` - create pseudo-random seminar data and admin/admin - user. - -* `./manage.py test` - run the tests. - -* `./manage.py shell` - run commands, list elemements of database, check syntax - by importing files, etc. - -Configurations --------------- - -* `mamweb/settings_common.py` contains most configuration options. -* `mamweb/settings.py` is used only for local development. -* `mamweb/settings_test.py` is used for testing on atrey. -* `mamweb/settings_prod.py` is used in production deployment. - -These are automatically switched by `make`. - - +Web M&M +====== + +Tohle je repozitář s kódem M&Mího webu. Pokud zde hledáte web samotný nebo +informace o semináři, najdete je na (a upřímně nechápu, +jak jste se dostali k tomuhle textu :-D) + +Pokud jste tu zůstali, tak vás beztak zajímá vývoj webu (a jestli ne, tak +budeme rádi, když začne :-)). + +Co je M&Mweb uvnitř +------ +Celý náš web je napsaný v [Pythonu](https://www.python.org) ve frameworku +[Django](https://www.djangoproject.com/). Web běží na serveru zvaném Gimli, +jako databázi používá PostgreSQL (pro lokální vývoj naopak SQLite) a všechen +náš kód je uložený v [Gitu](https://git-scm.com/) na [téhle +gitee](https://gitea.ks.matfyz.cz/). Pro dokumentaci používáme +[Sphinx](https://www.sphinx-doc.org). + + + +Jak si web pořídit +------ +Prosím přečti si podrobnější návod v (tady by bylo zbytečné +ho duplikovat). + +Jak web vyvíjet +---- + + +Na webu je mnoho věcí k dělání, některé ani nevyžadují kódění (třeba uhánění +orgů, aby si psali medailonky, aktualizace fotek, …), některé se naopak týkají +infrastruktury pod kódem (Gitea, Gimli, …). Je proto těžké mít na to úplně +obecný návod, tak tady je zhruba návod na úpravy kódu a pokud se něco z toho +nedá aplikovat, tak to prostě zkus nějak udělat jinak, po svém. (Omlouvám se +neinformatikům, ale líp to teď nesepíšu :-)) + +1. Nejprve si stáhni repozitář a rozběhni si lokální web u sebe (viz ). +1. Najdi si problém v Kanboardu (klikni na „Issues“ na Gitee) a/nebo se domluv + s webaři, na čem bys tak mohl/a pracovat. +1. Najdi místo, kde se to dá opravit a zkus to tam opravit. Uznávám, že tenhle + bod je otravně obecný, pokud tápeš, zkus se zeptat zkušenějších webařů nebo + podívat do dokumentace. +1. Vyzkoušej, že ti to lokálně funguje tak, jak má. +1. Zvládneš-li a máš-li čas, zkus to i zdokumentovat a/nebo napsat testy (TODO: chybí návod) +1. Po dohodě s webaři to vyzkoušej na testwebu +1. Pošli pull-request a případně zkus reagovat na komentáře +1. Až se změna začlení do hlavní větve (`master`) a nasadí se web na produkci, + můžeš mít radost, že se web bude používat lépe Tobě i ostatním orgům :-) + +### Proč pull-requesty? + + +Účelů pull-requestů je několik. Jednak doufáme, že pomůže webařům se orientovat +v kódu, jednak tím umožňujeme dělat experimenty a dávat si zpětnou vazbu. V +neposlední řadě pomáhají držet aspoň trochu konzistentní kód, což má pomoci +pohodě při programování… (A asi jsem na něco zapomněl :-)) From bac44b41f8a489b0ac2a3d6af449632c9b264539 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 15:39:20 +0100 Subject: [PATCH 32/59] =?UTF-8?q?Dokumentace=20lok=C3=A1ln=C3=ADho=20v?= =?UTF-8?q?=C3=BDvoje?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Obsahuje tipy z Readme, obsahuje velkou část make/README.md. Zatím nevím, co provedu s make/README.md, ale na něco třeba přijdu :-) --- docs/vyvoj.rst | 197 ++++++++++++++++++++++++++++++++++++++++++++----- make/README.md | 32 -------- 2 files changed, 179 insertions(+), 50 deletions(-) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index 438e8199..3bfdace8 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -1,20 +1,181 @@ Lokální vývoj mamwebu ===================== -Stačí spustit:: - - ## Nahradte svym gimli username - git clone USER@gimli.ms.mff.cuni.cz:/akce/mam/git/mamweb.git mamweb - cd mamweb - ## Instalace je trochu magická, spusť následující posloupnost příkazů: - make install_venv - . env/bin/activate - make install_web - - ## Vygeneruje nejaka testovaci data (spis chuda) - ./manage.py testdata - ## Nahraje statické stránky, menu a obrázky v pozadí menu - ./manage.py loaddata data/* - ## Spusti testovaci server na http://127.0.0.1:8000/ - ./manage.py runserver - -Když si lokálně spustíte web, běží na http://127.0.0.1:8000/, admin najdete na http://127.0.0.1:8000/admin/ (admin/admin) Až skončíš s vývojem webu, spusť “deactivate”. Tím zmizí ‘(env)’ ze začátku promptu. \ No newline at end of file + +Asi hlavní část vývoje většiny webu probíhá lokálně. Každý tak může pracovat na +vlastních úpravách nezávisle na ostatních. + +Potřebné vybavení +------- + +Tento soupis cílí na nějakého typického vývojáře webu – Linuxáka. Jistě je +spousta dalších možností, které zde nejsou postihnuty – poraď se s webaři, +pokud si nejsi jistý. (Speciálně lze nějak vyvíjet na Windows, leč lze často +narazit na odlišné chování od Linuxu.) + +Motivace cílení na Linux je to, že Gimli je Linuxový stroj, takže je vývojové +prostředí pak podobné produkci a zmenšuje to množství odlišného chování. + +.. TODO: Na dokumentaci odlišného chování (Postgres vs. SQLite, Win vs. Linux, …) + by to asi chtělo výhledově separátní stránku, ale teď píšu tuhle :-) + +Nutné +^^^^ + +- `Git `_ +- `Python `_ + + - Ideálně ve verzi 3.9 (to je to, co je aktuálně (2022) na Gimlim) + - Včetně pip-u (na Ubuntu balíček ``python3-pip``) a knihoven pro kompilaci + Cčkových rozšíření (``python3-dev``) +- Knihovna pro práci s PostgreSQL (``libpq-dev``) +- Webový prohlížeč +- \*NIXový shell (typicky ``bash``) + +.. TODO: Pokud tu něco chybí, tak to dopiš :-) + +Kromě toho je potřeba mít účet na `Gitee `_, kde +bydlí gitový repozitář s kódem. + +Doporučené +^^^^^^^^^^ + +- Python wheel (možná řeší problémy s potřebou ``-dev`` balíčků…) +- Editor / IDE podporující `Editorconfig `_ +- Uživatelská zkušenost s `produkční verzí webu `_ +- Účet v `Kanci `_ + +.. TODO: A nejspíš další věci, na které jsem si teď nevzpomněl. + + +Zprovoznění +------- + +Nejprve je potřeba stáhnout si repozitář. To se provede příkazem ``git clone +https://gitea.ks.matfyz.cz/mam/mamweb.git``, případně ``git clone +git@gitea.ks.matfyz.cz:mam/mamweb.git``, pokud už máš nahraný SSH klíč na +Giteu. (Obě adresy se dají zkopírovat ze `stránky repozitáře +`_.) To vyrobí složku ``mamweb``, přepni +se do ní (``cd mamweb``) + +O zprovoznění webu se stará skript ``make/install_web``, stačí ho spustit. Ten +vytvoří virtualenv (neexistuje-li) a nainstaluje do něj závislosti webu (podle +souboru ``requirements.txt``). + +.. FIXME: Novowebaři zmínka o requirements.txt tady moc nepomůže, to má být na + stránce o celkové stavbě repozitáře a stacku… + +Následně je potřeba nahrát další data do databáze, což uděláš pomocí příkazů +``./manage.py testdata`` a ``./manage.py loaddata data/*``. Skript +``make/install_web`` to kdyžtak na konci připomene. + +.. caution:: Zatímco skripty v ``make/`` to nepotřebují, pro použití skriptu + ``./manage.py`` (a dalších) se potřebuješ přepnout do virtuálního prostředí. + To uděláš velmi pravděpodobně spuštěním ``source env/bin/activate``, před + začátkem *promptu* by se mělo objevit ``(env)``. Pro opuštění spusť + ``deactivate``. + +Samotný web se spustí třeba pomocí ``make/run``, nebo ekvivalentně +``./manage.py runserver`` a pak je vidět na ``_. + +Časté problémy +^^^^^^ + +- ``make/install_web`` vypíše ``Error: pg_config executable not found.``: + Chybí ``libpq-dev`` +- Chybová hláška obsahuje ``#include ``: chybí ``python3-dev`` +- Na webu není vidět meníčko: spusť ``./manage.py loaddata data/*`` + +S dalšími problémy se zkus obrátit na další webaře, třeba někdo bude vědět :-) + +Příkazy pro ovládání webu +------- + +Příkazy se dělí do několika skupin. Některé souvisí přímo s webem, Djangem, +databází a podobně, ty typicky používají ``./manage.py``. Skripty pro +obhospodařování repozitáře a webu „zvenku“ typicky bydlí ve složce ``make/``. +Ostatní skripty jsou na náhodných místech :-) + +Tady jsou rozebrány jen příkazy relevantní pro lokální web a univerzálně +užitečné, všechny by chtěly být sepsané jinde (ale zatím nejsou :-/) + +Make skripty +^^^^^^^ + +- ``make/install_web`` nainstaluje závislosti webu +- ``make/run`` spustí web (ekvivalentní s ``./manage.py runserver``) +- ``make/schema`` nakreslí schéma vazeb modelů (může se hodit pro referenci a představu) +- ``make/test`` spustí testy (ale moc jich zatím není; ekvivalentní s ``./manage.py test``) +- ``make/sync_prod_flatpages`` stáhne statické stránky z produkčního webu a + uloží je do souboru v gitu, což umožňuje jejich verzování +- ``make/push_compiled_vue_to_test`` nahraje lokálně zkompilované části + frontendu ve Vue na testweb (Gimli má typicky moc starou verzi nodejs, takže + nejde kompilovat tam.) + +Manage.py skripty +^^^^^ + +.. note:: Je potřeba je spouštět ve virtuálním prostředí, viz výše. + +Všechny skripty kdyžtak mají ``--help``, dá se tak zjistit, co všechno umějí. + +- ``./manage.py testdata`` vygeneruje spíše chudá testovací data, aby bylo na + čem testovat web. +- ``./manage.py loaddata `` nahraje data ze souborů do databáze +- ``./manage.py dumpdata `` naopak z databáze vyrobí textovou reprezentaci +- ``./manage.py shell`` spustí interaktivní pythoní shell, ze kterého lze + interagovat s webem / Djangem. +- ``./manage.py dbshell`` spustí databázový shell (typicky používá SQL) + +- ``./manage.py makemigrations`` vyrobí popis migrací, ``./manage.py migrate`` + je spustí, ``showmigrations`` ukáže, které migrace jsou aplikované a které + ne. +- ``./manage.py runserver_plus`` spouští o něco lepší vývojový server (ale + nikdy jsem asi ty lepší featury nepoužil) + +Může se hodit vědět, že spuštění ``./manage.py`` bez parametrů vypíše seznam +všech příkazů, které lze spustit. + +Dokumentace djangových příkazů je v `dokumentaci Djanga +`_ + +Ostatní užitečné příkazy +^^^^^ + +- ``git status`` je univerzální nápověda na aktuální stav repozitáře a co s tím + lze dělat. +- ``git clean -fxd`` smaže všechny soubory, které nejsou uložené v gitu (včetně + ignorovaných). **Nebezpečný příkaz**, zamysli se, než ho spustíš + +Specifika lokálního webu +------- + +Lokální uživatelé +^^^^^^^ + +Přihlašovací údaje jsou psány jako ``login:heslo`` + +- Superuživatel: ``admin:admin`` +- Orgovské účty: ``o:o``, ``o1:o1`` až ``o3:o3`` +- Řešitelské účty: ``r:r``, ``r1:r1`` až ``r3:r3`` + +Všechny tyto účty jsou (?) svázané s nějakými fiktivními osobami, není ale zřejmé se +kterými, budeš to muset vyzkoušet a pak tady zdokumentovat :-) + +E-maily +^^^^^ + +Posílání e-mailů se lokálně dá zkoušet, e-mail se vypíše do terminálu, kde je +web spuštěn (e.g. pomocí ``make/run``). + +Pruhy +^^^^ + +To, že má lokální web po stranách zelené pruhy je normální a správně, slouží to +k vizuálnímu odlišení lokálního webu. + +.. TODO: Mít někde popis všech tří instancí a tady na něj pak odkázat. +.. - Tahák k používání gitových větví: do workflow, ne sem… +.. - Užitečné odkazy – kam se kouknout + (dohledávání views podle URL, settings_*, ) +.. - Zpříjemnění práce (ssh-klíče, tea, --help, …) + diff --git a/make/README.md b/make/README.md index 1d1baa47..f7e873f1 100644 --- a/make/README.md +++ b/make/README.md @@ -1,34 +1,2 @@ Milý člověče, M&Mí web tě vítá. Prosím, neděs se, zkusím tě provést lokálním zprovozněním webu. -Předně: většina příkazů bude asi vypisovat spoustu detailů, takže ti doporučuji -si tento text otevřít někde separátně. Nachází se v repozitáři v -`make/README.md`, případně si jej můžeš zobrazit hezčeji vykreslený na -[Gitee](https://gitea.ks.matfyz.cz/mam/mamweb/src/branch/master/make/README.md). - -O zprovoznění webu se stará hlavně skript `make/install_web`. Ten vytvoří -virtualenv (neexistuje-li) a nainstaluje do něj závislosti webu. Pak ovšem -budeš potřebovat nahrát další data do databáze, což uděláš pomocí příkazů -`./manage.py testdata` a `./manage.py loaddata data/*`. Skript -`make/install_web` ti to kdyžtak připomene. - -Samotný web spustíš třeba pomocí `make/run`, nebo ekvivalentně `./manage.py runserver`. - -Pozor: zatímco skripty v `make/` to nepotřebují, pro použití skriptu -`./manage.py` se potřebuješ přepnout do virtuálního prostředí. To uděláš velmi -pravděpodobně spuštěním `source env/bin/activate`, před začátkem _promptu_ by -se mělo objevit `(env)`. Pro opuštění spusť `deactivate`. - -Časté problémy ------ -Je možné, že nemáš všechny potřebné závislosti v systému. Proto je možné, že -`make/install_web` vyhodí nějakou chybovou hlášku: - -- `Error: pg_config executable not found.`: nainstaluj si `libpq-dev` (na Ubuntu/Debianu, jinde se příslušný balíček může jmenovat jinak) -- Chybová hláška obsahuje `#include `: nainstaluj si `python3-dev` - - - From 2ffd3bf445eec5b86e300b4c1329bdae1106955e Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Sun, 20 Nov 2022 15:52:23 +0100 Subject: [PATCH 33/59] =?UTF-8?q?Aspo=C5=88=20trochu=20relevantn=C3=AD=20m?= =?UTF-8?q?ake/README.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit A není to zas tak moc README, spíš intro :-/ --- make/README.md | 9 ++++++++- 1 file changed, 8 insertions(+), 1 deletion(-) diff --git a/make/README.md b/make/README.md index f7e873f1..0597a96b 100644 --- a/make/README.md +++ b/make/README.md @@ -1,2 +1,9 @@ -Milý člověče, M&Mí web tě vítá. Prosím, neděs se, zkusím tě provést lokálním zprovozněním webu. +TL;DR: Web vyrobíš pomocí následující posloupnosti příkazů: + make/install_web + . env/bin/activate + ./manage.py testdata + ./manage.py loaddata data/* + make/run +a web potom najdeš na +Pro detaily a nápovědu si prosím přečti dokumentaci v docs/vyvoj.rst. From 25fcddfba8e0296d7eb43cf7d8b722841c0d0709 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 20:18:22 +0100 Subject: [PATCH 34/59] =?UTF-8?q?P=C5=99i=20deployi=20vyrob=20dokumentaci?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/deploy | 7 +++++++ 1 file changed, 7 insertions(+) diff --git a/make/deploy b/make/deploy index 24ade165..635364b6 100755 --- a/make/deploy +++ b/make/deploy @@ -14,3 +14,10 @@ safe_checkout_branch "$BRANCH" # Teď máme správnou větev, jdeme vše nainstalovat install_everything systemctl --user restart mamweb-test.service + +# Build dokumentace +ensure_venv +( + cd docs + make html +) From e612899dc2bfa9f7484a69b63797c55f4cb46740 Mon Sep 17 00:00:00 2001 From: MaM Web user Date: Mon, 21 Nov 2022 20:05:06 +0100 Subject: [PATCH 35/59] Requirements: myst_parser pro dokumentaci --- requirements.txt | 1 + 1 file changed, 1 insertion(+) diff --git a/requirements.txt b/requirements.txt index 9ad24a7f..d4713d76 100644 --- a/requirements.txt +++ b/requirements.txt @@ -62,3 +62,4 @@ lorem sphinx sphinx_rtd_theme +myst_parser From dfc12671197dcb85a8df83db3ce6df26963fc751 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 20:40:43 +0100 Subject: [PATCH 36/59] =?UTF-8?q?deploy:=20pr=C3=A1va=20k=20dokumentaci?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/deploy | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/make/deploy b/make/deploy index 635364b6..779bbd5c 100755 --- a/make/deploy +++ b/make/deploy @@ -21,3 +21,7 @@ ensure_venv cd docs make html ) +# Oprava práv k dokumentaci +setfacl -m u:www-data:x . docs docs/_build +setfacl -R -m u:www-data:rX docs/_build/html +setfacl -R -m default:u:www-data:rX docs/_build/html From 5c97735948bd727bae692415b7fef8ad53238be7 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 20:54:36 +0100 Subject: [PATCH 37/59] testweb heslo --- make/deploy | 3 +++ 1 file changed, 3 insertions(+) diff --git a/make/deploy b/make/deploy index 779bbd5c..eaccc25b 100755 --- a/make/deploy +++ b/make/deploy @@ -15,6 +15,9 @@ safe_checkout_branch "$BRANCH" install_everything systemctl --user restart mamweb-test.service +# Přihlášení +htpasswd -bc .htpasswd test lisakjelisak + # Build dokumentace ensure_venv ( From df9e473686300f0feee5ffa26cb5fda3005651ae Mon Sep 17 00:00:00 2001 From: MaM Web user Date: Mon, 21 Nov 2022 20:59:14 +0100 Subject: [PATCH 38/59] fixup! testweb heslo --- make/deploy | 1 + 1 file changed, 1 insertion(+) diff --git a/make/deploy b/make/deploy index eaccc25b..b615f73f 100755 --- a/make/deploy +++ b/make/deploy @@ -17,6 +17,7 @@ systemctl --user restart mamweb-test.service # Přihlášení htpasswd -bc .htpasswd test lisakjelisak +setfacl -m u:www-data:r .htpasswd # Build dokumentace ensure_venv From 5985c4940f23f0000c33e17b232ba8978342c07e Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 21:03:42 +0100 Subject: [PATCH 39/59] fix --- make/sync_test_media | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/sync_test_media b/make/sync_test_media index d7991b65..44b0e830 100755 --- a/make/sync_test_media +++ b/make/sync_test_media @@ -4,6 +4,6 @@ set -exuo pipefail . make/lib.sh gimli_only -only_in_dir "$TESTWEB" +only_in_directory "$TESTWEB" rsync -av --delete "$PRODWEB/media/" ./media From 66ce7d209da592422ec9f65decfaec2e59311e79 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 21:11:50 +0100 Subject: [PATCH 40/59] =?UTF-8?q?M=C3=A9n=C4=9B=20hlu=C4=8Dn=C3=A9=20testy?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/test | 1 + 1 file changed, 1 insertion(+) diff --git a/make/test b/make/test index bdf9f12b..ff5175c9 100755 --- a/make/test +++ b/make/test @@ -5,4 +5,5 @@ set -exuo pipefail ensure_venv +trap - ERR # Testy nejspíš selžou, ale nechceme kolem toho dělat další chybovou hlášku. ./manage.py test -v2 From 6b306f0849bc628bb2ec39f16c31eabdd0b15e12 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 21:57:41 +0100 Subject: [PATCH 41/59] ensure_venv v2 --- make/lib.sh | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/make/lib.sh b/make/lib.sh index 135f859e..195b6647 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -26,6 +26,11 @@ test -e '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z ko function ensure_venv { test -f "$VENV_PATH/bin/activate" || $VENV "$VENV_PATH" . "$VENV_PATH/bin/activate" + # To ale není všechno Horste – ten venv nemusí fungovat, chceme to ověřit a případně spadnout. + local SPRAVNA_CESTA="$(readlink -f "$env/bin/python")" + local SKUTECNA_CESTA="$(readlink -f "$(which python)")" + test "$SPRAVNA_CESTA" != "$SKUTECNA_CESTA" || die "Venv asi nefunguje. Prosím smaž si ho a zkus to znovu." + python -c 'print()' > /dev/null || die "Python ve venvu je rozbitý. Prosím smaž venv a zkus to znovu." } function gimli_only { From d468108188c40be69e71e84d0eeeabf894ce5517 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 21:59:38 +0100 Subject: [PATCH 42/59] ensure_web_installed --- make/lib.sh | 7 +++++++ make/run | 2 +- make/schema | 2 +- make/sync_prod_flatpages | 2 +- make/test | 2 +- 5 files changed, 11 insertions(+), 4 deletions(-) diff --git a/make/lib.sh b/make/lib.sh index 195b6647..a02b94e2 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -33,6 +33,13 @@ function ensure_venv { python -c 'print()' > /dev/null || die "Python ve venvu je rozbitý. Prosím smaž venv a zkus to znovu." } +function ensure_web_installed { + ensure_venv + python -c 'import django; print(django.__version__)' > /dev/null && return + echo >&2 "POZOR: Web nevypadá nainstalovaně, instaluji." + make/install_web +} + function gimli_only { # Rovnou zkontrolujeme i uživatele if test "$HOSTNAME" != gimli -o "$USER" != mam-web diff --git a/make/run b/make/run index c601593a..c3caf58d 100755 --- a/make/run +++ b/make/run @@ -3,6 +3,6 @@ set -exuo pipefail . make/lib.sh -ensure_venv +ensure_web_installed ./manage.py runserver "$@" diff --git a/make/schema b/make/schema index 9688e49a..05e84b61 100755 --- a/make/schema +++ b/make/schema @@ -3,7 +3,7 @@ set -exuo pipefail . make/lib.sh -ensure_venv +ensure_web_installed ./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf ./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf diff --git a/make/sync_prod_flatpages b/make/sync_prod_flatpages index 4d9d8e1f..ca32c95b 100755 --- a/make/sync_prod_flatpages +++ b/make/sync_prod_flatpages @@ -3,7 +3,7 @@ set -exuo pipefail . make/lib.sh -ensure_venv +ensure_web_installed # TODO: This is very ugly, will fix in a future PR (hopefully) ssh "$GIMLI_LOGIN" " diff --git a/make/test b/make/test index ff5175c9..155d03fa 100755 --- a/make/test +++ b/make/test @@ -3,7 +3,7 @@ set -exuo pipefail . make/lib.sh -ensure_venv +ensure_web_installed trap - ERR # Testy nejspíš selžou, ale nechceme kolem toho dělat další chybovou hlášku. ./manage.py test -v2 From dfede45535ce07ff36f99945a18abc57762315a1 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 22:17:52 +0100 Subject: [PATCH 43/59] init_local --- make/init_local | 10 ++++++++++ 1 file changed, 10 insertions(+) create mode 100755 make/init_local diff --git a/make/init_local b/make/init_local new file mode 100755 index 00000000..75ee1ccf --- /dev/null +++ b/make/init_local @@ -0,0 +1,10 @@ +#!/bin/bash + +set -exuo pipefail +. make/lib.sh + +make/install_web +ensure_venv +./manage.py testdata +./manage.py loaddata data/* +make/sync_prod_flatpages From 5e26ac5e692047b17effb549b2cf4a585262cbce Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 22:21:34 +0100 Subject: [PATCH 44/59] =?UTF-8?q?fix=20pr=C3=A1v=20v=20deploy?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/lib.sh | 2 ++ 1 file changed, 2 insertions(+) diff --git a/make/lib.sh b/make/lib.sh index a02b94e2..65f19e47 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -96,6 +96,8 @@ function install_everything { make/install ./manage.py migrate ./manage.py collectstatic --noinput + setfacl -R -m default:u:www-data:rX media static + setfacl -R -m u:www-data:rX media static chown -R :mam . || true chmod -R g+rX,go-w . || true } From 9c92ca6575f6afeacc7138f257f24c30dc5d9b9b Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 22:51:02 +0100 Subject: [PATCH 45/59] make/README.md z make_docs --- make/README.md | 43 +++++++++---------------------------------- 1 file changed, 9 insertions(+), 34 deletions(-) diff --git a/make/README.md b/make/README.md index 1d1baa47..0597a96b 100644 --- a/make/README.md +++ b/make/README.md @@ -1,34 +1,9 @@ -Milý člověče, M&Mí web tě vítá. Prosím, neděs se, zkusím tě provést lokálním zprovozněním webu. - -Předně: většina příkazů bude asi vypisovat spoustu detailů, takže ti doporučuji -si tento text otevřít někde separátně. Nachází se v repozitáři v -`make/README.md`, případně si jej můžeš zobrazit hezčeji vykreslený na -[Gitee](https://gitea.ks.matfyz.cz/mam/mamweb/src/branch/master/make/README.md). - -O zprovoznění webu se stará hlavně skript `make/install_web`. Ten vytvoří -virtualenv (neexistuje-li) a nainstaluje do něj závislosti webu. Pak ovšem -budeš potřebovat nahrát další data do databáze, což uděláš pomocí příkazů -`./manage.py testdata` a `./manage.py loaddata data/*`. Skript -`make/install_web` ti to kdyžtak připomene. - -Samotný web spustíš třeba pomocí `make/run`, nebo ekvivalentně `./manage.py runserver`. - -Pozor: zatímco skripty v `make/` to nepotřebují, pro použití skriptu -`./manage.py` se potřebuješ přepnout do virtuálního prostředí. To uděláš velmi -pravděpodobně spuštěním `source env/bin/activate`, před začátkem _promptu_ by -se mělo objevit `(env)`. Pro opuštění spusť `deactivate`. - -Časté problémy ------ -Je možné, že nemáš všechny potřebné závislosti v systému. Proto je možné, že -`make/install_web` vyhodí nějakou chybovou hlášku: - -- `Error: pg_config executable not found.`: nainstaluj si `libpq-dev` (na Ubuntu/Debianu, jinde se příslušný balíček může jmenovat jinak) -- Chybová hláška obsahuje `#include `: nainstaluj si `python3-dev` - - - +TL;DR: Web vyrobíš pomocí následující posloupnosti příkazů: + make/install_web + . env/bin/activate + ./manage.py testdata + ./manage.py loaddata data/* + make/run +a web potom najdeš na + +Pro detaily a nápovědu si prosím přečti dokumentaci v docs/vyvoj.rst. From d186575712d0519c7f399df6ddb642a954591e32 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 22:51:39 +0100 Subject: [PATCH 46/59] =?UTF-8?q?make/README.md:=20V=C3=ADc=20fancy,=20pou?= =?UTF-8?q?=C5=BE=C3=ADt=20make/init=5Flocal?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- make/README.md | 9 ++++----- 1 file changed, 4 insertions(+), 5 deletions(-) diff --git a/make/README.md b/make/README.md index 0597a96b..16b77901 100644 --- a/make/README.md +++ b/make/README.md @@ -1,9 +1,8 @@ +Milý člověče, M&Mí web tě vítá. Prosím, neděs se, zkusím tě provést lokálním zprovozněním webu. +Pro detaily a nápovědu si prosím přečti dokumentaci v docs/vyvoj.rst. + TL;DR: Web vyrobíš pomocí následující posloupnosti příkazů: - make/install_web - . env/bin/activate - ./manage.py testdata - ./manage.py loaddata data/* + make/init_local make/run a web potom najdeš na -Pro detaily a nápovědu si prosím přečti dokumentaci v docs/vyvoj.rst. From 41c2ed0dee42df8ceab7b34fe09ddef1d6064b5c Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 23:48:12 +0100 Subject: [PATCH 47/59] =?UTF-8?q?Dokumentace=20make=20skript=C5=AF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/skripty.rst | 108 +++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 108 insertions(+) create mode 100644 docs/skripty.rst diff --git a/docs/skripty.rst b/docs/skripty.rst new file mode 100644 index 00000000..ca45394b --- /dev/null +++ b/docs/skripty.rst @@ -0,0 +1,108 @@ +Skripty pro práci s repozitářem +=================== + +Máme dvě hlavní sady skriptů/příkazů na ovládání webu a repozitáře. Skripty pro +práci s webem psané v Pythonu jsou uložené ve složkách +``/management/commands/``, případně vestavěné, a volají se pomocí +``./manage.py ``. Oproti tomu skripty pro práci s repozitářem a pro +úpravy databáze a souborů „zvenčí“ se nejčastěji nacházejí ve složce ``make/`` +a volají se pomocí cesty: ``make/``. + +Občas existují i nějaké další skripty na různých jiných místech. Všechny by +měly být ideálně popsány asi tady. + +Make skripty +---- + +Skripty v ``make/`` se označují jako „Make skripty“. Slouží často k velkým +úkonům s repozitářem, jako je nasazení celého webu, zprovoznění lokálního webu +a podobně. + +.. hint:: Označení pro tyto skripty je dáno tím, že byly původně volány pomocí + make (tj. z Makefile). Ve skutečnosti je lze stále volat i jako ``make + ``, ale pak není možné předávat parametry a obecně je tato cesta + zastaralá a existuje jen pro zpětnou kompatibilitu se svalovou pamětí. + +Tyto skripty jsou samonosné, dají se spustit rovnou a v případě problémů si +budou hlasitě stěžovat. Pro účely debugování různých věcí jsou ale (bohužel?) +hlasité i při normálním spuštění, konkrétně vypisují všechny příkazy, které se +spouštějí (\ ``set -x``). Tyto příkazy jsou vidět za jedním či více plusky (\ ``+``). + +.. tip:: Pokud některý make skript selže, tak by na konci měl vypsat, že se něco nepovedlo. + + +Knihovna ``make/lib.sh`` +^^^^^^ + +Pro pohodlí při psaní velká část z nich využívá knihovnu uloženou +v ``make/lib.sh``. Jsou zde definované užitečné proměnné, kontroly a společný +kód. Kromě toho při inicializaci otestuje, že je skript spuštěn z kořene +repozitáře (takže to pak není potřeba zkoumat v ostatních skriptech). + +Proměnné +""""" + +Popsány jsou jen užitečné proměnné, ve skutečnosti jich je definovaných víc, +ale jsou triviální a samopopisné. + +``VENV_PATH`` : + Cesta virtuálního prostředí. Též lze přepsat. +``REPO`` : + Cesta ke gitovému repozitáři na serveru, rovnou použitelná v ``git clone`` +``GIMLI_LOGIN`` : + Přihlašovací údaje ke Gimlimu +``PRODWEB`` a ``TESTWEB`` : + Cesty ke složkám s produkčním a testovacím webem + +Funkce a další zkratky +"""""" + +``ensure_venv`` : + Zajistí, že se zbytek skriptu spustí ve virtuálním prostředí, a pokud neexistuje, tak jej založí. +``ensure_web_installed`` : + Vyzkouší, že je web (django) aspoň elementárně zprovozněno a pokud ne, tak vyzve uživatele, aby to spravil. +``gimli_only`` : + Otestuje, že je příkaz spuštěn na Gimlim, pokud tomu tak není, zeptá se, jestli si uživatel skutečně přeje zbytek skriptu vykonat +``only_in_directory `` : + Otestuje, že skript běží z konkrétní složky. Zejména použitelné s ``gimli_only`` a ``$TESTWEB`` +``safe_checkout_branch `` : + Bezpečně přepne repozitář na jinou větev. Pokud by mělo dojít k přepsání + knihovny nebo volajícího make skriptu, vyzve uživatele, aby přepnul ručně. +``install_everything`` : + Společná část kódu pro nasazování produkce a testwebu. + +Skripty pro lokální vývoj +^^^^^^^ + +``make/install_web`` (nebo ekvivalentně ``make/install``) : + Vytvoří virtualenv a nainstaluje do něj závislosti webu podle ``requirements.txt``. Následně popíše, jak vyrobit zbytek lokálního webu. +``make/run`` : + Spustí lokální web (ekvivalentní s ``./manage.py runserver``) +``make/schema`` : + Vykreslí závislosti a atributy modelů +``make/sync_prod_flatpages`` : + Stáhne z produkce aktuální statické stránky a uloží je do složky ``data/`` +``make/test`` : + Spustí testy (ekvivalentní s ``./manage.py test -v2``) +``make/init_local`` : + Zkratka za posloupnost ``make/install_web``, ``./manage.py testdata``, ``./manage.py loaddata data/*``, ``make/sync_prod_flatpages`` + +Práce s testwebem +^^^^^^^ + +``make/deploy`` : + Nasadí testweb. Volitelně bere jako parametr jméno větve, kterou má nasadit. + Rovnou nastaví přihlašování a vygeneruje příslušnou verzi dokumentace `sem `_. +``make/push_compiled_vue_to_test`` : + **Neotestováno** Nahraje Vue z lokálního počítače na testweb. (Gimli často má moc starou verzi Node.js, takže nejde zkompilovat tam) +``make/sync_test_db_aggressive`` : + Zkopíruje databázi z produkčního webu. +``make/sync_test_media`` : + Zkopíruje média (obrázky, nahrané soubory) z produkčního webu. +``make/sync_test`` : + Zkratka za ``make/sync_test_db_aggressive`` + ``make/sync_test_media``. + +Nasazení produkce +^^^^ + +``make/deploy_prod``. Před samotným nasazením zálohuje databázi a zkontroluje, že se nasazuje větev ``master``. From fef51e2a755dd3fa4c9f013841c2382e4d0856ee Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 23:52:58 +0100 Subject: [PATCH 48/59] =?UTF-8?q?fixup!=20Dokumentace=20make=20skript?= =?UTF-8?q?=C5=AF?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/skripty.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/skripty.rst b/docs/skripty.rst index ca45394b..aa2d8016 100644 --- a/docs/skripty.rst +++ b/docs/skripty.rst @@ -18,7 +18,7 @@ Skripty v ``make/`` se označují jako „Make skripty“. Slouží často k vel úkonům s repozitářem, jako je nasazení celého webu, zprovoznění lokálního webu a podobně. -.. hint:: Označení pro tyto skripty je dáno tím, že byly původně volány pomocí +.. note:: Označení pro tyto skripty je dáno tím, že byly původně volány pomocí make (tj. z Makefile). Ve skutečnosti je lze stále volat i jako ``make ``, ale pak není možné předávat parametry a obecně je tato cesta zastaralá a existuje jen pro zpětnou kompatibilitu se svalovou pamětí. From 1b34c2dbc443cc9202cbd583a5bb7a09e7dff4b2 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Mon, 21 Nov 2022 23:59:19 +0100 Subject: [PATCH 49/59] =?UTF-8?q?P=C5=99id=C3=A1n=C3=AD=20do=20sidebaru?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/index.rst | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/index.rst b/docs/index.rst index 10d6016f..92d27c50 100644 --- a/docs/index.rst +++ b/docs/index.rst @@ -13,6 +13,7 @@ Vítejte v dokumentaci M&Mího webu! vyvoj sphinx dalsi_soubory + skripty modules/modules zapisy/zapisy From 61bb9786b30d1e26e3558efbd584e00c3bdc3ad4 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Tue, 22 Nov 2022 00:00:22 +0100 Subject: [PATCH 50/59] =?UTF-8?q?Zru=C5=A1en=C3=AD=20dvojte=C4=8Dek?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/skripty.rst | 42 +++++++++++++++++++++--------------------- 1 file changed, 21 insertions(+), 21 deletions(-) diff --git a/docs/skripty.rst b/docs/skripty.rst index aa2d8016..8f9e1064 100644 --- a/docs/skripty.rst +++ b/docs/skripty.rst @@ -45,61 +45,61 @@ Proměnné Popsány jsou jen užitečné proměnné, ve skutečnosti jich je definovaných víc, ale jsou triviální a samopopisné. -``VENV_PATH`` : +``VENV_PATH`` Cesta virtuálního prostředí. Též lze přepsat. -``REPO`` : +``REPO`` Cesta ke gitovému repozitáři na serveru, rovnou použitelná v ``git clone`` -``GIMLI_LOGIN`` : +``GIMLI_LOGIN`` Přihlašovací údaje ke Gimlimu -``PRODWEB`` a ``TESTWEB`` : +``PRODWEB`` a ``TESTWEB`` Cesty ke složkám s produkčním a testovacím webem Funkce a další zkratky """""" -``ensure_venv`` : +``ensure_venv`` Zajistí, že se zbytek skriptu spustí ve virtuálním prostředí, a pokud neexistuje, tak jej založí. -``ensure_web_installed`` : +``ensure_web_installed`` Vyzkouší, že je web (django) aspoň elementárně zprovozněno a pokud ne, tak vyzve uživatele, aby to spravil. -``gimli_only`` : +``gimli_only`` Otestuje, že je příkaz spuštěn na Gimlim, pokud tomu tak není, zeptá se, jestli si uživatel skutečně přeje zbytek skriptu vykonat -``only_in_directory `` : +``only_in_directory `` Otestuje, že skript běží z konkrétní složky. Zejména použitelné s ``gimli_only`` a ``$TESTWEB`` -``safe_checkout_branch `` : +``safe_checkout_branch `` Bezpečně přepne repozitář na jinou větev. Pokud by mělo dojít k přepsání knihovny nebo volajícího make skriptu, vyzve uživatele, aby přepnul ručně. -``install_everything`` : +``install_everything`` Společná část kódu pro nasazování produkce a testwebu. Skripty pro lokální vývoj ^^^^^^^ -``make/install_web`` (nebo ekvivalentně ``make/install``) : +``make/install_web`` (nebo ekvivalentně ``make/install``) Vytvoří virtualenv a nainstaluje do něj závislosti webu podle ``requirements.txt``. Následně popíše, jak vyrobit zbytek lokálního webu. -``make/run`` : +``make/run`` Spustí lokální web (ekvivalentní s ``./manage.py runserver``) -``make/schema`` : +``make/schema`` Vykreslí závislosti a atributy modelů -``make/sync_prod_flatpages`` : +``make/sync_prod_flatpages`` Stáhne z produkce aktuální statické stránky a uloží je do složky ``data/`` -``make/test`` : +``make/test`` Spustí testy (ekvivalentní s ``./manage.py test -v2``) -``make/init_local`` : +``make/init_local`` Zkratka za posloupnost ``make/install_web``, ``./manage.py testdata``, ``./manage.py loaddata data/*``, ``make/sync_prod_flatpages`` Práce s testwebem ^^^^^^^ -``make/deploy`` : +``make/deploy`` Nasadí testweb. Volitelně bere jako parametr jméno větve, kterou má nasadit. Rovnou nastaví přihlašování a vygeneruje příslušnou verzi dokumentace `sem `_. -``make/push_compiled_vue_to_test`` : +``make/push_compiled_vue_to_test`` **Neotestováno** Nahraje Vue z lokálního počítače na testweb. (Gimli často má moc starou verzi Node.js, takže nejde zkompilovat tam) -``make/sync_test_db_aggressive`` : +``make/sync_test_db_aggressive`` Zkopíruje databázi z produkčního webu. -``make/sync_test_media`` : +``make/sync_test_media`` Zkopíruje média (obrázky, nahrané soubory) z produkčního webu. -``make/sync_test`` : +``make/sync_test`` Zkratka za ``make/sync_test_db_aggressive`` + ``make/sync_test_media``. Nasazení produkce From fc6f29bbf15abd4a4da7037d39e7d889dcbc26f8 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Tue, 22 Nov 2022 00:05:56 +0100 Subject: [PATCH 51/59] Fix hesel --- docs/vyvoj.rst | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index 3bfdace8..c2eb3d1f 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -155,8 +155,8 @@ Lokální uživatelé Přihlašovací údaje jsou psány jako ``login:heslo`` - Superuživatel: ``admin:admin`` -- Orgovské účty: ``o:o``, ``o1:o1`` až ``o3:o3`` -- Řešitelské účty: ``r:r``, ``r1:r1`` až ``r3:r3`` +- Orgovské účty: ``o:o``, ``o1:o`` až ``o3:o`` +- Řešitelské účty: ``r:r``, ``r1:r`` až ``r3:r`` Všechny tyto účty jsou (?) svázané s nějakými fiktivními osobami, není ale zřejmé se kterými, budeš to muset vyzkoušet a pak tady zdokumentovat :-) From 4549a91e062a9886ed6d952ee1d31a33384d46ed Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Tue, 22 Nov 2022 00:11:16 +0100 Subject: [PATCH 52/59] =?UTF-8?q?Dokumentace=20Jid=C3=A1=C5=A1ova=20bugu?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Není to častý bug, ale nějaký obsah přece potřebujeme :-) --- docs/vyvoj.rst | 3 +++ 1 file changed, 3 insertions(+) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index c2eb3d1f..08d44e38 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -84,6 +84,9 @@ Samotný web se spustí třeba pomocí ``make/run``, nebo ekvivalentně Chybí ``libpq-dev`` - Chybová hláška obsahuje ``#include ``: chybí ``python3-dev`` - Na webu není vidět meníčko: spusť ``./manage.py loaddata data/*`` +- ``locale.Error: unsupported locale setting``: Chybí podpora pro příslušný + jazyk ve tvém systému. Odkomentuj příslušnou lokalizaci v ``/etc/locale.gen`` + a spusť ``locale-gen`` jako root, tím se to spraví. S dalšími problémy se zkus obrátit na další webaře, třeba někdo bude vědět :-) From 4853a47899944039bfe28a9eae2ec97fdf838c2c Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Tue, 22 Nov 2022 00:11:41 +0100 Subject: [PATCH 53/59] =?UTF-8?q?vyvoj.rst:=20Odkaz=20na=20dokumentaci=20m?= =?UTF-8?q?ake=20skript=C5=AF=20+=20smaz=C3=A1n=C3=AD=20irelevantn=C3=ADho?= =?UTF-8?q?=20p=C5=99=C3=ADkazu?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/vyvoj.rst | 5 +---- 1 file changed, 1 insertion(+), 4 deletions(-) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index 08d44e38..625245a1 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -99,7 +99,7 @@ obhospodařování repozitáře a webu „zvenku“ typicky bydlí ve složce `` Ostatní skripty jsou na náhodných místech :-) Tady jsou rozebrány jen příkazy relevantní pro lokální web a univerzálně -užitečné, všechny by chtěly být sepsané jinde (ale zatím nejsou :-/) +užitečné, ostatní najdeš v :ref:`Skripty pro práci s repozitářem` Make skripty ^^^^^^^ @@ -110,9 +110,6 @@ Make skripty - ``make/test`` spustí testy (ale moc jich zatím není; ekvivalentní s ``./manage.py test``) - ``make/sync_prod_flatpages`` stáhne statické stránky z produkčního webu a uloží je do souboru v gitu, což umožňuje jejich verzování -- ``make/push_compiled_vue_to_test`` nahraje lokálně zkompilované části - frontendu ve Vue na testweb (Gimli má typicky moc starou verzi nodejs, takže - nejde kompilovat tam.) Manage.py skripty ^^^^^ From 1bfe8cee5ee88e190719416f080d22fa0b067f08 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Tue, 22 Nov 2022 00:22:01 +0100 Subject: [PATCH 54/59] =?UTF-8?q?te=C4=8Dka?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/vyvoj.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index 625245a1..cedd7a67 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -99,7 +99,7 @@ obhospodařování repozitáře a webu „zvenku“ typicky bydlí ve složce `` Ostatní skripty jsou na náhodných místech :-) Tady jsou rozebrány jen příkazy relevantní pro lokální web a univerzálně -užitečné, ostatní najdeš v :ref:`Skripty pro práci s repozitářem` +užitečné, ostatní najdeš v :ref:`Skripty pro práci s repozitářem`. Make skripty ^^^^^^^ From d8554ad70dad95da64f1df984afa800e011397b9 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Thu, 24 Nov 2022 02:05:09 +0100 Subject: [PATCH 55/59] =?UTF-8?q?Ubuntu=20m=C3=A1=20i=20venv=20v=20separ?= =?UTF-8?q?=C3=A1tn=C3=ADm=20bal=C3=AD=C4=8Dku?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/vyvoj.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index cedd7a67..583521b1 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -25,7 +25,7 @@ Nutné - `Python `_ - Ideálně ve verzi 3.9 (to je to, co je aktuálně (2022) na Gimlim) - - Včetně pip-u (na Ubuntu balíček ``python3-pip``) a knihoven pro kompilaci + - Včetně pip-u (na Ubuntu balíček ``python3-pip``), venvu (``python3-venv``) a knihoven pro kompilaci Cčkových rozšíření (``python3-dev``) - Knihovna pro práci s PostgreSQL (``libpq-dev``) - Webový prohlížeč From fcd1320b45781e488f54d23a4f26f718d2e276a5 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Thu, 24 Nov 2022 02:23:03 +0100 Subject: [PATCH 56/59] Fix cesty --- make/lib.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/lib.sh b/make/lib.sh index 65f19e47..fad464a5 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -27,7 +27,7 @@ function ensure_venv { test -f "$VENV_PATH/bin/activate" || $VENV "$VENV_PATH" . "$VENV_PATH/bin/activate" # To ale není všechno Horste – ten venv nemusí fungovat, chceme to ověřit a případně spadnout. - local SPRAVNA_CESTA="$(readlink -f "$env/bin/python")" + local SPRAVNA_CESTA="$(readlink -f "$VENV_PATH/bin/python")" local SKUTECNA_CESTA="$(readlink -f "$(which python)")" test "$SPRAVNA_CESTA" != "$SKUTECNA_CESTA" || die "Venv asi nefunguje. Prosím smaž si ho a zkus to znovu." python -c 'print()' > /dev/null || die "Python ve venvu je rozbitý. Prosím smaž venv a zkus to znovu." From 9fefbd4bbac1d680231ad2fa87279168fa2f469e Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Thu, 24 Nov 2022 02:50:46 +0100 Subject: [PATCH 57/59] Fix logiky --- make/lib.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/make/lib.sh b/make/lib.sh index fad464a5..9dc3d6c5 100644 --- a/make/lib.sh +++ b/make/lib.sh @@ -29,7 +29,7 @@ function ensure_venv { # To ale není všechno Horste – ten venv nemusí fungovat, chceme to ověřit a případně spadnout. local SPRAVNA_CESTA="$(readlink -f "$VENV_PATH/bin/python")" local SKUTECNA_CESTA="$(readlink -f "$(which python)")" - test "$SPRAVNA_CESTA" != "$SKUTECNA_CESTA" || die "Venv asi nefunguje. Prosím smaž si ho a zkus to znovu." + test "$SPRAVNA_CESTA" == "$SKUTECNA_CESTA" || die "Venv asi nefunguje. Prosím smaž si ho a zkus to znovu." python -c 'print()' > /dev/null || die "Python ve venvu je rozbitý. Prosím smaž venv a zkus to znovu." } From 430430b4606b42fef9b695af4af092e09b2d9cd7 Mon Sep 17 00:00:00 2001 From: "Pavel \"LEdoian\" Turinsky" Date: Thu, 24 Nov 2022 04:56:52 +0100 Subject: [PATCH 58/59] =?UTF-8?q?Tabulka=20prerekvizit=20v=20r=C5=AFzn?= =?UTF-8?q?=C3=BDch=20distribuc=C3=ADch=20/=20syst=C3=A9mech?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/tabulka_prerekvizit.rst | 25 +++++++++++++++++++++++++ docs/vyvoj.rst | 3 +++ 2 files changed, 28 insertions(+) create mode 100644 docs/tabulka_prerekvizit.rst diff --git a/docs/tabulka_prerekvizit.rst b/docs/tabulka_prerekvizit.rst new file mode 100644 index 00000000..9dcce4c5 --- /dev/null +++ b/docs/tabulka_prerekvizit.rst @@ -0,0 +1,25 @@ +.. Není odkázaná z menu, je to záměr + +Tabulka prerekvizit v různých distribucích +========= + +.. admonition:: Metodika + + Na čistém repozitáři (``git clean -fxd``) a čistém systému spouštíme + ``make/init_local``. Když to spadne, tak do tabulky zapíšeme, co jsme + přiinstalovali. Protože větev ``makefiles`` aktuálně není mergenutá do + masteru, nefunguje synchronizace flatpages (a stejně nemáme SSH klíč), takže + tam ``make/init_local`` sestřelíme a vyzkoušíme, že ``make/test`` spustí + testy. + +.. Grafické tabulky (grid-tables, simple-tables) jsou strašný porod vyrábět, dlabu na to a cpu to do CSV… + +.. csv-table:: Prerekvizity v jednotlivých distribucích + :header: Distribuce / OS, Repozitář s Py3.9, venv, py knihovny, PostgreSQL knihovna, poznámky + + Ubuntu 22.10, ??, ``python3-venv``, ``python3-dev``, ``libpq-dev``, "Je potřeba zapnout zdroj ``universe`` a nainstalovat kompilátor C (``gcc``)?" + Linux Mint 21, ??, ``python3-venv``, ``python3-dev``, ``libpq-dev``, "" + Archlinux 2022.11.01, AUR, vestavěný, vestavěné, ``postgresql-libs``, "Je potřeba céčkový kompilátor (``gcc``)" + openSUSE Leap 15.4, oficiální (``python39``), předinstalovaný?, ``python39-devel``, ??FIXME!!, "Výchozí verze pythonu je 3.6 a ta je moc stará, potřeba instalovat ``gcc``. Nevím jak sehnat pg_config." + Debian 11, "oficiální, výchozí", ??, ??, ??, "Určitě to tam rozběhat jde, protože Gimli. Nejspíš bude relativně podobné Ubuntu." + diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index 583521b1..256f5eec 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -36,6 +36,9 @@ Nutné Kromě toho je potřeba mít účet na `Gitee `_, kde bydlí gitový repozitář s kódem. +.. tip:: Potřebné balíčky v různých distribucích jsou sepsané v :ref:`tabulce + prerekvizit `. + Doporučené ^^^^^^^^^^ From 2e06960f51406d7e658f6264e0e731aef1135066 Mon Sep 17 00:00:00 2001 From: Jonas Havelka Date: Tue, 6 Dec 2022 00:16:40 +0100 Subject: [PATCH 59/59] =?UTF-8?q?To=C5=BE=20jsme=20to=20upravili?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/vyvoj.rst | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/vyvoj.rst b/docs/vyvoj.rst index 256f5eec..0d23972a 100644 --- a/docs/vyvoj.rst +++ b/docs/vyvoj.rst @@ -7,7 +7,7 @@ vlastních úpravách nezávisle na ostatních. Potřebné vybavení ------- -Tento soupis cílí na nějakého typického vývojáře webu – Linuxáka. Jistě je +Tento soupis cílí na Linuxáky. Jistě je spousta dalších možností, které zde nejsou postihnuty – poraď se s webaři, pokud si nejsi jistý. (Speciálně lze nějak vyvíjet na Windows, leč lze často narazit na odlišné chování od Linuxu.) @@ -27,7 +27,7 @@ Nutné - Ideálně ve verzi 3.9 (to je to, co je aktuálně (2022) na Gimlim) - Včetně pip-u (na Ubuntu balíček ``python3-pip``), venvu (``python3-venv``) a knihoven pro kompilaci Cčkových rozšíření (``python3-dev``) -- Knihovna pro práci s PostgreSQL (``libpq-dev``) +- Knihovna pro práci s PostgreSQL (``libpq-dev``, protože jsou potřeba všechny db backendy) - Webový prohlížeč - \*NIXový shell (typicky ``bash``)