Pavel "LEdoian" Turinsky
2 years ago
76 changed files with 1879 additions and 1129 deletions
@ -1,154 +1,9 @@ |
|||||
PYTHON ?= python3 |
# Existence tohohle Makefile je tu jen proto, aby fungovala svalová paměť. Pokud můžete, použijte rovnou `make/…`
|
||||
VENV ?= ${PYTHON} -m venv |
%: |
||||
# Všechny flagy, které se s venvem/virtualenvem/... mají volat patří sem. Volá se "${VENV} cesta"
|
# Používání make jako příkazu je zastaralé, prosím používej radši skripty ze složky make. Spouštím následující příkaz: |
||||
VENV_PATH ?= env |
make/$* |
||||
# Musí být definovaná, i kdyby to měla být "."
|
|
||||
|
|
||||
.PHONY: all venv_check clean install install_web install_venv clean_venv clean_schema run test deploy_test deploy_prod sync_test_media sync_test_db sync_test sync_local_media sync_local_db sync_local |
default: |
||||
|
@cat make/README.md |
||||
|
|
||||
# activate by mělo být předpokladem ke všemu, co volá webový python (i.e. python nasazený do ${VENV}u kvůli webu, např. manage.py)
|
.PHONY: default |
||||
all: |
|
||||
@# Just echo: |
|
||||
# Install je trochu magický: |
|
||||
# Spusť následující posloupnost příkazů: |
|
||||
# make install_venv |
|
||||
# . ${VENV_PATH}/bin/activate |
|
||||
# make install_web |
|
||||
# |
|
||||
# Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev |
|
||||
# Pokud chybová hláška obsahuje #include <Python.h>, nainstaluj si python3-dev |
|
||||
# |
|
||||
# Až skončíš s vývojem webu, spusť "deactivate". Tím zmizí '(${VENV_PATH})' ze začátku promptu. |
|
||||
|
|
||||
venv_check: |
|
||||
@# Pokud org nemá zapnutý venv, poradíme mu, aby si ho zapnul a spadneme. Jinak nic. |
|
||||
@expr $$PATH : ".*:*$(shell pwd)/${VENV_PATH}/bin" > /dev/null && exit 0 || echo 'Není zapnutý venv, spusť ". ${VENV_PATH}/bin/activate".\nPokud není venv nainstalovaný, spusť "make install_venv"' && false |
|
||||
|
|
||||
clean: clean_venv clean_schema |
|
||||
|
|
||||
install: install_web |
|
||||
|
|
||||
install_web: venv_check |
|
||||
@# venv může být příšerně starý, takže nejdříve upgradujeme venvové věci |
|
||||
pip install --upgrade pip |
|
||||
pip install --upgrade setuptools |
|
||||
# Instalace závislostí webu |
|
||||
pip install -r requirements.txt --upgrade |
|
||||
# Pro vygenerování tesdat spusť ./manage.py testdata |
|
||||
# Po vygenerování testdat spusť ./manage.py loaddata data/*, ať máš menu a další modely |
|
||||
# Pro synchronizaci flatpages spusť make sync_prod_flatpages |
|
||||
|
|
||||
install_venv: |
|
||||
${VENV} ${VENV_PATH} |
|
||||
|
|
||||
clean_venv: |
|
||||
# Možná není 100% foolproof... |
|
||||
@test ! ${VENV_PATH} = . || ! echo "Smaž si prosím venv sám, nebudu mazat celý web" |
|
||||
rm -rfv ${VENV_PATH} |
|
||||
rm -f pip-selfcheck.json |
|
||||
clean_schema: |
|
||||
rm -f schema_seminar.pdf schema_all.pdf |
|
||||
|
|
||||
run: venv_check |
|
||||
./manage.py runserver |
|
||||
|
|
||||
test: venv_check |
|
||||
./manage.py test -v2 seminar mamweb |
|
||||
|
|
||||
# DB schemata
|
|
||||
|
|
||||
schema: schema_seminar.pdf schema_all.pdf |
|
||||
|
|
||||
schema_seminar.pdf: venv_check |
|
||||
./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf |
|
||||
|
|
||||
schema_all.pdf: venv_check |
|
||||
./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf |
|
||||
|
|
||||
# Deploy to current *mamweb-test* directory
|
|
||||
deploy_test: venv_check |
|
||||
@if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi |
|
||||
@if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in directory mamweb-test"; exit 1; fi |
|
||||
@echo "Installing version from origin/test ..." |
|
||||
git pull origin test |
|
||||
git clean -f |
|
||||
make install |
|
||||
./manage.py migrate |
|
||||
./manage.py collectstatic --noinput |
|
||||
(chown -R :mam . || true ) |
|
||||
(chmod -R g+rX,go-w . || true ) |
|
||||
@echo Restarting systemd unit |
|
||||
systemctl --user restart mamweb-test.service |
|
||||
@echo Done. |
|
||||
|
|
||||
# Deploy to current *mamweb-prod* directory
|
|
||||
deploy_prod: venv_check |
|
||||
@if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi |
|
||||
@if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-prod" ]; then echo "Only possible in directory mamweb-prod"; exit 1; fi |
|
||||
@echo "Backing up production DB ..." |
|
||||
( cd -P .. && ./backup_prod_db.sh ) |
|
||||
@echo "Installing version from origin/master ..." |
|
||||
git pull origin master |
|
||||
git clean -f |
|
||||
make install |
|
||||
./manage.py migrate |
|
||||
./manage.py collectstatic --noinput |
|
||||
(chown -R :mam . || true ) |
|
||||
(chmod -R g+rX,go-w . || true ) |
|
||||
@echo Restarting systemd user unit for MaM web |
|
||||
systemctl --user restart mamweb-prod.service |
|
||||
@echo Done. |
|
||||
|
|
||||
|
|
||||
sync_prod_flatpages: venv_check |
|
||||
@echo Downloading current version of flatpages from mamweb-prod. |
|
||||
ssh mam-web@gimli.ms.mff.cuni.cz \
|
|
||||
"cd /akce/mam/www/mamweb-prod; . env/bin/activate; ./manage.py dumpdata flatpages --indent=2 > flat.json; ./fix_json.py flat.json flat_fixed.json" |
|
||||
rsync -ave ssh mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/flat_fixed.json data/flat.json |
|
||||
@echo "Applying downloaded flatpages." |
|
||||
./manage.py loaddata data/flat.json |
|
||||
@echo "Done." |
|
||||
|
|
||||
# Sync test media directory with production
|
|
||||
sync_test_media: |
|
||||
@if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi |
|
||||
@if [ `readlink -f .` != "/aux/akce/mam/www/mamweb-test" ]; then echo "Only possible in /akce/mam/www/mamweb-test"; exit 1; fi |
|
||||
rsync -av --delete /akce/mam/www/mamweb-prod/media/ ./media |
|
||||
|
|
||||
# Sync (with drop) test database with production database
|
|
||||
sync_test_db_aggressive: |
|
||||
@if [ ${USER} != "mam-web" ]; then echo "Only possible by user mam-web"; exit 1; fi |
|
||||
pg_dump mam_test > dump-test-`date +"%Y%m%d_%H%M"`.sql |
|
||||
pg_dump -Fc mam_prod > dump-prod.sql |
|
||||
@# I am not sure which shell is used, so I am calling bash to make sure |
|
||||
psql mam_test -c 'DROP OWNED BY "mam-web";' |
|
||||
pg_restore -c --if-exists -d mam_test dump-prod.sql |
|
||||
rm dump-prod.sql |
|
||||
psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" |
|
||||
@echo Done. |
|
||||
|
|
||||
# Sync test with production
|
|
||||
# HACK ALERT: using aggressive variant, due to the schemas being too different.
|
|
||||
sync_test: sync_test_media sync_test_db_aggressive |
|
||||
|
|
||||
|
|
||||
# Sync media directory with atrey. Useful for local development with production database
|
|
||||
# Does not sync Galerie and CACHE (too huge).
|
|
||||
sync_local_media: |
|
||||
rsync -ave ssh --exclude Galerie --exclude CACHE\
|
|
||||
mam-web@gimli.ms.mff.cuni.cz:/akce/mam/www/mamweb-prod/media/ ./media/ |
|
||||
# Downloads and restores production database to local database. PostgreSQL only.
|
|
||||
sync_local_db: |
|
||||
scp mam-web@gimli.ms.mff.cuni.cz:`ssh mam-web@gimli.ms.mff.cuni.cz 'ls -v /akce/mam/www/backups/mam_prod-*\.pgdump.xz | tail -n 1'` \
|
|
||||
./last.pgdump.xz |
|
||||
xz -fd last.pgdump.xz |
|
||||
pg_restore -c -d mam-prod last.pgdump |
|
||||
|
|
||||
# Sync database and media. See above lines
|
|
||||
sync_local: sync_local_media sync_local_db |
|
||||
|
|
||||
# Push local compiled Vue to gimli test site
|
|
||||
push_compiled_vue_to_test: |
|
||||
scp vue_frontend/webpack-stats.json mam-web@gimli:/akce/mam/www/mamweb-test/vue_frontend/ |
|
||||
rsync -ave ssh seminar/static/seminar/vue mam-web@gimli:/akce/mam/www/mamweb-test/seminar/static/seminar/ |
|
||||
ssh mam-web@gimli.ms.mff.cuni.cz 'cd /akce/mam/www/mamweb-test/ && . env/bin/activate && ./manage.py collectstatic --noinput' |
|
||||
|
|||||
@ -1,77 +1,58 @@ |
|||||
Basic commands for web development |
Web M&M |
||||
================================== |
====== |
||||
|
|
||||
After you clone this repository, run `make`. It will download, locally install |
Tohle je repozitář s kódem M&Mího webu. Pokud zde hledáte web samotný nebo |
||||
and setup virtualenv and pip, and then locally install all required packages |
informace o semináři, najdete je na <https://mam.matfyz.cz> (a upřímně nechápu, |
||||
from `requirements.txt`. |
jak jste se dostali k tomuhle textu :-D) |
||||
|
|
||||
When working with the code, always use the binaries in `./bin/`, such as |
Pokud jste tu zůstali, tak vás beztak zajímá vývoj webu (a jestli ne, tak |
||||
`bin/pip`, `bin/python`, ... never the global python, pip, ... |
budeme rádi, když začne :-)). |
||||
Use `make` and `./manage.py` for most things. |
|
||||
|
Co je M&Mweb uvnitř |
||||
Use git :-) |
------ |
||||
|
Celý náš web je napsaný v [Pythonu](https://www.python.org) ve frameworku |
||||
Quickstart |
[Django](https://www.djangoproject.com/). Web běží na serveru zvaném Gimli, |
||||
---------- |
jako databázi používá PostgreSQL (pro lokální vývoj naopak SQLite) a všechen |
||||
Run the following commands: |
náš kód je uložený v [Gitu](https://git-scm.com/) na [téhle |
||||
make install_venv |
gitee](https://gitea.ks.matfyz.cz/). Pro dokumentaci používáme |
||||
. env/bin/activate |
[Sphinx](https://www.sphinx-doc.org). |
||||
make install_web |
|
||||
|
<!--TODO: Z odstavce výše by ideálně měla být zachována jen první věta a zbytek |
||||
Pokud install_web říká Error: pg_config executable not found. nainstaluj si libpq-dev |
by měl být někde v docs s podrobnějším popisem…--> |
||||
Pokud chybová hláška obsahuje #include <Python.h>, nainstaluj si python3-dev |
|
||||
|
Jak si web pořídit |
||||
After finishing development, run "deactivate". |
------ |
||||
|
Prosím přečti si podrobnější návod v <docs/vyvoj.rst> (tady by bylo zbytečné |
||||
Make commands |
ho duplikovat). |
||||
------------- |
|
||||
|
Jak web vyvíjet |
||||
* `make install` (or `make`) - locally install and setup virtualpy, install |
---- |
||||
required packages. Ran again installs missing packages. Run after changing |
<!--TODO: Napsat obšírněji, asi zase do docs/--> |
||||
`requirements.txt`. |
|
||||
|
Na webu je mnoho věcí k dělání, některé ani nevyžadují kódění (třeba uhánění |
||||
* `make clean` - remove local python packages. |
orgů, aby si psali medailonky, aktualizace fotek, …), některé se naopak týkají |
||||
|
infrastruktury pod kódem (Gitea, Gimli, …). Je proto těžké mít na to úplně |
||||
* `make veryclean` - remove local packages and virtualpy enviroment and |
obecný návod, tak tady je zhruba návod na úpravy kódu a pokud se něco z toho |
||||
binaries. |
nedá aplikovat, tak to prostě zkus nějak udělat jinak, po svém. (Omlouvám se |
||||
|
neinformatikům, ale líp to teď nesepíšu :-)) |
||||
* `make run` - runs "./manage.py runserver_plus" |
|
||||
|
1. Nejprve si stáhni repozitář a rozběhni si lokální web u sebe (viz <docs/vyvoj.rst>). |
||||
* `make push_test` - pushes the last commited version to test location. |
1. Najdi si problém v Kanboardu (klikni na „Issues“ na Gitee) a/nebo se domluv |
||||
Only git-commited changes are pushed! Rest is re-generated from scratch. |
s webaři, na čem bys tak mohl/a pracovat. |
||||
At test server, the media data and database are kept the same. |
1. Najdi místo, kde se to dá opravit a zkus to tam opravit. Uznávám, že tenhle |
||||
Everything else not in .gitignore is deleted/overwritten on the test server. |
bod je otravně obecný, pokud tápeš, zkus se zeptat zkušenějších webařů nebo |
||||
|
podívat do dokumentace. |
||||
* `make schema` - generates graph of seminar and all schemas as PDF. Supercool! |
1. Vyzkoušej, že ti to lokálně funguje tak, jak má. |
||||
|
1. Zvládneš-li a máš-li čas, zkus to i zdokumentovat a/nebo napsat testy (TODO: chybí návod) |
||||
* `make sync_prod_flatpages` - downloads and applies static/flat pages from mamweb-prod |
1. Po dohodě s webaři to vyzkoušej na testwebu |
||||
|
1. Pošli pull-request a případně zkus reagovat na komentáře |
||||
./manage.py commands |
1. Až se změna začlení do hlavní větve (`master`) a nasadí se web na produkci, |
||||
-------------------- |
můžeš mít radost, že se web bude používat lépe Tobě i ostatním orgům :-) |
||||
|
|
||||
* `./manage.py migrate` - update the database schema, initialise the database. |
### Proč pull-requesty? |
||||
You need to run this in the beginning. |
<!--FIXME: Tohle ale už úplně patří do docs a ne sem, jen je zatím nemám prozkoumané…--> |
||||
|
|
||||
* `./manage.py runserver_plus` - run a debugging server for the web. Slightly |
Účelů pull-requestů je několik. Jednak doufáme, že pomůže webařům se orientovat |
||||
enhanced compared to `./manage.py runserver`. |
v kódu, jednak tím umožňujeme dělat experimenty a dávat si zpětnou vazbu. V |
||||
Open [127.0.0.1:8000](127.0.0.1:8000). |
neposlední řadě pomáhají držet aspoň trochu konzistentní kód, což má pomoci |
||||
|
pohodě při programování… (A asi jsem na něco zapomněl :-)) |
||||
* `./manage.py testdata` - create pseudo-random seminar data and admin/admin |
|
||||
user. |
|
||||
|
|
||||
* `./manage.py test` - run the tests. |
|
||||
|
|
||||
* `./manage.py shell` - run commands, list elemements of database, check syntax |
|
||||
by importing files, etc. |
|
||||
|
|
||||
Configurations |
|
||||
-------------- |
|
||||
|
|
||||
* `mamweb/settings_common.py` contains most configuration options. |
|
||||
* `mamweb/settings.py` is used only for local development. |
|
||||
* `mamweb/settings_test.py` is used for testing on atrey. |
|
||||
* `mamweb/settings_prod.py` is used in production deployment. |
|
||||
|
|
||||
These are automatically switched by `make`. |
|
||||
|
|
||||
|
|
||||
|
|||||
File diff suppressed because one or more lines are too long
@ -0,0 +1,108 @@ |
|||||
|
Skripty pro práci s repozitářem |
||||
|
=================== |
||||
|
|
||||
|
Máme dvě hlavní sady skriptů/příkazů na ovládání webu a repozitáře. Skripty pro |
||||
|
práci s webem psané v Pythonu jsou uložené ve složkách |
||||
|
``<aplikace>/management/commands/``, případně vestavěné, a volají se pomocí |
||||
|
``./manage.py <příkaz>``. Oproti tomu skripty pro práci s repozitářem a pro |
||||
|
úpravy databáze a souborů „zvenčí“ se nejčastěji nacházejí ve složce ``make/`` |
||||
|
a volají se pomocí cesty: ``make/<příkaz>``. |
||||
|
|
||||
|
Občas existují i nějaké další skripty na různých jiných místech. Všechny by |
||||
|
měly být ideálně popsány asi tady. |
||||
|
|
||||
|
Make skripty |
||||
|
---- |
||||
|
|
||||
|
Skripty v ``make/`` se označují jako „Make skripty“. Slouží často k velkým |
||||
|
úkonům s repozitářem, jako je nasazení celého webu, zprovoznění lokálního webu |
||||
|
a podobně. |
||||
|
|
||||
|
.. note:: Označení pro tyto skripty je dáno tím, že byly původně volány pomocí |
||||
|
make (tj. z Makefile). Ve skutečnosti je lze stále volat i jako ``make |
||||
|
<skript>``, ale pak není možné předávat parametry a obecně je tato cesta |
||||
|
zastaralá a existuje jen pro zpětnou kompatibilitu se svalovou pamětí. |
||||
|
|
||||
|
Tyto skripty jsou samonosné, dají se spustit rovnou a v případě problémů si |
||||
|
budou hlasitě stěžovat. Pro účely debugování různých věcí jsou ale (bohužel?) |
||||
|
hlasité i při normálním spuštění, konkrétně vypisují všechny příkazy, které se |
||||
|
spouštějí (\ ``set -x``). Tyto příkazy jsou vidět za jedním či více plusky (\ ``+``). |
||||
|
|
||||
|
.. tip:: Pokud některý make skript selže, tak by na konci měl vypsat, že se něco nepovedlo. |
||||
|
|
||||
|
|
||||
|
Knihovna ``make/lib.sh`` |
||||
|
^^^^^^ |
||||
|
|
||||
|
Pro pohodlí při psaní velká část z nich využívá knihovnu uloženou |
||||
|
v ``make/lib.sh``. Jsou zde definované užitečné proměnné, kontroly a společný |
||||
|
kód. Kromě toho při inicializaci otestuje, že je skript spuštěn z kořene |
||||
|
repozitáře (takže to pak není potřeba zkoumat v ostatních skriptech). |
||||
|
|
||||
|
Proměnné |
||||
|
""""" |
||||
|
|
||||
|
Popsány jsou jen užitečné proměnné, ve skutečnosti jich je definovaných víc, |
||||
|
ale jsou triviální a samopopisné. |
||||
|
|
||||
|
``VENV_PATH`` |
||||
|
Cesta virtuálního prostředí. Též lze přepsat. |
||||
|
``REPO`` |
||||
|
Cesta ke gitovému repozitáři na serveru, rovnou použitelná v ``git clone`` |
||||
|
``GIMLI_LOGIN`` |
||||
|
Přihlašovací údaje ke Gimlimu |
||||
|
``PRODWEB`` a ``TESTWEB`` |
||||
|
Cesty ke složkám s produkčním a testovacím webem |
||||
|
|
||||
|
Funkce a další zkratky |
||||
|
"""""" |
||||
|
|
||||
|
``ensure_venv`` |
||||
|
Zajistí, že se zbytek skriptu spustí ve virtuálním prostředí, a pokud neexistuje, tak jej založí. |
||||
|
``ensure_web_installed`` |
||||
|
Vyzkouší, že je web (django) aspoň elementárně zprovozněno a pokud ne, tak vyzve uživatele, aby to spravil. |
||||
|
``gimli_only`` |
||||
|
Otestuje, že je příkaz spuštěn na Gimlim, pokud tomu tak není, zeptá se, jestli si uživatel skutečně přeje zbytek skriptu vykonat |
||||
|
``only_in_directory <složka>`` |
||||
|
Otestuje, že skript běží z konkrétní složky. Zejména použitelné s ``gimli_only`` a ``$TESTWEB`` |
||||
|
``safe_checkout_branch <větev>`` |
||||
|
Bezpečně přepne repozitář na jinou větev. Pokud by mělo dojít k přepsání |
||||
|
knihovny nebo volajícího make skriptu, vyzve uživatele, aby přepnul ručně. |
||||
|
``install_everything`` |
||||
|
Společná část kódu pro nasazování produkce a testwebu. |
||||
|
|
||||
|
Skripty pro lokální vývoj |
||||
|
^^^^^^^ |
||||
|
|
||||
|
``make/install_web`` (nebo ekvivalentně ``make/install``) |
||||
|
Vytvoří virtualenv a nainstaluje do něj závislosti webu podle ``requirements.txt``. Následně popíše, jak vyrobit zbytek lokálního webu. |
||||
|
``make/run`` |
||||
|
Spustí lokální web (ekvivalentní s ``./manage.py runserver``) |
||||
|
``make/schema`` |
||||
|
Vykreslí závislosti a atributy modelů |
||||
|
``make/sync_prod_flatpages`` |
||||
|
Stáhne z produkce aktuální statické stránky a uloží je do složky ``data/`` |
||||
|
``make/test`` |
||||
|
Spustí testy (ekvivalentní s ``./manage.py test -v2``) |
||||
|
``make/init_local`` |
||||
|
Zkratka za posloupnost ``make/install_web``, ``./manage.py testdata``, ``./manage.py loaddata data/*``, ``make/sync_prod_flatpages`` |
||||
|
|
||||
|
Práce s testwebem |
||||
|
^^^^^^^ |
||||
|
|
||||
|
``make/deploy`` |
||||
|
Nasadí testweb. Volitelně bere jako parametr jméno větve, kterou má nasadit. |
||||
|
Rovnou nastaví přihlašování a vygeneruje příslušnou verzi dokumentace `sem <https://mam-test.ks.matfyz.cz/docs>`_. |
||||
|
``make/push_compiled_vue_to_test`` |
||||
|
**Neotestováno** Nahraje Vue z lokálního počítače na testweb. (Gimli často má moc starou verzi Node.js, takže nejde zkompilovat tam) |
||||
|
``make/sync_test_db_aggressive`` |
||||
|
Zkopíruje databázi z produkčního webu. |
||||
|
``make/sync_test_media`` |
||||
|
Zkopíruje média (obrázky, nahrané soubory) z produkčního webu. |
||||
|
``make/sync_test`` |
||||
|
Zkratka za ``make/sync_test_db_aggressive`` + ``make/sync_test_media``. |
||||
|
|
||||
|
Nasazení produkce |
||||
|
^^^^ |
||||
|
|
||||
|
``make/deploy_prod``. Před samotným nasazením zálohuje databázi a zkontroluje, že se nasazuje větev ``master``. |
||||
@ -0,0 +1,31 @@ |
|||||
|
Co kde najít (mamweb + django) |
||||
|
============================== |
||||
|
|
||||
|
Nejdůležitější aplikace z pohledu djanga je ``mamweb``. Tu totiž django pouští |
||||
|
a obsahuje tedy nastavení (tam se přidávají ostatní aplikace, včetně těch |
||||
|
importovaných z djanga, a nastavují se tam různé věci jak v djangu, tak i naše, |
||||
|
například složky, kam se budou věci přidané uživateli ukládat). Dále obsahuje |
||||
|
základní urls, udávající, „na jaké adrese co je“. A nakonec obsahuje obecné |
||||
|
věci jako chybové hlášky a vzhled M&M stránek (menu, patička, atd.). Aktuálně |
||||
|
i veškeré csv. |
||||
|
|
||||
|
Další jsou pak jednotlivé aplikace (pokud něco hledáte, tak zřejmě chcete najít |
||||
|
tu aplikaci, která tomu odpovídá, respektive se k ní dostat přes url), za |
||||
|
zmínku stojí seminar, kde jsou takové ty věci, co zbyly. Plus jsou tam aktuálně |
||||
|
téměř všechny modely, protože je těžké je přesunout jinam. |
||||
|
|
||||
|
**TLDR: Nevšímejte si složky data/ a souborů přímo v kořenové složce.** |
||||
|
Kromě věcí potřebných ke gitu, :doc:`ke spuštění <vyvoj>` a fukci djanga, |
||||
|
dalších drobností, lokální databáze a již zmíněných aplikací jsou tu ``data``, |
||||
|
kde je takový ten obsah webu, co by se měl dát snadno měnit (tudíž musí být v |
||||
|
databázi), tj. statické stránky, menu a obrázky v pozadí menu. Ten je třeba |
||||
|
měnit hlavně na produkci a sekundárně tady (může to dělat i newebař a nechcete |
||||
|
přepsat jeho práci). Vše, co nejsou aplikace je popsáno :doc:`tady <dalsi_soubory>`. |
||||
|
|
||||
|
Základy djanga |
||||
|
-------------- |
||||
|
|
||||
|
|
||||
|
|
||||
|
mamweb je psaný téměř čistě v djangu. Což znamená, že to „co je vidět na stránkách“ |
||||
|
jsou views. |
||||
@ -0,0 +1,25 @@ |
|||||
|
.. Není odkázaná z menu, je to záměr |
||||
|
|
||||
|
Tabulka prerekvizit v různých distribucích |
||||
|
========= |
||||
|
|
||||
|
.. admonition:: Metodika |
||||
|
|
||||
|
Na čistém repozitáři (``git clean -fxd``) a čistém systému spouštíme |
||||
|
``make/init_local``. Když to spadne, tak do tabulky zapíšeme, co jsme |
||||
|
přiinstalovali. Protože větev ``makefiles`` aktuálně není mergenutá do |
||||
|
masteru, nefunguje synchronizace flatpages (a stejně nemáme SSH klíč), takže |
||||
|
tam ``make/init_local`` sestřelíme a vyzkoušíme, že ``make/test`` spustí |
||||
|
testy. |
||||
|
|
||||
|
.. Grafické tabulky (grid-tables, simple-tables) jsou strašný porod vyrábět, dlabu na to a cpu to do CSV… |
||||
|
|
||||
|
.. csv-table:: Prerekvizity v jednotlivých distribucích |
||||
|
:header: Distribuce / OS, Repozitář s Py3.9, venv, py knihovny, PostgreSQL knihovna, poznámky |
||||
|
|
||||
|
Ubuntu 22.10, ??, ``python3-venv``, ``python3-dev``, ``libpq-dev``, "Je potřeba zapnout zdroj ``universe`` a nainstalovat kompilátor C (``gcc``)?" |
||||
|
Linux Mint 21, ??, ``python3-venv``, ``python3-dev``, ``libpq-dev``, "" |
||||
|
Archlinux 2022.11.01, AUR, vestavěný, vestavěné, ``postgresql-libs``, "Je potřeba céčkový kompilátor (``gcc``)" |
||||
|
openSUSE Leap 15.4, oficiální (``python39``), předinstalovaný?, ``python39-devel``, ??FIXME!!, "Výchozí verze pythonu je 3.6 a ta je moc stará, potřeba instalovat ``gcc``. Nevím jak sehnat pg_config." |
||||
|
Debian 11, "oficiální, výchozí", ??, ??, ??, "Určitě to tam rozběhat jde, protože Gimli. Nejspíš bude relativně podobné Ubuntu." |
||||
|
|
||||
@ -1,20 +1,184 @@ |
|||||
Lokální vývoj mamwebu |
Lokální vývoj mamwebu |
||||
===================== |
===================== |
||||
Stačí spustit:: |
|
||||
|
Asi hlavní část vývoje většiny webu probíhá lokálně. Každý tak může pracovat na |
||||
## Nahradte svym gimli username |
vlastních úpravách nezávisle na ostatních. |
||||
git clone USER@gimli.ms.mff.cuni.cz:/akce/mam/git/mamweb.git mamweb |
|
||||
cd mamweb |
Potřebné vybavení |
||||
## Instalace je trochu magická, spusť následující posloupnost příkazů: |
------- |
||||
make install_venv |
|
||||
. env/bin/activate |
Tento soupis cílí na Linuxáky. Jistě je |
||||
make install_web |
spousta dalších možností, které zde nejsou postihnuty – poraď se s webaři, |
||||
|
pokud si nejsi jistý. (Speciálně lze nějak vyvíjet na Windows, leč lze často |
||||
## Vygeneruje nejaka testovaci data (spis chuda) |
narazit na odlišné chování od Linuxu.) |
||||
./manage.py testdata |
|
||||
## Nahraje statické stránky, menu a obrázky v pozadí menu |
Motivace cílení na Linux je to, že Gimli je Linuxový stroj, takže je vývojové |
||||
./manage.py loaddata data/* |
prostředí pak podobné produkci a zmenšuje to množství odlišného chování. |
||||
## Spusti testovaci server na http://127.0.0.1:8000/ |
|
||||
./manage.py runserver |
.. TODO: Na dokumentaci odlišného chování (Postgres vs. SQLite, Win vs. Linux, …) |
||||
|
by to asi chtělo výhledově separátní stránku, ale teď píšu tuhle :-) |
||||
Když si lokálně spustíte web, běží na http://127.0.0.1:8000/, admin najdete na http://127.0.0.1:8000/admin/ (admin/admin) Až skončíš s vývojem webu, spusť “deactivate”. Tím zmizí ‘(env)’ ze začátku promptu. |
|
||||
|
Nutné |
||||
|
^^^^ |
||||
|
|
||||
|
- `Git <https://git-scm.com>`_ |
||||
|
- `Python <https://python.org>`_ |
||||
|
|
||||
|
- Ideálně ve verzi 3.9 (to je to, co je aktuálně (2022) na Gimlim) |
||||
|
- Včetně pip-u (na Ubuntu balíček ``python3-pip``), venvu (``python3-venv``) a knihoven pro kompilaci |
||||
|
Cčkových rozšíření (``python3-dev``) |
||||
|
- Knihovna pro práci s PostgreSQL (``libpq-dev``, protože jsou potřeba všechny db backendy) |
||||
|
- Webový prohlížeč |
||||
|
- \*NIXový shell (typicky ``bash``) |
||||
|
|
||||
|
.. TODO: Pokud tu něco chybí, tak to dopiš :-) |
||||
|
|
||||
|
Kromě toho je potřeba mít účet na `Gitee <https://gitea.ks.matfyz.cz>`_, kde |
||||
|
bydlí gitový repozitář s kódem. |
||||
|
|
||||
|
.. tip:: Potřebné balíčky v různých distribucích jsou sepsané v :ref:`tabulce |
||||
|
prerekvizit <Tabulka prerekvizit v různých distribucích>`. |
||||
|
|
||||
|
Doporučené |
||||
|
^^^^^^^^^^ |
||||
|
|
||||
|
- Python wheel (možná řeší problémy s potřebou ``-dev`` balíčků…) |
||||
|
- Editor / IDE podporující `Editorconfig <https://editorconfig.org/>`_ |
||||
|
- Uživatelská zkušenost s `produkční verzí webu <https://mam.matfyz.cz>`_ |
||||
|
- Účet v `Kanci <https://kanboard.ledoian.cz>`_ |
||||
|
|
||||
|
.. TODO: A nejspíš další věci, na které jsem si teď nevzpomněl. |
||||
|
|
||||
|
|
||||
|
Zprovoznění |
||||
|
------- |
||||
|
|
||||
|
Nejprve je potřeba stáhnout si repozitář. To se provede příkazem ``git clone |
||||
|
https://gitea.ks.matfyz.cz/mam/mamweb.git``, případně ``git clone |
||||
|
git@gitea.ks.matfyz.cz:mam/mamweb.git``, pokud už máš nahraný SSH klíč na |
||||
|
Giteu. (Obě adresy se dají zkopírovat ze `stránky repozitáře |
||||
|
<https://gitea.ks.matfyz.cz/mam/mamweb>`_.) To vyrobí složku ``mamweb``, přepni |
||||
|
se do ní (``cd mamweb``) |
||||
|
|
||||
|
O zprovoznění webu se stará skript ``make/install_web``, stačí ho spustit. Ten |
||||
|
vytvoří virtualenv (neexistuje-li) a nainstaluje do něj závislosti webu (podle |
||||
|
souboru ``requirements.txt``). |
||||
|
|
||||
|
.. FIXME: Novowebaři zmínka o requirements.txt tady moc nepomůže, to má být na |
||||
|
stránce o celkové stavbě repozitáře a stacku… |
||||
|
|
||||
|
Následně je potřeba nahrát další data do databáze, což uděláš pomocí příkazů |
||||
|
``./manage.py testdata`` a ``./manage.py loaddata data/*``. Skript |
||||
|
``make/install_web`` to kdyžtak na konci připomene. |
||||
|
|
||||
|
.. caution:: Zatímco skripty v ``make/`` to nepotřebují, pro použití skriptu |
||||
|
``./manage.py`` (a dalších) se potřebuješ přepnout do virtuálního prostředí. |
||||
|
To uděláš velmi pravděpodobně spuštěním ``source env/bin/activate``, před |
||||
|
začátkem *promptu* by se mělo objevit ``(env)``. Pro opuštění spusť |
||||
|
``deactivate``. |
||||
|
|
||||
|
Samotný web se spustí třeba pomocí ``make/run``, nebo ekvivalentně |
||||
|
``./manage.py runserver`` a pak je vidět na `<http://127.0.0.1:8000>`_. |
||||
|
|
||||
|
Časté problémy |
||||
|
^^^^^^ |
||||
|
|
||||
|
- ``make/install_web`` vypíše ``Error: pg_config executable not found.``: |
||||
|
Chybí ``libpq-dev`` |
||||
|
- Chybová hláška obsahuje ``#include <Python.h>``: chybí ``python3-dev`` |
||||
|
- Na webu není vidět meníčko: spusť ``./manage.py loaddata data/*`` |
||||
|
- ``locale.Error: unsupported locale setting``: Chybí podpora pro příslušný |
||||
|
jazyk ve tvém systému. Odkomentuj příslušnou lokalizaci v ``/etc/locale.gen`` |
||||
|
a spusť ``locale-gen`` jako root, tím se to spraví. |
||||
|
|
||||
|
S dalšími problémy se zkus obrátit na další webaře, třeba někdo bude vědět :-) |
||||
|
|
||||
|
Příkazy pro ovládání webu |
||||
|
------- |
||||
|
|
||||
|
Příkazy se dělí do několika skupin. Některé souvisí přímo s webem, Djangem, |
||||
|
databází a podobně, ty typicky používají ``./manage.py``. Skripty pro |
||||
|
obhospodařování repozitáře a webu „zvenku“ typicky bydlí ve složce ``make/``. |
||||
|
Ostatní skripty jsou na náhodných místech :-) |
||||
|
|
||||
|
Tady jsou rozebrány jen příkazy relevantní pro lokální web a univerzálně |
||||
|
užitečné, ostatní najdeš v :ref:`Skripty pro práci s repozitářem`. |
||||
|
|
||||
|
Make skripty |
||||
|
^^^^^^^ |
||||
|
|
||||
|
- ``make/install_web`` nainstaluje závislosti webu |
||||
|
- ``make/run`` spustí web (ekvivalentní s ``./manage.py runserver``) |
||||
|
- ``make/schema`` nakreslí schéma vazeb modelů (může se hodit pro referenci a představu) |
||||
|
- ``make/test`` spustí testy (ale moc jich zatím není; ekvivalentní s ``./manage.py test``) |
||||
|
- ``make/sync_prod_flatpages`` stáhne statické stránky z produkčního webu a |
||||
|
uloží je do souboru v gitu, což umožňuje jejich verzování |
||||
|
|
||||
|
Manage.py skripty |
||||
|
^^^^^ |
||||
|
|
||||
|
.. note:: Je potřeba je spouštět ve virtuálním prostředí, viz výše. |
||||
|
|
||||
|
Všechny skripty kdyžtak mají ``--help``, dá se tak zjistit, co všechno umějí. |
||||
|
|
||||
|
- ``./manage.py testdata`` vygeneruje spíše chudá testovací data, aby bylo na |
||||
|
čem testovat web. |
||||
|
- ``./manage.py loaddata <soubor/y>`` nahraje data ze souborů do databáze |
||||
|
- ``./manage.py dumpdata <model>`` naopak z databáze vyrobí textovou reprezentaci |
||||
|
- ``./manage.py shell`` spustí interaktivní pythoní shell, ze kterého lze |
||||
|
interagovat s webem / Djangem. |
||||
|
- ``./manage.py dbshell`` spustí databázový shell (typicky používá SQL) |
||||
|
|
||||
|
- ``./manage.py makemigrations`` vyrobí popis migrací, ``./manage.py migrate`` |
||||
|
je spustí, ``showmigrations`` ukáže, které migrace jsou aplikované a které |
||||
|
ne. |
||||
|
- ``./manage.py runserver_plus`` spouští o něco lepší vývojový server (ale |
||||
|
nikdy jsem asi ty lepší featury nepoužil) |
||||
|
|
||||
|
Může se hodit vědět, že spuštění ``./manage.py`` bez parametrů vypíše seznam |
||||
|
všech příkazů, které lze spustit. |
||||
|
|
||||
|
Dokumentace djangových příkazů je v `dokumentaci Djanga |
||||
|
<https://docs.djangoproject.com/en/3.2/ref/django-admin/#available-commands>`_ |
||||
|
|
||||
|
Ostatní užitečné příkazy |
||||
|
^^^^^ |
||||
|
|
||||
|
- ``git status`` je univerzální nápověda na aktuální stav repozitáře a co s tím |
||||
|
lze dělat. |
||||
|
- ``git clean -fxd`` smaže všechny soubory, které nejsou uložené v gitu (včetně |
||||
|
ignorovaných). **Nebezpečný příkaz**, zamysli se, než ho spustíš |
||||
|
|
||||
|
Specifika lokálního webu |
||||
|
------- |
||||
|
|
||||
|
Lokální uživatelé |
||||
|
^^^^^^^ |
||||
|
|
||||
|
Přihlašovací údaje jsou psány jako ``login:heslo`` |
||||
|
|
||||
|
- Superuživatel: ``admin:admin`` |
||||
|
- Orgovské účty: ``o:o``, ``o1:o`` až ``o3:o`` |
||||
|
- Řešitelské účty: ``r:r``, ``r1:r`` až ``r3:r`` |
||||
|
|
||||
|
Všechny tyto účty jsou (?) svázané s nějakými fiktivními osobami, není ale zřejmé se |
||||
|
kterými, budeš to muset vyzkoušet a pak tady zdokumentovat :-) |
||||
|
|
||||
|
E-maily |
||||
|
^^^^^ |
||||
|
|
||||
|
Posílání e-mailů se lokálně dá zkoušet, e-mail se vypíše do terminálu, kde je |
||||
|
web spuštěn (e.g. pomocí ``make/run``). |
||||
|
|
||||
|
Pruhy |
||||
|
^^^^ |
||||
|
|
||||
|
To, že má lokální web po stranách zelené pruhy je normální a správně, slouží to |
||||
|
k vizuálnímu odlišení lokálního webu. |
||||
|
|
||||
|
.. TODO: Mít někde popis všech tří instancí a tady na něj pak odkázat. |
||||
|
.. - Tahák k používání gitových větví: do workflow, ne sem… |
||||
|
.. - Užitečné odkazy – kam se kouknout |
||||
|
(dohledávání views podle URL, settings_*, ) |
||||
|
.. - Zpříjemnění práce (ssh-klíče, tea, --help, …) |
||||
|
|
||||
|
|||||
@ -0,0 +1,18 @@ |
|||||
|
# Generated by Django 2.2.28 on 2022-12-05 19:14 |
||||
|
|
||||
|
from django.db import migrations, models |
||||
|
|
||||
|
|
||||
|
class Migration(migrations.Migration): |
||||
|
|
||||
|
dependencies = [ |
||||
|
('korektury', '0018_korekturovanepdf_poslat_mail'), |
||||
|
] |
||||
|
|
||||
|
operations = [ |
||||
|
migrations.AlterField( |
||||
|
model_name='korekturovanepdf', |
||||
|
name='nazev', |
||||
|
field=models.CharField(help_text='Název (např. 22.1 verze 4) korekturovaného PDF', max_length=50, verbose_name='název PDF'), |
||||
|
), |
||||
|
] |
||||
@ -0,0 +1,8 @@ |
|||||
|
Milý člověče, M&Mí web tě vítá. Prosím, neděs se, zkusím tě provést lokálním zprovozněním webu. |
||||
|
Pro detaily a nápovědu si prosím přečti dokumentaci v docs/vyvoj.rst. |
||||
|
|
||||
|
TL;DR: Web vyrobíš pomocí následující posloupnosti příkazů: |
||||
|
make/init_local |
||||
|
make/run |
||||
|
a web potom najdeš na <http://127.0.0.1:8000> |
||||
|
|
||||
@ -0,0 +1,31 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
gimli_only |
||||
|
only_in_directory "$TESTWEB" |
||||
|
|
||||
|
CURRENT_BRANCH="$(git branch --show-current)" |
||||
|
BRANCH="${1:-$CURRENT_BRANCH}" |
||||
|
|
||||
|
safe_checkout_branch "$BRANCH" |
||||
|
|
||||
|
# Teď máme správnou větev, jdeme vše nainstalovat |
||||
|
install_everything |
||||
|
systemctl --user restart mamweb-test.service |
||||
|
|
||||
|
# Přihlášení |
||||
|
htpasswd -bc .htpasswd test lisakjelisak |
||||
|
setfacl -m u:www-data:r .htpasswd |
||||
|
|
||||
|
# Build dokumentace |
||||
|
ensure_venv |
||||
|
( |
||||
|
cd docs |
||||
|
make html |
||||
|
) |
||||
|
# Oprava práv k dokumentaci |
||||
|
setfacl -m u:www-data:x . docs docs/_build |
||||
|
setfacl -R -m u:www-data:rX docs/_build/html |
||||
|
setfacl -R -m default:u:www-data:rX docs/_build/html |
||||
@ -0,0 +1,25 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
gimli_only |
||||
|
only_in_directory "$PRODWEB" |
||||
|
|
||||
|
CURRENT_BRANCH="$(git branch --show-current)" |
||||
|
BRANCH="${1:-$CURRENT_BRANCH}" |
||||
|
|
||||
|
if test "$BRANCH" != master |
||||
|
then |
||||
|
echo "Pozor, nasazuješ na produkci větev, která není master ($BRANCH), chceš pokračovat? Pokud ne, sestřel tento skript." |
||||
|
read |
||||
|
fi |
||||
|
|
||||
|
# Záloha DB |
||||
|
( cd -P .. && ./backup_prod_db.sh ) |
||||
|
|
||||
|
safe_checkout_branch "$BRANCH" |
||||
|
|
||||
|
# Teď máme správnou větev, jdeme vše nainstalovat |
||||
|
install_everything |
||||
|
systemctl --user restart mamweb-prod.service |
||||
@ -0,0 +1,10 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
make/install_web |
||||
|
ensure_venv |
||||
|
./manage.py testdata |
||||
|
./manage.py loaddata data/* |
||||
|
make/sync_prod_flatpages |
||||
@ -0,0 +1 @@ |
|||||
|
install_web |
||||
@ -0,0 +1,16 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
ensure_venv |
||||
|
|
||||
|
# Aktualizace toolchainu |
||||
|
pip install --upgrade pip setuptools |
||||
|
# Instalace závislostí webu |
||||
|
pip install -r requirements.txt --upgrade |
||||
|
|
||||
|
# XXX: Připomínka z původního Makefile: |
||||
|
echo 'Pro vygenerování tesdat spusť ./manage.py testdata |
||||
|
Po vygenerování testdat spusť ./manage.py loaddata data/*, ať máš menu a další modely |
||||
|
Pro synchronizaci flatpages spusť make/sync_prod_flatpages' |
||||
@ -0,0 +1,115 @@ |
|||||
|
#!/bin/false Tohle je knihovna, nemá se spouštět, ale načítat pomocí source(1) nebo '.' |
||||
|
|
||||
|
PYTHON="${PYTHON:-python3}" |
||||
|
VENV="${VENV:-${PYTHON} -m venv}" |
||||
|
VENV_PATH="${VENV_PATH:-env}" |
||||
|
BRANCH="${BRANCH:-master}" |
||||
|
|
||||
|
REPO="${REPO:-git@gitea.ks.matfyz.cz:mam/mamweb.git}" |
||||
|
UPSTREAM_REMOTE='origin' |
||||
|
GIMLI='gimli.ms.mff.cuni.cz' |
||||
|
GIMLI_LOGIN="mam-web@$GIMLI" |
||||
|
# Skutečné cesty, jak je vrátí `realpath` |
||||
|
PRODWEB="/aux/akce/mam/www/mamweb-prod" |
||||
|
TESTWEB="/aux/akce/mam/www/mamweb-test" |
||||
|
|
||||
|
function die { |
||||
|
echo "$@" >&2 |
||||
|
exit 1 |
||||
|
} |
||||
|
|
||||
|
trap 'echo Něco se nepovedlo :-/' ERR |
||||
|
|
||||
|
# Vždycky chceme zajistit, že běžíme z rootu repozitáře |
||||
|
# TODO: chceme? Nechceme naopak umět to spouštět odkudkoliv, aspoň u většiny targetů? |
||||
|
test -e '.git' || die "Make skript spuštěn ve špatné složce, spusť ho z kořenového adresáře repozitáře." |
||||
|
|
||||
|
function ensure_venv { |
||||
|
test -f "$VENV_PATH/bin/activate" || $VENV "$VENV_PATH" |
||||
|
. "$VENV_PATH/bin/activate" |
||||
|
# To ale není všechno Horste – ten venv nemusí fungovat, chceme to ověřit a případně spadnout. |
||||
|
local SPRAVNA_CESTA="$(readlink -f "$VENV_PATH/bin/python")" |
||||
|
local SKUTECNA_CESTA="$(readlink -f "$(which python)")" |
||||
|
test "$SPRAVNA_CESTA" == "$SKUTECNA_CESTA" || die "Venv asi nefunguje. Prosím smaž si ho a zkus to znovu." |
||||
|
python -c 'print()' > /dev/null || die "Python ve venvu je rozbitý. Prosím smaž venv a zkus to znovu." |
||||
|
} |
||||
|
|
||||
|
function ensure_web_installed { |
||||
|
ensure_venv |
||||
|
python -c 'import django; print(django.__version__)' > /dev/null && return |
||||
|
echo >&2 "POZOR: Web nevypadá nainstalovaně, instaluji." |
||||
|
make/install_web |
||||
|
} |
||||
|
|
||||
|
function gimli_only { |
||||
|
# Rovnou zkontrolujeme i uživatele |
||||
|
if test "$HOSTNAME" != gimli -o "$USER" != mam-web |
||||
|
then |
||||
|
echo "Tento příkaz se má spouštět na gimlim, chceš pokračovat? Pokud ne, sestřel tento skript." |
||||
|
read |
||||
|
fi |
||||
|
} |
||||
|
|
||||
|
function only_in_directory { |
||||
|
local DIR="$1" |
||||
|
local CURRENT="$(readlink -f .)" |
||||
|
if test "$CURRENT" != "$DIR" |
||||
|
then |
||||
|
echo "Tento příkaz se má spouštět ve složce $DIR, chceš pokračovat? Pokud ne, sestřel tento skript." |
||||
|
read |
||||
|
fi |
||||
|
} |
||||
|
|
||||
|
function safe_checkout_branch { |
||||
|
if test "$#" -ne 1 |
||||
|
then |
||||
|
echo >&2 "Použití: $0 <branch>" |
||||
|
return 1 |
||||
|
fi |
||||
|
|
||||
|
local BRANCH="$1" |
||||
|
local SCRIPT="$0" |
||||
|
|
||||
|
git fetch --all |
||||
|
local UPSTREAM_BRANCH |
||||
|
if git rev-parse "$BRANCH@{u}" >/dev/null 2>/dev/null |
||||
|
then |
||||
|
UPSTREAM_BRANCH="$BRANCH@{u}" # Stačí symbolicky. |
||||
|
else |
||||
|
# Tohle je jediná možná záchrana. |
||||
|
UPSTREAM_BRANCH="$UPSTREAM_REMOTE/$BRANCH" |
||||
|
fi |
||||
|
git rev-parse "$UPSTREAM_BRANCH" || die "Vzdálená větev $UPSTREAM_BRANCH neexistuje?" |
||||
|
|
||||
|
# Od teď si musíme dát pozor, abychom nezměnili kód, který právě běží. |
||||
|
# Zkontrolujeme, že se nemění tahle knihovna a skript, který běží. |
||||
|
# `git rev-parse` dává SHA-1 hashe objektů, vizte manuálovou stránku pro pochopení. |
||||
|
# Pozor: tohle porovnává jen verze commitnuté do gitu. Lokální změny udělají něco náhodného… |
||||
|
if test "$(git rev-parse @:make/lib.sh)" != "$(git rev-parse "$UPSTREAM_BRANCH":make/lib.sh)" |
||||
|
then |
||||
|
echo >&2 "Změna v make/lib.sh, prosím pullni manuálně" |
||||
|
exit 1 |
||||
|
fi |
||||
|
if test "$(git rev-parse @:"$SCRIPT")" != "$(git rev-parse "$UPSTREAM_BRANCH":"$SCRIPT")" |
||||
|
then |
||||
|
echo >&2 "Změna v $SCRIPT, prosím pullni manuálně" |
||||
|
exit 1 |
||||
|
fi |
||||
|
git checkout "$BRANCH" |
||||
|
git pull |
||||
|
git clean -f |
||||
|
} |
||||
|
|
||||
|
function install_everything { |
||||
|
# Skoro celé nasazení webu je stejné pro testweb i pro produkci, tak je to tady dohromady |
||||
|
gimli_only |
||||
|
ensure_venv |
||||
|
make/install |
||||
|
./manage.py migrate |
||||
|
./manage.py collectstatic --noinput |
||||
|
setfacl -R -m default:u:www-data:rX media static |
||||
|
setfacl -R -m u:www-data:rX media static |
||||
|
chown -R :mam . || true |
||||
|
chmod -R g+rX,go-w . || true |
||||
|
} |
||||
|
|
||||
@ -0,0 +1,14 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
scp vue_frontend/webpack-stats.json "$GIMLI_LOGIN:$TESTWEB/vue_frontend/" |
||||
|
rsync -ave ssh seminar/static/seminar/vue "$GIMLI_LOGIN:$TESTWEB/seminar/static/seminar/" |
||||
|
ssh "$GIMLI_LOGIN" " |
||||
|
set -euxo pipefail |
||||
|
cd $TESTWEB |
||||
|
. make/lib.sh |
||||
|
ensure_venv |
||||
|
./manage.py collectstatic --noinput |
||||
|
" |
||||
@ -0,0 +1,8 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
ensure_web_installed |
||||
|
|
||||
|
./manage.py runserver "$@" |
||||
@ -0,0 +1,9 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
ensure_web_installed |
||||
|
|
||||
|
./manage.py graph_models seminar | dot -Tpdf > schema_seminar.pdf |
||||
|
./manage.py graph_models -a -g | dot -Tpdf > schema_all.pdf |
||||
@ -0,0 +1,20 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
ensure_web_installed |
||||
|
|
||||
|
# TODO: This is very ugly, will fix in a future PR (hopefully) |
||||
|
ssh "$GIMLI_LOGIN" " |
||||
|
set -euxo pipefail |
||||
|
cd $PRODWEB |
||||
|
. make/lib.sh |
||||
|
ensure_venv |
||||
|
./manage.py dumpdata flatpages --indent=2 > flat.json |
||||
|
./fix_json.py flat.json flat_fixed.json |
||||
|
" |
||||
|
rsync -ave ssh "$GIMLI_LOGIN:$PRODWEB/flat_fixed.json" data/flat.json |
||||
|
|
||||
|
./manage.py loaddata data/flat.json |
||||
|
|
||||
@ -0,0 +1,11 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
# Prerekvizity nekontrolujeme, dokud voláme další make skripty, tak by akorát |
||||
|
# vedly k víc dotazům na stejnou věc a bylo by to otravné. Pokud tu někdy bude |
||||
|
# něco jiného, tak pak ať tu prerekvizity zmíněné jsou. |
||||
|
|
||||
|
make/sync_test_db_aggressive |
||||
|
make/sync_test_media |
||||
@ -0,0 +1,18 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
gimli_only |
||||
|
# Teoreticky není potřeba, ale stejně jinde make skripty nejsou a pouštět to z |
||||
|
# produkce nezní jako běžný stav, kromě toho to aktuálně vyrábí pomocné soubory |
||||
|
# v aktuální složce (FIXME do budoucna) a to na produkci nechceme |
||||
|
only_in_directory "$TESTWEB" |
||||
|
|
||||
|
pg_dump mam_test > "dump-test-$(date +"%Y%m%d_%H%M").sql" |
||||
|
pg_dump -Fc mam_prod > dump-prod.sql |
||||
|
psql mam_test -c 'DROP OWNED BY "mam-web";' |
||||
|
pg_restore -c --if-exists -d mam_test dump-prod.sql |
||||
|
rm dump-prod.sql |
||||
|
psql mam_test -c "UPDATE django_site SET name='MaMweb (test)', domain='mam-test.ks.matfyz.cz' WHERE id=1" |
||||
|
|
||||
@ -0,0 +1,9 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
gimli_only |
||||
|
only_in_directory "$TESTWEB" |
||||
|
|
||||
|
rsync -av --delete "$PRODWEB/media/" ./media |
||||
@ -0,0 +1,9 @@ |
|||||
|
#!/bin/bash |
||||
|
|
||||
|
set -exuo pipefail |
||||
|
. make/lib.sh |
||||
|
|
||||
|
ensure_web_installed |
||||
|
|
||||
|
trap - ERR # Testy nejspíš selžou, ale nechceme kolem toho dělat další chybovou hlášku. |
||||
|
./manage.py test -v2 --keepdb "$@" |
||||
@ -0,0 +1,22 @@ |
|||||
|
// Kontrola, že org neposílá nějakou blbost v detail.html
|
||||
|
|
||||
|
function zkontroluj_hodnoceni() { |
||||
|
const pocet = $('.hodnoceni').length; |
||||
|
if (pocet === 1) { // vidím pouze plusko
|
||||
|
const vysledek = confirm("Odstranil jsi všechny problémy tohoto řešení. Nepůjde tedy dohledat přes problémy, co řeší, tj. například v došlých řešeních. Přesto odeslat?"); |
||||
|
if (!vysledek) { |
||||
|
event.preventDefault(); |
||||
|
return false; |
||||
|
} |
||||
|
} |
||||
|
|
||||
|
function problem_is_empty(elem, index, array) {return elem.firstElementChild.children.length !== 1 && elem.firstElementChild.children[1].textContent === "";} |
||||
|
|
||||
|
if ($('.hodnoceni').toArray().some(problem_is_empty)) { |
||||
|
alert("Neuloženo! Nezadal jsi problém, ke kterému posíláš hodnocení. Pokud je toto hodnocení navíc, smaž ho prosím křížkem a znovu odešli.") |
||||
|
event.preventDefault() |
||||
|
return false; |
||||
|
} |
||||
|
|
||||
|
return true; |
||||
|
} |
||||
@ -0,0 +1,56 @@ |
|||||
|
// FIXME: Necopypastovat! Tohle je zkopírované ze static/odevzdavatko/dynamic_formsets.js
|
||||
|
|
||||
|
|
||||
|
// Credit https://medium.com/all-about-django/adding-forms-dynamically-to-a-django-formset-375f1090c2b0
|
||||
|
function updateElementIndex(el, prefix, ndx) { |
||||
|
var id_regex = new RegExp('(' + prefix + '-\\d+)'); |
||||
|
var replacement = prefix + '-' + ndx; |
||||
|
if ($(el).attr("for")) { |
||||
|
$(el).attr("for", $(el).attr("for").replace(id_regex, replacement)); |
||||
|
} |
||||
|
if (el.id) { |
||||
|
el.id = el.id.replace(id_regex, replacement); |
||||
|
} |
||||
|
if (el.name) { |
||||
|
el.name = el.name.replace(id_regex, replacement); |
||||
|
} |
||||
|
} |
||||
|
|
||||
|
// Credit https://medium.com/all-about-django/adding-forms-dynamically-to-a-django-formset-375f1090c2b0
|
||||
|
function deleteForm(prefix, btn) { |
||||
|
var total = parseInt($('#id_' + prefix + '-TOTAL_FORMS').val()); |
||||
|
if (total >= 1){ |
||||
|
btn.closest('tr').remove(); |
||||
|
var forms = $('.hodnoceni'); |
||||
|
var formCount = forms.length - 1; // There is one extra such form hidden as template!
|
||||
|
$('#id_' + prefix + '-TOTAL_FORMS').val(formCount); |
||||
|
for (var i=0; i<formCount; i++) { |
||||
|
$(forms.get(i)).find(':input').each(function() { |
||||
|
updateElementIndex(this, prefix, i); |
||||
|
}); |
||||
|
} |
||||
|
} |
||||
|
return false; |
||||
|
} |
||||
|
|
||||
|
// Credit: https://simpleit.rocks/python/django/dynamic-add-form-with-add-button-in-django-modelformset-template/
|
||||
|
$(document).ready(function(){ |
||||
|
$('#pridat_hodnoceni').click(function() { |
||||
|
var form_idx = $('#id_form-TOTAL_FORMS').val(); |
||||
|
var new_form = $('#empty_form').html().replace(/__prefix__/g, form_idx); |
||||
|
$('#form_set').append(new_form); |
||||
|
// Newly created form has not the binding between remove button and remove function
|
||||
|
// We need to add it manually
|
||||
|
$('.smazat_hodnoceni').click(function(){ |
||||
|
deleteForm("form",this); |
||||
|
}); |
||||
|
// Copy deadline
|
||||
|
if (form_idx !== "0") { |
||||
|
$('#id_form-' + form_idx + '-deadline_body')[0].value = $('#id_form-' + (form_idx - 1) + '-deadline_body')[0].value |
||||
|
} |
||||
|
$('#id_form-TOTAL_FORMS').val(parseInt(form_idx) + 1); |
||||
|
}); |
||||
|
$('.smazat_hodnoceni').click(function(){ |
||||
|
deleteForm("form",this); |
||||
|
}); |
||||
|
}); |
||||
@ -1,51 +0,0 @@ |
|||||
{% extends "base.html" %} |
|
||||
{% load static %} |
|
||||
{% load deadliny %} |
|
||||
|
|
||||
{% block content %} |
|
||||
|
|
||||
<p>Řešené problémy: {{ object.problem.all | join:", " }}</p> |
|
||||
|
|
||||
<p>Řešitelé: {% for r in object.resitele.all %} {{ r }} |
|
||||
{% if forloop.revcounter0 != 0 %}, {% endif %} {% endfor %}</p> |
|
||||
|
|
||||
{# https://docs.djangoproject.com/en/3.1/ref/models/instances/#django.db.models.Model.get_FOO_display #} |
|
||||
<p>Forma: {{ object.get_forma_display }}</p> |
|
||||
|
|
||||
<p>Doručeno {{ object.cas_doruceni }}, deadline: {{object.deadline_reseni | deadline_html }}</p> |
|
||||
|
|
||||
{# Soubory: #} |
|
||||
<h3>Přílohy:</h3> |
|
||||
{% if object.prilohy.all %} |
|
||||
<table class="dosla_reseni"> |
|
||||
<tr><th>Soubor</th><th>Řešitelova poznámka</th><th>Datum</th></tr> |
|
||||
{% for priloha in object.prilohy.all %} |
|
||||
<tr> |
|
||||
<td><a href="{{ priloha.soubor.url }}" download>{{ priloha.split | last }}</a></td> |
|
||||
<td>{{ priloha.res_poznamka }}</td> |
|
||||
<td>{{ priloha.vytvoreno }}</td></tr> |
|
||||
{# TODO: Orgo-poznámka, ideálně jako formulář #} |
|
||||
{% endfor %} |
|
||||
</table> |
|
||||
{% else %} |
|
||||
<p>Žádné přílohy</p> |
|
||||
{% endif %} |
|
||||
|
|
||||
{#<h3>Poznámka:</h3>#} |
|
||||
{#<p>{{ poznamka }}</p>#} |
|
||||
|
|
||||
{# Hodnocení: #} |
|
||||
<h3>Hodnocení:</h3> |
|
||||
<table id="form_set" class="dosla_reseni"> |
|
||||
<tr><th>Problém</th><th>Body</th><th>Zpětná vazba od opravovatele</th>{# <th>Deadline pro body</th> #}</tr> |
|
||||
{% for h in hodnoceni %} |
|
||||
<tr class="hodnoceni"> |
|
||||
<td>{{ h.problem }}</td> |
|
||||
<td>{{ h.body }}</td> |
|
||||
<td>{{ h.feedback }}</td> |
|
||||
{# <td>{{ h.deadline_body }}</td>#} |
|
||||
</tr> |
|
||||
{% endfor %} |
|
||||
</table> |
|
||||
|
|
||||
{% endblock %} |
|
||||
@ -0,0 +1,18 @@ |
|||||
|
# Generated by Django 2.2.28 on 2022-11-21 22:07 |
||||
|
|
||||
|
from django.db import migrations, models |
||||
|
|
||||
|
|
||||
|
class Migration(migrations.Migration): |
||||
|
|
||||
|
dependencies = [ |
||||
|
('seminar', '0109_hodnoceni_feedback'), |
||||
|
] |
||||
|
|
||||
|
operations = [ |
||||
|
migrations.AddField( |
||||
|
model_name='resitel', |
||||
|
name='prezdivka_resitele', |
||||
|
field=models.CharField(blank=True, max_length=256, null=True, unique=True, verbose_name='přezdívka řešitele'), |
||||
|
), |
||||
|
] |
||||
@ -0,0 +1,18 @@ |
|||||
|
# Generated by Django 2.2.28 on 2023-01-30 19:14 |
||||
|
|
||||
|
from django.db import migrations, models |
||||
|
|
||||
|
|
||||
|
class Migration(migrations.Migration): |
||||
|
|
||||
|
dependencies = [ |
||||
|
('seminar', '0110_resitel_prezdivka'), |
||||
|
] |
||||
|
|
||||
|
operations = [ |
||||
|
migrations.AlterField( |
||||
|
model_name='resitel', |
||||
|
name='zasilat', |
||||
|
field=models.CharField(choices=[('domu', 'Domů'), ('do_skoly', 'Do školy'), ('nikam', 'Nezasílat papírově')], default='domu', max_length=32, verbose_name='kam zasílat'), |
||||
|
), |
||||
|
] |
||||
@ -0,0 +1,48 @@ |
|||||
|
from django import template |
||||
|
from django.utils.safestring import mark_safe |
||||
|
from urllib.request import quote as urlencode |
||||
|
register = template.Library() |
||||
|
|
||||
|
@register.simple_tag |
||||
|
def mailurl(*, subject=None, body=None, to=[], cc=[], bcc=[]): |
||||
|
"""Tag na vytváření správně zakódované mailto: adresy |
||||
|
|
||||
|
Ref: RFC 6068, <https://en.wikipedia.org/wiki/Mailto>""" |
||||
|
if isinstance(to, str): |
||||
|
to = [to] |
||||
|
if isinstance(cc, str): |
||||
|
cc = [cc] |
||||
|
if isinstance(bcc, str): |
||||
|
bcc = [bcc] |
||||
|
assert isinstance(to, list) |
||||
|
assert isinstance(cc, list) |
||||
|
assert isinstance(bcc, list) |
||||
|
# FIXME: adresa není správně zakódovaná, rozbije se to na adresách s divnými znaky |
||||
|
parts = [ |
||||
|
f'mailto:{str.join(",", to)}', |
||||
|
] |
||||
|
if len(to) + len(cc) + len(bcc) < 1: |
||||
|
raise ValueError('Cannot mail to empty set of people') |
||||
|
|
||||
|
if subject: |
||||
|
parts.append(f'subject={urlencode(subject)}') |
||||
|
if body: |
||||
|
parts.append(f'body={urlencode(body)}') |
||||
|
if len(cc) > 0: |
||||
|
parts.append(f'cc={str.join(",", cc)}') |
||||
|
if len(bcc) > 0: |
||||
|
parts.append(f'bcc={str.join(",", bcc)}') |
||||
|
|
||||
|
if len(parts) > 1: |
||||
|
url = parts[0] + '?' + str.join('&', parts[1:]) |
||||
|
else: |
||||
|
url = parts[0] |
||||
|
return url |
||||
|
|
||||
|
@register.simple_tag |
||||
|
def maillink(text, subject=None, body=None, to=[], cc=[], bcc=[], attrs=None): |
||||
|
url = mailurl(subject=subject, body=body, to=to, cc=cc, bcc=bcc) |
||||
|
if not attrs: attrs = '' |
||||
|
mezera = ' '*bool(attrs) |
||||
|
full_link = f'<a href="{url}"{mezera}{attrs}>{text}</a>' |
||||
|
return mark_safe(full_link) |
||||
@ -1,3 +1,60 @@ |
|||||
from django.test import TestCase |
from django.test import TestCase |
||||
|
# TODO: Možná vyrobit separátní soubory v tests/… než mít všechny testy v jednom souboru? |
||||
|
from various.templatetags.mail import maillink, mailurl |
||||
|
|
||||
# Create your tests here. |
class MailTagsTest(TestCase): |
||||
|
"""Testuje template tagy ohledně mailů.""" |
||||
|
def test_maillink(self): |
||||
|
# Tohle nedává smysl dělit do víc funkcí, bylo by v nich víc boilerplatu než užitečného kódu. |
||||
|
self.assertEquals(maillink('Hello', to='some@body.test'), r'<a href="mailto:some@body.test">Hello</a>') |
||||
|
self.assertEquals(maillink('Hello', to=['some@body.test']), r'<a href="mailto:some@body.test">Hello</a>') |
||||
|
self.assertEquals( |
||||
|
maillink('Hello', to=['alice@test.test', 'bob@jinde.test']), |
||||
|
r'<a href="mailto:alice@test.test,bob@jinde.test">Hello</a>', |
||||
|
) |
||||
|
self.assertEquals( |
||||
|
maillink('Hello', to='some@body.test', attrs='class="trida" id="id"'), |
||||
|
r'<a href="mailto:some@body.test" class="trida" id="id">Hello</a>', |
||||
|
) |
||||
|
# Následující test toho testuje moc zároveň, měly by předcházet dedikované testy… (kašlu na ně :-P) |
||||
|
self.assertEquals( |
||||
|
maillink('Text odkazu', to='prijemce@wtf.test', subject="Předmět", body="Čau"), |
||||
|
r'<a href="mailto:prijemce@wtf.test?subject=P%C5%99edm%C4%9Bt&body=%C4%8Cau">Text odkazu</a>', |
||||
|
) |
||||
|
self.assertRaises(ValueError, lambda: maillink('Nemám příjemce')) |
||||
|
self.assertRaises(TypeError, lambda: maillink()) # Nemá text, takže to shodí python |
||||
|
|
||||
|
def test_mailurl(self): |
||||
|
self.assertEquals(mailurl(to='some@body.test'), r'mailto:some@body.test') |
||||
|
self.assertEquals(mailurl(to=['some@body.test']), r'mailto:some@body.test') |
||||
|
self.assertEquals(mailurl(to=['alice@test.test', 'bob@jinde.test']), r'mailto:alice@test.test,bob@jinde.test') |
||||
|
self.assertEquals( |
||||
|
mailurl(to='some@body.test', body='Tělo', subject='Předmět'), |
||||
|
r'mailto:some@body.test?subject=P%C5%99edm%C4%9Bt&body=T%C4%9Blo', |
||||
|
) |
||||
|
self.assertRaises(ValueError, lambda: mailurl()) |
||||
|
|
||||
|
def test_render_in_template(self): |
||||
|
# Pomocná funkce: vykreslí template do stringu |
||||
|
# Ref: https://stackoverflow.com/a/1690879 |
||||
|
def render_template(template, context=None): |
||||
|
from django.template import Template, Context |
||||
|
context = context or {} |
||||
|
context = Context(context) |
||||
|
return Template(template).render(context) |
||||
|
|
||||
|
template = ( |
||||
|
r'{% load mail %}' |
||||
|
# TODO: Vyzkoušet i víc adresátů. (Nepamatuji si z hlavy syntaxi…) |
||||
|
r'{% maillink "Text" to="alice@test.test" subject="Oprava řešení" %}' |
||||
|
) |
||||
|
self.assertEquals( |
||||
|
render_template(template), |
||||
|
r'<a href="mailto:alice@test.test?subject=Oprava%20%C5%99e%C5%A1en%C3%AD">Text</a>', |
||||
|
) |
||||
|
|
||||
|
mailurltemplate = ( |
||||
|
r'{% load mail %}' |
||||
|
r'{% mailurl to="alice@test.test" subject="Čau Alice" %}' |
||||
|
) |
||||
|
self.assertEquals(render_template(mailurltemplate), r'mailto:alice@test.test?subject=%C4%8Cau%20Alice') |
||||
|
|||||
Loading…
Reference in new issue