Integration von Scraper für Daten aus myHAW

[Malex14]

Moin,

seit diesem Semester gibt es die Veranstaltungspläne nicht mehr von den bisherigen Quellen, sondern nur noch in myHAW / HISinOne. Dadurch funktioniert dieser Bot natürlich nicht mehr richtig für Veranstaltungen.

Um das Problem anzugehen habe ich einen Scraper für myHAW geschrieben¹, der die Termine aller Module von allen Fakultäten der HAW abfragt. (Der Scraper ist im Moment natürlich noch "in Arbeit" und gibt bisher erstmal eine JSON-Datei mit den gesammelten Infos aus.) Hier der Link zum Repo: https://github.com/Malex14/hio_timetable_extractor

Es wäre nun schön wenn man diese Daten in den Bot "einspeisen" könnte. Hierfür würde ich allerdings vorschlagen die Menüführung leicht anzupassen, da die Anzahl der Module und Veranstaltungen von 283 auf 1970 ansteigt. Daher ist es denke ich sinnvoll eine Ordner-/Baum-Struktur mit erst den Fakultäten, dann den Studiengängen und evtl. noch weiteren existierenden Gruppen darzustellen. D.h. die erste Seite wäre dann die Übersicht der Fakultäten, wenn man dann eine auswählt würde man die Studiengänge angezeigt bekommen usw.

Wenn es in Ordnung ist, würde ich erstmal in einem Fork die Änderungen machen und später einen PR erstellen.

Da durch myHAW auch viel mehr Daten verfügbar sind, wie z.B. auch die Anmeldefristen könnte man auch noch weitere schone Features einbauen.

Footnotes

1. mit viel "Schmerzen", da myHAW eine sehr komische Jakarta Faces Anwendung ist, die anders funktioniert als jede Seite, die ich bisher gesehen hab... Außerdem sind einige Felder anscheinend Freitexte, wo jeder sich eine eigene Formatierung ausgedacht hat 😉 ↩

[EdJoPaTo]

seit diesem Semester gibt es die Veranstaltungspläne nicht mehr von den bisherigen Quellen

Ah well…
Informatik scheint noch zu funktionieren? Aber dann vielleicht die frage, wie lange noch?

Tendenziell sollte kein myHAW Login von Personen verwendet werden, um den Bot benutzen zu können. Das sind ja schon sensible Daten. Wenn da ein Tool herunter lädt, welches Secrets hat, sodass alle anderen diese nicht mehr brauchen, wär das vermutlich fine.

Ich muss auch dazu sagen, dass ich schon länger nicht mehr an der HAW bin und damit den Bot selbst nicht mehr benutze, also auch nicht unbedingt viel Priorität dafür habe.

Wenn die Events in ein Format geparsed werden, was vom parser gelesen werden kann, sollte das funktionieren. Vielleicht wäre es dann aber auch gut, wenn es eine Verzeichnisstruktur lesen kann, dann braucht es aber wohl auch mehr Anpassungen im Telegram Bot 🤔

[Malex14]

Erstmal danke für die Antwort.

Informatik scheint noch zu funktionieren? Aber dann vielleicht die frage, wie lange noch?

Nach den Infos, die ich habe wird das nicht mehr aktualisiert. Jetzt gerade sind da noch die Daten aus dem April.

Tendenziell sollte kein myHAW Login von Personen verwendet werden, um den Bot benutzen zu können. Das sind ja schon sensible Daten. Wenn da ein Tool herunter lädt, welches Secrets hat, sodass alle anderen diese nicht mehr brauchen, wär das vermutlich fine.

Da bin ich voll bei dir und ich würde auch ungern meinen Account dafür nutzen. Zum Glück muss man sich aber für die Seiten, auf die der Scraper zugreifen muss nicht anmelden. Diese Seiten sind zwar nicht direkt über die Startseite verlinkt, aber wenn man den Link kennt gehen sie auch ohne Anmeldung.

Ich muss auch dazu sagen, dass ich schon länger nicht mehr an der HAW bin und damit den Bot selbst nicht mehr benutze, also auch nicht unbedingt viel Priorität dafür habe.

Das hatte ich schon vermutet. Deswegen hatte ich vorgeschlagen erstmal die Änderungen in einem Fork zu machen. Es wäre nur unschön, wenn alle, die bisher den Bot genutzt haben auf einen neuen umsteigen müssten.

[EdJoPaTo]

Diese Seiten sind zwar nicht direkt über die Startseite verlinkt, aber wenn man den Link kennt gehen sie auch ohne Anmeldung.

Das macht es deutlich besser!

[EdJoPaTo]

closed by #177

[tide1109]

@EdJoPaTo @Malex14

Ich bin vielleicht etwas zu spät dran, aber ich hatte mich auch etwas mit der neuen Kalendar Funktion in myHAW beschäftigt und möchte hiermit meine Erfahrung berichten.

Hier gibt es von der HAW eine offizielle Ankündigung und ein verlinkte Anleitung. Im Bezug auf den persönlichen Stundenplan ist auch die Wiki der Uni Freiburg sehr gut.

Grob zusammengefasst werden in myHAW die angemeldeten Veranstaltungen (Praktika/Übungen/Prüfungen) automatisch in den persönlichen Stundenplan übernommen. Dazu lassen sich auch Veranstaltungen (vor allem Vorlesungen oder Praktika vor der Anmeldung) per "Vormerken" in den persönlichen Stundenplan übernehmen. Den persönlichen Stundenplan kann man per Link im ICS Format exportieren und beispielsweise in Outlook abonnieren. Neue, entfernte oder veränderte Veranstaltungen werden so automatisch in z.B. Outlook aktualisiert.

Das sind die Funktionen, die der Telegram Bot auch anbietet und in etwas besser, da die Anmeldungen der Veranstaltnug automatisch übernommen werden. Die bessere UI spricht für den Telegram Bot.

@Malex14 Ich habe deine myHAW Extractor grob überflogen. Wäre nicht eine gute Alternative die Daten der Veranstaltung über die einzelnen ICS Dateien abzurufen? Wenn du die ICS Datei erhalten hast, sind alle Daten schon im strukturierten ICS Format. So bist du weniger Anfällig, wenn sich die myHAW UI verändert.

Im Zusammenhang mit dem persönlichen ICS Link von myHAW habe ich mein eigenen Discord Bot um Benachrichtigungen bei Veränderungen ergänzt. Falls sich in ICS Datei eine Veranstaltung ändert, sendet mein Bot eine private Nachricht.

Meiner Erfahrung heraus, gab es bisher nur eine unerwartete Änderung, wo ich den genauen Unterschied nicht herausgefunden habe. Als positiven Nebeneffekt habe ich herausgefunden, dass die Prüfung entfernt wird, wenn die Note veröffentlich wird. Man hat also Notifications für neue Noten.

Wären Benachritigungen bei Änderungen auch etwas für den Telegram Bot?

Mein Discord Bot zeigt auch die Mensa Daten an. @EdJoPaTo danke für die Vorbereitung der Daten in dem mensa-data Repo.

[Malex14]

Hier gibt es von der HAW eine offizielle Ankündigung und ein verlinkte Anleitung. Im Bezug auf den persönlichen Stundenplan ist auch die Wiki der Uni Freiburg sehr gut.

Grob zusammengefasst werden in myHAW die angemeldeten Veranstaltungen (Praktika/Übungen/Prüfungen) automatisch in den persönlichen Stundenplan übernommen. Dazu lassen sich auch Veranstaltungen (vor allem Vorlesungen oder Praktika vor der Anmeldung) per "Vormerken" in den persönlichen Stundenplan übernehmen. Den persönlichen Stundenplan kann man per Link im ICS Format exportieren und beispielsweise in Outlook abonnieren. Neue, entfernte oder veränderte Veranstaltungen werden so automatisch in z.B. Outlook aktualisiert.

Das sind die Funktionen, die der Telegram Bot auch anbietet und in etwas besser, da die Anmeldungen der Veranstaltnug
automatisch übernommen werden. Die bessere UI spricht für den Telegram Bot.

Moin @tide1109, diese Funktionen kenne ich. Wenn man sich aber schon die Anleitung ansieht merkt man, dass das recht umständlich ist. Zudem ist die Bezeichnung der einzelnen Veranstaltungen (finde ich) nicht gut bis gar nicht brauchbar. Das mit dem automatischen übernehmen ist eine schöne Sache, funktioniert aber auch nur dann, wenn die Gruppen in myHAW genau zu den "echten" Guppen passen (was bei mir zumindest eher nicht der Fall ist und wodurch man dann doch wieder manuell mit myHAW kämpfen muss...)

@Malex14 Ich habe deine myHAW Extractor grob überflogen. Wäre nicht eine gute Alternative die Daten der Veranstaltung über die einzelnen ICS Dateien abzurufen? Wenn du die ICS Datei erhalten hast, sind alle Daten schon im strukturierten ICS Format. So bist du weniger Anfällig, wenn sich die myHAW UI verändert.

Das habe ich auch erst gedacht. Leider bringen einem die Daten aus den ICS-Dateien nicht wirklich was, weil da viele Infos fehlen (insbesondere um die Titel der Veranstaltungen aufzuräumen). Zudem fehlen dann die Ordner nach denen die Veranstaltungen gruppiert werden. Ein weiterer Punkt, warum das nicht gut geht ist, dass man die Einzel-ICS-Dateien nicht einfach über einen Link abrufen kann (wie es beim eigenen Stundenplan geht) sondern das über einen POST-Request mit zahlreichen Argumenten der auch noch abhängig vom Zustand der Jakarta-Anwendung im Hintergrund ist.

[EdJoPaTo]

Im Zusammenhang mit dem persönlichen ICS Link von myHAW habe ich mein eigenen Discord Bot um Benachrichtigungen bei Veränderungen ergänzt. Falls sich in ICS Datei eine Veranstaltung ändert, sendet mein Bot eine private Nachricht.

Wären Benachritigungen bei Änderungen auch etwas für den Telegram Bot?

Manuell geht das auf jeden Fall über die git history von https://github.com/HAWHHCalendarBot/eventfiles
Die lässt sich auch pro Datei anschauen, ist aber recht mühsehlich?

Was vielleicht nett wäre, wäre ein direkter Link vom Kalenderbot in die History der jeweiligen Datei. Das wär sogar vergleichsweise einfach. (Beispiel) Allerdings geht es von da aus nur in die Commits, die wieder alle Änderungen von dem Commit zeigen, nicht nur die jeweilige Datei von der aus eins kam.

Side note: für weitere Features, nicht direkt aus diesem heraus, lasst uns da gerne neue Issues für benutzen 😇