AI Cost Engineering — LLMs, Agents & Smart Model Routing
Μείωσε δραστικά το κόστος των AI εφαρμογών σου επιλέγοντας το σωστό μοντέλο, agent και τρόπο εκτέλεσης για κάθε εργασία, σε ένα δομημένο σεμινάριο 14 ακαδημαϊκών ωρών.
Γιατί αξίζει
Το πρόβλημα
Έχεις ήδη ένα AI project ή workflow σε λειτουργία, και το κόστος των frontier μοντέλων αρχίζει να γίνεται πρόβλημα καθώς μεγαλώνει η χρήση.
Το συνηθισμένο λάθος
Η πιο συνηθισμένη λύση — «να βρω απλώς ένα φθηνότερο μοντέλο» — συχνά θυσιάζει ποιότητα χωρίς πραγματική ανάλυση κόστους, ή αντίστροφα κρατά frontier μοντέλα για εργασίες που δεν τα χρειάζονται καθόλου.
Η μεταμόρφωση
Μαθαίνεις να σχεδιάζεις cost-aware AI architecture: deterministic code όπου αρκεί, local/small models για απλές εργασίες, mid-tier execution και frontier escalation μόνο όπου πραγματικά χρειάζεται — με μετρήσιμα κριτήρια, όχι μαντεψιά.
Τι θα έχεις ολοκληρώνοντας
- AI Cost Architecture Blueprint.
- Model Routing Matrix: task → primary → fallback → escalation.
- Agent budget policy: max cost / steps / frontier calls / timeout.
- Baseline vs optimized cost/quality/latency experiment.
- Observability & monitoring checklist.
Γιατί δεν αρκεί μόνο το AI
Κανένα LLM δεν αποφασίζει μόνο του πότε αξίζει ένα φθηνότερο μοντέλο αντί για ένα frontier — αυτή είναι μια αρχιτεκτονική απόφαση που παίρνεις εσύ, με βάση δεδομένα, όχι διαίσθηση.
Στο τέλος θα μπορείς να...
Ο εκπαιδευόμενος φεύγει με AI Cost Architecture Blueprint, Model Routing Matrix και ένα ολοκληρωμένο πείραμα baseline vs optimized cost/quality — έτοιμο να εφαρμοστεί σε πραγματικό project.
Πώς μπορείς να αξιοποιήσεις τη γνώση
- Στο δικό σου project ή προϊόν.
- Ως portfolio project / τεχνική απόδειξη ικανότητας.
- Ως freelance / consulting / implementation service, όπου έχει νόημα.
- Για εκσυγχρονισμό υπάρχοντος project ή επαγγελματικής διαδικασίας.
- Ως βάση για το επόμενο, πιο προχωρημένο σεμινάριο.
Περιγραφή
Cost-aware AI architecture, όχι «ποιο LLM είναι πιο φθηνό»
Δεν διδάσκουμε ποιο είναι το φθηνότερο LLM — οι τιμές αλλάζουν συνεχώς. Διδάσκουμε πώς σχεδιάζεται μια cost-aware AI architecture: deterministic code όπου αρκεί, local/small models για απλές εργασίες, mid-tier models για execution, και frontier models μόνο όπου η επιπλέον ποιότητα δικαιολογεί πραγματικά το κόστος.
Γιατί έχει αξία η εκπαίδευση
Πολλές ομάδες και developers χρησιμοποιούν αυτόματα το πιο ισχυρό (και ακριβό) frontier model σε κάθε βήμα μιας agentic ροής, χωρίς να μετρούν πραγματικά το κόστος ανά επιτυχημένο αποτέλεσμα. Στο σεμινάριο μαθαίνεις:
- Να κάνεις task decomposition: ποια βήματα χρειάζονται πραγματικά reasoning και ποια είναι deterministic ή cheap.
- Να ξεκινάς από το φθηνότερο επίπεδο που μπορεί να πετύχει το quality threshold, με escalation μόνο όταν χρειάζεται.
- Να μετράς Cost per Successful Task, όχι μόνο cost per token.
- Να μειώνεις context πριν αλλάξεις μοντέλο: retrieval, summarization, pruning, caching.
- Να χρησιμοποιείς batch, flex ή asynchronous processing όταν δεν απαιτείται real-time απόκριση.
- Να αξιολογείς local/open-weight μοντέλα με Ollama όπου η ιδιωτικότητα, η επαναληψιμότητα ή ο όγκος το δικαιολογούν.
- Να βάζεις budgets, max steps, fallbacks και observability σε κάθε agentic workflow.
Σε ποιον απευθύνεται
Developers που χρησιμοποιούν LLM APIs ή agents και θέλουν να μειώσουν το burn rate, solopreneurs/founders που χτίζουν AI products, freelancers και AI consultants που πρέπει να προσφέρουν βιώσιμες λύσεις σε πελάτες, teams που βλέπουν αυξανόμενη κατανάλωση από coding/AI agents, και τεχνικά καταρτισμένοι επαγγελματίες που θέλουν να καταλάβουν πώς επιλέγεται μοντέλο ανά task.
Το Flagship εργαστήριο: AI Cost Lab
Δημιουργείς ένα κοινό workload που κάνει intake εγγράφων/URLs, classification, retrieval, synthesis και report generation. Το τρέχεις πρώτα με ένα ακριβό/ισχυρό μοντέλο σε όλα τα βήματα και μετράς το baseline. Στη δεύτερη έκδοση κάνεις task routing: deterministic code όπου γίνεται, local/small models για extraction/classification, mid-tier για synthesis, frontier μόνο για δύσκολο review — με caching, RAG και batch όπου έχουν νόημα. Συγκρίνεις Quality, Success Rate, Latency και Cost ανάμεσα στις δύο εκδόσεις.
Οι τιμές των LLM αλλάζουν συχνά. Στο εργαστήριο χρησιμοποιούνται live pricing pages και cost calculators των providers — όποιο παράδειγμα τιμής αναφερθεί, ισχύει ως «τρέχουσα τιμή κατά την ημερομηνία του μαθήματος» και όχι ως μόνιμο δεδομένο.
Τι χρειάζεσαι πριν ξεκινήσεις
Βασική εξοικείωση με LLM APIs ή AI agents (π.χ. έχεις ήδη χρησιμοποιήσει ένα coding assistant ή ένα API), δικό σου PC, σταθερή σύνδεση internet και διάθεση να δουλέψεις πάνω σε πραγματικό cost experiment.
Διάρκεια & Δομή
14 ακαδημαϊκές ώρες · 7 × 2 ακαδημαϊκές ώρες · 1-to-1 · Live online · Σύγχρονο
1. AI Economics & Cost Anatomy (2 ακαδημαϊκές ώρες)
Tokens, tool calls, latency, retries, subscriptions vs API, κρυφοί cost drivers.
2. Task Decomposition & Model Selection (2 ακαδημαϊκές ώρες)
Difficulty tiers, quality thresholds, πότε ΔΕΝ χρειάζεται LLM.
3. Routing, Escalation & Multi-Agent Cost Architecture (2 ακαδημαϊκές ώρες)
Cheap-first, confidence/validation gates, fallbacks, max steps/budgets.
4. Context Optimization (2 ακαδημαϊκές ώρες)
Caching, RAG, chunking, summarization, memory pruning, prompt/context design.
5. Batch, Async, Local & Hybrid AI (2 ακαδημαϊκές ώρες)
Batch/flex processing, Ollama/open models, privacy και hybrid επιλογές.
6. Gateways, Budgets & Observability (2 ακαδημαϊκές ώρες)
AI gateways, provider abstraction, tracking ανά user/feature/model, alerts.
7. Cost Optimization Lab (2 ακαδημαϊκές ώρες)
Baseline vs optimized architecture, μέτρηση quality/latency/cost, τελικό Blueprint.
Πλεονεκτήματα
Model routing & dynamic selection
Μαθαίνεις να στέλνεις κάθε task στο κατάλληλο επίπεδο μοντέλου, με escalation μόνο όταν χρειάζεται.
Agent budgets & guardrails
Ορίζεις max cost, max steps, max frontier calls και timeouts σε κάθε agentic workflow.
Context caching & prompt-prefix reuse
Μειώνεις κόστος και latency πριν καν σκεφτείς αλλαγή μοντέλου.
Batch, async & local/open-weight models
Αξιοποιείς Ollama και batch processing όπου έχει νόημα, αντί για real-time frontier calls παντού.
AI gateways & observability
Προσθέτεις provider abstraction, usage tracking και cost attribution ανά feature/user/model.
Cost per Successful Outcome
Μαθαίνεις να αξιολογείς trade-off quality ↔ cost ↔ latency ↔ privacy με πραγματικά δεδομένα, όχι μόνο token price.
Προσωπικό project — προαιρετικά
Ο στόχος του σεμιναρίου δεν είναι να ολοκληρωθεί ολόκληρη μια εμπορική εφαρμογή μέσα στις προγραμματισμένες ώρες, αλλά να φτάσεις σε αρχιτεκτονική, MVP ή πρώτο implementation — ή σε ένα σαφές roadmap — ώστε να έχεις τις γνώσεις να συνεχίσεις μόνος/η σου.
Η βασική εκπαίδευση γίνεται πάντα πάνω σε ουδέτερο sample project του CSC. Μόνο στο τελικό, προαιρετικό στάδιο — και μόνο εφόσον το επιθυμείς — μπορεί να εφαρμοστεί η μεθοδολογία στη δική σου ιδέα, χωρίς να χρειάζεται να την αποκαλύψεις από πριν.
Μετά το σεμινάριο μπορεί να προσφέρεται προαιρετικό Project Extension / Mentoring με την ίδια ή με μελλοντικά καθορισμένη τιμή.
Τι χρειάζεσαι πριν ξεκινήσεις
Βασική εξοικείωση με υπολογιστή, δικό σου PC, σταθερή σύνδεση internet και διάθεση να κατανοήσεις βασικές έννοιες software development — δεν χρειάζεται να είσαι ήδη προγραμματιστής.
