Risultati di ricerca

Generative Artificial Intelligence (GenAI) is emerging as a powerful tool to transform the financial services sector. Recent research conducted by Thomas Kaiser (CEO and Co-Founder of Kodex AI), Boon-Hiong Chan (Industry Applied Innovation Lead and Head APAC Market and Technology Advocacy at Deutsche Bank), and Delane Zahoruiko (Founders Associate at Kodex AI) highlights how GenAI can be used to improve regulatory compliance, optimize customer interaction, and manage risks more efficiently, paving the way for new levels of productivity and innovation. However, to fully leverage the potential of GenAI, institutions must address several challenges, including ensuring the quality of systems and cybersecurity, while also guaranteeing a gradual adoption of new technologies. A Gradual Approach to Adopting GenAI in Banking An effective adoption of GenAI in the banking sector requires an incremental and structured strategy, starting with basic applications and moving towards more complex use cases. The research suggests a three-phase approach to building a GenAI use case portfolio, allowing institutions to progressively gain confidence in the technology, mitigate risks, and achieve tangible benefits at each stage. Language Analysis Capabilities : The first phase focuses on leveraging GenAI's basic language analysis capabilities to perform tasks such as text synthesis, processing customer emails, and drafting standardized content. These features enable the organization to improve service efficiency and quality by managing large volumes of text and unstructured data. This phase not only lays the foundation for system capability development but also allows for GenAI to be tailored to the specific needs of the financial domain. Chat-to-Agent : In the second phase, the goal is to transform GenAI into a tool that goes beyond text analysis, enabling specific commands to be executed based on user requests. For example, an executive agent can receive a natural language query, translate it into code (e.g., Python), and use AI models to analyze large datasets and return understandable results. An experiment conducted with the MILA project demonstrated how a chat-to-agent solution allowed non-technical users to obtain detailed analyses of relationships and patterns in data, using visualizations to facilitate understanding. This phase allows for a high degree of autonomy in analysis, while still ensuring human supervision and control for critical results. Chat-to-Execution : The third phase represents the evolution towards autonomous capabilities, where GenAI not only executes commands but also makes autonomous decisions with contextual awareness. This level of development enables the system to operate with a high degree of independence, managing complex decision-making and operational processes. For example, a chat-to-execution system can autonomously decide which approach to take in responding to a specific request, based on a combination of reinforcement learning and memory of past interactions. This capability not only allows for the execution of repetitive tasks but also for adaptation and improvement over time, offering increasingly targeted solutions. The transition from simple language processing applications to fully autonomous solutions requires not only advanced technological infrastructures but also a constant commitment in terms of governance, risk management, and continuous training. The creation of controlled testing environments (AI sandboxes), the development of fair use policies, and the active involvement of industry experts are key aspects for successful adoption. Benefits for the Banking Sector The adoption of GenAI in banking offers several significant benefits, not only in terms of operational efficiency but also in the ability to address complex challenges such as risk management and regulatory compliance. One of the main advantages is GenAI's ability to improve decision quality through the automation of complex analyses. The technology allows the integration of significant volumes of data from various sources and provides real-time analysis, promoting a deeper understanding of market trends and potential risk areas. Moreover, the use of models such as Retrieval-Augmented Generation (RAG) helps improve the accuracy of responses generated by GenAI by tapping into external and verified data. This is particularly useful to ensure that responses are always based on up-to-date and relevant information, a crucial aspect in risk management and regulatory compliance, especially in scenarios requiring high precision and reliability. Another significant advantage relates to the democratization of access to advanced analytics. Tools like those developed in the MILA project have shown how GenAI can enable non-technical users to perform advanced data analyses, reducing the reliance on data science specialists. This capability was demonstrated by experiments where GenAI reduced analysis times by data engineers from several hours to just a few minutes, making the decision-making process faster and more accessible. The use of techniques like Parameter Efficient Fine Tuning (PEFT) and Low Rank Adaptation (LoRA) also helps reduce training costs and improve model customization, making them more suitable for integration into existing infrastructures without the need for excessive computational resources. This optimization not only supports cost reduction but also improves the adaptability of models to the specific needs of each banking organization. Additionally, the use of synthetic data makes it possible to train models in the absence of real data, addressing issues related to privacy and data availability. This approach ensures that models can operate on representative and diversified datasets without compromising customer privacy. Improving customer engagement is another crucial aspect. GenAI enables the development of more personalized and timely interactions, based on a deeper understanding of customer needs and automated request management. This not only increases customer satisfaction but also improves the efficiency of customer service operations, reducing response times and enhancing service quality. Finally, the adoption of GenAI can increase the scalability of operations. In a constantly evolving context like financial services, the ability to quickly scale processes and infrastructures is essential. GenAI systems, thanks to their flexibility, can be adapted to handle an increasing number of requests and processes without compromising the effectiveness or accuracy of operations. This is particularly advantageous during periods of high demand, where it is essential to maintain high service standards without experiencing slowdowns. Quality and Benchmarking To ensure that a GenAI system delivers adequate performance and meets the required standards in the financial sector, it is essential to establish quality measurements through accurate benchmarking. The quality of GenAI depends not only on the model architecture but also on the training data and enhancement tools like RAG and PEFT. The use of benchmarks such as GLUE, SuperGLUE, and MMLU is essential to evaluate the model's ability to understand and process natural language in general contexts. However, the financial sector presents specific challenges that require more targeted measurements. In the banking sector, GenAI effectiveness is often evaluated through specialized financial benchmarks such as FinanceBench, FinQA, and FNS (Financial Narrative Summarisation). FinanceBench assesses the model's ability to accurately process and interpret financial data for market analysis, risk assessment, and compliance reporting. FinQA, on the other hand, focuses on the system's ability to answer questions based on financial contexts, analyzing structured data such as financial reports and earnings calls. FNS evaluates a model's ability to summarize complex financial narratives from dense datasets, such as earnings reports or annual reviews, thus providing a measure of effectiveness in generating key insights automatically. Besides benchmarks and optimization methods, other architectural and process factors play a crucial role in determining the quality of a GenAI system. Among these, data management is critical. The use of preprocessing techniques such as chunking and parsing, in addition to content filters, ensures that data is managed appropriately before being processed by the model. Finally, the issue of explainability is equally fundamental. Implementing transparency systems, such as source attribution in responses and integrating human verification systems (Human-in-the-Loop), helps ensure that the decisions made by the models are traceable and understandable, thereby building the trust needed for GenAI adoption in highly regulated sectors like banking. Challenges and Risks The implementation of GenAI involves numerous challenges and risks that must be addressed to ensure the long-term success of the technology within the financial sector. One of the main issues is model drift. This phenomenon occurs when a model's performance begins to degrade due to the difference between the data used for training and the data the model encounters in real-world scenarios. Changes in customer behaviors or regulations can lead to a significant divergence between the operational context and the data originally used to train the model. To mitigate this risk, it is essential to implement continuous model performance monitoring through metrics such as prediction accuracy and error rate, as well as regular retraining on updated datasets to keep the model aligned with reality. Another significant risk is model hallucination, which refers to the generation of plausible but incorrect or unverified responses. This problem is inherent to the nature of GenAI but can be mitigated with specific techniques. For instance, using Retrieval-Augmented Generation (RAG) techniques, which allow the model to draw from external data sources to verify and confirm information, reduces the likelihood of hallucinations. Moreover, human oversight through the integration of Human-in-the-Loop (HITL) systems allows monitoring of model responses, especially for high-risk decisions, thus ensuring that responses are accurate and relevant. Feedback loop degradation is another risk that occurs when a GenAI system is overly exposed to user feedback without proper quality filters. In such cases, the system may learn undesirable behaviors, worsening the quality of responses over time. To address this issue, it is essential to implement feedback filtering mechanisms that allow for evaluating the quality of user-provided data before it is used to influence model learning. In addition to these specific risks, there are also dependency risks, such as reliance on specific infrastructures or external providers. To mitigate such risks, it is important to adopt modular and interoperable architectures that allow easy migration to alternative models or platforms, avoiding technological lock-in situations. Finally, the financial sector must address cybersecurity risks, especially when using GenAI systems that may interact with sensitive data. Adopting advanced security measures, such as protection against data poisoning or prompt injection attacks, is essential to ensure the resilience and reliability of the system. Recommendations for the Financial Industry To foster effective adoption of GenAI in the financial sector, it is essential to develop an implementation strategy that considers regulatory, technological, and ethical aspects to ensure the responsible and secure use of technologies. It is recommended to invest in the creation of controlled testing environments (AI sandboxes) where new applications can be developed and evaluated in a protected context, ensuring that every new feature or use is compliant with existing regulations before any market release. Another crucial step is continuous training and staff updates. GenAI evolves rapidly, and so do the skills needed to use it effectively. Financial institutions must invest in training programs to ensure that their employees are prepared to face technological changes and make the most of the new opportunities offered by GenAI. At the same time, it is important to encourage collaboration among different departments to foster a complete and shared understanding of the technology's potential and limitations. Collaboration between the public and private sectors plays a fundamental role. AI regulation is still evolving, and cooperation between companies and regulatory authorities can facilitate the development of guidelines that promote innovation without compromising security or privacy. For example, the introduction of fair data-sharing practices, which allow access to high-quality datasets while respecting intellectual property and confidentiality, could facilitate the development of more performant and secure models. It is also necessary for financial institutions to adopt open standards and transparency policies, which not only help avoid technological lock-in risks but also improve public trust in the use of AI. Transparency practices should include complete documentation of training processes, the use of mechanisms for model decision explainability, and regular audits to verify compliance with regulations and ethical standards. Conclusions The adoption of Generative Artificial Intelligence (GenAI) in the banking sector is not merely a technological choice but a strategic transformation that redefines the very foundations of operational and corporate competitiveness. It is not just about implementing tools to improve efficiency but about rewriting the rules of interaction between financial institutions, their customers, and the regulatory environment. This transformation brings extraordinary opportunities, but also risks that require deeper reflection beyond simple cost-benefit calculations. One of the profound implications of using GenAI in banking is the redefinition of the concept of trust. Traditionally, trust in banks is based on transparency, solidity, and human reliability in making critical decisions. With GenAI, this trust must be extended to a non-human intelligence, an entity that decides and acts based on complex mathematical models and immense volumes of data. This implies a significant cultural shift for customers and institutions themselves, who must make otherwise opaque decisions understandable and demonstrate that such systems can operate without compromising ethics or security. The democratization of advanced analytics, one of the main advantages of GenAI, introduces unprecedented dynamics in corporate roles and required skills. If GenAI systems can provide complex insights without the intervention of data science experts, traditional hierarchies within banking organizations are redesigned. This poses a managerial challenge: how to rebalance roles between technical specialists and strategic decision-makers, ensuring that the latter have the skills to interpret and fully exploit the provided analyses? The ability to rapidly scale operations and processes through GenAI reduces traditional operational limits but also raises questions about long-term sustainability. Automating decisions and processes does not only mean responding to current demand but implies a reflection on managing future complexity. Systems that are too autonomous could create a level of technological dependence that makes effective human intervention difficult in crisis situations—a risk that no bank can afford to ignore. In terms of innovation, GenAI also redefines the concept of time in the financial sector. It is not only the speed of execution of analyses or responses that changes, but the ability to predict and adapt to market changes in real-time. This acceleration creates a competitive context where leaders will be those who can integrate speed with accuracy and security. However, this same speed can make regulatory interventions more difficult, increasing the risk of a gap between technological innovation and regulatory capacity. Ethics becomes the critical ground on which GenAI adoption in banking is played out. The management of synthetic data, the use of techniques like Retrieval-Augmented Generation (RAG), and modular fine-tuning, while reducing technical risks, amplify the need for transparent governance. The banks that will stand out will not only be those that successfully implement GenAI but those that do so in a way that makes the technology an element of trust rather than alienation for customers and stakeholders. Ultimately, the introduction of GenAI in the banking sector is not simply a technical evolution but a systemic change that requires a long-term strategic vision. Sector leaders will need to go beyond the logic of efficiency and innovation to embrace a mindset of continuous adaptability, ethical responsibility, and inclusivity. Only in this way can generative artificial intelligence transform from an operational tool into a pillar of the future of financial institutions. Podcast: https://spotifycreators-web.app.link/e/BSSfbXy3TOb Source: https://corporates.db.com/publications/White-papers-guides/adopting-generative-ai-in-banking

The rapid evolution of Large Language Models (LLMs) and Vision Language Models (VLMs) has reignited interest in the creation of general agents capable of autonomously achieving complex objectives. These models possess a vast repertoire of knowledge and have shown promising reasoning abilities in specific scenarios. However, they still face significant limitations when it comes to operating in complex and dynamic environments, which require long-term planning, continuous exploration, and managing intricate interactions. BALROG was developed specifically to address this problem: it is a benchmark designed to assess the agentic capabilities of LLMs and VLMs through a series of increasingly complex games. This project was made possible thanks to a collaboration between the AI Centre at University College London, IDEAS NCBR, the University of Oxford, New York University, and Anthropic. The lead authors of the research are Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, and Tim Rocktäschel. Objectives and Structure of BALROG BALROG aims to provide a unified environment for evaluating the capabilities of LLMs and VLMs as agents in reinforcement learning environments. The main goal is to push models beyond their current limitations, testing them in scenarios that require not only understanding and interaction capabilities but also advanced reasoning, exploration, and adaptability skills. BALROG is structured to challenge models in various aspects of their agentic abilities, including spatial reasoning, long-term planning, and interaction with multimodal representations. The games used for the benchmark range from relatively simple activities, solvable by a non-expert human in a few seconds, to extremely complex tasks such as the NetHack environment, which may take years to master. The games included in BALROG have been carefully selected to cover a wide range of cognitive skills. For example: • BabyAI : a relatively simple environment that assesses the model's ability to follow natural language instructions and navigate a two-dimensional world. • Crafter : inspired by the popular game Minecraft, this environment requires the agent to explore, gather resources, and craft items, testing its survival and resource management skills. • TextWorld : a fully text-based game where the agent must explore mazes and interact with everyday objects, demonstrating its ability to understand and manage scenarios described only verbally. • Baba Is AI : based on the popular puzzle game Baba Is You, this environment assesses the model's ability to manipulate game rules to solve complex problems, challenging its unconventional reasoning skills. • MiniHack and NetHack : extremely complex and challenging environments in which agents must combine exploration, navigation, and long-term planning abilities to survive in procedural dungeons. NetHack, in particular, is known for its difficulty and the advanced skills it requires from human players. Each game features different levels of difficulty, procedural simulations, and long-term planning requirements, making BALROG a comprehensive benchmark that represents the challenges LLM agents must face in the real world. BALROG is not limited to evaluating model performance but also encourages the development of new strategies to improve agent capabilities, providing a flexible platform that supports the integration of new prompting methods and reinforcement learning approaches. Moreover, BALROG adopts a modular architecture that allows the easy addition of new games and test environments, keeping the platform open for ongoing research and innovation. Each component of the benchmark, from basic navigation tasks to advanced challenges like MiniHack and NetHack, contributes to providing a detailed overview of model capabilities in diverse and complex scenarios. The infrastructure supports the use of agents based on zero-shot prompting, few-shot learning, and other advanced techniques, thus supporting a wide range of learning and evaluation methodologies. Methodology and Evaluation Metrics To evaluate the agents' capabilities, BALROG adopts extremely detailed and rigorous metrics, designed to measure various aspects of LLM and VLM performance in complex environments. Each model is evaluated on a series of key parameters, including problem-solving ability, decision-making effectiveness, long-term planning skills, resource management, responsiveness to visual and textual inputs, and robustness in the face of unforeseen procedural challenges. Tests are conducted using different configurations of game environments to ensure the generalizability of the models' capabilities. Agents are evaluated on procedurally generated environments, meaning that each test session presents different situations and maps, preventing any possibility of overfitting based on memorizing solutions. Each environment includes detailed metrics to capture agent progress, including intermediate scores, the number of errors made, and the time taken to complete tasks. For example, in the NetHack environment, a progression system was developed based on experience levels and dungeons reached, as the standard scoring system was not sufficient to adequately represent model progress. In this environment, each level reached contributes to a progressive evaluation of the model, allowing for identification of how close an agent is to successfully completing the game, with completion percentages ranging from 0% to 100%. The challenges of NetHack make a fine-grained measurement particularly useful for monitoring agents' survival and planning strategies. In BabyAI, the main metric is the accuracy with which the agent follows instructions and the time needed to complete tasks. Agents are evaluated on their ability to navigate correctly through a series of actions described in natural language. The best models manage to complete tasks with over 90% accuracy in the simplest situations, while showing a significant drop as task complexity increases. For Crafter, performance analysis focuses on the agents' ability to gather resources, craft tools, and survive within the environment for an extended period. Complexity increases as resources become scarce and the environment becomes dynamic. Parameters such as the number of milestones reached (e.g., gathering rare resources, crafting advanced tools) and the average duration of survival are measured. In the Baba Is AI environment, particular attention is given to agents' ability to manipulate game rules to solve complex puzzles. Metrics include the number of puzzles solved, the time taken for each solution, and the creativity demonstrated in finding unconventional solutions. Agents must not only apply existing rules but also create new ones by combining text blocks to modify game mechanics. For each scenario, BALROG provides a comparative evaluation between LLMs and VLMs, highlighting differences in performance between purely textual representations and those that include visual inputs. Multimodal representations often result in a drop in performance, especially in environments where vision is crucial for effective decision-making, such as MiniHack and NetHack. Multimodal models are evaluated on their ability to integrate visual information with textual information, combining perception and reasoning to navigate complex environments. BALROG's metrics are designed to be normalized into a score from 0 to 100, allowing easy comparison between different models and experimental configurations. This detailed evaluation approach makes it possible to precisely identify models' weaknesses and monitor progress made in various critical areas, such as long-term planning, uncertainty management, and adaptive learning capability. Key Results Performance analysis has shown that current models achieve good results in simpler tasks but show significant shortcomings in more complex ones. In particular, NetHack has proven to be one of the most challenging environments, with the best models managing only an average progress of 1.5% in terms of game advancement. The o1-preview model achieved the best result, with an average progress of 1.57%, while other models, such as GPT-4o and Claude 3.5 Sonnet, recorded even lower performance, highlighting the enormous difficulty in navigating and planning in long-duration environments like NetHack. For MiniHack, the suite has proven to be extremely challenging, with tasks like "Boxoban" never being solved by any model, highlighting serious shortcomings in long-term planning and resource management abilities. Only some models managed to complete the simplest tasks, such as 9x9 mazes and corridor battles. In the case of BabyAI, the top-performing models achieved average progression results of over 70%, with GPT-4o and Llama 3.1 70B leading the way, while the introduction of visual inputs caused a drop in performance. The Gemini-1.5-Pro model maintained stable performance between the textual and visual formats, demonstrating greater robustness. For Crafter, the GPT-4o model showed the best resource management capabilities, with an average progression of 33.10%. However, even in this case, the introduction of visual inputs led to a drop in performance, suggesting that effectively integrating visual information remains a distant goal for many models. For TextWorld, more complex tasks, such as "Coin Collector," presented high difficulties for all models, with GPT-4o completing the task only once in twenty attempts. Gemini models encountered issues with the API, which often classified prompts as "unsafe," preventing a complete evaluation. A recurring element that emerged from the analysis is the so-called "knowing-doing gap": many models demonstrate theoretical knowledge about the game but fail to apply it during task execution. For instance, in NetHack, models like GPT-4o are capable of recognizing the danger of consuming spoiled food but continue to make this mistake during gameplay, highlighting a lack of practical integration of acquired knowledge. Finally, comparative analysis has shown that current multimodal architectures are still unable to fully exploit visual information for effective decision-making. In environments like MiniHack and NetHack, presenting images led to a significant drop in performance, indicating that vision-based reasoning remains an area where models need to improve significantly. Open Challenges for the Future BALROG is not just a benchmark but also a platform for the rapid prototyping of new prompting methodologies and strategies for improving agentic model capabilities. Several open challenges remain for future research, including improvements in integrating visual and textual inputs, enhancing long-term planning capabilities, and bridging the "knowing-doing gap." Improving Visual-Linguistic Integration BALROG's results show that multimodal representations are still not effectively exploited by agents, suggesting serious gaps in vision-based reasoning. The ability to interpret visual information and integrate it with language remains a distant goal. Future research should focus on techniques like self-supervised learning to improve models' ability to extract relevant insights from visual representations. Additionally, the introduction of video observations and multi-image observation histories could provide context for improving models' understanding in long-term scenarios, reducing the difficulty of visual processing. Long-term Planning and Agent Autonomy Long-term planning has been one of the areas where agents have shown the greatest shortcomings. To address these difficulties, a possible solution is to use advanced techniques like Chain-of-Thought Reasoning (CoT), which allows models to think iteratively and formulate more coherent plans. Additionally, the use of persistent memory systems could enable agents to accumulate experience over multiple game sessions, improving their planning ability and making informed decisions based on past experiences. Another approach could be to develop in-context Reinforcement Learning (RL) systems, where the agent learns directly from errors during the inference process, gradually improving its planning capabilities without the need for complete retraining. Bridging the Knowing-Doing Gap The so-called "knowing-doing gap" represents a significant challenge for current models. Many agents know theoretically what to do in specific situations but fail to put this knowledge into practice during gameplay. One approach to bridging this gap could be the integration of self-reflection mechanisms that allow the model to evaluate its actions and make behavioral adjustments. Additionally, the use of in-context fine-tuning techniques, where the agent is adapted in real-time based on game experiences, could prove effective in improving coherence between theoretical knowledge and practical action. Addressing the Computational Limits of Current Models Current models are limited from a computational standpoint, which affects their ability to solve complex tasks. The trade-off between model depth and context is a crucial aspect to consider for performance improvement. To address this problem, a research direction could focus on using attention optimization mechanisms, such as PagedAttention, which allow more efficient management of context and focus computational resources only on elements relevant to the task at hand. Introduction of Multi-Agent Prompting Strategies and Tool Use In the future, BALROG could also explore the role of multi-agent collaboration. Agents could benefit from integrating multi-agent prompting strategies, where different models work together to solve complex tasks. Additionally, the use of external tools and APIs to improve decision-making could represent an important development direction, allowing agents to acquire information and skills that go beyond their basic capabilities. Conclusions BALROG's results underline a crucial point: current AI models, although advanced, remain trapped in a gap between the ability to "know" and the ability to "do." This observation is not just a technical problem but reflects an intrinsic limitation in agent design: the absence of true "agentic intent." LLM and VLM agents do not possess an innate understanding of why certain actions are necessary or useful in a given scenario. This suggests that their current programming positions them as reactive tools rather than systems capable of autonomously navigating strategic complexities. The lack of full integration between visual and linguistic aspects, combined with the shortage of long-term planning, highlights an unexplored opportunity: developing models capable of learning not only from information but also from experience through operational and adaptive heuristics. For example, in games like NetHack or MiniHack, the inability to connect past experiences with future decisions is a signal that models lack a structural memory that transcends the inference session. This not only results in a performance problem but deeply limits the application of such systems in real-world scenarios, where continuity and adaptability are fundamental. From a strategic business perspective, this opens up two innovative opportunities. First, there is a need to develop hybrid systems that combine the computing power of current AIs with decision-making processes that incorporate "simulated intentionality." This could mean models designed to learn contextual behavioral patterns rather than simple task-oriented responses. Such models could be crucial in sectors like supply chain management, where long-term planning and adaptation to variables are essential. Second, the concept of the "knowing-doing gap" could lead to a transformation in how companies design digital workflows. AI systems capable of self-regulating and reflecting on their performance in real-time could reduce human intervention in complex decision-making processes, improving efficiency and resilience. Imagine, for example, a financial management AI system that, in addition to analyzing historical data, learns from its mistakes and adapts its forecasts to mitigate future risks. Finally, the inability to manage visual inputs as an integral part of the decision-making process brings up a fundamental lesson: multimodal AIs must be designed not to passively translate visual inputs into linguistic outputs but to "live" the visual context as an integral part of their understanding. This has enormous implications for sectors like industrial robotics and healthcare, where the interaction between visual and decision-making systems could become a decisive competitive advantage. BALROG is not just a technical benchmark; it is a mirror for understanding the future trajectories of artificial intelligence. For companies, the message is clear: those who know how to invest in solutions that bridge the gap between "knowing" and "doing" will gain not only a technological advantage but also a strategic one in an increasingly complex and interconnected world. Podcast: https://spotifycreators-web.app.link/e/QcyZnUTKWOb Source:   https://arxiv.org/abs/2411.13543

The security of applications based on large language models (LLMs) is an increasingly relevant topic as the integration of these technologies into business systems and public services becomes more widespread. The new 2025 version of the OWASP Top 10 LLM list for vulnerabilities in LLM-based applications describes the most critical risks these applications face. This article is a summary of the work conducted by the OWASP team and involved institutions, based on contributions from security experts, developers, and data scientists from various sectors. In this article, we will explore each of the identified vulnerabilities, providing concrete examples and possible mitigation strategies. Prompt Injection (OWASP Top 10 LLM) The issue of Prompt Injection occurs when a user's input manages to manipulate the behavior of a language model, altering the model's output or actions in unintended ways. This vulnerability can be exploited both intentionally, by malicious actors who provide input designed to deceive the model, and accidentally, when unexpected inputs lead to incorrect system behavior. A particularly complex aspect is that prompt injection attacks may not be visible or readable by humans: any content that the model can interpret can potentially influence its behavior. There are two main types of Prompt Injection attacks: direct and indirect. Direct attacks occur when an attacker directly introduces a command or input that induces the model to perform unwanted actions, such as ignoring security guidelines, revealing sensitive information, or even performing dangerous actions like accessing unauthorized resources. Indirect attacks, on the other hand, occur through input from external sources, such as files or websites, which contain instructions that the model can interpret and that alter its behavior. A new emerging challenge is related to multimodal models, which are designed to handle different types of input, such as text and images simultaneously. Attackers could, for instance, hide instructions within images accompanying text. These cross-modal attacks significantly increase the attack surface, making defending against prompt injection far more complex. The impact of a prompt injection attack can be devastating: from disclosing sensitive information to bypassing system security measures and manipulating the model's critical decisions. For example, an attacker could use hidden prompts to make a customer service chatbot ignore all internal security rules, allowing access to confidential personal data. To mitigate the risk of prompt injection, it is essential to adopt multiple protection strategies. First of all, limiting the model's behavior by precisely defining its roles and capabilities is a crucial step. Providing clear instructions to the model on what is and is not allowed helps prevent unwanted deviations. Additionally, it is important to filter inputs and outputs using semantic tools that can identify potentially harmful content. For instance, implementing input validation controls and content filtering rules can help reduce the risk of malicious inputs. The adoption of an approach called "human-in-the-loop" can also contribute to security. This approach requires that some high-risk actions need human operator confirmation before being executed, thus limiting the possibility that a malicious prompt leads to severe consequences. Furthermore, segregating external content and clearly identifying which data comes from untrusted sources further reduces the potential impact of a prompt injection attack. Finally, testing the model regularly through attack simulations and penetration testing techniques can help identify security flaws before they are exploited. These tests should treat the model as an untrusted user to evaluate the effectiveness of trust boundaries and access controls. Sensitive Information Disclosure (OWASP Top 10 LLM) The vulnerability of Sensitive Information Disclosure occurs when a language model handles personal or confidential data without adequate security controls. This issue can have serious consequences, especially when information is inadvertently disclosed during interaction with the model or due to poor data management practices during training. The nature of these models, trained on vast amounts of data, can lead to situations where private details are unexpectedly revealed if the data has not been properly filtered. One of the most common cases of sensitive information disclosure involves the leakage of personally identifiable information (PII), such as names, addresses, phone numbers, and other sensitive details. For example, in contexts where an LLM is used for customer support, it could inadvertently reveal personal data of another user if proper access controls are not in place. This situation can occur when the model has been trained using data that is not fully anonymized or when information is stored without adequate protection measures. Another significant risk is the exposure of proprietary algorithms or internal details of an organization. For example, a model used to solve business problems could accidentally reveal confidential information about proprietary algorithms or methodologies, exposing the company to potential security risks and loss of competitive advantage. This type of disclosure can occur not only due to errors in managing outputs but also because of targeted attacks exploiting vulnerabilities in prompts or training data. To mitigate these risks, it is crucial to adopt data sanitization techniques during the training process, ensuring that any personal or sensitive data is removed or masked. Sanitization must be performed not only on the data used for training but also on real-time user inputs. Additionally, the adoption of federated learning techniques can reduce the need to transfer sensitive data to a single centralized location, thereby decreasing the risk of exposure. The implementation of access controls based on the principle of least privilege is another key measure to prevent sensitive information disclosure. This approach implies that the model only has access to the information strictly necessary to perform its task, thus limiting the possibility that confidential information is processed or disclosed by mistake. Another useful technique is the use of differential privacy, which adds "noise" to the data to ensure that specific user information cannot be reconstructed from the results generated by the model. Educating users about the safe use of LLMs is equally important. Users must be aware of the risks associated with entering sensitive data and should receive guidelines on how to interact with the model safely. For example, the service's terms of use should clarify that the entered data might be used to improve the model, and users should be given the option to opt out of having their data used for training. Finally, it is essential to properly configure the system to avoid having confidential information included in system prompts or outputs generated by the model. Infrastructure security must be ensured by following best practices, such as those defined by OWASP, including the secure configuration of APIs and masking error messages to prevent leaks of critical information. Supply Chain Vulnerabilities (OWASP Top 10 LLM) Supply chain vulnerabilities in LLM-based applications represent a significant risk, as they can compromise the integrity of the models, training data, and deployment platforms. These vulnerabilities can arise from various external elements, such as pre-trained models or third-party software components. Using publicly available pre-trained models, for example, carries an inherent risk because such models may contain biases or even malicious backdoors, introducing weaknesses that are difficult to detect. A critical aspect is the use of outdated models that are no longer updated or maintained. The adoption of unsupported models or software components represents a common security flaw, similar to those described in other areas of cybersecurity (such as managing outdated software), but with potentially much greater impact, given the pervasive use of LLMs in critical contexts. If a model is not updated, discovered vulnerabilities can be exploited by malicious actors, leading to possible data breaches or system attacks. Another risk concerns fine-tuning methods based on techniques such as Low-Rank Adaptation (LoRA). While these techniques allow for more efficient adaptability and performance improvements, they also introduce new risks. An attacker could exploit vulnerabilities in these adaptations to compromise their integrity, manipulating the base model at the component level and inserting unwanted behaviors. For example, a malicious LoRA adapter could be loaded from an unverified source, compromising the entire system. Moreover, collaborative development and model merging processes, such as those widely adopted on platforms like Hugging Face, represent a notable attack surface. Model sharing platforms are often vulnerable to compromises due to misconfiguration or inadequate security controls. Model tampering attacks could include directly modifying a model's parameters to insert backdoors or biases that are not detectable during common usage. To mitigate these risks, it is crucial to maintain an accurate and updated inventory of all components used in the supply chain, utilizing tools like the Software Bill of Materials (SBOM), which allows verification of the origin and security of software components and pre-trained models. This enables the rapid identification of any known vulnerabilities and the evaluation of the system's overall security. The implementation of AI Red Teaming practices, involving specialized teams simulating attacks to identify vulnerabilities, can be highly effective in testing the resilience of models and components against real threats. It is equally important to continuously monitor and verify the security of collaborative development environments by introducing auditing mechanisms that allow the timely detection of anomalies or abuses. Finally, creating a constant update and patching policy for components used in models is crucial to ensure that any vulnerability is resolved as quickly as possible, thereby limiting the risk of exposure to potential exploits. The use of model encryption techniques, especially for models distributed on local devices, and the integration of integrity checks can prevent model tampering and limit unauthorized access. Data and Model Poisoning (OWASP Top 10 LLM) Data and Model Poisoning occurs when the data used to train the model is manipulated to introduce vulnerabilities, biases, or even to deliberately compromise the model. This type of attack can negatively affect the model's performance, leading to incorrect decisions or unexpected behaviors. One of the main risks is that training data, especially data from external sources, may contain malicious information that alters the model's ability to make accurate predictions. This is particularly true when models are trained on unverified datasets or data collected from public environments, where attackers can easily inject adversarial content. For instance, an attacker could manipulate the dataset by inserting specific examples designed to teach the model to behave incorrectly in certain situations. This type of attack, known as backdoor insertion, can leave the model seemingly normal until a specific trigger alters its behavior. Such an attack could allow the attacker to bypass security measures or directly manipulate the model's responses. To mitigate these risks, it is crucial to implement data traceability measures. Using tools like the Machine Learning Bill of Materials (ML-BOM) helps track the origin and transformations of data throughout the model's lifecycle. Data validation is equally important: every piece of data should undergo a rigorous verification process before being used for training, especially if it comes from external or collaborative sources. Another effective strategy is using data version control (DVC) to monitor every change in datasets. This helps detect any data manipulation and maintain the integrity of the entire model development process. Additionally, the implementation of adversarial learning techniques helps prepare the model to withstand attacks, improving its robustness against malicious perturbations. Another step to prevent model poisoning involves adopting sandboxing to limit the model's exposure to unverified data. Creating an isolated environment in which to test new data before actually using it for training reduces the risk of compromising the model. Finally, using monitoring and anomaly detection techniques during the training process helps identify unexpected behaviors in the model that could indicate the presence of poisoned data. Improper Output Handling (OWASP Top 10 LLM) Improper handling of outputs generated by LLM models can expose applications to a wide range of vulnerabilities, including remote code execution (RCE), cross-site scripting (XSS), and SQL injection attacks. This problem occurs when the output produced by the model is used without adequate validation or sanitization. Since LLMs are systems that generate text based on potentially unverified inputs, they can be exploited to introduce malicious commands that are then executed by subsequent components of the application chain. For example, model output that is fed into a shell system without being verified could allow an attacker to execute arbitrary commands, compromising the entire system. Similarly, SQL queries generated by the LLM and used to access databases without proper parameterization could lead to SQL injection vulnerabilities, allowing unauthorized access to data. In web contexts, unsanitized output displayed in a browser could result in cross-site scripting (XSS) attacks, where the attacker introduces malicious scripts that are executed by the user's browser. To mitigate these risks, it is crucial to treat every output generated by the model as potentially dangerous, applying strict validation and sanitization practices. The adoption of context controls, such as encoding the output based on the target environment (HTML, SQL, JavaScript), is an essential measure to ensure that generated content cannot be used maliciously. Using parameterized queries for all database operations reduces the risk that unverified inputs could alter the intended operations. Moreover, implementing a Content Security Policy (CSP) can limit the impact of XSS attacks by preventing unauthorized scripts from executing. The use of advanced logging and monitoring systems can help detect abnormal behaviors in the outputs generated by the models. For example, constantly monitoring the content generated by the LLM and identifying suspicious patterns can provide an additional level of security, enabling rapid intervention in case of malicious activity detection. It is also important to define rate limits and usage quotas to prevent abuse, especially in contexts where the model has access to critical functions or sensitive resources. Ultimately, ensuring proper output handling means adopting a "zero trust" approach towards generated content, treating the model as a possible attack vector, and implementing all necessary safeguards to protect downstream systems from potential compromises. Excessive Agency (OWASP Top 10 LLM) The concept of Excessive Agency refers to the excessive autonomy granted to a large language model (LLM), which can lead the model to take critical actions without adequate human supervision. LLMs with excessive autonomy can make decisions or perform operations that are outside their intended scope, potentially causing harm or security breaches. This risk becomes more critical with the growing spread of agent-based architectures, where an LLM is used as a decision point to perform various actions. In the context of an LLM application, autonomy can include the model's ability to invoke system functions, access external resources, or communicate with other parts of a system without human confirmation. This capability can be useful for automating tasks, but at the same time, it introduces vulnerabilities when action controls are not sufficiently limited. A common example of excessive autonomy concerns an LLM used as an assistant for email management, which might have access not only to read emails but also to send and delete them. This type of access exposes the system to significant risk, especially if an attacker manages to manipulate the LLM through malicious prompts or compromised external data. If the model is not designed to require human confirmation before performing certain operations, an attack could result in unauthorized emails being sent or critical information being deleted. Another example can be represented by the use of unnecessary plugins or extensions that increase the range of functionalities available to an LLM. If a model is enabled to interact with a file management system, and this extension allows both reading and modifying files, the risk is that unwanted behavior or a targeted attack could lead to the modification or deletion of sensitive data. Plugins with extended functionalities that are not strictly necessary for the intended operation represent a risk vector because they offer additional access points that can be exploited. A related issue is excessive permissions. Very often, LLMs are configured to operate with excessive privileges, allowing them to access functionalities or resources that are not essential for their operations. For example, an extension that only needs to read data from a database might be configured with write, modify, or delete permissions, creating a broader attack surface. Such misconfiguration makes the system vulnerable not only to possible attacks but also to errors that may result from the model's unexpected behavior. To mitigate the risk of excessive autonomy, it is essential to adopt an approach that minimizes the extensions and functionalities available to the LLM. Extensions should be limited to only strictly necessary operations, thus reducing the model's ability to perform harmful actions. It is crucial to apply the principle of least privilege, ensuring that each extension or plugin operates with the lowest possible privileges, required only for the specific intended operation. In this way, even if the model is compromised, the actions it could perform would be severely limited. Moreover, the implementation of human-in-the-loop mechanisms is crucial to ensure that all high-impact actions require confirmation from a human operator before being executed. For example, if an LLM is used to generate content to be published on social media, the final publication should always be manually approved by a human operator to avoid errors or abuse. Finally, it is important to implement continuous monitoring of the model's activities, logging all operations performed and identifying any abnormal behaviors. This type of logging can help quickly detect suspicious activities and respond effectively. Additionally, adopting rate limits and restrictions on the number of actions an LLM can perform within a given time frame helps prevent abuse and limit the impact of possible compromises. The risk of Excessive Agency is therefore closely linked to the management of the capabilities and permissions granted to LLMs. A well-designed architecture, which adopts mitigation measures such as the principle of least privilege, human supervision for critical actions, and continuous monitoring of activities, can significantly reduce exposure to this type of vulnerability, ensuring that the LLM always operates within safe and controlled limits.   System Prompt Leakage (OWASP Top 10 LLM) The vulnerability of System Prompt Leakage involves the risk that system prompts, which are the instructions used to guide the model's behavior, may contain sensitive information that is not intended to be disclosed. System prompts are designed to provide the model with the directives needed to generate appropriate outputs, but they might inadvertently include confidential or critical data. When this information is uncovered, it can be used to facilitate other types of attacks, thus posing a significant risk to system security. A common example of System Prompt Leakage occurs when prompts contain access credentials, API keys, or configuration details that should remain secret. If an attacker manages to extract these prompts, they can exploit them for unauthorized access to system resources, with potentially severe consequences. A specific case reported in the OWASP 2025 research shows how, in various business environments, information such as the structure of internal permissions or user financial transaction limits has been inadvertently exposed, thereby increasing the risk of privilege escalation attacks or bypassing security limits. Moreover, System Prompt Leakage vulnerability can reveal internal filtering criteria used to prevent the model from providing sensitive responses. For example, a system prompt might contain instructions like: “If a user requests information about another user, always respond with ‘Sorry, I cannot assist with this request.’” If an attacker were to see this prompt, they could exploit it to bypass security measures and manipulate the model's behavior in unintended ways. To mitigate the risk of System Prompt Leakage, it is crucial to separate sensitive data from system prompts and avoid including any critical information directly in them. Sensitive information should be managed through systems external to the model, ensuring that the model does not have direct access to such data. Another effective approach is to implement external guardrails: while training for specific behaviors can be useful, it does not guarantee that the model will always follow the instructions, especially in attack situations. An independent system that checks outputs to ensure compliance with expectations is preferable to relying solely on system prompt instructions. A critical mitigation strategy is to ensure that security controls are applied independently of the LLM. This means that essential controls, such as privilege separation and authorization verification, must be performed in a deterministic and verifiable manner, and should never be delegated to the model. For instance, if an LLM agent performs tasks requiring different levels of access, multiple agents should be used, each configured with the minimal privileges needed to perform its task, thereby reducing the risk of accidental exposure of sensitive data. In summary, the risk associated with System Prompt Leakage is not simply about disclosing the prompts themselves, but rather about the presence of sensitive data or excessive authorizations within them. Implementing robust external controls and limiting prompt content to non-sensitive information are essential steps to protect the integrity and security of LLM-based applications. Vector and Embedding Weaknesses (OWASP Top 10 LLM) Weaknesses in embeddings and vectors represent another significant security risk for LLMs. Embeddings are numerical representations that capture the meaning of text and are fundamental to the functioning of LLMs. However, these representations can be exploited to manipulate the model or extract sensitive information, especially if they are not protected by adequate security controls. One of the primary vulnerabilities is embedding inversion, a type of attack in which an attacker uses embedding vectors to reconstruct sensitive information originally included in the training data. This inversion process can reveal private user details or proprietary data used to train the model, thereby compromising privacy. A concrete example reported in the OWASP 2025 research illustrates how an attacker managed to recover personal information, such as names or addresses, by analyzing embedding vectors generated by an inadequately protected LLM. Additionally, embeddings can become vulnerable due to insufficient access controls. In systems using Retrieval-Augmented Generation (RAG) techniques, information contained in vectors can be retrieved and combined with new queries, creating the risk of sensitive data leakage between different users or usage contexts. For example, in multi-tenant environments, an error in the logical separation of requests could cause one user to receive information related to another user, leading to a confidentiality issue. To mitigate these risks, it is essential to implement granular access controls that limit the use of embeddings to secure and verified contexts. Embeddings should be managed so that access is tightly controlled and authorized only for specific purposes. Additionally, techniques such as encrypting data within embeddings can help prevent the risk of inversion and information leakage. It is equally important to establish strict data validation policies to ensure that the information used to create embeddings is clean and comes from reliable sources. Another step toward mitigation involves continuously monitoring the use of embeddings and RAG resources, maintaining a detailed log of access activities. This allows for the timely detection of abnormal behavior that might indicate manipulation attempts or unauthorized access. Monitoring can be combined with anomaly detection techniques to quickly identify possible attacks and mitigate their impact. In summary, weaknesses in embeddings and vectors pose a significant challenge for LLM security. Implementing strict access controls, encrypting data, and constantly monitoring activity are all critical measures to protect these elements and ensure the security and confidentiality of LLM-based applications. Misinformation (OWASP Top 10 LLM) Misinformation represents one of the most critical risks in the use of LLMs, as the models can generate content that appears accurate but is completely incorrect or misleading. This risk is amplified by the ability of LLMs to produce responses that sound credible but are based on erroneous data or misinterpretations. Misinformation can lead to security violations, reputational damage, and even legal consequences, especially in contexts where the reliability of information is crucial, such as healthcare, finance, or law. One of the main issues underlying misinformation is the phenomenon of hallucinations, where the model "invents" answers when there is a lack of concrete data. When the LLM does not have precise information on a particular subject, it may fill in the gaps with statistically generated data that seem accurate but are actually fabricated. For example, in the OWASP 2025 research, there have been documented cases where LLMs provided nonexistent legal references or health details with no scientific basis. This type of misinformation can lead users to make poor decisions, with potentially harmful consequences. Another related problem is the excessive trust users may place in content generated by LLMs. Since responses often appear very confident and detailed, users tend not to verify their accuracy, integrating incorrect information into decision-making processes without proper checks. This can be particularly risky in sensitive contexts. For instance, a medical chatbot providing incorrect information could harm a patient's health, and a model used in the financial sector could lead to disastrous economic decisions. To reduce the risk of misinformation, an effective strategy is to use Retrieval-Augmented Generation (RAG), which allows the model to access updated and verified sources of information during response generation. This approach reduces the risk of hallucinations, as responses are based on concrete data rather than statistical generation. Moreover, it is important to integrate human supervision into decision-making processes, especially in critical fields: manually verifying the information generated by the model can improve overall accuracy and reduce the spread of erroneous content. Another mitigation technique is model refinement through fine-tuning and using embeddings that improve response quality. Techniques like parameter-efficient tuning (PET) and chain-of-thought prompting can significantly reduce the incidence of misinformation, as they enable the model to perform more structured reasoning and verify the consistency of generated information. Finally, it is crucial to educate users on the limitations of LLMs and the importance of independent verification of generated content. Providing specific training to users, especially in sensitive contexts, helps avoid excessive reliance on model-generated content and develop a more critical approach to using these technologies. In conclusion, misinformation represents a central vulnerability for LLMs but can be mitigated through a multidimensional approach combining the use of external sources, human supervision, continuous model refinement, and user education. Only through rigorous control and constant verification is it possible to minimize the risks associated with the dissemination of incorrect information by these models. Unbounded Consumption (OWASP Top 10 LLM) Unbounded Consumption refers to the risk of an LLM using computational resources in an uncontrolled manner, with potential consequences of denial of service or high operational costs. LLMs, especially those hosted in cloud environments with "pay-per-use" billing models, can be vulnerable to excessive and unauthorized use, leading to unsustainable costs for the managing organization. A common example of this risk is the so-called Denial of Wallet (DoW), where an attacker exploits the pay-per-use system to generate continuous and costly requests to the model, causing a significant increase in service costs. This type of attack not only can economically harm the organization but can also have operational consequences, limiting service availability for legitimate users. In the 2025 research, specific cases have been reported where a company's operational cost grew exponentially due to a DoW attack, highlighting how this can represent a significant financial threat. Another typical situation of Unbounded Consumption occurs when users repeatedly submit very complex inputs or long sequences, causing disproportionate use of the model's resources. In these cases, the system can become slow or even stop responding due to excessive computational pressure. An example might be the use of linguistically intricate requests that require significant processing, resulting in inefficient use of CPU and memory. To mitigate these risks, it is crucial to implement rate limits and usage quotas that regulate the maximum number of requests a single user can make within a given time period. This helps prevent resource abuse and ensures a fair distribution of computational capacity among users. The OWASP research emphasizes the importance of limiting the exposure of logits and other sensitive information during API interactions, thereby reducing potential attack vectors for exploiting the model. Another effective approach is continuous resource monitoring, which allows for detecting abnormal usage and quickly responding to suspicious behavior. Alarm systems and rate limiting can be configured to automatically intervene when model usage exceeds certain thresholds, ensuring that resources always remain within manageable limits. Finally, it is useful to consider implementing controlled system degradation techniques. Under excessive loads, the system can be designed to maintain partial functionality rather than undergo a complete shutdown. This ensures that at least some services remain operational even during significant attacks or overloads, thereby reducing the negative impact on the end-user experience. These multidimensional approaches are fundamental to addressing the risk of Unbounded Consumption in LLM applications and ensuring service continuity, economic sustainability, and operational security of implementations based on these models. Conclusions The growing integration of large language models (LLMs) into business processes and public services has led to increased attention to their security, highlighting the need to address new vulnerabilities. These risks, while technical, have profound strategic implications for businesses, particularly in terms of trust, reputation, compliance, and economic sustainability. Understanding the vulnerabilities identified in the OWASP Top 10 LLM 2025 report enables the development of unique perspectives and exploration of innovative strategies to mitigate risks while maximizing the value derived from these advanced technologies. A key takeaway is that vulnerabilities are not limited to the technology itself but often arise from the interaction between models, data, and business processes. For instance, the issue of “Prompt Injection” is not just a technical challenge but calls into question the reliability of the model as a decision-making tool. When a model can be manipulated through malicious inputs, companies must rethink their trust in the generated outcomes and build more resilient ecosystems. Adopting approaches like “human-in-the-loop” is not only a security measure but becomes a strategic choice to balance automation and human control, preserving decision quality in critical scenarios. The “Disclosure of Sensitive Information” instead highlights how fragile the boundary between technological innovation and privacy protection is. Companies can no longer consider data security as a separate technical requirement but must integrate it into their governance strategies. This implies building systems that go beyond simple anonymization, embracing concepts such as differential privacy and federated learning. Such approaches not only reduce risks but offer a competitive advantage in a context where consumer trust is a strategic asset. Vulnerabilities in the supply chain highlight how AI security depends on complex networks of suppliers and partners. Relying on pre-trained models or third-party components introduces systemic risks that require proactive management. Companies must start considering the security of model supply chains as an integral part of their risk management strategy, adopting tools like the Software Bill of Materials (SBOM) to ensure transparency and control. “Misinformation” represents a vulnerability with broader strategic consequences, as it undermines not only the credibility of the technology but also that of the businesses that use it. Companies must address this challenge by embracing a model of accountability to end users. This means not only implementing verification and oversight systems but also educating the public to understand the technology's limitations. Such awareness can transform a reputational risk into an opportunity to strengthen trust. Finally, the risk of “Unbounded Consumption” emphasizes that adopting LLMs is not only about technological innovation but also about economic sustainability. Inefficient resource management can quickly turn into a financial problem, making it essential for companies to implement monitoring and control mechanisms. Furthermore, the concept of “denial of wallet” introduces a new perspective on AI costs, pushing organizations to consider architectural solutions that balance performance and protection. Companies wishing to harness the potential of LLMs must adopt an integrated vision that goes beyond technical security, embracing a strategic approach that considers trust, governance, resilience, and economic sustainability. This requires rethinking the entire implementation lifecycle, from design to operational management, to build systems that are not only secure but also aligned with business objectives and capable of responding to future challenges. Podcast: https://spotifycreators-web.app.link/e/zQXACPTqXOb Source: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/

The growing availability of biomedical data, coming from biobanks, electronic health records, medical imaging, wearable sensors, and environmental biosensors, along with the decreasing costs of genome and microbiome sequencing, has created the conditions for the development of multimodal artificial intelligence (AI) solutions capable of capturing the complexity of human health and disease. This article is based on research conducted by Julián N. Acosta, Guido J. Falcone, Pranav Rajpurkar, and Eric J. Topol, belonging to institutions such as the Yale School of Medicine, Harvard Medical School, and the Scripps Research Translational Institute. This AI has the potential to transform medicine from a series of punctual evaluations to a more holistic and continuous vision, improving diagnosis, prognosis, and treatment personalization. What is Multimodal AI and What Are the Opportunities in Medicine? Multimodal AI combines data from different sources, such as genetic data, imaging, wearable sensors, and clinical data to provide a deeper understanding of patient health. Currently, most AI applications in medicine focus on single modalities, such as a CT scan or a retinal photograph, whereas a physician integrates multiple sources and modalities during diagnosis and treatment selection. Multimodal AI could approach this complexity, broadening the range of applications and improving the precision and personalization of care. One of the most promising areas concerns personalized medicine. Advances in sequencing have allowed the collection of detailed molecular biology data ("omics"), including genome, proteome, transcriptome, epigenome, metabolome, and microbiome. Integrating these data with other clinical information is essential to enhance our understanding of human health, enabling increasingly precise and personalized prevention, diagnosis, and treatment strategies. One of the main opportunities for multimodal AI lies in the use of so-called "digital twins." This approach involves creating virtual models that replicate the physiological behavior of an individual patient, to simulate different therapeutic scenarios. For example, digital twins are used to simulate the progression of diseases such as Alzheimer's or multiple sclerosis and test the possible impact of different therapies, reducing the time and costs required for clinical trials. Such technology can more accurately predict the effectiveness of a specific treatment, improving the personalization of care and optimizing healthcare resource management. Furthermore, combining genetic data, epigenetic data, and information on social determinants of health allows addressing the problem of disparities in access to care. By integrating these different types of data, multimodal AI can identify at-risk populations and develop specific interventions to prevent the onset of chronic diseases. Multimodal AI is not limited to diagnosis and therapy. Another essential application concerns "virtual health assistants." These assistants can combine genetic data, clinical information, and data from biosensors to offer personalized recommendations to patients, facilitating continuous health monitoring and promoting positive behaviors. In a context where healthcare costs continue to rise, using virtual assistants can reduce pressure on healthcare systems, improve therapy adherence, and provide constant support, especially for patients with chronic diseases. Digital Clinical Trials and Remote Monitoring Another important application area is represented by digital clinical trials. The digitalization of clinical trials has the potential to reduce costs, overcome geographical and cultural disparities in participant access, and improve data collection and quality. Recent developments suggest that integrating data from different wearable devices, such as monitoring heart rate, blood oxygen level, sleep quality, and physical activity, could offer a more complete picture of the health status of clinical trial participants. Additionally, integrating devices such as environmental sensors and depth cameras can provide a holistic perspective, useful not only for clinical monitoring but also for adapting patients' living environments according to their health conditions. Another significant innovation in the field of digital clinical trials is represented by the so-called "synthetic control trials." In this approach, historical and external data are used to create synthetic control groups, reducing the need to involve a large number of real participants. These virtual control groups allow comparable results to be obtained, reducing the overall costs and times of the clinical trial. Moreover, the concept of adaptive clinical trials, which exploits real-time data to modify trial protocols, represents a further development in this field. This type of adaptation, facilitated by multimodal integration, allows for a more dynamic and appropriate response to changes in patients' health status during the trial, increasing the safety and effectiveness of the tested interventions. Remote monitoring through wearable sensors and environmental biosensors is already demonstrating the possibility of replicating many hospital functions at home, improving patients' quality of life, and reducing healthcare costs. A concrete example concerns the remote monitoring program for COVID-19 developed by the Mayo Clinic, which demonstrated the feasibility and safety of remotely monitoring people with COVID-19. However, remote monitoring still requires validation through randomized trials to demonstrate its safety compared to hospital admissions. For this purpose, multimodal AI could play a key role in predicting imminent clinical deterioration, enabling timely intervention and reducing patient risks. The use of environmental sensors, such as wireless ones, offers further possibilities for remote monitoring. For instance, sensors placed in home environments, such as cameras or microphones, can detect changes in patient behavior or events such as falls, providing an additional level of safety and support, especially for elderly patients or those with chronic conditions. Integrating these different data modalities allows continuous and accurate monitoring, which could significantly improve the quality of care provided, allowing timely interventions when needed. Digital Twin Technology and Pandemic Surveillance Digital twin technology, a concept borrowed from engineering, could represent a paradigm shift in personalized medicine. These virtual models could predict the effectiveness of specific therapeutic interventions for a patient, accurately modeling the effects on their health. An example is the use of digital twins to improve clinical trials on Alzheimer's and multiple sclerosis, with the aim of testing new therapeutic strategies more quickly and at lower costs. Furthermore, digital twins can be used for simulating emergency health management scenarios. For example, digital twin models can be employed to predict the hospital capacity needed during a pandemic emergency, optimizing resource allocation and improving crisis response. This type of simulation was recently used to analyze the distribution and effectiveness of hospital resources during the COVID-19 pandemic, showing how integrating multimodal data (such as epidemiological data, bed availability information, and ventilation capacity) can provide a clearer and more strategic view of healthcare resource management. Multimodal AI can improve pandemic preparedness and response by facilitating more integrated and real-time surveillance. A concrete example is the DETECT study, launched by the Scripps Research Translational Institute, which used data from wearable sensors to early identify COVID-19 infections and other viral diseases, showing how the combination of self-reported symptoms and sensor metrics improved predictive capabilities compared to using individual modalities. Another emerging approach concerns the use of graph neural network models for integrating and analyzing multimodal data related to pandemic surveillance. These models can leverage the interconnections between different data sources (such as mobility, clinical outcomes, and contact tracing) to identify contagion patterns that are not evident with traditional methods, allowing a more timely and accurate response to epidemics. This technology can also be extended locally, providing specific information for individual hospitals or geographic areas and improving public health management in emergency situations. Technical and Privacy Challenges Despite the opportunities, there are still many challenges to overcome. The multimodal nature of health data entails an intrinsic complexity in their collection, linking, and annotation. Creating well-structured and standardized multimodal datasets is crucial for the success of these approaches. Moreover, the "curse of dimensionality" describes the difficulty in integrating data with a high number of variables, reducing the generalizability of AI solutions. One of the main difficulties is the effective integration of data from heterogeneous sources with different structural characteristics. Data from wearable devices, medical imaging, omics, and electronic health records vary widely in type and format. This variety makes data management complex and requires the creation of infrastructures and normalization tools that can ensure their compatibility and consistency. It has been shown that using techniques such as Graph Neural Networks can improve the ability to manage and integrate these different types of data, allowing a deeper analysis of interactions between different modalities and enhancing predictive accuracy. Furthermore, the lack of high-quality labeled data represents another significant obstacle. Building quality datasets requires accurate and standardized data collection and annotation, a process that is often costly and time-consuming. Self-supervised learning and knowledge transfer techniques can help bridge this gap, allowing AI models to effectively learn from large amounts of unlabeled data. For instance, DeepMind's Perceiver framework has been proposed as a possible solution to handle data of different natures without resorting to specific architectures for each modality, thus improving data integration efficiency. Another relevant issue is represented by data privacy protection. Integrating data from different sources increases the risk of re-identifying individuals, especially when dealing with sensitive health data. To address these challenges, several data protection techniques are emerging, such as federated learning, which allows AI models to be trained without transferring raw data from the original devices or institutions, thus ensuring a higher level of privacy. Federated learning has been successfully implemented in collaborations among multiple institutions to predict clinical outcomes in COVID-19 patients, demonstrating the feasibility of this technology even in complex and large-scale scenarios. Homomorphic encryption represents another solution that allows mathematical operations to be performed on encrypted data without the need to decrypt them, thus ensuring the security of information during the training process. Alternatively, swarm learning offers a newer possibility of training models on local data without the need for a trusted central server, instead leveraging blockchain-based smart contracts to ensure the integrity of the distributed training process. Future Perspectives Multimodal AI has the potential to profoundly transform medicine, making it more personalized, predictive, and accessible. However, to realize this potential, significant efforts are required from the medical community and AI researchers to build and validate new models and demonstrate their usefulness in improving clinical outcomes. One of the main future perspectives for multimodal AI is the creation of unified platforms capable of combining and analyzing a wide range of biomedical data, including genetic information, clinical data, and real-time health parameters. Such platforms could provide a detailed and integrated picture of patient health, enhancing doctors' ability to make more informed decisions. The main challenge in this area concerns the development of models that can effectively operate with heterogeneous data while maintaining privacy and information security. For example, integrating omics data combined with imaging and clinical data has the potential to lead to an even more precise understanding of human health and to develop more effective personalized therapeutic strategies. Furthermore, the growing spread of wearable devices and environmental sensors will enable increasingly granular and continuous data collection, fostering the adoption of preventive rather than reactive approaches. Using multimodal AI in combination with these technologies could help constantly monitor patients and provide early warnings about potential health risks. The possibility of creating medical digital twins could further progress, evolving from a tool for simulating specific therapeutic scenarios to a resource for continuously optimizing a patient's care path, thanks to the progressive integration of data as they are acquired. This would allow for a dynamic and updated patient model, useful not only for treatment selection but also for predicting clinical outcomes and early identification of potential complications. Greater collaboration between healthcare systems, research groups, and industry will be crucial to collect the necessary data and demonstrate the value of these approaches in everyday clinical practice. New privacy technologies, such as federated learning and homomorphic encryption, could be further strengthened and combined with other techniques to ensure that the benefits of multimodal AI are obtained without compromising data security. This approach is particularly important to facilitate data sharing among different institutions, enhancing AI's ability to learn from a broader number of cases without compromising patient confidentiality. Another expanding area concerns adaptive digital clinical trials, where multimodal AI can be used to dynamically monitor and modify trial protocols based on real-time results. This will allow accelerating the development of new therapies, reducing the time and costs associated with traditional clinical trials. In the long term, multimodal artificial intelligence is set to become an essential component in the development of increasingly advanced precision medicine models. These models will optimize treatments for each patient, considering their specific clinical history, individual genetic profile, and current health conditions, with the goal of significantly improving both clinical outcomes and quality of life. Conclusions Multimodal artificial intelligence represents a strategic turning point for the future of healthcare, but its adoption poses challenges and opportunities that transcend the technological sphere to profoundly impact the organizational, economic, and social models of the healthcare system. The possibility of integrating heterogeneous data, such as genetics, imaging, sensors, and social determinants, paves the way for precision medicine that goes beyond the traditional dichotomy between generic approaches and personalized therapies. However, this transformation implies a paradigm shift that not only concerns treatments but also the very structure of healthcare institutions, the training of professionals, and the active participation of patients. Healthcare based on multimodal AI will not be limited to treating disease but will move towards managing health as a continuous and dynamic asset. This approach entails redefining the concept of value in the healthcare system, shifting it from the efficiency of episodic treatments to the ability to anticipate and prevent future complications. The economic implications are profound: on the one hand, it reduces costs related to avoidable hospitalizations and late treatments; on the other, it requires massive initial investment to create technological infrastructures capable of supporting this integration. The adoption of technologies such as "digital twins" and adaptive clinical trials could give rise to new ways of allocating healthcare resources, pushing towards a more equitable and proactive system. A crucial aspect is represented by the impact of multimodal AI on inequalities in access to care. If managed with a strategic vision, this technology can reduce health disparities, but without an ethical approach and solid governance policies, it risks exacerbating them. The integration of social determinants of health data could, for example, identify the most vulnerable populations, but without targeted intervention, mere awareness of disparities will not lead to significant changes. Moreover, dependence on advanced technologies could create new barriers for sections of the population that are less digitally literate or lack access to adequate tools. From a strategic point of view, multimodal AI represents an opportunity to redesign the relationship between doctor and patient. The traditional model, centered on the physician's authority, gives way to a collaboration based on data and virtual assistants that support the patient in monitoring their health. This change requires a reconfiguration of the professional role of doctors, who will need to acquire technological skills to interpret and exploit the data provided by AI. At the same time, there is a risk of a dehumanization of care if the focus on technology is not balanced by renewed attention to the empathetic and relational aspects of clinical work. Another fundamental element is the trust of patients and healthcare workers in the AI-based system. Data protection, often relegated to a technical dimension, assumes strategic relevance in terms of maintaining the legitimacy of the healthcare system. Solutions such as federated learning and homomorphic encryption should not be seen only as security tools but as mechanisms to build a new ethic of data management, capable of balancing innovation with privacy protection. Transparency in the use of collected information will be crucial to avoid AI adoption being perceived as a threat to personal control over one's health. Finally, the integration of multimodal AI into the healthcare system could redefine the boundaries between public and private health. Applications for pandemic surveillance or hospital emergency management demonstrate that this technology is not only an opportunity to improve individual treatments but also a tool to manage population health more effectively and resiliently. However, this requires unprecedented collaboration between governments, industry, research, and citizens. Without strategic coordination, there is a risk that fragmented initiatives will lead to inefficiencies, duplications, and conflicts of interest. Multimodal AI is not just a technological evolution but a lever for rethinking the healthcare system as an integrated ecosystem. Its applications should not be evaluated solely in terms of scientific innovation but as catalysts for systemic transformation that requires vision, leadership, and the ability to manage change. Ultimately, the success of this transition will depend not only on the quality of algorithms but also on the ability of institutions to adapt to a new paradigm of care, centered not only on disease but on the entire spectrum of human health. Podcast: https://spotifycreators-web.app.link/e/aJ4xq1EwYOb Source: https://pubmed.ncbi.nlm.nih.gov/36109635/

La crescente disponibilità di dati biomedici, provenienti da biobanche, cartelle cliniche elettroniche, imaging medico, sensori indossabili e biosensori ambientali, insieme alla diminuzione dei costi del sequenziamento del genoma e del microbioma, ha creato le condizioni per lo sviluppo di soluzioni di intelligenza artificiale (AI) multimodale in grado di catturare la complessità della salute e delle malattie umane. Questo articolo è basato sulla ricerca condotta da Julián N. Acosta, Guido J. Falcone, Pranav Rajpurkar, ed Eric J. Topol, appartenenti a istituzioni come la Yale School of Medicine, la Harvard Medical School e il Scripps Research Translational Institute. Questa AI ha il potenziale di trasformare la medicina da una serie di valutazioni puntuali a una visione più olistica e continua, migliorando la diagnosi, la prognosi e la personalizzazione dei trattamenti. Cos'è l'AI Multimodale e quali sono le opportunità in medicina? L'AI multimodale combina dati provenienti da diverse fonti, come i dati genetici, l'imaging, i sensori indossabili, e i dati clinici per fornire una comprensione più approfondita della salute del paziente. Attualmente, la maggior parte delle applicazioni AI in medicina si concentra su singole modalità, ad esempio un'immagine TC o una fotografia della retina, mentre un medico integra molteplici fonti e modalità durante la diagnosi e la scelta dei trattamenti. L'AI multimodale potrebbe avvicinarsi a questa complessità, ampliando il ventaglio delle applicazioni e migliorando precisione e personalizzazione delle cure. Uno degli ambiti più promettenti riguarda la medicina personalizzata. Il progresso del sequenziamento ha permesso la raccolta di dati dettagliati di biologia molecolare (“omics”), che includono genoma, proteoma, trascrittoma, epigenoma, metaboloma e microbioma. L'integrazione di questi dati con altre informazioni cliniche è fondamentale per incrementare la comprensione della salute umana, consentendo strategie di prevenzione, diagnosi e trattamento sempre più precise e personalizzate. Una delle principali opportunità dell'AI multimodale consiste nell'utilizzo dei cosiddetti "digital twin". Questo approccio implica la creazione di modelli virtuali che replicano il comportamento fisiologico di un singolo paziente, al fine di simulare diversi scenari terapeutici. Ad esempio, i digital twin sono utilizzati per simulare l'evoluzione di malattie come l'Alzheimer o la sclerosi multipla e testare il possibile impatto di diverse terapie, riducendo tempi e costi necessari per i trial clinici. Tale tecnologia può predire con maggiore precisione l'efficacia di un trattamento specifico, migliorando la personalizzazione delle cure e ottimizzando la gestione delle risorse sanitarie. Inoltre, la combinazione di dati genetici, dati epigenetici, e informazioni sui social determinants of health consente di affrontare il problema delle disparità di accesso alle cure. Integrando questi diversi tipi di dati, l'AI multimodale può identificare le popolazioni a rischio e sviluppare interventi specifici per prevenire l'insorgenza di malattie croniche. L'AI multimodale non si limita alla diagnosi e alla terapia. Un'altra applicazione fondamentale riguarda i "virtual health assistants". Questi assistenti possono combinare dati genetici, informazioni cliniche, e dati provenienti da biosensori per offrire raccomandazioni personalizzate ai pazienti, facilitando il monitoraggio continuo dello stato di salute e promuovendo comportamenti virtuosi. In un contesto in cui i costi della sanità continuano a crescere, l'uso di assistenti virtuali può ridurre la pressione sui sistemi sanitari, migliorare l'aderenza alle terapie e fornire un supporto costante, specialmente per pazienti con malattie croniche.   Trials clinici digitali e monitoraggio remoto Un'altra area di applicazione importante è rappresentata dai trial clinici digitali. La digitalizzazione dei trial clinici ha il potenziale di ridurre i costi, superare le disparità geografiche e culturali nell'accesso ai partecipanti, e migliorare la raccolta e la qualità dei dati. Recenti sviluppi suggeriscono che l'integrazione di dati provenienti da diversi dispositivi indossabili, come il monitoraggio del battito cardiaco, il livello di ossigeno nel sangue, la qualità del sonno e l'attività fisica, potrebbe offrire un quadro più completo dello stato di salute dei partecipanti ai trial clinici. Inoltre, l'integrazione di dispositivi come sensori ambientali e videocamere di profondità può fornire una prospettiva olistica, utile non solo per il monitoraggio clinico, ma anche per l'adattamento degli ambienti di vita dei pazienti in funzione delle loro condizioni di salute. Un'altra importante innovazione nel contesto dei trial clinici digitali è rappresentata dai cosiddetti "synthetic control trials". In questo approccio, i dati storici e i dati esterni vengono utilizzati per creare gruppi di controllo sintetici, riducendo la necessità di coinvolgere un numero elevato di partecipanti reali. Questi gruppi di controllo virtuali permettono di ottenere risultati comparabili, riducendo i costi e i tempi complessivi del trial clinico. Inoltre, il concetto di adaptive clinical trials, che sfrutta dati in tempo reale per modificare i protocolli di sperimentazione, rappresenta un ulteriore sviluppo in questo ambito. Questo tipo di adattamento, facilitato dall'integrazione multimodale, consente una risposta più dinamica e appropriata ai cambiamenti nello stato di salute dei pazienti durante il trial, aumentando la sicurezza e l'efficacia degli interventi testati. Il monitoraggio remoto tramite sensori indossabili e biosensori ambientali sta già dimostrando la possibilità di replicare molte delle funzioni ospedaliere a domicilio, migliorando la qualità della vita dei pazienti e riducendo i costi sanitari. Un esempio concreto riguarda il programma di monitoraggio remoto COVID-19 sviluppato dalla Mayo Clinic, che ha dimostrato la fattibilità e la sicurezza del monitoraggio remoto delle persone con COVID-19. Tuttavia, il monitoraggio remoto richiede ancora validazione tramite trial randomizzati che dimostrino la sua sicurezza in confronto ai ricoveri ospedalieri. A questo fine, l'AI multimodale potrebbe giocare un ruolo chiave nella predizione dei deterioramenti clinici imminenti, consentendo l'intervento tempestivo e riducendo i rischi per i pazienti. L'uso di sensori ambientali, come quelli wireless, offre ulteriori possibilità per il monitoraggio remoto. Ad esempio, sensori collocati in ambienti domestici, come videocamere o microfoni, possono rilevare cambiamenti nel comportamento del paziente o eventi come cadute, offrendo un livello aggiuntivo di sicurezza e supporto, specialmente per i pazienti anziani o affetti da patologie croniche. L'integrazione di queste diverse modalità di dati permette un monitoraggio continuo e accurato, che potrebbe migliorare significativamente la qualità dell'assistenza fornita, permettendo interventi tempestivi in caso di necessità.   Tecnologia dei Digital Twin e sorveglianza pandemica La tecnologia dei digital twin, concetto ripreso dall'ingegneria, potrebbe rappresentare un cambio di paradigma nella medicina personalizzata. Questi modelli virtuali potrebbero predire l'efficacia di interventi terapeutici specifici per un paziente, modellando con precisione gli effetti sul suo stato di salute. Un esempio è dato dall'utilizzo di digital twin per migliorare i trial clinici sull'Alzheimer e la sclerosi multipla, con l'obiettivo di testare nuove strategie terapeutiche più rapidamente e con costi ridotti. Inoltre, i digital twin possono essere utilizzati per la simulazione di scenari di gestione delle emergenze sanitarie. Ad esempio, modelli digital twin possono essere impiegati per prevedere la capacità ospedaliera necessaria durante un'emergenza pandemica, ottimizzando l'allocazione delle risorse e migliorando la risposta alle crisi. Questo tipo di simulazione è stato recentemente utilizzato per analizzare la distribuzione e l'efficacia delle risorse ospedaliere durante la pandemia di COVID-19, mostrando come l'integrazione di dati multimodali (come dati epidemiologici, informazioni sulla disponibilità di letti e capacità di ventilazione) possa fornire una visione più chiara e strategica della gestione delle risorse sanitarie. L'AI multimodale può migliorare la preparazione e la risposta alle pandemie, facilitando una sorveglianza più integrata e in tempo reale. Un esempio concreto è rappresentato dallo studio DETECT, lanciato dal Scripps Research Translational Institute, che ha utilizzato dati provenienti da sensori indossabili per identificare precocemente le infezioni da COVID-19 e altre malattie virali, mostrando come la combinazione di sintomi auto-riportati e metriche dei sensori abbia migliorato le capacità di previsione rispetto all'utilizzo delle singole modalità. Un altro approccio che sta emergendo riguarda l'uso di modelli di rete neurale grafica per l'integrazione e l'analisi dei dati multimodali relativi alla sorveglianza delle pandemie. Questi modelli possono sfruttare le interconnessioni tra diverse fonti di dati (come mobilità, risultati clinici e tracciamento dei contatti) per identificare pattern di contagio non evidenti con metodi tradizionali, permettendo una risposta tempestiva e più precisa alle epidemie. Questa tecnologia può essere estesa anche a livello locale, fornendo informazioni specifiche per singoli ospedali o aree geografiche, e migliorando la gestione della salute pubblica in situazioni di emergenza.   Sfide tecniche e di privacy Nonostante le opportunità, ci sono ancora molte sfide da superare. La natura multimodale dei dati sanitari comporta una complessità intrinseca nella loro raccolta, collegamento e annotazione. La creazione di dataset multimodali ben strutturati e standardizzati è fondamentale per il successo di questi approcci. Inoltre, la “curse of dimensionality” (“la maledizione della dimensionalità”) descrive la difficoltà nell'integrare dati con un numero elevato di variabili, riducendo la capacità di generalizzare delle soluzioni AI. Una delle principali difficoltà riguarda l'integrazione efficace di dati provenienti da fonti eterogenee e con diverse caratteristiche strutturali. I dati provenienti da dispositivi indossabili, imaging medico, omics e cartelle cliniche elettroniche variano ampiamente per tipo e formato. Questa varietà rende complessa la gestione dei dati e richiede la creazione di infrastrutture e strumenti di normalizzazione che possano garantire la loro compatibilità e coerenza. È stato dimostrato che l'uso di tecniche come le reti neurali grafiche (Graph Neural Networks) può migliorare la capacità di gestire e integrare queste differenti tipologie di dati, consentendo un'analisi più profonda delle interazioni tra le diverse modalità e migliorando la precisione delle previsioni. Inoltre, la mancanza di dati etichettati di alta qualità rappresenta un ulteriore ostacolo significativo. La costruzione di dataset di qualità richiede una raccolta e annotazione dei dati accurata e standardizzata, un processo spesso costoso e che richiede molto tempo. Tecniche di apprendimento auto-supervisionato e trasferimento di conoscenze possono aiutare a colmare questa lacuna, consentendo ai modelli AI di imparare in modo efficace anche da grandi quantità di dati non etichettati. Ad esempio, il framework Perceiver di DeepMind è stato proposto come una possibile soluzione per gestire dati di natura diversa senza dover ricorrere ad architetture specifiche per ogni modalità, migliorando così l'efficienza dell'integrazione dei dati. Un altro problema rilevante è rappresentato dalla protezione della privacy dei dati. L'integrazione di dati da diverse fonti aumenta il rischio di re-identificazione degli individui, soprattutto quando si tratta di dati sanitari sensibili. Per affrontare queste sfide, stanno emergendo diverse tecniche di protezione dei dati, come il federated learning, che permette di addestrare modelli AI senza dover trasferire i dati grezzi dai dispositivi o dalle istituzioni di origine, garantendo così un maggiore livello di privacy. Il federated learning è stato implementato con successo in collaborazione tra più istituzioni per predire gli esiti clinici in pazienti affetti da COVID-19, dimostrando la fattibilità di questa tecnologia anche in scenari complessi e su larga scala. La crittografia omomorfica rappresenta un'ulteriore soluzione che consente di effettuare operazioni matematiche su dati criptati senza la necessità di decriptarli, garantendo così la sicurezza delle informazioni durante il processo di addestramento. In alternativa, il swarm learning offre una possibilità più recente di addestramento di modelli su dati locali senza la necessità di un server centrale fidato, sfruttando invece contratti smart basati su blockchain per garantire l'integrità del processo di addestramento distribuito.   Prospettive future L'AI multimodale ha il potenziale per trasformare profondamente la medicina, rendendola più personalizzata, predittiva e accessibile. Tuttavia, per realizzare questo potenziale, sono necessari sforzi significativi da parte della comunità medica e dei ricercatori di AI per costruire e validare nuovi modelli, e dimostrare la loro utilità per migliorare i risultati clinici. Una delle principali prospettive future per l'AI multimodale è la creazione di piattaforme unificate in grado di combinare e analizzare una vasta gamma di dati biomedici, che includano informazioni genetiche, dati clinici e parametri di salute in tempo reale. Tali piattaforme potrebbero fornire un quadro dettagliato e integrato della salute del paziente, migliorando la capacità dei medici di prendere decisioni più informate. La sfida principale in questo ambito riguarda lo sviluppo di modelli che possano operare efficacemente con dati di natura eterogenea, mantenendo al contempo la privacy e la sicurezza delle informazioni. Ad esempio, l'integrazione dei dati omici, combinati con imaging e dati clinici, ha il potenziale di portare a una comprensione ancora più precisa della salute umana e di sviluppare strategie terapeutiche personalizzate più efficaci. Inoltre, la crescente diffusione di dispositivi indossabili e sensori ambientali consentirà una raccolta di dati sempre più granulare e continua, favorendo l'adozione di approcci preventivi piuttosto che reattivi. L'utilizzo dell'AI multimodale in combinazione con queste tecnologie potrebbe aiutare a monitorare costantemente i pazienti e fornire avvisi anticipati sui potenziali rischi per la salute. La possibilità di creare digital twin medici potrebbe progredire ulteriormente, trasformandosi da uno strumento per simulare specifici scenari terapeutici a una risorsa per ottimizzare costantemente il percorso di cura di un paziente, grazie all'integrazione progressiva dei dati man mano che vengono acquisiti. Questo consentirebbe di avere un modello dinamico e aggiornato del paziente, utile non solo per la scelta dei trattamenti, ma anche per la previsione dell'andamento clinico e l'identificazione precoce di potenziali complicazioni. Una maggiore collaborazione tra sistemi sanitari, gruppi di ricerca e l'industria sarà fondamentale per raccogliere i dati necessari e dimostrare il valore di questi approcci nella pratica clinica quotidiana. Le nuove tecnologie di privacy, come il federated learning e l'encryption omomorfa, potrebbero essere ulteriormente rafforzate e combinate con altre tecniche per garantire che i benefici dell'AI multimodale siano ottenuti senza compromettere la sicurezza dei dati. Questo approccio è particolarmente importante per facilitare la condivisione dei dati tra istituzioni diverse, migliorando la capacità dell'AI di imparare da un numero più vasto di casi senza compromettere la riservatezza dei pazienti. Un'altra area in espansione riguarda i trial clinici digitali adattivi, dove l'AI multimodale può essere utilizzata per monitorare e modificare dinamicamente i protocolli dei trial sulla base dei risultati in tempo reale. Questo permetterà di accelerare lo sviluppo di nuove terapie, riducendo i tempi e i costi associati ai trial clinici tradizionali. Nel lungo termine, l'intelligenza artificiale multimodale è destinata a rappresentare una componente essenziale nello sviluppo di modelli sempre più avanzati di medicina di precisione. Questi modelli consentiranno di ottimizzare i trattamenti per ciascun paziente, tenendo conto della sua storia clinica specifica, del profilo genetico individuale e delle condizioni di salute attuali, con l'obiettivo di migliorare in modo significativo sia i risultati clinici che la qualità della vita.   Conclusioni L’intelligenza artificiale multimodale rappresenta una svolta strategica per il futuro della sanità, ma la sua adozione pone sfide e opportunità che trascendono la sfera tecnologica per impattare profondamente i modelli organizzativi, economici e sociali del sistema sanitario.  La possibilità di integrare dati eterogenei, come genetica, imaging, sensori e determinanti sociali, apre la strada a una medicina di precisione che supera la tradizionale dicotomia tra approcci generici e terapie personalizzate. Tuttavia, questa trasformazione implica un cambio di paradigma che non riguarda solo le cure, ma anche la struttura stessa delle istituzioni sanitarie, la formazione dei professionisti e la partecipazione attiva dei pazienti. La sanità basata sull’AI multimodale non si limiterà a curare la malattia, ma si sposterà verso la gestione della salute come asset continuo e dinamico. Questo approccio comporta una  ridefinizione del concetto di valore nel sistema sanitario , spostandolo dall’efficienza dei trattamenti episodici alla capacità di anticipare e prevenire complicazioni future. Le implicazioni economiche sono profonde: da un lato, si riducono i costi legati a ricoveri evitabili e trattamenti tardivi; dall’altro, si richiede un massiccio investimento iniziale per creare infrastrutture tecnologiche capaci di supportare questa integrazione. L’adozione di tecnologie come i "digital twin" e i trial clinici adattivi potrebbe far emergere nuove modalità di allocazione delle risorse sanitarie, spingendo verso un sistema più equo e proattivo. Un aspetto cruciale è rappresentato dall’impatto dell’AI multimodale sulle disuguaglianze di accesso alle cure.  Se gestita con una visione strategica, questa tecnologia può ridurre i divari sanitari, ma senza un approccio etico e politiche di governance solide rischia di acuirli.  L’integrazione dei dati dei determinanti sociali della salute potrebbe, ad esempio, identificare le popolazioni più vulnerabili, ma senza un intervento mirato, la semplice conoscenza delle disparità non porterà a cambiamenti significativi. Inoltre, la dipendenza da tecnologie avanzate potrebbe creare nuovi ostacoli per le fasce di popolazione meno alfabetizzate dal punto di vista digitale o prive di accesso a strumenti adeguati. Dal punto di vista strategico, l’AI multimodale rappresenta un’opportunità per ridisegnare il rapporto tra medico e paziente. Il modello tradizionale, incentrato sull’autorità del medico, lascia spazio a una collaborazione basata su dati e assistenti virtuali che affiancano il paziente nel monitoraggio della propria salute. Questo cambiamento richiede una  riconfigurazione del ruolo professionale dei medici , che dovranno acquisire competenze tecnologiche per interpretare e sfruttare i dati forniti dall’AI. Al tempo stesso, si pone il rischio di una disumanizzazione delle cure se il focus sulla tecnologia non sarà bilanciato da una rinnovata attenzione agli aspetti empatici e relazionali del lavoro clinico. Un altro elemento fondamentale è la fiducia dei pazienti e degli operatori sanitari nel sistema basato sull’AI.  La protezione dei dati, tema spesso relegato a una dimensione tecnica, assume una rilevanza strategica nell’ottica di mantenere la legittimità del sistema sanitario. Soluzioni come il federated learning e la crittografia omomorfica non devono essere viste solo come strumenti di sicurezza, ma come meccanismi per costruire una nuova etica della gestione dei dati, capace di bilanciare l’innovazione con la protezione della privacy. La trasparenza nell’uso delle informazioni raccolte sarà cruciale per evitare che l’adozione dell’AI venga percepita come una minaccia al controllo personale sulla propria salute. Infine,  l’integrazione dell’AI multimodale nel sistema sanitario potrebbe ridefinire i confini tra salute pubblica e privata.  Le applicazioni per la sorveglianza pandemica o la gestione delle emergenze ospedaliere dimostrano che questa tecnologia non è solo un’opportunità per migliorare i trattamenti individuali, ma anche uno strumento per gestire la salute delle popolazioni in modo più efficace e resiliente. Tuttavia, ciò richiede una collaborazione senza precedenti tra governi, industria, ricerca e cittadini. Senza un coordinamento strategico, c’è il rischio che le iniziative frammentate portino a inefficienze, duplicazioni e conflitti di interesse. L’AI multimodale non è solo una evoluzione tecnologica, ma una leva per ripensare il sistema sanitario come ecosistema integrato. Le sue applicazioni non devono essere valutate solo in termini di innovazione scientifica, ma come catalizzatori di una trasformazione sistemica che richiede visione, leadership e capacità di gestione del cambiamento. In definitiva, il successo di questa transizione dipenderà non solo dalla qualità degli algoritmi, ma dalla capacità delle istituzioni di adattarsi a un nuovo paradigma di cura, centrato non solo sulla malattia ma sull’intero spettro della salute umana.   Podcast: https://spotifycreators-web.app.link/e/qf3pCIfwYOb Fonte: https://pubmed.ncbi.nlm.nih.gov/36109635/

La sicurezza delle applicazioni basate su modelli di linguaggio di grandi dimensioni (LLM) è una tematica sempre più rilevante man mano che l'integrazione di tali tecnologie nei sistemi aziendali e nei servizi al pubblico si diffonde. La nuova versione 2025 della classifica OWASP Top 10 LLM per le vulnerabilità nelle applicazioni basate su LLM descrive i rischi più critici a cui queste applicazioni sono esposte. Questo articolo è una sintesi dei risultati del lavoro svolto dal team OWASP e dalle istituzioni coinvolte, basato sui contributi di esperti di sicurezza, sviluppatori e data scientist provenienti da diversi settori. In questo articolo esploreremo ciascuna delle vulnerabilità identificate, fornendo esempi concreti e possibili strategie di mitigazione. Prompt Injection (OWASP Top 10 LLM) Il problema del Prompt Injection  si verifica quando l'input di un utente riesce a manipolare il comportamento di un modello linguistico, modificando l'output o le azioni del modello in modi indesiderati. Questa vulnerabilità può essere sfruttata sia intenzionalmente, da parte di attori malevoli che forniscono input progettati per ingannare il modello, sia accidentalmente, quando input imprevisti portano a un comportamento errato del sistema. Un aspetto particolarmente complesso è che gli attacchi di prompt injection possono non essere visibili o leggibili dagli esseri umani: qualsiasi contenuto che il modello riesca a interpretare può potenzialmente influenzare il suo comportamento. Esistono due principali tipologie di attacchi di Prompt Injection: diretti e indiretti. Gli attacchi diretti si verificano quando l'attaccante introduce direttamente un comando o un input che induce il modello a eseguire azioni indesiderate, come ignorare linee guida di sicurezza, rivelare informazioni sensibili, o addirittura effettuare azioni pericolose come l'accesso a risorse non autorizzate. Gli attacchi indiretti, invece, avvengono attraverso input provenienti da fonti esterne, come file o siti web, che contengono istruzioni che il modello può interpretare e che alterano il suo comportamento. Una nuova sfida emergente è legata ai modelli multimodali, che sono progettati per gestire input di diverse tipologie, come testo e immagini contemporaneamente. Gli attaccanti potrebbero, ad esempio, nascondere istruzioni all'interno di immagini che accompagnano del testo. Questi attacchi "cross-modal" aumentano significativamente la superficie di attacco, rendendo molto più complessa la difesa contro il prompt injection. L'impatto di un attacco di prompt injection può essere devastante: dalla divulgazione di informazioni sensibili, al bypass delle misure di sicurezza del sistema, fino alla manipolazione delle decisioni critiche del modello. Ad esempio, un attaccante potrebbe utilizzare prompt nascosti per far sì che un chatbot di assistenza clienti ignori tutte le regole di sicurezza interne, consentendo l'accesso a dati personali riservati. Per mitigare il rischio di prompt injection, è essenziale adottare diverse strategie di protezione. Prima di tutto, limitare il comportamento del modello attraverso la definizione precisa dei suoi ruoli e delle sue capacità è un passo cruciale. Fornire istruzioni chiare al modello su ciò che è consentito e ciò che non lo è aiuta a prevenire deviazioni indesiderate. Inoltre, è importante filtrare gli input e gli output, utilizzando strumenti semantici che possano identificare contenuti potenzialmente dannosi. Ad esempio, implementare controlli di "input validation" e regole per il filtraggio del contenuto può aiutare a ridurre il rischio di input malevoli. Anche l'adozione di un approccio chiamato "human-in-the-loop" può contribuire alla sicurezza. Questo approccio prevede che alcune azioni ad alto rischio richiedano la conferma di un operatore umano prima di essere eseguite, limitando così la possibilità che un prompt malevolo porti a conseguenze gravi. In aggiunta, la segregazione dei contenuti esterni e l'identificazione chiara di quali dati provengano da fonti non fidate riducono ulteriormente l'impatto potenziale di un attacco di prompt injection. Infine, testare il modello in maniera regolare attraverso simulazioni di attacco e tecniche di penetrazione può aiutare a individuare falle nei controlli di sicurezza prima che vengano sfruttate. Questi test dovrebbero trattare il modello come un utente non affidabile, al fine di valutare l'efficacia dei confini di fiducia e dei controlli di accesso.   Sensitive Information Disclosure (OWASP Top 10 LLM) La vulnerabilità di Divulgazione di Informazioni Sensibili  si verifica quando un modello linguistico gestisce dati personali o riservati senza adeguati controlli di sicurezza. Questo problema può avere gravi conseguenze, soprattutto quando le informazioni vengono inavvertitamente divulgate durante l'interazione con il modello o a causa di cattive pratiche di gestione dei dati di addestramento. La natura di questi modelli, addestrati su vaste quantità di dati, può portare a situazioni in cui dettagli privati vengono inaspettatamente rivelati se i dati non sono stati adeguatamente filtrati. Uno dei casi più comuni di divulgazione di informazioni sensibili riguarda la fuga di informazioni personali identificabili (PII), come nomi, indirizzi, numeri di telefono e altri dettagli sensibili. Per esempio, in contesti in cui un LLM viene utilizzato per assistenza clienti, potrebbe inavvertitamente rivelare dati personali di un altro utente se non sono presenti adeguati controlli di accesso. Questa situazione può verificarsi quando il modello è stato addestrato utilizzando dati non completamente anonimizzati o quando le informazioni vengono memorizzate senza le adeguate misure di protezione. Un altro rischio significativo è l'esposizione di algoritmi proprietari o dettagli interni di un'organizzazione. Ad esempio, un modello utilizzato per risolvere problematiche aziendali potrebbe accidentalmente rivelare informazioni riservate su algoritmi o metodologie proprietarie, esponendo l'azienda a potenziali rischi di sicurezza e perdita di vantaggio competitivo. Questo tipo di divulgazione può verificarsi non solo per errori nella gestione degli output, ma anche a causa di attacchi mirati che sfruttano vulnerabilità nei prompt o nei dati di addestramento. Per mitigare questi rischi, è fondamentale adottare tecniche di sanitizzazione dei dati  durante il processo di addestramento, garantendo che qualsiasi dato personale o sensibile venga rimosso o mascherato. La sanitizzazione deve essere eseguita non solo sui dati utilizzati per l'addestramento, ma anche sugli input forniti dagli utenti in tempo reale. Inoltre, l'adozione di tecniche di apprendimento federato  può ridurre la necessità di trasferire dati sensibili a un singolo luogo centralizzato, diminuendo così il rischio di esposizione. L'implementazione di controlli di accesso basati sul principio del minimo privilegio  è un'altra misura chiave per prevenire la divulgazione di informazioni sensibili. Questo approccio implica che il modello abbia accesso solo alle informazioni strettamente necessarie per svolgere il suo compito, limitando così la possibilità che informazioni riservate vengano elaborate o divulgate erroneamente. Un'altra tecnica utile è l'uso della differential privacy , che aggiunge "rumore" ai dati per garantire che le informazioni specifiche dell'utente non possano essere ricostruite dai risultati generati dal modello. Educare gli utenti sull'uso sicuro degli LLM è altrettanto importante. Gli utenti devono essere consapevoli dei rischi legati all'inserimento di dati sensibili e devono ricevere linee guida su come interagire con il modello in modo sicuro. Ad esempio, i termini di utilizzo del servizio dovrebbero chiarire che i dati inseriti potrebbero essere utilizzati per migliorare il modello, e dovrebbe essere fornita la possibilità di escludere i propri dati dall'addestramento. Infine, è essenziale configurare correttamente il sistema per evitare che informazioni riservate siano inserite nei prompt di sistema o negli output generati dal modello. La sicurezza dell'infrastruttura deve essere garantita seguendo best practice come quelle definite dall'OWASP, tra cui la configurazione sicura delle API e il mascheramento dei messaggi di errore per evitare fughe di informazioni critiche.   Supply Chain Vulnerabilities (OWASP Top 10 LLM) Le vulnerabilità nella catena di fornitura  delle applicazioni basate su LLM rappresentano un rischio significativo, poiché possono compromettere l'integrità dei modelli, dei dati di addestramento e delle piattaforme di distribuzione. Queste vulnerabilità possono insorgere da una varietà di elementi esterni, come modelli pre-addestrati o componenti software di terze parti. L'utilizzo di modelli pre-addestrati disponibili pubblicamente, per esempio, comporta un rischio intrinseco poiché tali modelli potrebbero contenere bias o addirittura backdoor malevoli, introducendo debolezze difficili da individuare. Un aspetto critico è l'uso di modelli obsoleti che non sono più aggiornati o mantenuti. L'adozione di modelli o componenti software non supportati rappresenta una falla di sicurezza comune, simile a quelle descritte in altre aree della sicurezza informatica (come la gestione di software non aggiornati), ma con un impatto potenzialmente molto maggiore, dato l'uso pervasivo degli LLM in contesti critici. Se un modello non viene aggiornato, le vulnerabilità scoperte possono essere sfruttate da attori malevoli, portando a possibili violazioni dei dati o attacchi di sistema. Un altro rischio riguarda i metodi di "fine-tuning" basati su tecniche come il Low-Rank Adaptation (LoRA) . Sebbene queste tecniche consentano un'adattabilità più efficiente e il miglioramento delle performance dei modelli, esse introducono anche nuovi rischi. Un attaccante potrebbe sfruttare vulnerabilità in questi adattamenti per comprometterne l'integrità, manipolando il modello di base a livello di singolo componente e inserendo comportamenti indesiderati. Ad esempio, un LoRA adapter malevolo potrebbe essere caricato da una fonte non verificata, compromettendo l'intero sistema. Inoltre, i processi di sviluppo collaborativo e di fusione dei modelli, come quelli ampiamente adottati su piattaforme come Hugging Face, rappresentano una superficie di attacco notevole. Le piattaforme di condivisione di modelli sono spesso vulnerabili a compromissioni dovute a errori di configurazione o controlli di sicurezza non adeguati. Attacchi di tipo model tampering  potrebbero includere la modifica diretta dei parametri di un modello per inserire backdoor o bias non rilevabili durante l'utilizzo comune. Per mitigare questi rischi, è fondamentale mantenere un inventario accurato e aggiornato di tutti i componenti utilizzati nella catena di fornitura, utilizzando strumenti come il Software Bill of Materials (SBOM) , che consente di verificare la provenienza e la sicurezza dei componenti software e dei modelli pre-addestrati. Questo permette di individuare rapidamente eventuali vulnerabilità note e di valutare la sicurezza complessiva del sistema. L'implementazione di pratiche di AI Red Teaming , ovvero l'impiego di team specializzati che simulano attacchi per individuare vulnerabilità, può rivelarsi estremamente efficace per testare la resistenza di modelli e componenti alle minacce reali. È altrettanto importante monitorare e verificare costantemente la sicurezza degli ambienti di sviluppo collaborativo, introducendo meccanismi di auditing che permettano di rilevare tempestivamente eventuali anomalie o abusi. Infine, la creazione di una politica di aggiornamento e patching costante per i componenti utilizzati nei modelli è cruciale per garantire che ogni vulnerabilità venga risolta nel minor tempo possibile, limitando così il rischio di esposizione a possibili exploit. L'uso di tecniche di cifratura dei modelli, soprattutto per quelli distribuiti su dispositivi locali, e l'integrazione di controlli di integrità, può prevenire la manomissione dei modelli e limitare l'accesso non autorizzato.   Data and Model Poisoning (OWASP Top 10 LLM) Il Data e Model Poisoning  si verifica quando i dati utilizzati per l'addestramento del modello vengono manipolati per introdurre vulnerabilità, bias, o addirittura per compromettere deliberatamente il modello. Questo tipo di attacco può influire negativamente sulle prestazioni del modello, portando a decisioni errate o comportamenti inattesi. Uno dei principali rischi è che i dati di addestramento, soprattutto quelli provenienti da fonti esterne, possano contenere informazioni maligne che alterano la capacità del modello di fare previsioni accurate. Questo è particolarmente vero quando i modelli vengono addestrati su dataset non verificati o su dati raccolti da ambienti pubblici, dove gli attaccanti possono facilmente iniettare contenuti avversariali. Ad esempio, un attaccante potrebbe manipolare il dataset inserendo esempi specifici progettati per insegnare al modello a comportarsi in modo errato in determinate situazioni. Questo tipo di attacco, noto come inserimento di backdoor , può lasciare il modello apparentemente normale fino a quando non si attiva uno specifico trigger che ne altera il comportamento. Un attacco del genere potrebbe consentire all'attaccante di bypassare misure di sicurezza o manipolare direttamente le risposte del modello. Per mitigare questi rischi, è fondamentale implementare misure di tracciabilità dei dati . Utilizzare strumenti come il Machine Learning Bill of Materials (ML-BOM)  aiuta a tenere traccia dell'origine e delle trasformazioni dei dati lungo tutto il ciclo di vita del modello. La validazione dei dati  è altrettanto importante: ogni dato dovrebbe essere sottoposto a un processo rigoroso di verifica prima di essere utilizzato per l'addestramento, soprattutto se proviene da fonti esterne o collaborative. Un'altra strategia efficace è l'utilizzo del data version control (DVC)  per monitorare ogni cambiamento nei dataset. Questo aiuta a rilevare eventuali manipolazioni dei dati e a mantenere l'integrità dell'intero processo di sviluppo del modello. Inoltre, l'implementazione di tecniche di apprendimento avversariale  consente di preparare il modello a resistere agli attacchi, migliorandone la robustezza rispetto a perturbazioni malevole. Un ulteriore passo per prevenire l'avvelenamento del modello consiste nell'adottare il sandboxing  per limitare l'esposizione del modello a dati non verificati. Creare un ambiente isolato in cui testare i nuovi dati prima di utilizzarli effettivamente nell'addestramento riduce il rischio di compromettere il modello. Infine, l' utilizzo di tecniche di monitoraggio e rilevamento delle anomalie  durante il processo di addestramento permette di identificare comportamenti inattesi del modello che potrebbero indicare la presenza di dati avvelenati.   Improper Output Handling (OWASP Top 10 LLM) La gestione impropria degli output generati dai modelli LLM può esporre le applicazioni a una vasta gamma di vulnerabilità, inclusi attacchi di tipo esecuzione di codice remoto (RCE) , cross-site scripting (XSS)  e SQL injection . Questo problema si verifica quando l'output prodotto dal modello viene utilizzato senza adeguata validazione o sanitizzazione. Essendo gli LLM sistemi che generano testo basato su input potenzialmente non verificati, essi possono essere sfruttati per introdurre comandi malevoli che vengono poi eseguiti da componenti successivi della catena applicativa. Per esempio, un output del modello che viene inserito in un sistema shell senza essere verificato potrebbe permettere a un attaccante di eseguire comandi arbitrari, compromettendo l'intero sistema. Analogamente, query SQL generate dall'LLM e utilizzate per accedere a database senza una corretta parametrizzazione potrebbero portare a vulnerabilità di tipo SQL injection , consentendo l'accesso non autorizzato ai dati. Nei contesti web, l'output non sanificato che viene mostrato in un browser può risultare in attacchi di cross-site scripting (XSS) , dove l'attaccante introduce script malevoli che vengono eseguiti dal browser dell'utente. Per mitigare questi rischi, è fondamentale trattare ogni output generato dal modello come potenzialmente pericoloso, applicando rigorose pratiche di validazione e sanitizzazione . L'adozione di controlli di contesto , come l'encoding dell'output in base all'ambiente di destinazione (HTML, SQL, JavaScript), è una misura essenziale per garantire che i contenuti generati non possano essere utilizzati in modo dannoso. L'uso di query parametrizzate  per tutte le operazioni di database riduce il rischio che input non verificati possano alterare le operazioni previste. Inoltre, l'implementazione di Content Security Policy (CSP)  può limitare l'impatto degli attacchi XSS impedendo l'esecuzione di script non autorizzati. L'utilizzo di sistemi di logging e monitoraggio avanzati può aiutare a rilevare comportamenti anomali negli output generati dai modelli. Ad esempio, monitorare costantemente il contenuto generato dall'LLM e identificare pattern sospetti può fornire un ulteriore livello di sicurezza, consentendo interventi rapidi in caso di rilevazione di attività malevole. È altresì importante definire limiti di frequenza e quote di utilizzo per prevenire abusi, specialmente in contesti dove il modello ha accesso a funzionalità critiche o risorse sensibili. In definitiva, garantire una corretta gestione degli output significa adottare un approccio di "zero trust"  nei confronti dei contenuti generati, trattando il modello come un possibile vettore di attacco e implementando tutte le salvaguardie necessarie per proteggere i sistemi downstream da possibili compromissioni. Excessive Agency (OWASP Top 10 LLM) Il concetto di Excessive Agency  fa riferimento all'autonomia eccessiva concessa a un modello linguistico di grandi dimensioni (LLM), che può portare il modello stesso a compiere azioni critiche senza un'adeguata supervisione umana. LLM con eccessiva autonomia possono prendere decisioni o eseguire operazioni che sono al di fuori del loro ambito previsto, potenzialmente causando danni o violazioni della sicurezza. Questo rischio è reso più critico dalla crescente diffusione di architetture basate su agenti, dove un LLM è utilizzato come punto decisionale per svolgere varie azioni. Nel contesto di un'applicazione LLM, l'autonomia può includere la capacità del modello di invocare funzionalità di sistema, di accedere a risorse esterne o di comunicare con altre parti di un sistema senza conferma umana. Questa capacità può essere utile per automatizzare attività, ma allo stesso tempo introduce vulnerabilità quando il controllo delle azioni non è sufficientemente limitato. Un esempio comune di eccessiva autonomia riguarda un LLM utilizzato come assistente per la gestione delle e-mail, che potrebbe avere accesso non solo alla lettura delle e-mail ma anche all'invio e alla cancellazione delle stesse. Questo tipo di accesso espone il sistema a un rischio significativo, soprattutto se un attaccante riesce a manipolare l'LLM attraverso prompt malevoli o dati esterni compromessi. Se il modello non è progettato per richiedere una conferma umana prima di eseguire determinate operazioni, un attacco potrebbe portare all'invio di e-mail non autorizzate o alla cancellazione di informazioni critiche. Un altro esempio può essere rappresentato dall'utilizzo di plugin o estensioni non necessari che aumentano la gamma di funzionalità disponibili per un LLM. Se un modello è abilitato a interagire con un sistema di gestione file, e questa estensione permette sia la lettura che la modifica dei file, il rischio è che un comportamento non voluto o un attacco indirizzato possa portare alla modifica o alla cancellazione di dati sensibili. I plugin con funzionalità estese, non strettamente necessarie all'operazione prevista, rappresentano un vettore di rischio perché offrono ulteriori punti di accesso che possono essere sfruttati. Un problema correlato è l' eccesso di permessi . Molto spesso, gli LLM sono configurati per operare con privilegi eccessivi, consentendo loro di accedere a funzionalità o risorse che non sono essenziali per le loro operazioni. Ad esempio, un'estensione che deve semplicemente leggere i dati di un database potrebbe essere configurata con permessi di scrittura, modifica o eliminazione, creando una superficie di attacco più ampia. Questo tipo di configurazione errata rende il sistema vulnerabile non solo a possibili attacchi, ma anche a errori che possono derivare da comportamenti imprevisti del modello. Per mitigare il rischio di eccessiva autonomia, è essenziale adottare un approccio che minimizzi le estensioni e le funzionalità disponibili per l'LLM. Le estensioni dovrebbero essere limitate alle sole operazioni strettamente necessarie, riducendo così la capacità del modello di compiere azioni dannose. È fondamentale applicare il principio del minimo privilegio , garantendo che ogni estensione o plugin operi con i privilegi più bassi possibili, necessari solo per la specifica operazione prevista. In questo modo, anche se il modello dovesse essere compromesso, le azioni che potrebbe compiere sarebbero fortemente limitate. Inoltre, l'implementazione di meccanismi di human-in-the-loop è cruciale per garantire che tutte le azioni ad alto impatto richiedano la conferma di un operatore umano prima di essere eseguite. Ad esempio, se un LLM è utilizzato per generare contenuti da pubblicare sui social media, la pubblicazione finale dovrebbe sempre essere approvata manualmente da un operatore umano per evitare errori o abusi. Infine, è importante implementare un monitoraggio continuo delle attività del modello, registrando tutte le operazioni eseguite e identificando eventuali comportamenti anomali. Questo tipo di logging può aiutare a rilevare rapidamente attività sospette e a rispondere in modo efficace. Inoltre, l'adozione di limiti di rate  e di restrizioni sul numero di azioni che un LLM può compiere in un dato intervallo di tempo aiuta a prevenire abusi e a limitare l'impatto di eventuali compromissioni. Il rischio di Excessive Agency  è quindi strettamente legato alla gestione delle capacità e dei permessi concessi agli LLM. Un'architettura ben progettata, che adotti misure di mitigazione come il principio del minimo privilegio, la supervisione umana per le azioni critiche, e un monitoraggio continuo delle attività, può ridurre significativamente l'esposizione a questo tipo di vulnerabilità, garantendo che l'LLM operi sempre entro limiti sicuri e controllati.   System Prompt Leakage (OWASP Top 10 LLM) La vulnerabilità del System Prompt Leakage  riguarda il rischio che i prompt di sistema, ossia le istruzioni utilizzate per guidare il comportamento del modello, possano contenere informazioni sensibili che non sono destinate a essere divulgate. I prompt di sistema sono progettati per fornire al modello le direttive necessarie per generare output adeguati, ma potrebbero involontariamente includere dati riservati o critici. Quando queste informazioni vengono scoperte, esse possono essere utilizzate per facilitare altri tipi di attacchi, creando così un pericolo significativo per la sicurezza del sistema. Un esempio comune di System Prompt Leakage  si verifica quando i prompt contengono credenziali di accesso, chiavi API, o dettagli di configurazione che dovrebbero rimanere segreti. Se un attaccante riesce a estrarre questi prompt, può sfruttarli per accedere non autorizzato alle risorse del sistema, con conseguenze potenzialmente molto gravi. Un caso specifico riportato nella ricerca OWASP del 2025 mostra come, in diversi contesti aziendali, siano state involontariamente esposte informazioni come la struttura dei permessi interni o i limiti delle transazioni finanziarie di un utente, aumentando così il rischio di attacchi di tipo privilege escalation o bypass dei limiti di sicurezza. Inoltre, la vulnerabilità del System Prompt Leakage può rivelare criteri di filtraggio interni utilizzati per impedire al modello di fornire risposte sensibili. Ad esempio, un prompt di sistema potrebbe contenere istruzioni come: “Se un utente richiede informazioni su un altro utente, rispondi sempre con ‘Spiacente, non posso assisterti con questa richiesta’”. Se un attaccante riuscisse a visualizzare questo prompt, potrebbe sfruttarlo per aggirare le misure di sicurezza e manipolare il comportamento del modello in modi indesiderati. Per mitigare il rischio di System Prompt Leakage , è fondamentale separare i dati sensibili dai prompt di sistema ed evitare di includere qualsiasi tipo di informazione critica direttamente in essi. È preferibile gestire le informazioni riservate attraverso sistemi esterni al modello, assicurandosi che il modello non abbia accesso diretto a tali dati. Un altro approccio efficace consiste nell'implementare guardrail esterni al modello: mentre il training per comportamenti specifici può essere utile, non garantisce che il modello seguirà sempre le istruzioni, soprattutto in situazioni di attacco. Un sistema indipendente che verifichi gli output per garantire la conformità alle aspettative è preferibile rispetto alle sole istruzioni del prompt di sistema. Una strategia di mitigazione cruciale è garantire che i controlli di sicurezza siano applicati in modo indipendente dall'LLM. Ciò significa che i controlli critici, come la separazione dei privilegi e la verifica delle autorizzazioni, devono essere eseguiti in modo deterministico e verificabile, e non dovrebbero mai essere delegati al modello. Ad esempio, se un agente LLM svolge compiti che richiedono diversi livelli di accesso, dovrebbero essere utilizzati più agenti, ciascuno configurato con i privilegi minimi necessari per svolgere il proprio compito, riducendo così il rischio di esposizione accidentale di dati sensibili. In sintesi, il rischio legato al System Prompt Leakage non riguarda semplicemente la divulgazione dei prompt stessi, ma piuttosto la presenza di dati sensibili o di autorizzazioni eccessive all'interno di questi. Implementare controlli esterni robusti e limitare il contenuto dei prompt a informazioni non sensibili sono passi essenziali per proteggere l'integrità e la sicurezza delle applicazioni basate su LLM.   Vector and Embedding Weaknesses (OWASP Top 10 LLM) Le debolezze negli embedding e nei vettori rappresentano un altro importante rischio per la sicurezza degli LLM. Gli embedding sono rappresentazioni numeriche che catturano il significato del testo e sono fondamentali per il funzionamento degli LLM. Tuttavia, queste rappresentazioni possono essere sfruttate per manipolare il modello o estrarre informazioni sensibili, specialmente se non sono protette da adeguati controlli di sicurezza. Una delle principali vulnerabilità riguarda l' inversione degli embedding , un tipo di attacco in cui un attaccante sfrutta i vettori di embedding per ricostruire informazioni sensibili originariamente incluse nei dati di addestramento. Questo processo di inversione può rivelare dettagli privati degli utenti o dati proprietari utilizzati per addestrare il modello, compromettendo così la privacy. Un esempio concreto riportato nella ricerca OWASP del 2025 mostra come un attaccante sia riuscito a recuperare informazioni personali, quali nomi o indirizzi, analizzando i vettori di embedding generati da un LLM non adeguatamente protetto. Inoltre, gli embedding possono diventare vulnerabili a causa di controlli di accesso insufficienti . In sistemi che utilizzano tecniche di Retrieval-Augmented Generation (RAG), le informazioni contenute nei vettori possono essere richiamate e combinate con nuove query, creando il rischio di una fuga di dati sensibili tra diversi utenti o contesti di utilizzo. Ad esempio, in ambienti multi-tenant, un errore nella separazione logica delle richieste potrebbe far sì che un utente riceva informazioni relative a un altro utente, generando un problema di riservatezza. Per mitigare questi rischi, è essenziale implementare controlli di accesso granulari  che limitino l'utilizzo degli embedding a contesti sicuri e verificati. Gli embedding dovrebbero essere gestiti in modo che l'accesso sia strettamente controllato e autorizzato solo per specifici scopi. Inoltre, tecniche come la cifratura dei dati negli embedding  possono contribuire a prevenire il rischio di inversione e fuga di informazioni. È altrettanto importante stabilire delle rigide politiche di validazione dei dati  per garantire che le informazioni utilizzate per creare gli embedding siano pulite e provengano da fonti affidabili. Un ulteriore passo verso la mitigazione consiste nel monitorare continuamente l'uso degli embedding e delle risorse di RAG, mantenendo un registro dettagliato delle attività di accesso. Questo permette di rilevare tempestivamente comportamenti anomali che potrebbero indicare tentativi di manipolazione o di accesso non autorizzato. Il monitoraggio può essere abbinato a tecniche di anomaly detection  per identificare rapidamente possibili attacchi e mitigare il loro impatto. In sintesi, le debolezze negli embedding e nei vettori rappresentano una sfida significativa per la sicurezza degli LLM. Implementare controlli di accesso rigorosi, cifrare i dati, e monitorare costantemente l'attività sono tutte misure fondamentali per proteggere questi elementi critici e garantire la sicurezza e la riservatezza delle applicazioni basate su LLM.   Misinformation (OWASP Top 10 LLM) La disinformazione  rappresenta uno dei rischi più critici nell'uso degli LLM, in quanto i modelli possono generare contenuti apparentemente accurati ma completamente errati o fuorvianti. Questo rischio è amplificato dalla capacità degli LLM di produrre risposte che suonano credibili ma sono basate su dati errati o interpretazioni sbagliate. La disinformazione può portare a violazioni della sicurezza, danni alla reputazione e persino conseguenze legali, soprattutto in contesti in cui l'affidabilità delle informazioni è cruciale, come la sanità, la finanza o il diritto. Uno dei principali problemi alla base della disinformazione è il fenomeno delle allucinazioni , ovvero la capacità del modello di "inventare" risposte laddove mancano dati concreti. Quando l'LLM non ha informazioni precise su un determinato argomento, può riempire i vuoti con dati generati statisticamente, che sembrano accurati ma sono in realtà inventati. Ad esempio, nella ricerca OWASP del 2025 sono stati documentati casi in cui modelli LLM hanno fornito riferimenti legali inesistenti o dettagli sanitari che non avevano alcuna base scientifica. Questo tipo di disinformazione può indurre gli utenti a prendere decisioni sbagliate, con conseguenze potenzialmente dannose. Un altro problema correlato è l' eccessiva fiducia  che gli utenti possono riporre nei contenuti generati dagli LLM. Poiché le risposte appaiono spesso molto sicure e dettagliate, gli utenti tendono a non verificarne l'accuratezza, integrando informazioni errate nei processi decisionali senza un controllo adeguato. Questo può essere particolarmente rischioso in contesti sensibili. Ad esempio, un chatbot medico che fornisce informazioni scorrette potrebbe causare danni alla salute di un paziente, e un modello utilizzato in ambito finanziario potrebbe indurre a prendere decisioni economiche disastrose. Per ridurre il rischio di disinformazione, una strategia efficace è l'uso del Retrieval-Augmented Generation (RAG) , che consente al modello di accedere a fonti di informazioni aggiornate e verificate durante la generazione delle risposte. Questo approccio riduce il rischio di allucinazioni, poiché le risposte si basano su dati concreti piuttosto che sulla generazione statistica. Inoltre, è importante integrare la supervisione umana  nei processi decisionali, soprattutto in ambiti critici: verificare manualmente le informazioni generate dal modello può migliorare l'accuratezza complessiva e ridurre la diffusione di contenuti errati. Un'altra tecnica di mitigazione è l' affinamento del modello  tramite il fine-tuning e l'uso di embedding che migliorano la qualità delle risposte. L'applicazione di tecniche come la parameter-efficient tuning (PET)  e il chain-of-thought prompting  può contribuire a ridurre significativamente l'incidenza della disinformazione, poiché permette al modello di eseguire ragionamenti più strutturati e di verificare la coerenza delle informazioni generate. Infine, è fondamentale educare gli utenti  sui limiti degli LLM e sull'importanza della verifica indipendente dei contenuti generati. Fornire formazione specifica agli utenti, soprattutto in contesti sensibili, aiuta a evitare un'eccessiva fiducia nei contenuti generati dal modello e a sviluppare un approccio più critico nell'utilizzo di queste tecnologie. In conclusione, la disinformazione rappresenta una vulnerabilità centrale per gli LLM, ma può essere mitigata con un approccio multidimensionale che combina l'uso di fonti esterne, la supervisione umana, l'affinamento continuo del modello e l'educazione degli utenti. Solo attraverso un controllo rigoroso e una verifica costante è possibile ridurre al minimo i rischi associati alla diffusione di informazioni errate da parte di questi modelli.   Unbounded Consumption (OWASP Top 10 LLM) La Unbounded Consumption  si riferisce al rischio che un LLM utilizzi risorse computazionali in modo incontrollato, con possibili conseguenze di denial of service  o costi operativi elevati. Gli LLM, soprattutto quelli ospitati in ambienti cloud con modelli di pagamento "pay-per-use", possono essere vulnerabili a utilizzi eccessivi e non autorizzati, portando a costi insostenibili per l'organizzazione che li gestisce. Un esempio comune di questo rischio è il cosiddetto Denial of Wallet (DoW) , in cui un attaccante sfrutta il sistema di pagamento a consumo per generare richieste continue e costose verso il modello, causando un aumento significativo dei costi per il servizio. Questo tipo di attacco non solo può danneggiare economicamente l'organizzazione, ma può anche avere conseguenze operative, limitando la disponibilità del servizio per gli utenti legittimi. Nella ricerca del 2025 sono riportati casi specifici in cui il costo operativo di un'azienda è cresciuto esponenzialmente a causa di un attacco di tipo DoW, evidenziando come questo possa rappresentare una minaccia finanziaria significativa. Un'altra situazione tipica di Unbounded Consumption si verifica quando gli utenti inviano ripetutamente input molto complessi o sequenze lunghe, causando un utilizzo sproporzionato delle risorse del modello. In questi casi, il sistema può diventare lento o addirittura smettere di rispondere a causa dell'eccessiva pressione computazionale. Un esempio potrebbe essere l'utilizzo di richieste linguisticamente intricate che richiedono un'elaborazione significativa, risultando in un utilizzo inefficiente della CPU e della memoria. Per mitigare questi rischi, è fondamentale implementare limiti di frequenza  e quote di utilizzo che regolino il numero massimo di richieste che possono essere effettuate da un singolo utente in un determinato periodo di tempo. In questo modo si può prevenire l'abuso delle risorse e garantire una distribuzione equa delle capacità computazionali tra gli utenti. La ricerca OWASP sottolinea l'importanza di limitare l'esposizione dei logits e di altre informazioni sensibili durante le interazioni API, riducendo così le potenziali vie di attacco per sfruttare il modello. Un altro approccio efficace è il monitoraggio continuo delle risorse , che consente di rilevare utilizzi anomali e rispondere rapidamente in caso di comportamenti sospetti. Sistemi di allarme  e rate limiting  possono essere configurati per intervenire in automatico qualora l'utilizzo del modello superi determinate soglie, garantendo così che le risorse rimangano sempre entro limiti gestibili. Infine, è utile considerare l'implementazione di tecniche di degrado controllato  del sistema. In presenza di carichi eccessivi, il sistema può essere progettato per mantenere una funzionalità parziale piuttosto che andare incontro a un arresto completo. Ciò garantisce che almeno alcuni servizi rimangano operativi anche durante attacchi o sovraccarichi significativi, riducendo così l'impatto negativo sull'esperienza dell'utente finale. Questi approcci multidimensionali sono fondamentali per affrontare il rischio di Unbounded Consumption  nelle applicazioni LLM e per garantire la continuità del servizio, la sostenibilità economica e la sicurezza operativa delle implementazioni basate su questi modelli. Conclusioni La crescente integrazione dei modelli linguistici di grandi dimensioni (LLM) nei processi aziendali e nei servizi al pubblico ha portato a una maggiore attenzione verso la loro sicurezza, evidenziando la necessità di affrontare nuove vulnerabilità.  Questi rischi, pur essendo tecnici, hanno profonde implicazioni strategiche per le imprese, soprattutto in termini di fiducia, reputazione, compliance e sostenibilità economica.  La comprensione delle vulnerabilità identificate nel report OWASP Top 10 LLM del 2025 consente di sviluppare prospettive uniche e di esplorare strategie innovative per mitigare i rischi, massimizzando il valore derivato da queste tecnologie avanzate. Un elemento chiave emerso è che le vulnerabilità non si limitano alla tecnologia in sé, ma spesso derivano dall’interazione tra modelli, dati e processi aziendali. Ad esempio,  il problema del “Prompt Injection” non è solo una sfida tecnica, ma mette in discussione l’affidabilità del modello come strumento decisionale.  Quando un modello può essere manipolato attraverso input malintenzionati, le aziende devono ripensare la loro fiducia nei risultati generati e costruire ecosistemi più resilienti. Adottare approcci come il “human-in-the-loop” non è solo una misura di sicurezza, ma diventa una scelta strategica per bilanciare automazione e controllo umano, preservando la qualità delle decisioni in scenari critici. La “Divulgazione di Informazioni Sensibili” sottolinea invece come  il confine tra innovazione tecnologica e tutela della privacy sia fragile.  Le imprese non possono più considerare la sicurezza dei dati come un requisito tecnico separato, ma devono integrarla nelle loro strategie di governance. Questo implica la costruzione di sistemi che vadano oltre la semplice anonimizzazione, abbracciando concetti come la privacy differenziale e l'apprendimento federato. Tali approcci non solo riducono i rischi, ma offrono un vantaggio competitivo in un contesto in cui la fiducia dei consumatori è un asset strategico. Le vulnerabilità nella catena di fornitura evidenziano come  la sicurezza dell’AI dipenda da reti complesse di fornitori e partner.  L’affidamento a modelli pre-addestrati o componenti di terze parti introduce rischi sistemici che richiedono una gestione proattiva. Le imprese devono iniziare a considerare la sicurezza della supply chain di modelli come parte integrante della loro strategia di gestione dei rischi, adottando strumenti come il Software Bill of Materials (SBOM) per garantire trasparenza e controllo. La “disinformazione” rappresenta una vulnerabilità dalle conseguenze strategiche più ampie, in quanto mina non solo la credibilità della tecnologia, ma anche quella delle imprese che la utilizzano.  Le aziende devono affrontare questa sfida abbracciando un modello di accountability nei confronti degli utenti finali.  Ciò significa non solo implementare sistemi di verifica e supervisione, ma anche educare il pubblico a comprendere i limiti della tecnologia. Questa consapevolezza può trasformare un rischio reputazionale in un’opportunità per rafforzare la fiducia. Infine, il rischio di “Unbounded Consumption” sottolinea come  l’adozione di modelli LLM non sia solo una questione di innovazione tecnologica, ma anche di sostenibilità economica.  La gestione inefficiente delle risorse può trasformarsi rapidamente in un problema finanziario, rendendo essenziale per le aziende implementare meccanismi di monitoraggio e controllo. Inoltre, il concetto di “denial of wallet” introduce una nuova prospettiva sui costi dell’AI, spingendo le organizzazioni a considerare soluzioni architetturali che bilancino prestazioni e protezione. Le aziende che vogliono sfruttare il potenziale degli LLM devono adottare una visione integrata che vada oltre la sicurezza tecnica, abbracciando un approccio strategico che consideri le implicazioni di fiducia, governance, resilienza e sostenibilità economica.  Questo richiede di ripensare l’intero ciclo di vita dell’implementazione, dal design alla gestione operativa, per costruire sistemi che non siano solo sicuri, ma anche allineati agli obiettivi di business e capaci di rispondere alle sfide future.   Podcast: https://spotifycreators-web.app.link/e/u8QkLNTqXOb Fonte: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/

La rapida evoluzione dei Large Language Models (LLMs) e dei Vision Language Models (VLMs) ha riacceso l'interesse per la creazione di agenti generali capaci di raggiungere autonomamente obiettivi complessi. Questi modelli possiedono un vasto repertorio di conoscenze e hanno mostrato promettenti capacità di ragionamento in contesti specifici. Tuttavia, presentano ancora notevoli limitazioni quando si tratta di operare in ambienti complessi e dinamici, che richiedono pianificazione a lungo termine, esplorazione continua e gestione di interazioni intricate. BALROG è stato sviluppato proprio per affrontare questo problema: si tratta di un benchmark progettato per valutare le capacità agentiche di LLMs e VLMs attraverso una serie di giochi di complessità crescente. Questo progetto è stato realizzato grazie alla collaborazione tra l'AI Centre dell'University College London, IDEAS NCBR, la University of Oxford, la New York University e Anthropic. Gli autori principali della ricerca sono Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder e Tim Rocktäschel. Obiettivi e struttura di BALROG BALROG si propone di fornire un ambiente unificato per la valutazione delle capacità degli LLMs e VLMs come agenti in ambienti di reinforcement learning. L'obiettivo principale è quello di spingere i modelli a superare le loro attuali limitazioni, testandoli in contesti che richiedono non solo capacità di comprensione e interazione, ma anche competenze avanzate di ragionamento, esplorazione e adattamento. BALROG è strutturato per sfidare i modelli in vari aspetti delle loro capacità agentiche, compresi il ragionamento spaziale, la pianificazione a lungo termine, e l'interazione con rappresentazioni multimodali. I giochi utilizzati per il benchmark spaziano da attività relativamente semplici, risolvibili da un umano non esperto in pochi secondi, fino a compiti estremamente complessi come l'ambiente di NetHack, che può richiedere anni per essere padroneggiato. I giochi inclusi in BALROG sono stati accuratamente selezionati per coprire una vasta gamma di abilità cognitive. Ad esempio: BabyAI : un ambiente relativamente semplice che valuta la capacità del modello di seguire istruzioni in linguaggio naturale e navigare in un mondo bidimensionale. Crafter : ispirato al famoso gioco Minecraft, questo ambiente richiede all'agente di esplorare, raccogliere risorse e creare oggetti, mettendo alla prova la sua capacità di sopravvivenza e gestione delle risorse. TextWorld : un gioco completamente testuale dove l'agente deve esplorare labirinti e interagire con oggetti quotidiani, dimostrando la sua capacità di comprendere e gestire scenari descritti solo verbalmente. Baba Is AI : basato sul popolare gioco di puzzle Baba Is You, questo ambiente valuta la capacità del modello di manipolare regole di gioco per risolvere problemi complessi, sfidando la sua abilità di ragionamento non convenzionale. MiniHack e NetHack : ambienti estremamente complessi e impegnativi, in cui gli agenti devono combinare capacità di esplorazione, navigazione e pianificazione a lungo termine per sopravvivere in dungeon procedurali. NetHack, in particolare, è noto per la sua difficoltà e per le competenze avanzate che richiede ai giocatori umani. Ogni gioco è caratterizzato da differenti livelli di difficoltà, simulazioni procedurali e requisiti di pianificazione a lungo termine, rendendo BALROG un benchmark completo e rappresentativo delle sfide che gli agenti LLM devono affrontare nel mondo reale. BALROG non si limita a valutare le prestazioni dei modelli, ma incoraggia anche lo sviluppo di nuove strategie per migliorare le capacità degli agenti, fornendo una piattaforma flessibile che supporta l'integrazione di nuovi metodi di prompting e approcci di reinforcement learning. Inoltre, BALROG adotta un'architettura modulare che permette la facile aggiunta di nuovi giochi e ambienti di test, mantenendo la piattaforma aperta per la ricerca e l'innovazione continua. Ogni componente del benchmark, dai task di navigazione di base alle sfide più avanzate come MiniHack e NetHack, contribuisce a fornire una panoramica dettagliata delle capacità dei modelli in contesti diversi e complessi. L'infrastruttura permette l'uso di agenti basati su zero-shot prompting, few-shot learning e altre tecniche avanzate, supportando così un'ampia gamma di metodologie di apprendimento e valutazione.   Metodologia e metriche di valutazione Per valutare le capacità degli agenti, BALROG adotta metriche estremamente dettagliate e rigorose, pensate per misurare vari aspetti delle performance degli LLM e VLM in contesti complessi. Ogni modello viene valutato su una serie di parametri chiave, tra cui la capacità di risolvere problemi, l'efficacia delle decisioni prese, l'abilità di pianificazione a lungo termine, la gestione delle risorse, la reattività a input visivi e testuali, e la robustezza di fronte a sfide procedurali impreviste. I test vengono condotti utilizzando diverse configurazioni degli ambienti di gioco per assicurare la generalizzabilità delle capacità dei modelli. Gli agenti vengono valutati su ambienti generati proceduralmente, il che significa che ogni sessione di test presenta situazioni e mappe differenti, evitando qualsiasi possibilità di overfitting basato sulla memorizzazione delle soluzioni. Ogni ambiente include metriche dettagliate per catturare il progresso dell'agente, inclusi punteggi intermedi, numero di errori commessi, e tempo impiegato per completare i compiti. Per esempio, nell'ambiente di NetHack , è stato sviluppato un sistema di progressione basato sui livelli di esperienza e di dungeon raggiunti, in quanto il sistema di punteggio standard non era sufficiente a rappresentare adeguatamente il progresso del modello. In questo contesto, ogni livello raggiunto contribuisce a una valutazione progressiva del modello, permettendo di identificare quanto un agente sia vicino a completare con successo il gioco, con percentuali di completamento che spaziano dallo 0% fino al 100%. Le difficoltà di NetHack rendono particolarmente utile una misurazione fine-grained per monitorare la capacità di sopravvivenza e la strategia di pianificazione degli agenti. In BabyAI , la metrica principale è la precisione con cui l'agente segue le istruzioni e il tempo necessario per completare i compiti. Gli agenti sono valutati sulla loro capacità di navigare correttamente attraverso una serie di azioni descritte in linguaggio naturale. I modelli migliori riescono a completare i task con un'accuratezza superiore al 90% nelle situazioni più semplici, mentre mostrano un calo significativo con l'aumentare della complessità dei compiti. Per Crafter , l'analisi delle prestazioni si concentra sulla capacità degli agenti di raccogliere risorse, costruire strumenti e sopravvivere all'interno dell'ambiente per un lungo periodo. La complessità aumenta poiché le risorse sono scarse e l'ambiente è dinamico. Vengono misurati parametri come il numero di milestone raggiunte (es. raccolta di risorse rare, costruzione di strumenti avanzati) e la durata media della sopravvivenza. Nell'ambiente Baba Is AI , una particolare attenzione viene data alla capacità degli agenti di manipolare regole di gioco per risolvere puzzle complessi. Le metriche includono il numero di puzzle risolti, il tempo impiegato per ogni risoluzione, e la creatività dimostrata nel trovare soluzioni non convenzionali. Gli agenti devono non solo applicare regole esistenti, ma anche crearne di nuove combinando blocchi di testo per modificare le meccaniche di gioco. Per ogni scenario, BALROG fornisce una valutazione comparativa tra LLMs e VLMs, mettendo in evidenza le differenze nelle prestazioni tra rappresentazioni esclusivamente testuali e rappresentazioni che includono input visivi. Le rappresentazioni multimodali spesso comportano un calo di prestazioni, soprattutto in ambienti dove la visione è fondamentale per prendere decisioni efficaci, come in MiniHack  e NetHack . I modelli multimodali sono valutati sulla loro capacità di integrare informazioni visive con quelle testuali, unendo percezione e ragionamento per navigare in ambienti complessi. Le metriche di BALROG sono progettate per essere normalizzate in un punteggio da 0 a 100, che permette una facile comparazione tra diversi modelli e configurazioni di esperimento. Questo approccio di valutazione dettagliato consente di identificare con precisione i punti deboli dei modelli e di monitorare i progressi compiuti nelle diverse aree critiche, come la pianificazione a lungo termine, la gestione dell'incertezza e la capacità di apprendimento adattivo.   Principali risultati L'analisi delle prestazioni ha evidenziato che i modelli attuali riescono a ottenere buoni risultati nelle attività più semplici, ma mostrano importanti carenze in quelle più complesse. In particolare, NetHack si è rivelato uno degli ambienti più impegnativi, con i migliori modelli che sono riusciti a raggiungere solo un progresso medio del 1,5% in termini di avanzamento nel gioco. Il modello o1-preview  ha ottenuto il miglior risultato, con un avanzamento medio del 1,57%, mentre altri modelli, come GPT-4o e Claude 3.5 Sonnet, hanno registrato performance ancora inferiori, evidenziando l'enorme difficoltà nel navigare e pianificare in ambienti di lunga durata come NetHack. Per MiniHack , la suite si è dimostrata estremamente impegnativa, con compiti come "Boxoban" che non sono mai stati risolti da alcun modello, evidenziando gravi carenze nelle capacità di pianificazione a lungo termine e gestione delle risorse. Solo alcuni modelli sono riusciti a completare i compiti più semplici, come i labirinti 9x9 e le battaglie nei corridoi. Nel caso di BabyAI , i modelli più performanti hanno ottenuto risultati medi di progressione superiori al 70%, con GPT-4o e Llama 3.1 70B in testa, mentre l'introduzione di input visivi ha provocato un calo delle prestazioni. Il modello Gemini-1.5-Pro  ha mantenuto una performance stabile tra il formato testuale e quello visivo, dimostrando una maggiore robustezza. Per Crafter , il modello GPT-4o ha mostrato la miglior capacità di gestione delle risorse, con una progressione media del 33,10%. Tuttavia, anche in questo caso l'introduzione di input visivi ha portato a un calo delle prestazioni, suggerendo che l'integrazione efficace delle informazioni visive rimane un obiettivo lontano per molti modelli. Per TextWorld , i compiti più complessi, come il "Coin Collector", hanno presentato difficoltà elevate per tutti i modelli, con GPT-4o che è riuscito a completare il compito solo una volta su venti tentativi. I modelli Gemini hanno incontrato problematiche con l'API, che ha spesso classificato i prompt come "non sicuri", impedendo la valutazione completa. Un elemento ricorrente emerso dall'analisi è il cosiddetto "knowing-doing gap": molti modelli dimostrano di possedere conoscenze teoriche sul gioco ma non riescono a metterle in pratica durante l'esecuzione delle attività. Ad esempio, in NetHack, modelli come GPT-4o sono in grado di riconoscere il pericolo del consumo di cibo avariato, ma continuano a commettere questo errore durante il gioco, sottolineando una mancanza di integrazione pratica delle conoscenze acquisite. Infine, l'analisi comparativa ha mostrato che le architetture multimodali attuali non riescono ancora a sfruttare pienamente le informazioni visive per prendere decisioni efficaci. In ambienti come MiniHack e NetHack, la presentazione di immagini ha portato a un calo significativo delle prestazioni, evidenziando che il ragionamento basato sulla visione è ancora un'area in cui i modelli devono migliorare notevolmente.   Le sfide aperte per il futuro BALROG non è solo un benchmark, ma anche una piattaforma per la prototipazione rapida di nuove metodologie di prompting e strategie di miglioramento delle capacità agentiche dei modelli. Diverse sono le sfide aperte per la ricerca futura, che includono miglioramenti all'integrazione tra input visivi e testuali, potenziamento delle capacità di pianificazione a lungo termine e colmare il "knowing-doing gap". 1. Migliorare l'integrazione Visivo-Linguistica I risultati di BALROG mostrano che le rappresentazioni multimodali non vengono ancora sfruttate efficacemente dagli agenti, suggerendo gravi lacune nel ragionamento basato sulla visione. La capacità di interpretare le informazioni visive e di integrarle con il linguaggio rimane un obiettivo distante. Future ricerche dovrebbero concentrarsi su tecniche come il self-supervised learning  per migliorare la capacità dei modelli di estrarre insight rilevanti dalle rappresentazioni visive. Inoltre, l'introduzione di osservazioni video e storie di osservazioni multimmagine potrebbero fornire un contesto per migliorare la comprensione dei modelli in scenari a lungo termine, riducendo la difficoltà di elaborazione visiva. 2. Pianificazione a lungo termine e autonomia degli Agenti La pianificazione a lungo termine è stata una delle aree in cui gli agenti hanno mostrato le maggiori carenze. Per affrontare queste difficoltà, una possibile soluzione è l'uso di tecniche avanzate come il Chain-of-Thought Reasoning  (CoT) che permette ai modelli di pensare in modo iterativo e formulare piani più coerenti. Inoltre, l'uso di sistemi di memoria persistente  potrebbe consentire agli agenti di accumulare esperienza nel corso di più sessioni di gioco, migliorando la loro capacità di pianificazione e di prendere decisioni informate basate su esperienze precedenti. Un altro approccio potrebbe essere quello di sviluppare sistemi di Reinforcement Learning (RL) in-context , dove l'agente apprende direttamente dagli errori durante il processo di inferenza, migliorando gradualmente le sue capacità di pianificazione senza bisogno di riaddestramenti completi. 3. Colmare il Knowing-Doing Gap Il cosiddetto "knowing-doing gap" rappresenta una sfida significativa per i modelli attuali. Molti agenti sanno teoricamente cosa fare in situazioni specifiche, ma non riescono a mettere in pratica queste conoscenze durante il gioco. Un approccio per colmare questo divario potrebbe essere l'integrazione di meccanismi di auto-riflessione  che consentano al modello di valutare le proprie azioni e apportare modifiche comportamentali. Inoltre, l'uso di tecniche di in-context fine-tuning , in cui l'agente viene adattato in tempo reale sulla base delle esperienze del gioco, potrebbe rivelarsi efficace per migliorare la coerenza tra conoscenza teorica e azione pratica. 4. Affrontare i limiti computazionali dei modelli attuali I modelli attuali sono limitati dal punto di vista computazionale, il che influisce sulla loro capacità di risolvere compiti complessi. Il Trade-off tra profondità del modello e contesto  è un aspetto cruciale da considerare per il miglioramento delle prestazioni. Per affrontare questo problema, una direzione di ricerca potrebbe concentrarsi sull'uso di meccanismi di ottimizzazione dell'attenzione , come il PagedAttention , che permettono di gestire in maniera più efficiente il contesto e di concentrare le risorse computazionali solo sugli elementi rilevanti per il compito in corso. 5. Introduzione di strategie di Prompting Multi-Agente e uso di strumenti In futuro, BALROG potrebbe anche esplorare il ruolo della collaborazione multi-agente. Gli agenti potrebbero beneficiare dell'integrazione di strategie di prompting multi-agente, dove diversi modelli lavorano in collaborazione per risolvere compiti complessi. Inoltre, l'uso di strumenti e API esterne  per migliorare il processo decisionale potrebbe rappresentare un'importante direzione di sviluppo, consentendo agli agenti di acquisire informazioni e competenze che vanno oltre le loro capacità di base.   Conclusioni I risultati di BALROG sottolinea un punto cruciale: i modelli attuali di intelligenza artificiale, seppur avanzati, restano intrappolati in un divario tra la capacità di "sapere" e quella di "fare".  Questa constatazione non è soltanto un problema tecnico, ma riflette un limite intrinseco nella progettazione degli agenti: l'assenza di un vero "intento agentico". Gli agenti LLM e VLM non posseggono una comprensione innata del perché certe azioni siano necessarie o utili in un determinato contesto. Questo suggerisce che la loro programmazione attuale li posiziona come strumenti reattivi piuttosto che come sistemi capaci di navigare autonomamente le complessità strategiche. Il mancato sviluppo di una piena integrazione tra aspetti visivi e linguistici, unito alla carenza di pianificazione a lungo termine, mette in luce un'opportunità ancora inesplorata: realizzare modelli in grado di apprendere non solo dalle informazioni, ma anche dall'esperienza, attraverso euristiche operative e adattive. Per esempio, nei giochi come NetHack o MiniHack, l'incapacità di collegare esperienze pregresse con decisioni future è un segnale che i modelli mancano di una memoria strutturale che trascenda la sessione di inferenza. Questo non si traduce solo in un problema di performance, ma limita profondamente l'applicazione di tali sistemi in scenari reali, dove la continuità e l'adattabilità sono fondamentali. Dal punto di vista strategico per le imprese, ciò apre due prospettive innovative.  In primo luogo, c'è la necessità di sviluppare sistemi ibridi che combinino la potenza di calcolo delle AI attuali con processi decisionali che incorporino "intenzionalità simulata". Questo potrebbe significare modelli progettati per apprendere schemi comportamentali contestuali piuttosto che semplici risposte task-oriented. Tali modelli potrebbero essere cruciali in settori come la gestione delle supply chain, dove la pianificazione a lungo termine e l'adattamento alle variabili sono essenziali. In secondo luogo, il concetto di "knowing-doing gap" potrebbe portare a una rivoluzione nel modo in cui le imprese progettano i flussi di lavoro digitali.  Sistemi di AI in grado di autoregolarsi e riflettere sul proprio operato in tempo reale potrebbero ridurre l'intervento umano in processi decisionali complessi, migliorando efficienza e resilienza. Immaginiamo, ad esempio, un sistema di AI per la gestione finanziaria che, oltre ad analizzare i dati storici, apprende dai propri errori e adatta le sue previsioni per mitigare rischi futuri. Infine, l’incapacità di gestire input visivi come parte integrante del processo decisionale richiama una lezione fondamentale: le AI multimodali devono essere progettate non per tradurre passivamente input visivi in output linguistici, ma per "vivere" il contesto visivo come parte integrante della loro comprensione.  Questo ha implicazioni enormi per settori come la robotica industriale e l’assistenza sanitaria, dove l’interazione tra sistemi visivi e decisionali potrebbe diventare una chiave competitiva decisiva. BALROG non è solo un benchmark tecnico; è uno specchio per comprendere le future traiettorie dell’intelligenza artificiale. Per le imprese, il messaggio è chiaro: chi saprà investire in soluzioni che colmino il divario tra "sapere" e "fare" otterrà non solo un vantaggio tecnologico, ma anche strategico, in un mondo sempre più complesso e interconnesso. Podcast: https://spotifycreators-web.app.link/e/wFoXgWTKWOb Fonte: https://arxiv.org/abs/2411.13543

In un'era in cui l'Intelligenza Artificiale (AI) diventa sempre più prevalente, il suo potenziale per trasformare il settore pubblico è indiscutibile. Tuttavia, la diffusione dell'AI nel settore pubblico dipende in larga misura dalla presenza di competenze adeguate e dall'adozione di pratiche di governance efficaci. Questo articolo si basa su una sintesi di ricerche empiriche, letteratura grigia e politica, un workshop di esperti e interviste a rappresentanti di sette organizzazioni pubbliche europee (Ministero dell'Interno della Cechia, Comune di Gladsaxe in Danimarca, Distretto di Lüneburg in Germania, Ministero della Governance Digitale della Grecia, Istituto Nazionale di Previdenza Sociale in Italia, Comune di Amsterdam nei Paesi Bassi e Comune di Trondheim in Norvegia), al fine di identificare le competenze e le pratiche di governance necessarie per generare valore nel settore pubblico grazie all'AI. Gli autori principali della ricerca sono R. Medaglia, P. Mikalef e L. Tangi, appartenenti rispettivamente alla Copenhagen Business School, alla Norwegian University of Science and Technology e al Centro Comune di Ricerca della Commissione Europea. Il contesto normativo europeo L'impegno dell'Unione Europea verso l'AI ha avuto inizio con la Dichiarazione di Cooperazione del 2018 e ha trovato un ulteriore avanzamento nella revisione del Piano Coordinato sull'AI del 2021, che ha evidenziato il ruolo strategico dell'AI nel settore pubblico. Oggi esistono numerose iniziative e misure legislative per facilitare l'integrazione dell'AI nell'amministrazione pubblica. Tra queste spiccano l'AI Act e l'Interoperable Europe Act, entrambi adottati nel 2024. L'AI Act stabilisce un approccio basato sui rischi per la regolamentazione dell'AI, vietando i sistemi che pongono rischi inaccettabili e definendo applicazioni ad alto rischio soggette a controlli rigorosi. Questo atto promuove inoltre l'innovazione attraverso aree di sperimentazione regolatoria e ha portato alla formazione del Comitato Europeo per l'Intelligenza Artificiale e di un database dell'UE per i sistemi di AI ad alto rischio. L'Interoperable Europe Act, proposto nel novembre 2022 e adottato nell'aprile 2024, mira a migliorare l'interoperabilità transfrontaliera dei sistemi IT impiegati nei servizi pubblici. Introduce l'Interoperable European Board, responsabile della definizione di un'agenda strategica condivisa per l'interoperabilità transfrontaliera, e richiede valutazioni di interoperabilità per i sistemi IT che operano oltre confine. Inoltre, ha annunciato il lancio dell'Interoperable Europe Portal, una piattaforma collaborativa per la condivisione e il riutilizzo di soluzioni IT. Questo atto incoraggia anche l'innovazione tramite aree di sperimentazione regolatoria e partenariati GovTech. Altre leggi rilevanti includono il Digital Services Act (DSA), che mira a stabilire regole chiare per i fornitori di servizi digitali garantendo sicurezza agli utenti e maggiore trasparenza, il Digital Markets Act (DMA), progettato per assicurare condizioni eque nel mercato digitale, e il Data Governance Act (DGA), che intende aumentare la fiducia nella condivisione dei dati e superare gli ostacoli tecnici al loro riutilizzo. La normativa include anche il Data Act e il Cybersecurity Act, tutti volti a creare un ecosistema digitale sicuro e interoperabile. Un'iniziativa chiave in questo ambito è il Public Sector Tech Watch (PSTW), un osservatorio istituito nel 2023 e gestito dalla Direzione Generale per i Servizi Digitali della Commissione Europea e dal Centro Comune di Ricerca (JRC). PSTW funge da piattaforma per lo scambio di conoscenze, esperienze e risorse educative tra dipendenti pubblici, imprese private, enti accademici e strategisti politici, facilitando la trasformazione digitale e la compatibilità dei sistemi pubblici europei. PSTW include un database di oltre 1.000 casi di utilizzo dell'AI e altre tecnologie emergenti nel settore pubblico e promuove un ambiente collaborativo per lo scambio di pratiche ed esperienze, anche attraverso iniziative come competizioni per il miglior caso d'uso. Inoltre, il Technical Support Instrument (TSI) e iniziative come "AI-ready public administration" forniscono supporto tecnico su misura agli Stati membri per prepararsi all'adozione dell'AI, inclusi partenariati GovTech e contratti modello per il procurement di soluzioni AI affidabili e sicure. Governance AI per la trasformazione del settore pubblico: metodologia della ricerca Il rapporto si basa su una metodologia in tre fasi, mirata a sviluppare una visione completa e aggiornata delle competenze e delle pratiche di governance necessarie per l'uso dell'AI nelle organizzazioni pubbliche. La prima fase ha coinvolto una revisione sistematica della letteratura accademica e della documentazione politica e grigia. La seconda fase ha riguardato un workshop online con 40 esperti di settore, tenutosi il 25 ottobre 2023, finalizzato a consolidare e approfondire i risultati ottenuti nella fase di revisione della letteratura. Gli esperti provenivano da diverse organizzazioni pubbliche e il workshop è stato strutturato in sessioni di lavoro suddivise in gruppi di discussione per esplorare a fondo sia le competenze che le pratiche di governance dell'AI. I risultati del workshop sono stati utilizzati per verificare i risultati della revisione della letteratura e sono stati sintetizzati in un report. Infine, nella terza fase sono state condotte interviste semi-strutturate con responsabili di sette organizzazioni pubbliche europee in vari paesi (Cechia, Danimarca, Germania, Grecia, Italia, Paesi Bassi e Norvegia), con l'obiettivo di arricchire e validare i risultati. Sono state realizzate un totale di 19 interviste tra maggio e novembre 2023. Le interviste si sono concentrate sull'esperienza individuale con l'AI, la percezione della rilevanza dell'AI nel contesto di lavoro specifico e le difficoltà percepite nell'ottenimento delle competenze legate all'AI nel settore pubblico. Le trascrizioni delle interviste sono state elaborate con il supporto di software di trascrizione automatica e poi manualmente riviste per garantirne l'accuratezza. Quadro delle competenze per l'AI nel settore pubblico Il rapporto presenta un quadro completo delle competenze necessarie per l'adozione e l'uso dell'AI nel settore pubblico, distinguendo tra competenze tecniche, gestionali, politiche, legali ed etiche. Queste competenze sono ulteriormente classificate in tre cluster: competenze attitudinali (conoscenza del "perché"), operative (conoscenza del "come") e di alfabetizzazione (conoscenza del "cosa"). Le competenze tecniche  comprendono conoscenze approfondite in ambito tecnologico, abilità nella gestione di banche dati, capacità di valutare la qualità dei dati e selezionare le architetture di intelligenza artificiale più adeguate. Sul piano operativo, risultano fondamentali la gestione dei dati, la programmazione software mirata all'intelligenza artificiale e l'adesione agli standard tecnici previsti in questo settore. Per quanto riguarda l'aspetto attitudinale, la curiosità verso le innovazioni tecnologiche e l'impegno nel continuo apprendimento rappresentano qualità indispensabili per affrontare con successo le sfide legate all'intelligenza artificiale. Le competenze gestionali  comprendono la leadership, la gestione del cambiamento e la capacità di mediare tra diversi gruppi di interesse. In particolare, la leadership viene vista come la capacità di guidare iniziative di AI e di integrare la tecnologia in maniera etica ed efficace, mentre la gestione del cambiamento riguarda la capacità di adattare i processi organizzativi all'adozione dell'AI. Le competenze politiche, legali ed etiche  includono la consapevolezza delle implicazioni etiche e la capacità di lavorare con esperti del settore per garantire che l'adozione dell'AI avvenga in modo responsabile. È essenziale che i funzionari pubblici abbiano la capacità di formulare domande di policy compatibili con le tecniche di AI e di collaborare con esperti del dominio per tradurre concetti complessi in soluzioni pratiche. La capacità di auditing e di garantire la conformità agli standard di progettazione e responsabilità è anch'essa fondamentale. Le competenze di alfabetizzazione comprendono la comprensione dei fondamenti dell'apprendimento automatico, la visione artificiale e il natural language processing (NLP), nonché una conoscenza approfondita dei quadri legali e delle politiche pubbliche. Inoltre, la capacità di gestire il procurement di soluzioni AI in maniera compatibile con i valori dell'interesse pubblico è vista come una competenza cruciale per garantire che l'AI venga utilizzata in modo equo e trasparente nel settore pubblico. Pratiche di governance per l'AI Il rapporto distingue le pratiche di governance in tre dimensioni principali: pratiche procedurali, strutturali e relazionali. Ogni dimensione è articolata su tre livelli: strategico, tattico e operativo. L'obiettivo delle pratiche di governance è di garantire che vi sia una coerenza tra gli obiettivi dell'organizzazione e la tecnologia utilizzata per raggiungerli. Questo significa implementare norme e regolamenti che guidino l'uso responsabile dell'AI e che favoriscano una cultura dell'innovazione aperta e collaborativa. Le pratiche procedurali  si riferiscono ai processi e alle norme che devono essere messi in atto per gestire l'AI in modo responsabile. Queste includono l'adozione di linee guida per lo sviluppo etico dell'AI, la definizione di standard per la gestione dei dati e la creazione di criteri per l'auditing dei sistemi di AI. Un esempio significativo è l'utilizzo di framework di conformità che includono valutazioni di impatto etico e legale durante tutto il ciclo di vita dell'AI, al fine di garantire la conformità alle normative europee come l'AI Act e il GDPR. Le pratiche strutturali  riguardano l'organizzazione interna e la distribuzione dei ruoli e delle responsabilità in relazione all'AI. Questo implica la creazione di unità dedicate all'AI, la nomina di Chief AI Officers, e la definizione di politiche di governance per assicurare che le iniziative di AI siano in linea con la strategia complessiva dell'organizzazione. Le organizzazioni pubbliche devono istituire team multidisciplinari che comprendano esperti di AI, analisti di dati, giuristi ed esperti di etica per monitorare e supervisionare l'implementazione dell'AI. Questo garantisce che l'uso dell'AI sia gestito in modo da rispettare i valori dell'interesse pubblico. Le pratiche relazionali  si concentrano sulla gestione delle relazioni tra le diverse parti interessate, sia interne che esterne all'organizzazione. Questo include la collaborazione con altre agenzie governative, il coinvolgimento delle comunità locali, e la creazione di partnership con il settore privato e con le università. Un elemento fondamentale è la trasparenza e il coinvolgimento dei cittadini, attraverso consultazioni pubbliche e la condivisione delle informazioni sulle applicazioni di AI in uso. Queste pratiche mirano a costruire fiducia e a garantire che l'AI sia sviluppata e utilizzata in modo responsabile e con il consenso del pubblico. La governance strategica  prevede la definizione di una visione chiara sull'uso dell'AI, con obiettivi a lungo termine che includano l'innovazione e il miglioramento dei servizi pubblici. A livello tattico, le pratiche di governance comprendono la pianificazione delle risorse e la gestione del rischio associato all'implementazione dell'AI, mentre a livello operativo si concentrano sulla formazione del personale, l'allocazione delle risorse necessarie e il monitoraggio continuo delle performance dei sistemi di AI. L'adozione di un approccio basato su cicli di feedback continui è essenziale per garantire che le soluzioni di AI siano adattive e in grado di rispondere ai cambiamenti nei requisiti dell'organizzazione e alle aspettative dei cittadini.   Raccomandazioni e prospettive future Basandosi sulle analisi svolte, il rapporto presenta sei raccomandazioni per lo sviluppo delle competenze e delle pratiche di governance dell'AI nel settore pubblico. Queste raccomandazioni mirano a creare un contesto favorevole per l'adozione etica ed efficace dell'AI, promuovendo una cultura dell'innovazione, del miglioramento continuo e della responsabilità sociale. Di seguito, vengono esposte nel dettaglio le raccomandazioni principali e le azioni correlate: Formazione continua e sviluppo delle competenze : La formazione continua rappresenta un elemento essenziale per garantire che il personale del settore pubblico possa sfruttare al meglio le potenzialità dell'AI. Per sviluppare le competenze necessarie all'adozione e alla gestione efficace delle tecnologie AI, sono state identificate diverse azioni strategiche. Programmi di formazione continua : I programmi di formazione devono essere progettati per includere vari livelli di complessità, partendo da un'alfabetizzazione generale sull'AI per tutti i dipendenti pubblici fino a corsi avanzati per coloro che lavorano direttamente con tecnologie AI. I contenuti di questi corsi dovrebbero includere i fondamenti del machine learning, i concetti base del natural language processing, le implicazioni etiche dell'AI e le pratiche di gestione dei dati. Workshop pratici e casi di studio : La teoria deve essere affiancata da workshop pratici e l'analisi di casi di studio concreti. I workshop possono includere sessioni di programmazione e configurazione di modelli di AI, così come simulazioni per comprendere i processi decisionali automatizzati. L'analisi di casi di studio, invece, permetterà ai funzionari di vedere esempi di applicazioni di AI sia di successo che fallimentari, aiutando a comprendere le sfide e le opportunità reali. Collaborazioni con Università e Centri di Ricerca : Il settore pubblico dovrebbe collaborare attivamente con università e centri di ricerca per sviluppare corsi specifici e personalizzati. Questo tipo di collaborazione può garantire un accesso continuo alle ultime novità in campo tecnologico e alle best practice accademiche, oltre a favorire la co-creazione di contenuti formativi che rispondano a bisogni specifici delle amministrazioni pubbliche. Programmi di mentorship : La mentorship rappresenta uno strumento importante per accelerare il trasferimento di competenze. Esperti di AI e figure senior all'interno delle organizzazioni pubbliche possono essere assegnati come mentori a nuovi membri del personale o a coloro che hanno bisogno di sviluppare specifiche competenze sull'AI. La mentorship può essere utile non solo per trasmettere conoscenze tecniche, ma anche per affrontare aspetti legati alla gestione del cambiamento e alla comunicazione dei progetti di AI ai diversi stakeholder. Formazione in ambito etico e normativo : La formazione non deve limitarsi agli aspetti tecnici dell'AI, ma deve includere anche le competenze in ambito etico e normativo. Il personale deve essere consapevole delle implicazioni etiche dell'uso dell'AI, comprendere i potenziali rischi legati a bias algoritmici e garantire la protezione dei dati personali. La conoscenza delle normative rilevanti, come l'AI Act e il GDPR, deve essere parte integrante dei programmi di formazione. Approccio modulare e personalizzato : Un aspetto cruciale dei programmi di formazione deve essere la modularità. Ogni dipendente pubblico ha esigenze e livelli di competenza differenti; quindi, la formazione deve essere personalizzata e modulare. Questo consente di adattare i percorsi di apprendimento in base ai ruoli specifici e al livello di responsabilità dei dipendenti nell'ambito dell'adozione dell'AI. Utilizzo di piattaforme di E-Learning e certificazioni : Le piattaforme di e-learning possono essere utilizzate per garantire l'accesso continuo alle risorse formative, permettendo ai dipendenti di apprendere a loro ritmo. L'introduzione di certificazioni ufficiali può inoltre incentivare la partecipazione ai corsi e garantire il riconoscimento delle competenze acquisite. Valutazione e aggiornamento continuo dei programmi : I programmi di formazione devono essere sottoposti a valutazione periodica per garantirne l'efficacia e l'aggiornamento rispetto ai continui cambiamenti tecnologici e normativi. Le esigenze del settore pubblico evolvono, così come le tecnologie AI; pertanto, i contenuti dei corsi devono essere aggiornati regolarmente in modo da mantenere la rilevanza e l'efficacia della formazione.   Promozione di partnership pubblico-privato : Le partnership pubblico-privato rappresentano un elemento chiave per favorire l'adozione di soluzioni AI innovative e accedere a competenze e tecnologie all'avanguardia. La collaborazione tra amministrazioni pubbliche, aziende tecnologiche e istituzioni di ricerca può garantire uno sviluppo più rapido ed efficace di soluzioni AI, nonché contribuire a costruire un ecosistema di innovazione sostenibile e orientato ai bisogni della collettività. Di seguito vengono esposti in dettaglio i principali elementi e benefici delle partnership pubblico-privato: Collaborazione con aziende tecnologiche : Le amministrazioni pubbliche possono beneficiare enormemente dall'esperienza e dall'innovazione del settore privato. I partenariati con aziende tecnologiche consentono di accedere a risorse avanzate e competenze tecniche che spesso non sono disponibili internamente. Ad esempio, attraverso questi partenariati, le organizzazioni pubbliche possono beneficiare dell'uso di piattaforme di analisi avanzata, sistemi di machine learning pre-addestrati e soluzioni di cloud computing per la gestione dei dati. Progetti di ricerca e sviluppo (R&S) con istituzioni accademiche : La collaborazione con le università e i centri di ricerca è essenziale per sviluppare progetti di ricerca applicata e trasferimento tecnologico. Questi partenariati non solo favoriscono l'innovazione, ma garantiscono anche che le soluzioni AI sviluppate siano basate su solidi principi scientifici e siano testate in modo rigoroso prima dell'implementazione su larga scala. Tali collaborazioni possono anche prevedere la creazione di laboratori congiunti di innovazione e la co-progettazione di soluzioni tecnologiche con ricercatori e studenti. Accesso a finanziamenti e risorse : Le partnership con il settore privato possono anche facilitare l'accesso a risorse finanziarie aggiuntive necessarie per sostenere l'implementazione dell'AI. Le aziende private possono co-finanziare progetti di AI innovativi, riducendo il rischio finanziario per le amministrazioni pubbliche e rendendo più facile sperimentare soluzioni pionieristiche. Inoltre, i partenariati possono consentire alle amministrazioni di beneficiare di infrastrutture tecnologiche e strumenti avanzati di cui altrimenti non potrebbero disporre. Sviluppo di soluzioni condivise : Le soluzioni sviluppate attraverso partenariati pubblico-privato spesso possono essere adattate e riutilizzate in contesti diversi. Ciò riduce i costi e accelera il processo di trasformazione digitale. Ad esempio, un modello di AI sviluppato per migliorare l'efficienza dei servizi sanitari in una regione può essere utilizzato come base per sviluppare soluzioni simili in altre regioni o in altri settori dell'amministrazione pubblica, come l'istruzione o i trasporti. Garanzia di trasparenza e conformità : È fondamentale che le partnership pubblico-privato siano strutturate in modo da garantire la massima trasparenza e la protezione dei dati dei cittadini. Per questo motivo, devono essere definiti protocolli chiari per la gestione dei dati, la privacy e la sicurezza delle informazioni. La definizione di standard e linee guida per la trasparenza è essenziale per mantenere la fiducia dei cittadini nell'uso dell'AI da parte delle amministrazioni pubbliche. Le partnership devono includere accordi dettagliati che definiscano ruoli, responsabilità e modalità di condivisione dei dati. Promozione dell'innovazione attraverso competizioni e premi : Un modo per incentivare la partecipazione delle aziende private nello sviluppo di soluzioni AI per il settore pubblico è attraverso l'organizzazione di competizioni e hackathon. Questi eventi possono attirare startup, piccole e medie imprese (PMI) e grandi aziende a contribuire con idee e soluzioni innovative. La competizione sana e la possibilità di ottenere premi o contratti con le amministrazioni pubbliche stimolano la creatività e la generazione di nuove idee. Supporto alla creazione di ecosistemi di innovazione : Le partnership pubblico-privato possono anche supportare la creazione di ecosistemi di innovazione locali, coinvolgendo non solo grandi aziende ma anche startup, PMI e incubatori di impresa. Questi ecosistemi sono essenziali per creare un ambiente fertile in cui le nuove idee possano essere sperimentate e sviluppate. Le amministrazioni pubbliche possono facilitare la creazione di tali ecosistemi promuovendo l'accesso a finanziamenti, offrendo incentivi fiscali e creando spazi fisici in cui pubblico e privato possano collaborare. Queste azioni mirano a creare una sinergia efficace tra pubblico e privato, con l'obiettivo di massimizzare il valore generato dall'AI per il bene comune e garantire che le soluzioni adottate siano in linea con gli standard etici e i bisogni della collettività. Solo attraverso un impegno congiunto e una cooperazione aperta sarà possibile sfruttare appieno le potenzialità dell'AI per migliorare i servizi pubblici e la qualità della vita dei cittadini.   Sperimentazione regolatoria e aree sandbox : La sperimentazione regolatoria e le aree sandbox rappresentano strumenti fondamentali per l'adozione efficace dell'AI nel settore pubblico. Queste iniziative consentono di testare nuove tecnologie e approcci innovativi in un ambiente controllato (una sandbox è un ambiente protetto in cui si possono sperimentare soluzioni senza impattare sui sistemi reali o violare normative), riducendo al minimo i rischi associati all'implementazione e garantendo che le soluzioni siano conformi alle normative vigenti. Di seguito vengono descritti i principali elementi e le azioni correlate alle aree di sperimentazione regolatoria e alle sandbox: Aree Sandbox per l'AI : Le aree sandbox permettono alle amministrazioni pubbliche di testare nuove soluzioni AI in un contesto regolamentato e con un livello di supervisione adeguato. Queste sandbox sono create per garantire che le tecnologie emergenti possano essere sviluppate, valutate e affinate prima della loro diffusione su larga scala. Le aree sandbox offrono un ambiente protetto in cui le amministrazioni possono collaborare con aziende tecnologiche, startup e università per sviluppare applicazioni AI innovative, riducendo il rischio di fallimenti costosi e migliorando la qualità delle soluzioni finali. Coinvolgimento dei cittadini : Il coinvolgimento dei cittadini rappresenta un aspetto cruciale nelle aree sandbox. Le consultazioni pubbliche e i processi di feedback permettono di valutare l'impatto sociale delle tecnologie AI, assicurando che le soluzioni sviluppate rispondano ai bisogni della collettività e rispettino i valori dell'interesse pubblico. Coinvolgere direttamente i cittadini nei processi di sperimentazione può anche contribuire ad aumentare la fiducia nelle soluzioni AI, mostrando come vengono gestiti i rischi associati all'implementazione della tecnologia. Valutazione dell'impatto e trasparenza : Ogni progetto avviato all'interno delle aree sandbox deve essere soggetto a una rigorosa valutazione dell'impatto etico, sociale e legale. La valutazione dell'impatto permette di identificare potenziali rischi legati alla privacy, alla discriminazione algoritmica o ad altri aspetti critici, e di introdurre misure correttive prima dell'implementazione su larga scala. Inoltre, è essenziale garantire la trasparenza dei risultati dei test condotti nelle aree sandbox, pubblicando rapporti dettagliati che descrivano il processo di sperimentazione, i risultati ottenuti e le lezioni apprese. Linee guida per l'implementazione delle Aree Sandbox : Per garantire un uso efficace delle aree sandbox, è necessario stabilire linee guida chiare che definiscano il processo di creazione e gestione delle sandbox, i criteri di selezione dei progetti da testare e le modalità di supervisione. Queste linee guida devono assicurare che tutti i progetti siano in linea con i valori e gli obiettivi dell'amministrazione pubblica, che rispettino le normative vigenti e che adottino un approccio basato sui rischi per garantire la sicurezza e la conformità delle soluzioni sviluppate. Supporto normativo e finanziario : La creazione di aree sandbox richiede un adeguato supporto normativo e finanziario. Le amministrazioni pubbliche devono poter contare su un quadro normativo flessibile che consenta la sperimentazione regolatoria senza vincoli eccessivi. Allo stesso tempo, devono essere disponibili risorse finanziarie per supportare i costi della sperimentazione, inclusi quelli legati all'infrastruttura tecnologica e alla formazione del personale coinvolto. Feedback e miglioramento continuo : Uno degli obiettivi delle aree sandbox è quello di creare un ciclo continuo di feedback e miglioramento. Ogni sperimentazione dovrebbe essere seguita da un'attenta analisi dei risultati, con l'obiettivo di migliorare non solo la tecnologia sperimentata ma anche il processo di sperimentazione stessa. Questo approccio iterativo consente di adattare le soluzioni AI alle esigenze reali delle amministrazioni pubbliche e dei cittadini, garantendo che ogni fase di sviluppo sia basata sull'apprendimento e sul miglioramento continuo. Integrazione con le Politiche Europee di Innovazione : Le aree di sperimentazione regolatoria devono essere strettamente integrate con le politiche europee in materia di innovazione e AI, come l'AI Act e l'Interoperable Europe Act. Questa integrazione è essenziale per garantire che le soluzioni sviluppate nelle sandbox siano allineate con le normative europee e possano essere facilmente scalate a livello transfrontaliero, favorendo una maggiore interoperabilità e una diffusione più ampia delle migliori pratiche nel settore pubblico. Queste pratiche di sperimentazione regolatoria e le aree sandbox mirano a ridurre il rischio associato all'adozione di tecnologie innovative, a migliorare la qualità delle soluzioni sviluppate e a garantire che l'AI sia utilizzata in modo responsabile e trasparente nel settore pubblico. La combinazione di sperimentazione, collaborazione e valutazione dell'impatto rappresenta un approccio completo per massimizzare il potenziale dell'AI e assicurare che i benefici siano equamente distribuiti tra tutti i cittadini.   Rafforzamento delle pratiche di governance etica e legale : Il rafforzamento delle pratiche di governance etica e legale è fondamentale per garantire che l'adozione dell'AI nel settore pubblico avvenga in modo responsabile e in linea con i valori della collettività. Di seguito vengono sviluppate le principali azioni da intraprendere per garantire un'implementazione etica e legale dell'AI: Creazione di linee guida etiche per lo sviluppo dell'AI : Le linee guida etiche sono necessarie per stabilire criteri chiari per lo sviluppo e l'utilizzo dell'AI nel settore pubblico. Queste linee guida devono coprire diversi aspetti, tra cui la raccolta e l'uso dei dati, la gestione dei bias, la responsabilità degli sviluppatori e degli operatori, e la tutela della privacy. Le linee guida devono essere integrate nei processi di procurement e sviluppo, assicurando che ogni soluzione AI adottata sia allineata ai principi etici approvati dall'organizzazione e dal quadro normativo europeo. Valutazioni d'impatto etico e legale : Ogni progetto di AI deve essere accompagnato da una valutazione d'impatto etico e legale che ne analizzi le potenziali conseguenze a livello di equità, privacy, sicurezza e trasparenza. Queste valutazioni devono essere condotte in fase iniziale e aggiornate durante tutto il ciclo di vita del progetto, identificando rischi potenziali e prevedendo misure correttive per mitigare tali rischi. Istituzione di comitati etici : La creazione di comitati etici a livello nazionale o locale ha lo scopo di supervisionare le decisioni chiave in materia di AI. Questi comitati devono essere composti da esperti di etica, rappresentanti del settore pubblico, accademici e membri della società civile. Il loro ruolo è quello di valutare i progetti di AI, offrire raccomandazioni etiche, garantire che i principi di equità e non discriminazione siano rispettati e che l'interesse pubblico sia sempre al centro delle decisioni prese. Definizione di standard per l'auditing algoritmico : Gli algoritmi utilizzati dalle amministrazioni pubbliche devono essere soggetti ad auditing periodici per garantirne la conformità alle normative vigenti e per prevenire bias o utilizzi impropri. L'auditing deve includere un'analisi trasparente del funzionamento dell'algoritmo, l'identificazione di possibili distorsioni e la verifica della precisione e dell'affidabilità dei risultati. È importante stabilire un processo formale per l'auditing e identificare gli indicatori chiave di prestazione (KPI) che consentano di valutare l'efficacia e l'impatto degli algoritmi. Garanzia di trasparenza e responsabilità : Per rafforzare la governance dell'AI, è essenziale promuovere la trasparenza in ogni fase di sviluppo e implementazione delle tecnologie AI. Le amministrazioni pubbliche devono comunicare in modo chiaro le finalità per cui l'AI viene utilizzata, i dati impiegati e le modalità con cui vengono prese le decisioni algoritmiche. La responsabilità deve essere assicurata attraverso un sistema di governance che preveda meccanismi per l'accertamento delle responsabilità e che consenta ai cittadini di contestare le decisioni prese dalle tecnologie AI, laddove queste possano avere un impatto significativo sui loro diritti. Controllo sulla raccolta e sull'uso dei dati : I dati rappresentano la base su cui vengono addestrati i modelli di AI, ed è quindi fondamentale che la raccolta e l'uso dei dati siano effettuati in modo responsabile. Le amministrazioni pubbliche devono assicurarsi che i dati raccolti siano di alta qualità, pertinenti e gestiti secondo le normative sulla privacy. La minimizzazione dei dati, ovvero la raccolta del solo dato strettamente necessario, e la pseudonimizzazione (tecnica che sostituisce i dati identificativi con identificatori pseudonimi per proteggere l'identità degli individui) sono pratiche chiave per garantire un uso sicuro e conforme alle normative dei dati personali. Queste azioni hanno l'obiettivo di garantire che l'adozione dell'AI nel settore pubblico avvenga in modo sicuro, responsabile e in linea con i valori dell'interesse pubblico. Il rafforzamento delle pratiche di governance etica e legale è una componente cruciale per promuovere la fiducia dei cittadini nell'uso dell'AI e assicurare che questa tecnologia contribuisca al miglioramento dei servizi pubblici senza compromettere i diritti e le libertà individuali.   Creazione di un ecosistema di supporto per la trasformazione digitale : La creazione di un ecosistema di supporto per la trasformazione digitale nel settore pubblico non riguarda solo la fornitura di risorse finanziarie e tecnologiche, ma anche lo sviluppo di una rete di attori e istituzioni che lavorino insieme per favorire l'innovazione. Di seguito vengono approfonditi i principali componenti e azioni necessari per garantire un ecosistema efficace e resiliente per la trasformazione digitale: Supporto istituzionale e politico : È fondamentale che vi sia un supporto istituzionale solido per la trasformazione digitale. I governi devono elaborare piani strategici chiari per l'adozione dell'AI e di altre tecnologie digitali, includendo obiettivi specifici e scadenze definite. Questo supporto deve essere accompagnato da politiche favorevoli che incentivino la digitalizzazione, eliminando le barriere burocratiche e promuovendo una visione coordinata tra tutti i livelli dell'amministrazione pubblica, dalle istituzioni nazionali alle comunità locali. Piattaforme di condivisione delle conoscenze : La condivisione delle conoscenze è un elemento chiave per la trasformazione digitale. Le amministrazioni pubbliche devono avere accesso a piattaforme che facilitino lo scambio di esperienze, best practice e casi di studio. Queste piattaforme, come il Public Sector Tech Watch (PSTW), possono contribuire a ridurre la curva di apprendimento per nuove tecnologie e permettere una rapida diffusione delle innovazioni che hanno avuto successo in altri contesti. La disponibilità di risorse e documentazione facilmente accessibili è cruciale per accelerare il processo di digitalizzazione. Sostegno finanziario e accesso ai Fondi Europei : La trasformazione digitale richiede investimenti significativi, ed è essenziale che le amministrazioni pubbliche abbiano accesso a finanziamenti adeguati. Fondi come Horizon Europe, Digital Europe Programme e il Recovery and Resilience Facility (RRF) sono cruciali per sostenere progetti di trasformazione digitale su larga scala. Tuttavia, è altrettanto importante fornire supporto tecnico e consulenziale alle amministrazioni per facilitare l'accesso a tali fondi, assicurando che anche le piccole e medie amministrazioni possano usufruire di queste opportunità finanziarie. Incentivi per l'innovazione e l'assunzione di talenti digitali : Le amministrazioni pubbliche devono creare incentivi per attrarre e trattenere talenti con competenze digitali. L'assunzione di esperti in AI, data science e trasformazione digitale è cruciale per il successo di qualsiasi strategia di innovazione. Incentivi come premi per l'innovazione, opportunità di formazione avanzata, e percorsi di carriera dedicati possono aiutare a costruire un team di esperti che sia in grado di guidare il cambiamento all'interno delle amministrazioni. Inoltre, programmi di reclutamento mirati alle nuove generazioni di talenti digitali possono aiutare a colmare il divario di competenze tecnologiche nel settore pubblico. Quadro regolatorio e normative flessibili : Il successo della trasformazione digitale dipende anche dalla presenza di un quadro normativo adeguato. Gli Stati membri devono adottare un approccio regolatorio che sia sufficientemente flessibile da permettere l'innovazione, ma che allo stesso tempo protegga i cittadini da potenziali abusi. Le normative devono essere aggiornate periodicamente per riflettere l'evoluzione delle tecnologie e delle esigenze della società, assicurando che siano in linea con i principi etici e di tutela dei diritti umani. Queste azioni e componenti sono essenziali per la creazione di un ecosistema di supporto alla trasformazione digitale nel settore pubblico. Solo attraverso l'accesso a risorse adeguate e un forte impegno istituzionale sarà possibile sfruttare appieno le potenzialità dell'AI e delle tecnologie emergenti.   Promozione di una cultura dell'innovazione e del rischio calcolato : Promuovere una cultura dell'innovazione e del rischio calcolato è essenziale per garantire che il settore pubblico sia capace di sperimentare e adottare nuove tecnologie come l'AI senza essere paralizzato dalla paura del fallimento. Una cultura che accetta il rischio calcolato e che incoraggia l'innovazione è in grado di produrre soluzioni più creative ed efficaci per rispondere alle sfide del settore pubblico. Di seguito vengono illustrate le principali azioni da intraprendere per costruire una cultura dell'innovazione e del rischio calcolato: Incentivare la sperimentazione e l'apprendimento dagli errori : È cruciale creare un ambiente in cui gli errori siano considerati parte del processo di apprendimento, piuttosto che fallimenti da evitare a tutti i costi. Le amministrazioni pubbliche devono promuovere una cultura in cui il personale è incoraggiato a sperimentare nuove soluzioni e a imparare dagli errori commessi. Questo può essere ottenuto attraverso la creazione di programmi pilota che consentano di testare nuove idee in un ambiente protetto, senza le conseguenze negative di un'implementazione immediata su larga scala. Formazione e supporto per gestire l'innovazione : La gestione dell'innovazione richiede competenze specifiche che spesso non sono presenti nelle tradizionali strutture del settore pubblico. Per questo motivo, è importante fornire formazione specifica per i dirigenti e i responsabili dei progetti, con l'obiettivo di sviluppare le competenze necessarie per gestire processi innovativi e per prendere decisioni strategiche in situazioni di incertezza. Questa formazione deve includere anche aspetti legati alla gestione del rischio, all'identificazione delle opportunità e alla mitigazione degli effetti negativi. Incoraggiare una mentalità proattiva e aperta al cambiamento : Le amministrazioni devono impegnarsi attivamente per incoraggiare una mentalità proattiva e aperta al cambiamento. Ciò può essere ottenuto attraverso campagne di comunicazione interna che sottolineino i benefici dell'innovazione e mostrino casi di successo, nonché attraverso la condivisione di storie di innovazione e di buone pratiche all'interno dell'organizzazione. Una leadership che sostiene attivamente il cambiamento e l'innovazione è fondamentale per creare un ambiente che incoraggi il personale a essere proattivo e a sperimentare nuove idee. Promuovere l'adozione di tecniche di Design Thinking : Il design thinking è un approccio creativo e centrato sull'utente che può aiutare le amministrazioni pubbliche a risolvere problemi complessi. L'integrazione del design thinking nei processi decisionali permette di esplorare nuove idee, testarle rapidamente e adattarle in base al feedback ricevuto. Questo approccio consente di mantenere il focus sulle esigenze dei cittadini e di trovare soluzioni innovative che migliorino la qualità dei servizi pubblici. Valutazione del rischio e gestione delle incertezze : L'innovazione comporta inevitabilmente dei rischi. Per questo è fondamentale implementare pratiche di gestione del rischio che consentano di identificare, valutare e mitigare i rischi associati all'adozione di nuove tecnologie. Le amministrazioni pubbliche devono sviluppare metodologie per valutare le incertezze e prendere decisioni informate che bilancino opportunità e rischi, assicurandosi che le innovazioni adottate siano sostenibili e che non mettano a repentaglio la sicurezza o la fiducia dei cittadini. Leadership che sostiene il cambiamento : La promozione di una cultura dell'innovazione e del rischio calcolato richiede una leadership visionaria e disposta a sostenere il cambiamento. I leader devono essere i primi a dimostrare apertura verso l'innovazione, creando un ambiente che non solo accetta ma incoraggia il rischio ragionato. Questo tipo di leadership è fondamentale per superare le resistenze interne e per motivare il personale a impegnarsi nei progetti di trasformazione digitale. Queste azioni hanno l'obiettivo di sviluppare una cultura del settore pubblico che sia orientata al miglioramento continuo, all'apprendimento dagli errori e alla sperimentazione. Solo creando un ambiente in cui il rischio calcolato è considerato parte integrante del processo di innovazione, sarà possibile sfruttare appieno le potenzialità dell'AI e delle altre tecnologie digitali per migliorare i servizi pubblici e rispondere alle esigenze in continua evoluzione dei cittadini.   Conclusioni La governance dell'Intelligenza Artificiale nel settore pubblico non rappresenta solo una questione di competenze tecniche o normative, ma un profondo cambiamento culturale e strategico.  In questa transizione, il settore pubblico si trova davanti a una sfida cruciale: adottare l'AI non solo come uno strumento tecnologico, ma come un catalizzatore per ripensare il modo in cui lo Stato interagisce con i cittadini e risponde alle loro esigenze. La capacità di un’organizzazione pubblica di sfruttare l’AI non dipende unicamente da risorse economiche o regolamentazioni adeguate, ma soprattutto da una visione chiara e condivisa che consideri la tecnologia come un’opportunità per costruire fiducia, equità e innovazione. Il rischio più grande per il settore pubblico non è l’adozione sbagliata dell’AI, ma la mancata adozione della trasformazione culturale necessaria a renderla uno strumento di progresso sociale.  L'AI, con la sua capacità di automatizzare processi complessi e di analizzare enormi quantità di dati, può migliorare l’efficienza dei servizi pubblici, ma senza una governance inclusiva rischia di creare un divario ancora maggiore tra le istituzioni e i cittadini. Le comunità più vulnerabili potrebbero essere escluse da questi benefici, non per una mancanza di tecnologie adeguate, ma a causa di sistemi che non considerano i bisogni di tutti. È qui che la governance etica diventa il vero pilastro strategico: non come un vincolo, ma come una leva per garantire che l’AI sia al servizio dell’interesse pubblico. Un altro aspetto fondamentale è il valore della sperimentazione.  La creazione di spazi di sandbox regolatorie, di cui tanto si parla, non deve essere vista solo come un ambiente protetto per testare tecnologie, ma come un simbolo del nuovo atteggiamento che il settore pubblico deve adottare. Questi spazi permettono di trasformare il fallimento in apprendimento, un concetto che sfida radicalmente la tradizionale avversione al rischio tipica della burocrazia pubblica. Le organizzazioni che riusciranno a coltivare una cultura del rischio calcolato diventeranno esempi di come l’AI possa non solo essere implementata, ma anche migliorata continuamente in risposta ai bisogni dei cittadini. Le competenze richieste dall’AI vanno ben oltre la tecnologia.  Certamente, il settore pubblico ha bisogno di esperti in machine learning o data science, ma il vero motore della trasformazione sarà la capacità di integrare queste competenze con una leadership visionaria e un’etica forte. La leadership in questo contesto non significa solo saper prendere decisioni tecnologiche, ma soprattutto saper comunicare una visione inclusiva e orientata al futuro. Questa leadership deve essere capace di navigare le complessità delle regolamentazioni, delle aspettative dei cittadini e delle collaborazioni con il settore privato. Le partnership pubblico-privato rappresentano un altro punto di svolta strategico.  Tuttavia, il settore pubblico non deve accontentarsi di essere un "cliente" del settore privato. Deve diventare un partner attivo, capace di negoziare soluzioni che rispettino i valori pubblici e che siano trasparenti nella loro implementazione. Questa collaborazione deve andare oltre la semplice fornitura tecnologica: il settore pubblico ha il dovere di guidare il dialogo su come l’AI debba essere progettata, implementata e monitorata per garantire benefici equi. Infine,  la vera trasformazione sarà misurata non solo dai miglioramenti operativi, ma dalla capacità dell’AI di rafforzare il contratto sociale tra Stato e cittadini.  L’AI può diventare uno strumento per rendere le istituzioni più trasparenti e responsabili, ma solo se i cittadini vengono coinvolti attivamente nella sua progettazione e nel monitoraggio. La fiducia sarà il vero indicatore di successo: non una fiducia cieca nella tecnologia, ma una fiducia costruita su processi aperti, risultati tangibili e un impegno visibile verso il bene comune. Questa riflessione evidenzia che l’adozione dell’AI nel settore pubblico non è solo una questione di  come  farlo, ma di  perché  farlo. Il rischio non è tecnologico, ma strategico: perdere l’occasione di rendere l’AI un alleato del progresso sociale, piuttosto che una semplice macchina al servizio dell’efficienza. Le decisioni prese oggi non solo determineranno l’efficacia dei servizi pubblici, ma definiranno il ruolo delle istituzioni in una società sempre più digitale e interconnessa. Podcast: https://spotifycreators-web.app.link/e/ZuRqX0jMVOb Fonte: https://publications.jrc.ec.europa.eu/repository/handle/JRC138702

In an era where Artificial Intelligence (AI) is becoming increasingly prevalent, its potential to transform the public sector is undeniable. However, the spread of AI in the public sector largely depends on the availability of adequate skills and the adoption of effective governance practices. This article is based on a synthesis of empirical research, gray and policy literature, an expert workshop, and interviews with representatives from seven European public organizations (Ministry of the Interior of the Czech Republic, Municipality of Gladsaxe in Denmark, Lüneburg District in Germany, Ministry of Digital Governance of Greece, National Social Security Institute in Italy, Municipality of Amsterdam in the Netherlands, and Municipality of Trondheim in Norway) to identify the skills and governance practices needed to generate value in the public sector through AI. The main authors of the research are R. Medaglia, P. Mikalef, and L. Tangi, from Copenhagen Business School, the Norwegian University of Science and Technology, and the European Commission's Joint Research Centre, respectively. The European Regulatory Framework The European Union's commitment to AI began with the Declaration of Cooperation in 2018 and further advanced with the revision of the Coordinated Plan on AI in 2021, highlighting AI's strategic role in the public sector. Today, there are numerous initiatives and legislative measures to facilitate the integration of AI in public administration. Among these, the AI Act and the Interoperable Europe Act, both adopted in 2024, stand out. The AI Act establishes a risk-based approach to AI regulation, banning systems that pose unacceptable risks and defining high-risk applications subject to stringent controls. This act also promotes innovation through regulatory sandboxes and led to the formation of the European Artificial Intelligence Board and an EU database for high-risk AI systems. The Interoperable Europe Act, proposed in November 2022 and adopted in April 2024, aims to improve cross-border interoperability of IT systems used in public services. It introduces the Interoperable European Board, responsible for defining a shared strategic agenda for cross-border interoperability, and requires interoperability assessments for IT systems operating across borders. Additionally, it announced the launch of the Interoperable Europe Portal, a collaborative platform for sharing and reusing IT solutions. This act also encourages innovation through regulatory sandboxes and GovTech partnerships. Other relevant laws include the Digital Services Act (DSA), which aims to establish clear rules for digital service providers ensuring user safety and greater transparency, the Digital Markets Act (DMA), designed to ensure fair conditions in the digital market, and the Data Governance Act (DGA), which aims to increase trust in data sharing and overcome technical barriers to their reuse. The legislation also includes the Data Act and the Cybersecurity Act, all aimed at creating a secure and interoperable digital ecosystem. A key initiative in this area is the Public Sector Tech Watch (PSTW), an observatory established in 2023 and managed by the European Commission's Directorate General for Digital Services and the Joint Research Centre (JRC). PSTW serves as a platform for exchanging knowledge, experiences, and educational resources among public employees, private companies, academic institutions, and policy strategists, facilitating digital transformation and compatibility of European public systems. PSTW includes a database of over 1,000 use cases of AI and other emerging technologies in the public sector and promotes a collaborative environment for sharing practices and experiences, also through initiatives such as best use case competitions. Furthermore, the Technical Support Instrument (TSI) and initiatives like "AI-ready public administration" provide tailored technical support to Member States to prepare for AI adoption, including GovTech partnerships and model contracts for procuring reliable and secure AI solutions. AI Governance for Public Sector Transformation: Research Methodology The report is based on a three-phase methodology aimed at developing a comprehensive and updated view of the skills and governance practices required for AI use in public organizations. The first phase involved a systematic review of academic literature and policy and gray documentation. The second phase involved an online workshop with 40 sector experts, held on October 25, 2023, aimed at consolidating and deepening the findings obtained in the literature review phase. The experts came from various public organizations, and the workshop was structured into working sessions divided into discussion groups to explore in depth both AI skills and governance practices. The workshop results were used to verify the findings from the literature review and were summarized in a report. Finally, in the third phase, semi-structured interviews were conducted with leaders of seven European public organizations in various countries (Czech Republic, Denmark, Germany, Greece, Italy, Netherlands, and Norway), to enrich and validate the results. A total of 19 interviews were conducted between May and November 2023. The interviews focused on individual experience with AI, the perception of AI's relevance in the specific work environment, and the perceived difficulties in acquiring AI skills in the public sector. The interview transcripts were processed with the help of automatic transcription software and then manually reviewed to ensure accuracy. Competency Framework for AI in the Public Sector The report presents a comprehensive framework of the skills required for the adoption and use of AI in the public sector, distinguishing between technical, managerial, political, legal, and ethical skills. These skills are further classified into three clusters: attitudinal skills (knowledge of "why"), operational skills (knowledge of "how"), and literacy skills (knowledge of "what"). Technical skills include in-depth knowledge of technology, data management skills, the ability to evaluate data quality, and to select appropriate AI architectures. On the operational side, data management, AI-targeted software programming, and adherence to the technical standards required in this field are essential. As for the attitudinal aspect, curiosity about technological innovations and a commitment to continuous learning are essential qualities for successfully facing AI challenges. Managerial skills include leadership, change management, and the ability to mediate between different interest groups. In particular, leadership is seen as the ability to lead AI initiatives and integrate the technology in an ethical and effective way, while change management involves the ability to adapt organizational processes to AI adoption. Political, legal, and ethical skills include awareness of ethical implications and the ability to work with sector experts to ensure that AI adoption takes place responsibly. It is essential that public officials have the ability to formulate policy questions compatible with AI techniques and collaborate with domain experts to translate complex concepts into practical solutions. The ability to audit and ensure compliance with design and accountability standards is also fundamental. Literacy skills include an understanding of the fundamentals of machine learning, computer vision, and natural language processing (NLP), as well as a thorough knowledge of legal frameworks and public policies. In addition, the ability to manage the procurement of AI solutions in a manner consistent with public interest values is seen as a crucial skill to ensure that AI is used fairly and transparently in the public sector. Governance Practices for AI The report distinguishes governance practices into three main dimensions: procedural, structural, and relational. Each dimension is articulated at three levels: strategic, tactical, and operational. The goal of governance practices is to ensure consistency between the organization's objectives and the technology used to achieve them. This means implementing rules and regulations that guide the responsible use of AI and foster a culture of open and collaborative innovation. Procedural practices refer to the processes and rules that need to be put in place to manage AI responsibly. These include the adoption of guidelines for ethical AI development, the definition of standards for data management, and the creation of criteria for AI system auditing. A significant example is the use of compliance frameworks that include ethical and legal impact assessments throughout the AI lifecycle to ensure compliance with European regulations such as the AI Act and GDPR. Structural practices concern the internal organization and the distribution of roles and responsibilities related to AI. This involves creating AI-dedicated units, appointing Chief AI Officers, and defining governance policies to ensure that AI initiatives are aligned with the organization's overall strategy. Public organizations need to establish multidisciplinary teams that include AI experts, data analysts, lawyers, and ethics experts to monitor and oversee AI implementation. This ensures that AI use is managed to respect public interest values. Relational practices focus on managing relationships among different stakeholders, both internal and external to the organization. This includes collaboration with other government agencies, engagement with local communities, and the creation of partnerships with the private sector and universities. A key element is transparency and citizen engagement through public consultations and sharing information on AI applications in use. These practices aim to build trust and ensure that AI is developed and used responsibly and with public consent. Strategic governance involves defining a clear vision for AI use, with long-term goals that include innovation and improving public services. At the tactical level, governance practices include resource planning and risk management associated with AI implementation, while at the operational level, they focus on staff training, resource allocation, and continuous monitoring of AI system performance. The adoption of a continuous feedback cycle approach is essential to ensure that AI solutions are adaptive and able to respond to changing organizational requirements and citizen expectations. Recommendations and Future Perspectives Based on the analysis carried out, the report presents six recommendations for the development of AI skills and governance practices in the public sector. These recommendations aim to create a favorable environment for the ethical and effective adoption of AI, promoting a culture of innovation, continuous improvement, and social responsibility. Below, the main recommendations and related actions are outlined in detail: Continuous Training and Skill Development Continuous training is an essential element to ensure that public sector personnel can make the most of AI's potential. Several strategic actions have been identified to develop the skills needed for the adoption and effective management of AI technologies. Continuous Training Programs : Training programs should be designed to include various levels of complexity, starting from general AI literacy for all public employees to advanced courses for those working directly with AI technologies. The content of these courses should include the fundamentals of machine learning, basic natural language processing concepts, AI's ethical implications, and data management practices. Practical Workshops and Case Studies : Theory must be complemented with practical workshops and case studies. Workshops can include sessions on programming and configuring AI models, as well as simulations to understand automated decision-making processes. Case study analysis, on the other hand, will allow officials to see examples of both successful and unsuccessful AI applications, helping to understand real challenges and opportunities. Collaborations with Universities and Research Centers : The public sector should actively collaborate with universities and research centers to develop specific and customized courses. Such collaboration can guarantee continuous access to the latest technological innovations and academic best practices, as well as foster the co-creation of training content that meets the specific needs of public administrations. Mentorship Programs : Mentorship represents an important tool to accelerate skills transfer. AI experts and senior figures within public organizations can be assigned as mentors to new staff members or those needing to develop specific AI skills. Mentorship can be useful not only for conveying technical knowledge but also for addressing aspects related to change management and communicating AI projects to various stakeholders. Training in Ethical and Regulatory Aspects : Training must not be limited to the technical aspects of AI but must also include skills in the ethical and regulatory fields. Staff must be aware of the ethical implications of AI use, understand the potential risks associated with algorithmic biases, and ensure the protection of personal data. Knowledge of relevant regulations, such as the AI Act and GDPR, must be an integral part of training programs. Modular and Customized Approach : A crucial aspect of training programs must be modularity. Each public employee has different needs and levels of competence; therefore, training must be customized and modular. This allows learning paths to be adapted based on specific roles and the level of responsibility of employees in the adoption of AI. Use of E-Learning Platforms and Certifications : E-learning platforms can be used to ensure continuous access to training resources, allowing employees to learn at their own pace. The introduction of official certifications can also encourage participation in courses and ensure the recognition of acquired skills. Continuous Evaluation and Updating of Programs : Training programs must be subject to periodic evaluation to ensure their effectiveness and updating concerning continuous technological and regulatory changes. The needs of the public sector evolve, as do AI technologies; therefore, course content must be regularly updated to maintain relevance and effectiveness. 2 . Promotion of Public Private Partnerships: Public-private partnerships are a key element in fostering the adoption of innovative AI solutions and accessing cutting-edge skills and technologies. Collaboration between public administrations, technology companies, and research institutions can ensure faster and more effective development of AI solutions, as well as contribute to building a sustainable innovation ecosystem oriented towards the needs of the community. Below, the main elements and benefits of public-private partnerships are outlined in detail: Collaboration with Technology Companies : Public administrations can greatly benefit from the experience and innovation of the private sector. Partnerships with technology companies enable access to advanced resources and technical skills that are often not available internally. For example, through these partnerships, public organizations can benefit from the use of advanced analytics platforms, pre-trained machine learning systems, and cloud computing solutions for data management. R&D Projects with Academic Institutions : Collaboration with universities and research centers is essential for developing applied research and technology transfer projects. These partnerships not only foster innovation but also ensure that AI solutions are based on solid scientific principles and rigorously tested before large-scale implementation. Such collaborations can also involve creating joint innovation labs and co-designing technology solutions with researchers and students. Access to Funding and Resources : Partnerships with the private sector can also facilitate access to additional financial resources needed to support AI implementation. Private companies can co-finance innovative AI projects, reducing the financial risk for public administrations and making it easier to experiment with pioneering solutions. In addition, partnerships can allow administrations to benefit from technological infrastructure and advanced tools they would otherwise not have access to. Development of Shared Solutions : Solutions developed through public-private partnerships can often be adapted and reused in different contexts. This reduces costs and speeds up the digital transformation process. For example, an AI model developed to improve healthcare efficiency in one region can be used as a basis for developing similar solutions in other regions or in other public administration sectors, such as education or transport. Ensuring Transparency and Compliance : It is crucial that public-private partnerships are structured to ensure maximum transparency and citizen data protection. For this reason, clear protocols must be defined for data management, privacy, and information security. Defining standards and guidelines for transparency is essential to maintain citizens' trust in AI use by public administrations. Partnerships must include detailed agreements defining roles, responsibilities, and data sharing methods. Promotion of Innovation through Competitions and Awards : One way to encourage private companies to participate in developing AI solutions for the public sector is through competitions and hackathons. These events can attract startups, small and medium-sized enterprises (SMEs), and large companies to contribute ideas and innovative solutions. Healthy competition and the possibility of winning prizes or contracts with public administrations stimulate creativity and the generation of new ideas. Support for the Creation of Innovation Ecosystems : Public-private partnerships can also support the creation of local innovation ecosystems, involving not only large companies but also startups, SMEs, and business incubators. These ecosystems are essential to create a fertile environment where new ideas can be tested and developed. Public administrations can facilitate the creation of such ecosystems by promoting access to funding, offering tax incentives, and creating physical spaces where public and private entities can collaborate. These actions aim to create effective synergy between public and private sectors to maximize the value generated by AI for the common good and ensure that the solutions adopted are aligned with ethical standards and community needs. Only through joint commitment and open cooperation will it be possible to fully exploit AI's potential to improve public services and citizens' quality of life. Regulatory Experimentation and Sandbox Areas Regulatory experimentation and sandbox areas are fundamental tools for the effective adoption of AI in the public sector. These initiatives allow testing new technologies and innovative approaches in a controlled environment (a sandbox is a protected environment where solutions can be tested without impacting real systems or violating regulations), minimizing the risks associated with implementation and ensuring that solutions comply with existing regulations. The main elements and actions related to regulatory experimentation and sandboxes are described below: AI Sandboxes : Sandboxes allow public administrations to test new AI solutions in a regulated environment with an adequate level of supervision. These sandboxes are created to ensure that emerging technologies can be developed, evaluated, and refined before their widespread deployment. Sandbox areas provide a protected environment where administrations can collaborate with technology companies, startups, and universities to develop innovative AI applications, reducing the risk of costly failures and improving the quality of final solutions. Citizen Involvement : Citizen involvement is a crucial aspect of sandbox areas. Public consultations and feedback processes allow the social impact of AI technologies to be evaluated, ensuring that the solutions developed respond to community needs and respect public interest values. Directly involving citizens in experimentation processes can also help increase trust in AI solutions, showing how the risks associated with technology implementation are managed. Impact Assessment and Transparency : Every project initiated within sandbox areas must be subject to a rigorous ethical, social, and legal impact assessment. The impact assessment allows potential risks related to privacy, algorithmic discrimination, or other critical aspects to be identified and corrective measures to be introduced before large-scale implementation. Moreover, it is essential to ensure the transparency of the test results conducted in sandbox areas by publishing detailed reports describing the experimentation process, results obtained, and lessons learned. Guidelines for Sandbox Implementation : To ensure effective use of sandbox areas, clear guidelines must be established defining the process of creating and managing sandboxes, the criteria for selecting projects to be tested, and the methods of supervision. These guidelines must ensure that all projects are in line with the values and objectives of the public administration, comply with existing regulations, and adopt a risk-based approach to ensure the safety and compliance of developed solutions. Regulatory and Financial Support : Creating sandbox areas requires adequate regulatory and financial support. Public administrations must be able to rely on a flexible regulatory framework that allows regulatory experimentation without excessive constraints. At the same time, financial resources must be available to support the costs of experimentation, including those related to technological infrastructure and training of involved personnel. Feedback and Continuous Improvement : One of the goals of sandbox areas is to create a continuous cycle of feedback and improvement. Every experimentation should be followed by a careful analysis of results to improve not only the tested technology but also the experimentation process itself. This iterative approach allows AI solutions to be adapted to the real needs of public administrations and citizens, ensuring that every development phase is based on learning and continuous improvement. Integration with European Innovation Policies : Regulatory sandbox areas must be closely integrated with European policies on innovation and AI, such as the AI Act and the Interoperable Europe Act. This integration is essential to ensure that solutions developed in sandboxes are aligned with European regulations and can be easily scaled at a cross-border level, promoting greater interoperability and a wider spread of best practices in the public sector. These practices of regulatory experimentation and sandbox areas aim to reduce the risk associated with adopting innovative technologies, improve the quality of developed solutions, and ensure that AI is used responsibly and transparently in the public sector. The combination of experimentation, collaboration, and impact assessment represents a comprehensive approach to maximizing AI's potential and ensuring that the benefits are equitably distributed among all citizens.   Strengthening Ethical and Legal Governance Practices: Strengthening ethical and legal governance practices is crucial to ensure that AI adoption in the public sector takes place responsibly and in line with community values. Below are the main actions to be taken to ensure ethical and legal AI implementation: Creation of ethical guidelines for AI development:  Ethical guidelines are needed to establish clear criteria for the development and use of AI in the public sector. These guidelines must cover various aspects, including data collection and use, bias management, responsibility of developers and operators, and privacy protection. The guidelines must be integrated into procurement and development processes, ensuring that each adopted AI solution aligns with approved ethical principles and the European regulatory framework. Ethical and legal impact assessments: Each AI project must be accompanied by an ethical and legal impact assessment that analyzes its potential consequences in terms of fairness, privacy, security, and transparency. These assessments must be conducted early and updated throughout the project lifecycle, identifying potential risks and providing corrective measures to mitigate them. Establishment of ethical committees: The creation of ethical committees at the national or local level aims to oversee key AI decisions. These committees must be composed of ethics experts, public sector representatives, academics, and civil society members. Their role is to assess AI projects, offer ethical recommendations, and ensure that the principles of fairness and non-discrimination are respected and that the public interest is always at the center of decisions made. Definition of standards for algorithmic auditing:  Algorithms used by public administrations must be subject to periodic audits to ensure compliance with regulations and prevent bias or misuse. Auditing must include a transparent analysis of the algorithm's functioning, identification of possible distortions, and verification of accuracy and reliability. It is important to establish a formal process for auditing and identify key performance indicators (KPIs) that allow the effectiveness and impact of algorithms to be evaluated. Ensuring transparency and accountability: To  strengthen AI governance, it is essential to promote transparency at every stage of AI technology development and implementation. Public administrations must clearly communicate the purposes for which AI is used, the data employed, and how algorithmic decisions are made. Accountability must be ensured through a governance system that includes mechanisms for accountability and that allows citizens to challenge decisions made by AI technologies where they may significantly impact their rights. Control over data collection and use:  Data is the foundation on which AI models are trained, and it is therefore essential that data collection and use are carried out responsibly. Public administrations must ensure that the collected data is of high quality, relevant, and managed according to privacy regulations. Data minimization, i.e., collecting only the strictly necessary data, and pseudonymization (a technique that replaces identifying data with pseudonymous identifiers to protect individuals' identities) are key practices for ensuring the safe and compliant use of personal data. These actions aim to ensure that AI adoption in the public sector takes place safely, responsibly, and in line with public interest values. Strengthening ethical and legal governance practices is a crucial component to promoting citizen trust in AI use and ensuring that this technology contributes to improving public services without compromising individual rights and freedoms. Creating a Support Ecosystem for Digital Transformation: Creating a support ecosystem for digital transformation in the public sector is not just about providing financial and technological resources but also about developing a network of actors and institutions that work together to foster innovation. Below are the main components and actions necessary to ensure an effective and resilient ecosystem for digital transformation: Institutional and political support:  It is essential that there is solid institutional support for digital transformation. Governments must develop clear strategic plans for AI adoption and other digital technologies, including specific objectives and defined deadlines. This support must be accompanied by favorable policies that encourage digitalization, remove bureaucratic barriers, and promote a coordinated vision across all levels of public administration, from national institutions to local communities. Knowledge-sharing platforms:  Knowledge sharing is a key element for digital transformation. Public administrations must have access to platforms that facilitate the exchange of experiences, best practices, and case studies. Platforms such as the Public Sector Tech Watch (PSTW) can help reduce the learning curve for new technologies and enable the rapid dissemination of innovations that have been successful in other settings. The availability of easily accessible resources and documentation is crucial to accelerating the digitalization process. Financial support and access to European funds: Digital transformation requires significant investments, and it is essential that public administrations have access to adequate funding. Funds such as Horizon Europe, the Digital Europe Programme, and the Recovery and Resilience Facility (RRF) are crucial to supporting large-scale digital transformation projects. However, it is equally important to provide technical and consulting support to administrations to facilitate access to these funds, ensuring that even small and medium administrations can benefit from these financial opportunities. Incentives for innovation and recruitment of digital talent:  Public administrations must create incentives to attract and retain talent with digital skills. Hiring experts in AI, data science, and digital transformation is crucial for the success of any innovation strategy. Incentives such as innovation awards, advanced training opportunities, and dedicated career paths can help build an expert team capable of driving change within administrations. Additionally, recruitment programs targeting new generations of digital talent can help bridge the technology skills gap in the public sector. Flexible regulatory framework:  The success of digital transformation also depends on the presence of an appropriate regulatory framework. Member States must adopt a regulatory approach that is flexible enough to allow innovation while at the same time protecting citizens from potential abuses. Regulations must be updated periodically to reflect the evolution of technologies and societal needs, ensuring that they align with ethical principles and human rights protections. These actions and components are essential for creating a support ecosystem for digital transformation in the public sector. Only through access to adequate resources and strong institutional commitment will it be possible to fully harness the potential of AI and emerging technologies. Promoting a Culture of Innovation and Calculated Risk: Promoting a culture of innovation and calculated risk is essential to ensure that the public sector can experiment with and adopt new technologies such as AI without being paralyzed by fear of failure. A culture that accepts calculated risk and encourages innovation can produce more creative and effective solutions to respond to public sector challenges. Below are the main actions to take to build a culture of innovation and calculated risk: Encourage experimentation and learning from mistakes:  It is crucial to create an environment where mistakes are considered part of the learning process, rather than failures to be avoided at all costs. Public administrations must promote a culture in which staff are encouraged to experiment with new solutions and learn from mistakes. This can be achieved through pilot programs that allow new ideas to be tested in a protected environment without the negative consequences of immediate large-scale implementation. Training and support for managing innovation:  Innovation management requires specific skills that are often not present in traditional public sector structures. For this reason, it is important to provide specific training for managers and project leaders to develop the skills needed to manage innovative processes and make strategic decisions in situations of uncertainty. This training must also include aspects related to risk management, opportunity identification, and mitigation of negative effects. Encourage a proactive and open-minded attitude towards change:  Administrations must actively work to encourage a proactive and open attitude towards change. This can be achieved through internal communication campaigns that emphasize the benefits of innovation and showcase success stories, as well as through sharing innovation stories and best practices within the organization. A leadership that actively supports change and innovation is crucial to creating an environment that encourages staff to be proactive and experiment with new ideas. Promote the adoption of Design Thinking techniques:  Design thinking is a creative and user-centered approach that can help public administrations solve complex problems. Integrating design thinking into decision-making processes allows new ideas to be explored, tested quickly, and adapted based on feedback received. This approach keeps the focus on citizens' needs and finds innovative solutions that improve the quality of public services. Risk assessment and management of uncertainties:  Innovation inevitably involves risks. Therefore, it is crucial to implement risk management practices that allow for identifying, evaluating, and mitigating the risks associated with adopting new technologies. Public administrations must develop methodologies to assess uncertainties and make informed decisions that balance opportunities and risks, ensuring that adopted innovations are sustainable and do not jeopardize citizens' safety or trust. Leadership that supports change: Promoting a culture of innovation and calculated risk requires visionary leadership willing to support change. Leaders must be the first to demonstrate openness to innovation, creating an environment that not only accepts but encourages reasoned risk. This type of leadership is essential to overcome internal resistance and motivate staff to engage in digital transformation projects. These actions aim to develop a public sector culture that is oriented towards continuous improvement, learning from mistakes, and experimentation. Only by creating an environment where calculated risk is considered an integral part of the innovation process will it be possible to fully harness the potential of AI and other digital technologies to improve public services and meet the ever-changing needs of citizens. Conclusions AI governance in the public sector is not just a matter of technical or regulatory skills but represents a profound cultural and strategic change. In this transition, the public sector faces a crucial challenge: adopting AI not only as a technological tool but as a catalyst for rethinking how the state interacts with citizens and responds to their needs. A public organization’s ability to leverage AI depends not only on financial resources or adequate regulations but above all on a clear and shared vision that sees technology as an opportunity to build trust, equity, and innovation. The greatest risk for the public sector is not the improper adoption of AI, but the failure to adopt the cultural transformation necessary to make it a tool for social progress. AI, with its ability to automate complex processes and analyze massive amounts of data, can improve the efficiency of public services, but without inclusive governance, it risks creating an even greater gap between institutions and citizens. The most vulnerable communities could be excluded from these benefits, not due to a lack of adequate technologies, but because of systems that do not consider everyone’s needs. This is where ethical governance becomes the real strategic pillar: not as a constraint but as a lever to ensure that AI serves the public interest. Another fundamental aspect is the value of experimentation. The creation of regulatory sandboxes, which is much discussed, should not be seen merely as a protected environment to test technologies but as a symbol of the new attitude that the public sector must adopt. These spaces allow failure to become learning, a concept that radically challenges the traditional risk aversion typical of public bureaucracy. Organizations that manage to cultivate a culture of calculated risk will become examples of how AI can not only be implemented but also continuously improved in response to citizens’ needs. The skills required by AI go far beyond technology. Certainly, the public sector needs experts in machine learning or data science, but the true engine of transformation will be the ability to integrate these skills with visionary leadership and strong ethics. Leadership in this context does not mean merely being able to make technological decisions, but above all being able to communicate an inclusive and future-oriented vision. This leadership must be capable of navigating the complexities of regulations, citizen expectations, and partnerships with the private sector. Public-private partnerships represent another strategic turning point. However, the public sector must not settle for being a "customer" of the private sector. It must become an active partner, capable of negotiating solutions that respect public values and are transparent in their implementation. This collaboration must go beyond simple technological supply: the public sector has a duty to lead the dialogue on how AI should be designed, implemented, and monitored to ensure equitable benefits. Finally, the real transformation will be measured not only by operational improvements but by AI's ability to strengthen the social contract between the state and citizens. AI can become a tool to make institutions more transparent and accountable, but only if citizens are actively involved in its design and monitoring. Trust will be the true success indicator: not blind trust in technology, but trust built on open processes, tangible results, and a visible commitment to the common good. This reflection highlights that AI adoption in the public sector is not just a matter of how to do it but of why to do it. The risk is not technological but strategic: missing the opportunity to make AI an ally of social progress rather than a mere machine at the service of efficiency. The decisions made today will not only determine the effectiveness of public services but will define the role of institutions in an increasingly digital and interconnected society. Podcast: https://spotifycreators-web.app.link/e/IChmFr8LVOb Source: https://publications.jrc.ec.europa.eu/repository/handle/JRC138702

L'intelligenza artificiale generativa (GenAI) sta emergendo come uno strumento di grande potenziale per trasformare il settore dei servizi finanziari. Una recente ricerca, condotta da Thomas Kaiser (CEO e Co-Fondatore di Kodex AI), Boon-Hiong Chan (Industry Applied Innovation Lead e Head APAC Market and Technology Advocacy presso Deutsche Bank) e Delane Zahoruiko (Founders Associate di Kodex AI), evidenzia come la GenAI possa essere utilizzata per migliorare la conformità normativa, ottimizzare l'interazione con i clienti e gestire i rischi in modo più efficiente, aprendo la strada a nuovi livelli di produttività e innovazione. Tuttavia, per sfruttare appieno il potenziale della GenAI, le istituzioni devono affrontare diverse sfide, tra cui garantire la qualità dei sistemi e la sicurezza informatica, assicurando al contempo un'adozione graduale delle nuove tecnologie. Un approccio graduale per adottare GenAI nel settore bancario Un'adozione efficace di GenAI nel settore bancario richiede una strategia incrementale e strutturata, che parte dalle applicazioni di base per arrivare a casi d'uso più complessi. La ricerca suggerisce un approccio a tre fasi  per costruire un portafoglio di casi d'uso di GenAI, consentendo alle istituzioni di acquisire progressivamente fiducia nella tecnologia, mitigare i rischi e ottenere vantaggi tangibili ad ogni fase. Capacità di analisi del linguaggio : La prima fase si concentra sull'utilizzo delle capacità base di analisi del linguaggio di GenAI per svolgere compiti quali la sintesi di testi, l'elaborazione delle e-mail dei clienti e la redazione di contenuti standardizzati. Queste funzionalità consentono all'organizzazione di migliorare l'efficienza e la qualità del servizio grazie alla possibilità di gestire elevati volumi di testo e dati non strutturati. Questa fase non solo pone le basi per lo sviluppo delle capacità del sistema, ma permette anche di adattare GenAI alle necessità specifiche del dominio finanziario. Chat-to-Agent : Nella seconda fase, l'obiettivo è quello di trasformare GenAI in uno strumento che va oltre l'analisi del testo, consentendo di eseguire comandi specifici basati sulle richieste degli utenti. Per esempio, un agente esecutivo può ricevere una query in linguaggio naturale, tradurla in codice (ad esempio Python), e utilizzare modelli AI per analizzare grandi dataset e restituire risultati comprensibili. Un esperimento condotto con il progetto MILA ha mostrato come una soluzione chat-to-agent abbia permesso a utenti non tecnici di ottenere analisi dettagliate su relazioni e modelli nei dati, utilizzando visualizzazioni per facilitare la comprensione. Questa fase consente un elevato grado di autonomia nell'analisi, garantendo comunque la supervisione e il controllo umano per i risultati più critici. Chat-to-Execution : La terza fase rappresenta l'evoluzione verso le capacità autonome, in cui GenAI non solo esegue comandi, ma assume anche decisioni autonome e consapevolezza contestuale. Questo livello di sviluppo permette al sistema di operare con un alto grado di indipendenza, gestendo processi decisionali e operativi complessi. Ad esempio, un sistema chat-to-execution è in grado di decidere autonomamente quale approccio utilizzare per rispondere a una specifica richiesta, basandosi su una combinazione di apprendimento rinforzato e memorizzazione delle interazioni passate. Tale capacità consente non solo di eseguire task ripetitivi ma di adattarsi e migliorarsi nel tempo, offrendo soluzioni sempre più mirate. La transizione da semplici applicazioni di elaborazione del linguaggio a soluzioni completamente autonome richiede non solo infrastrutture tecnologiche avanzate, ma anche un costante impegno in termini di governance, gestione del rischio e formazione continua. La creazione di ambienti di testing controllati (AI sandboxes), lo sviluppo di politiche di utilizzo equo, e il coinvolgimento attivo di esperti del settore sono aspetti fondamentali per un'adozione di successo.   Vantaggi per il settore bancario L'adozione di GenAI nel settore bancario offre una serie di vantaggi rilevanti, non solo in termini di efficienza operativa ma anche per la capacità di affrontare sfide complesse come la gestione del rischio e la conformità normativa. Uno dei principali vantaggi è la capacità di GenAI di migliorare la qualità delle decisioni attraverso l'automazione di analisi complesse. La tecnologia, infatti, consente di integrare una mole significativa di dati provenienti da diverse fonti e di fornire analisi in tempo reale, favorendo una comprensione più approfondita dei trend di mercato e delle potenziali aree di rischio. Inoltre, l'utilizzo di modelli come il Retrieval-Augmented Generation (RAG) permette di migliorare l'accuratezza delle risposte generate da GenAI grazie alla capacità di attingere a dati esterni e verificati. Questo è particolarmente utile per garantire che le risposte siano sempre basate su informazioni aggiornate e rilevanti, un aspetto cruciale nella gestione del rischio e nella conformità alle normative, specialmente in contesti che richiedono elevata precisione e affidabilità. Un altro vantaggio significativo riguarda la democratizzazione dell'accesso alle analisi avanzate . Strumenti come quelli sviluppati nel progetto MILA hanno dimostrato come GenAI possa permettere anche agli utenti non tecnici di eseguire analisi dati avanzate, riducendo la dipendenza da specialisti in data science. Questa capacità è stata evidenziata da esperimenti in cui si è dimostrato che l'utilizzo di GenAI ha ridotto i tempi di analisi da parte di un data engineer da diverse ore a pochi minuti, rendendo più rapido e accessibile il processo decisionale. L'impiego di tecniche come il Parameter Efficient Fine Tuning (PEFT) e il Low Rank Adaptation (LoRA) consente anche di ridurre i costi di addestramento e migliorare la customizzazione dei modelli, rendendoli più adatti all'integrazione nelle infrastrutture esistenti senza la necessità di risorse computazionali eccessive. Questa ottimizzazione non solo favorisce la riduzione dei costi, ma migliora anche la capacità di adattamento dei modelli alle esigenze specifiche di ciascuna organizzazione bancaria. Inoltre, l'utilizzo di dati sintetici  rende possibile addestrare modelli in assenza di dati reali, affrontando le problematiche legate alla privacy e alla disponibilità dei dati. Questo approccio consente di mantenere elevati standard di qualità e riservatezza, garantendo che i modelli possano operare su dataset rappresentativi e diversificati senza compromettere la privacy dei clienti. Il miglioramento dell'engagement con i clienti è un altro aspetto cruciale. GenAI permette di sviluppare interazioni più personalizzate e tempestive, basate su una comprensione più profonda delle esigenze del cliente e su una gestione automatizzata delle richieste. Ciò non solo aumenta la soddisfazione del cliente, ma anche l'efficienza delle operazioni di customer service, riducendo i tempi di risposta e migliorando la qualità del servizio. Infine, l'adozione di GenAI può aumentare la scalabilità delle operazioni . In un contesto di continua evoluzione come quello dei servizi finanziari, la capacità di scalare rapidamente processi e infrastrutture è fondamentale. I sistemi GenAI, grazie alla loro flessibilità, possono essere adattati per affrontare un numero sempre maggiore di richieste e processi senza compromettere l'efficacia o l'accuratezza delle operazioni. Questo è particolarmente vantaggioso in periodi di forte domanda, dove è essenziale mantenere elevati standard di servizio senza subire rallentamenti.   Qualità e benchmark Per garantire che un sistema GenAI offra performance adeguate e risponda agli standard richiesti nel settore finanziario, è fondamentale stabilire misurazioni di qualità tramite benchmark accurati. La qualità di GenAI non dipende solo dall'architettura del modello, ma anche dai dati di addestramento e dagli strumenti di miglioramento come RAG e PEFT. L'utilizzo di benchmark come GLUE, SuperGLUE e MMLU è essenziale per valutare la capacità dei modelli di comprendere e processare il linguaggio naturale in contesti generali. Tuttavia, il settore finanziario presenta sfide specifiche che richiedono misurazioni più mirate. Nel settore bancario, l'efficacia di GenAI è spesso valutata tramite benchmark finanziari specializzati come FinanceBench , FinQA , e FNS (Financial Narrative Summarisation) . FinanceBench valuta la capacità dei modelli di processare ed interpretare accuratamente i dati finanziari, per gestire analisi di mercato, valutazione del rischio e report di conformità. FinQA, invece, si concentra sulla capacità del sistema di rispondere a domande basate su contesti finanziari, analizzando dati strutturati come report finanziari e call sugli utili. FNS valuta l'abilità di un modello di sintetizzare narrativi finanziari complessi da dataset densi, ad esempio report sugli utili o revisioni annuali, fornendo così una misura dell'efficacia nella generazione automatizzata di insight chiave. Oltre ai benchmark e ai metodi di ottimizzazione, altri fattori architetturali e di processo rivestono un ruolo fondamentale per determinare la qualità di un sistema GenAI. Tra questi, la gestione dei dati è cruciale. L'uso di tecniche di preelaborazione  come chunking e parsing, oltre a filtri sui contenuti, garantisce che i dati siano gestiti in modo appropriato prima di essere processati dal modello. Infine, il tema della spiegabilità  è altrettanto fondamentale. Implementare sistemi di trasparenza, come l'attribuzione della fonte nelle risposte e l'integrazione di sistemi di verifica umana (Human-in-the-Loop), aiuta a garantire che le decisioni prese dai modelli siano tracciabili e comprensibili, costruendo così la fiducia necessaria per l'adozione di GenAI in settori altamente regolamentati come quello bancario.   Sfide e rischi L'implementazione di GenAI comporta numerose sfide e rischi che devono essere affrontati per garantire il successo a lungo termine della tecnologia all'interno del settore finanziario. Una delle problematiche principali è rappresentata dalla deriva del modello . Questo fenomeno si verifica quando la performance di un modello inizia a degradarsi a causa della differenza tra i dati utilizzati per l'addestramento e i dati che il modello incontra in contesti reali. I cambiamenti nei comportamenti dei clienti o nelle normative possono portare a una significativa divergenza tra il contesto operativo e i dati originariamente usati per l'addestramento del modello. Per mitigare questo rischio, è fondamentale implementare un monitoraggio continuo delle prestazioni del modello tramite metriche come l'accuratezza delle predizioni e il tasso di errore, così come il riaddestramento regolare su dataset aggiornati per mantenere il modello allineato con la realtà. Un ulteriore rischio significativo è quello delle allucinazioni del modello, ovvero la generazione di risposte plausibili ma inesatte o non verificate. Questo problema è inerente alla natura di GenAI ma può essere mitigato con tecniche specifiche. Ad esempio, l'utilizzo di tecniche di Retrieval-Augmented Generation (RAG), che permettono al modello di attingere a fonti di dati esterne per verificare e confermare le informazioni, riduce la probabilità di allucinazioni. Inoltre, la supervisione da parte di esperti umani tramite l'integrazione di sistemi Human-in-the-Loop (HITL) consente di monitorare le risposte del modello, specialmente per decisioni ad alto rischio, garantendo così che le risposte siano accurate e pertinenti. Il degrado del loop di feedback  è un altro rischio che si presenta quando un sistema GenAI viene esposto in maniera eccessiva al feedback degli utenti senza adeguati filtri di qualità. In questi casi, il sistema potrebbe apprendere comportamenti indesiderati, peggiorando nel tempo la qualità delle risposte. Per affrontare questo problema, è essenziale implementare meccanismi di filtraggio del feedback, che permettano di valutare la qualità dei dati provenienti dagli utenti prima che questi siano utilizzati per influenzare l'apprendimento del modello. Oltre a questi rischi specifici, esistono anche rischi di dipendenza , come la dipendenza da infrastrutture specifiche o fornitori esterni. Per mitigare tali rischi, è importante adottare architetture modulari e interoperabili che consentano una facile migrazione verso modelli o piattaforme alternative, evitando situazioni di lock-in tecnologico. Infine, il settore finanziario deve affrontare i rischi di sicurezza informatica , specialmente quando si utilizzano sistemi basati su GenAI che possono interagire con dati sensibili. L'adozione di misure di sicurezza avanzate, come la protezione contro attacchi di tipo data poisoning o prompt injection, è fondamentale per garantire la resilienza e l'affidabilità del sistema.   Raccomandazioni per l'industria finanziaria Per favorire un'adozione efficace di GenAI nel settore finanziario, è fondamentale sviluppare una strategia di implementazione che tenga conto di aspetti regolamentari, tecnologici ed etici, al fine di garantire l'uso responsabile e sicuro delle tecnologie. È consigliato investire nella creazione di ambienti di test controllati  (AI sandboxes) in cui sviluppare e valutare nuove applicazioni in un contesto protetto, assicurando che ogni nuova funzione o utilizzo sia conforme alle normative esistenti prima di un eventuale rilascio sul mercato. Un ulteriore passo cruciale è la formazione continua e l'aggiornamento del personale . La GenAI evolve rapidamente e con essa le competenze necessarie per utilizzarla efficacemente. Le istituzioni finanziarie devono investire in programmi di formazione per garantire che i propri dipendenti siano pronti ad affrontare i cambiamenti tecnologici e a sfruttare al meglio le nuove opportunità offerte da GenAI. In parallelo, è importante incoraggiare la collaborazione tra i vari dipartimenti, in modo da favorire una comprensione completa e condivisa delle potenzialità e dei limiti della tecnologia. La collaborazione tra pubblico e privato  gioca un ruolo fondamentale. La regolamentazione del settore dell'intelligenza artificiale è ancora in evoluzione e la cooperazione tra le aziende e le autorità regolatorie può facilitare lo sviluppo di linee guida che favoriscano l'innovazione senza compromettere la sicurezza o la privacy. Ad esempio, l'introduzione di pratiche di condivisione dei dati equa , che consentano l'accesso a dataset di alta qualità in modo rispettoso della proprietà intellettuale e della riservatezza, potrebbe agevolare lo sviluppo di modelli più performanti e più sicuri. È inoltre necessario che le istituzioni finanziare adottino standard aperti e politiche di trasparenza , che non solo aiutino a evitare rischi di lock-in tecnologico, ma migliorino anche la fiducia del pubblico nell'uso dell'IA. Le pratiche di trasparenza dovrebbero includere una documentazione completa dei processi di addestramento, l'uso di meccanismi per la spiegabilità delle decisioni del modello e audit regolari che verifichino la conformità alle normative e agli standard etici. Conclusioni L’adozione dell’intelligenza artificiale generativa (GenAI) nel settore bancario non è solo una scelta tecnologica, ma una trasformazione strategica che ridefinisce le fondamenta stesse dell’operatività e della competitività aziendale.  Non si tratta unicamente di implementare strumenti per migliorare l’efficienza, ma di riscrivere le regole dell’interazione tra le istituzioni finanziarie, i loro clienti e il contesto normativo. Questa rivoluzione porta con sé opportunità straordinarie, ma anche rischi che richiedono una riflessione più profonda rispetto al semplice calcolo costi-benefici. Una delle implicazioni più profonde dell’utilizzo di GenAI nel settore bancario è la ridefinizione del concetto di fiducia.  Tradizionalmente, la fiducia nei confronti delle banche si basa sulla trasparenza, sulla solidità e sull’affidabilità umana nel prendere decisioni critiche. Con GenAI, questa fiducia deve essere estesa a un’intelligenza non umana, un’entità che decide e agisce basandosi su complessi modelli matematici e volumi immensi di dati. Ciò implica una transizione culturale non banale per i clienti e le istituzioni stesse, che dovranno rendere comprensibili decisioni altrimenti opache e dimostrare che tali sistemi possono operare senza compromettere l’etica o la sicurezza. La democratizzazione delle analisi avanzate, uno dei vantaggi principali di GenAI, introduce dinamiche inedite nei ruoli aziendali e nelle competenze richieste.  Se i sistemi GenAI possono offrire insight complessi senza l’intervento di esperti in data science, si ridisegnano le gerarchie tradizionali all’interno delle organizzazioni bancarie. Ciò pone una sfida manageriale: come ribilanciare i ruoli tra specialisti tecnici e decisori strategici, garantendo che i secondi abbiano le competenze per interpretare e sfruttare pienamente le analisi fornite? La possibilità di scalare rapidamente operazioni e processi tramite GenAI riduce i limiti operativi tradizionali, ma apre anche interrogativi sulla sostenibilità a lungo termine.  Automatizzare decisioni e processi non significa solo rispondere alla domanda attuale, ma implica una riflessione sulla gestione della complessità futura. Sistemi troppo autonomi potrebbero creare un livello di dipendenza tecnologica tale da rendere difficile un intervento umano efficace in situazioni di crisi, un rischio che nessuna banca può permettersi di ignorare. In termini di innovazione, GenAI ridefinisce anche il concetto di tempo nel settore finanziario.  Non è solo la velocità di esecuzione delle analisi o delle risposte a cambiare, ma la capacità di prevedere e adattarsi ai mutamenti del mercato in tempo reale. Questa accelerazione crea un contesto competitivo dove i leader saranno coloro che sapranno integrare la velocità con l’accuratezza e la sicurezza. Tuttavia, questa stessa velocità può rendere più difficili gli interventi regolatori, aumentando il rischio di un divario tra innovazione tecnologica e capacità normativa. L’etica diventa il terreno critico su cui si gioca l’adozione di GenAI nel settore bancario.  La gestione dei dati sintetici, l’uso di tecniche come il Retrieval-Augmented Generation (RAG) e il fine-tuning modulare, se da un lato riducono i rischi tecnici, dall’altro amplificano la necessità di una governance trasparente. Le banche che sapranno distinguersi non saranno solo quelle che implementeranno GenAI con successo, ma quelle che lo faranno in modo che la tecnologia diventi un elemento di fiducia e non di alienazione per clienti e stakeholder. In ultima analisi, l’introduzione di GenAI nel settore bancario non è semplicemente un’evoluzione tecnica, ma un cambiamento sistemico che richiede una visione strategica a lungo termine.  I leader del settore dovranno andare oltre la logica dell’efficienza e dell’innovazione per abbracciare una mentalità di adattabilità continua, responsabilità etica e inclusività.  Solo così l’intelligenza artificiale generativa potrà trasformarsi da strumento operativo a pilastro del futuro delle istituzioni finanziarie. Podcast: https://spotifycreators-web.app.link/e/XfIoOVy3TOb Fonte: https://corporates.db.com/publications/White-papers-guides/adopting-generative-ai-in-banking

L’uso crescente dei modelli linguistici di grandi dimensioni, come GPT-4, in ambiti critici ha evidenziato la necessità di affrontare con maggiore attenzione il tema della sicurezza e dell’affidabilità di queste tecnologie. Sebbene tali modelli dispongano di un vasto patrimonio di conoscenze, esiste un rischio concreto che possano generare risposte dannose o inappropriate, soprattutto in presenza di attacchi specifici noti come “jailbreak”. Lo studio condotto da Wang e collaboratori propone un nuovo agente di attacco multi-round, denominato MRJ-Agent, sviluppato per individuare le vulnerabilità dei modelli linguistici e rafforzarne la sicurezza, approfondendo la complessa dinamica dei dialoghi umani. Problemi nella sicurezza degli LLMs e limiti degli approcci esistenti Gli attacchi jailbreak si concentrano sulla manipolazione dei LLMs per indurli a fornire contenuti sensibili o potenzialmente dannosi. La ricerca evidenzia come la maggior parte degli sforzi fino ad ora si siano focalizzati su attacchi di tipo single-round, ovvero con una sola richiesta diretta al modello. Tuttavia, questi approcci sono limitati nel riprodurre il modo in cui gli utenti umani interagiscono realmente con questi sistemi: spesso, le interazioni sono multi-round, con domande e risposte distribuite su più fasi. Gli attacchi single-round utilizzano spesso metodi come il "prompt engineering", che prevede la costruzione di prompt progettati per nascondere intenzioni dannose. Ad esempio, alcuni approcci (Zou et al. 2023; Wei, Haghtalab, Steinhardt 2024) includono l'uso di codici ASCII o messaggi cifrati per mascherare richieste pericolose. Questi metodi, benché efficaci in alcuni casi, falliscono nel considerare la complessità delle interazioni multi-round. Come emerso dalle ricerche di Ma et al. (2024) e Perez et al. (2022), questo tipo di interazione più naturale e complessa rappresenta la reale sfida per i modelli di linguaggio di grandi dimensioni, rendendo i metodi single-round meno significativi dal punto di vista pratico. Negli ultimi anni, sono stati sviluppati approcci per attacchi multi-round, ma questi hanno mostrato diversi limiti. Un esempio è rappresentato dall'approccio proposto da Zhou et al. (2024), che scompone una domanda originaria in più sotto-domande, aggregando poi le risposte per ottenere contenuti dannosi. Questo metodo, tuttavia, non riesce a riprodurre la naturalezza di una conversazione umana e spesso attiva i meccanismi di difesa dei modelli, riducendone così l'efficacia. Altri metodi (Russinovich, Salem, ed Eldan 2024; Yang et al. 2024) adottano tattiche iterative di tentativi ed errori per indurre il modello a generare output pericolosi. Tuttavia, un problema chiave risiede nella dipendenza da modelli molto potenti come GPT-4, che spesso attivano meccanismi di sicurezza, portando a richieste rigettate e a una riduzione dell'efficacia dell'attacco. La ricerca di Wang et al. introduce una strategia innovativa per affrontare queste limitazioni, combinando una strategia di decomposizione del rischio e un'induzione psicologica per rendere l'attacco più efficace e meno rilevabile. La strategia di decomposizione del rischio  consiste nel suddividere l'intenzione dannosa originaria in sotto-richieste apparentemente innocue, distribuendo il rischio su più round. Ad esempio, una richiesta come "come costruire una bomba" viene trasformata in una serie di domande su reazioni chimiche generiche, che progressivamente conducono a contenuti più specifici. La decomposizione avviene utilizzando modelli come GPT-4 per generare le sotto-richieste, mantenendo un livello di similarità semantica controllata per evitare che le richieste diventino troppo palesemente pericolose. Gli esperimenti hanno dimostrato che controllando la similarità tra le sotto-richieste e l'originale si può aumentare significativamente il tasso di successo dell'attacco. Inoltre, la strategia di induzione psicologica sfrutta tecniche come l'induzione alla riflessione o il supporto basato su prove multiple per ridurre la probabilità di rigetto da parte del modello. L'efficacia di queste strategie è stata valutata con successo sia su modelli open-source come LLama2-7B sia su modelli closed-source come GPT-4, mostrando un tasso di successo nel superare le difese superiore rispetto agli approcci tradizionali.   MRJ-Agent: caratteristiche tecniche e metodo di attacco MRJ-Agent introduce una metodologia innovativa di attacco che simula un processo di ricerca euristica per decomporsi in più round. Partendo da una richiesta potenzialmente pericolosa (ad esempio, “come costruire una bomba”), il processo inizia con una domanda innocua (come una reazione chimica generica), per poi progredire gradualmente verso temi più delicati. Questo approccio è stato progettato per massimizzare la probabilità di aggirare i meccanismi di sicurezza integrati nei LLMs. Il metodo prevede tre principali strategie: Strategia di controllo delle informazioni:  questa strategia guida il processo di tentativi ed errori, controllando la similarità tra le richieste generate e quella originale. Il controllo dell'informazione avviene attraverso un approccio euristico che monitora il grado di similarità semantica tra le richieste e l'obiettivo finale. Gli esperimenti hanno mostrato che, impostando una soglia minima di similarità del 0.85 tra la richiesta generata e quella originale, è possibile mantenere il focus dell'attacco senza compromettere l'efficacia. Strategia di induzione psicologica:  per minimizzare le probabilità di rigetto da parte del modello, vengono utilizzate strategie psicologiche che permettono di aumentare la persuasione e diminuire la percezione di rischio da parte dell'LLM. In particolare, l'induzione psicologica è stata migliorata attraverso 13 strategie specifiche, come il supporto basato su prove multiple e l'influenza cognitiva. I risultati mostrano che, rispetto alle sole richieste scomposte, le sotto-richieste rafforzate psicologicamente hanno aumentato il tasso di successo fino al 39.7% su GPT-4. Strategia di addestramento del modello Red-Team:  è stato sviluppato un modello red-team (denominato πred) in grado di eseguire in maniera automatizzata gli attacchi multi-round, adattandosi dinamicamente alle risposte del modello target. Durante l'addestramento, il modello ha utilizzato una tecnica di ottimizzazione delle preferenze dirette (Direct Preference Optimization) per imparare a selezionare le strategie più efficaci in ogni situazione. L'uso di modelli con diversa capacità (7B e 13B) ha evidenziato come, aumentando la dimensione del modello red-team, si ottenga un incremento significativo del tasso di successo, raggiungendo il 100% quando il numero massimo di round è 10 o superiore.   Risultati sperimentali e confronto con altri metodi di attacco I risultati degli esperimenti condotti hanno messo in luce prestazioni straordinarie di MRJ-Agent rispetto ad altre tecniche di attacco, sia in contesti single-round che multi-round. In particolare, durante le valutazioni su modelli come LLama2-7B e GPT-4, MRJ-Agent ha raggiunto un successo completo (100%) nelle interazioni multi-round, superando significativamente il metodo alternativo "Speak out of Round", che si è fermato al 20%. Questo dato riflette l’efficacia superiore del sistema nel gestire scenari complessi. Nel confronto con altre tecniche di attacco multi-round, MRJ-Agent ha dimostrato un tasso di successo del 92% su LLama2-7B con una singola prova, aumentando al 100% con più tentativi. Tale risultato indica una chiara superiorità in termini di efficienza e robustezza, ottenuta senza la necessità di ripetere molteplici round di tentativi, come invece richiesto da approcci concorrenti. Questa caratteristica sottolinea una gestione più efficace delle risposte del modello target, consentendo a MRJ-Agent di distinguersi come un sistema altamente ottimizzato. Test aggiuntivi hanno evidenziato che MRJ-Agent mantiene performance elevate anche in presenza di difese avanzate. Ad esempio, con sistemi di protezione come "Prompt Detection" e "System Prompt Guard", i tassi di successo si sono attestati rispettivamente all'88% e al 78% con un solo tentativo, salendo al 94% e all'82% con due prove. Questi risultati dimostrano la capacità del sistema di adattarsi anche a contromisure sofisticate, mantenendo un'elevata efficacia nel superare le protezioni implementate. In confronto ai metodi esistenti, MRJ-Agent ha mostrato una chiara superiorità anche contro modelli chiusi come GPT-4, raggiungendo un tasso di successo medio del 98%, rispetto al 92% massimo ottenuto con metodi alternativi come "Chain-of-Attack" (CoA). Inoltre, la capacità di ottenere questi risultati con un minor numero di round di interazione e tentativi rispetto agli approcci rivali rappresenta un vantaggio significativo in termini di efficienza operativa. Un ulteriore aspetto analizzato riguarda l’impatto delle dimensioni del modello red-team impiegato da MRJ-Agent. I risultati hanno rivelato che l'adozione di un modello da 13 miliardi di parametri (13B), rispetto a uno da 7 miliardi (7B), porta a un incremento consistente del tasso di successo in situazioni più complesse. Ad esempio, con un massimo di 15 round, il modello da 13B ha raggiunto un successo completo (100%), mentre il modello da 7B si è fermato al 94%. Questo suggerisce che l’utilizzo di modelli più grandi può migliorare significativamente l’efficacia degli attacchi, soprattutto in contesti più intricati o con difese più elaborate. In sintesi, MRJ-Agent ha dimostrato una notevole capacità di gestione delle interazioni multi-round, adattandosi efficacemente sia a modelli open-source che closed-source, senza mostrare cali di prestazioni. Particolarmente rilevante è stata la sua robustezza nell’aggirare i sistemi di difesa presenti nei modelli chiusi, come GPT-4, dove il tasso di successo si è avvicinato al 100%. Tali risultati evidenziano l’urgenza di sviluppare contromisure di sicurezza più avanzate per fronteggiare sistemi di attacco sempre più sofisticati.   Generalizzazione dell'attacco e altri scenari La versatilità del MRJ-Agent si estende anche ai compiti di immagine-a-testo, dove la capacità di sfruttare i dettagli visivi come punto di partenza per domande più delicate è risultata fondamentale. Ad esempio, nell'attacco a modelli come GPT-4o utilizzando immagini innocue, il tasso di successo è stato dell'80%, dimostrando che il modello è in grado di utilizzare il contesto visivo per guidare le domande successive verso contenuti sensibili. Questo approccio di concatenare contenuti visivi e testuali è una caratteristica innovativa che aumenta la difficoltà di difendere efficacemente questi modelli, in quanto le richieste sembrano più naturali e meno sospette. Nel caso dei compiti di testo-a-immagine, il MRJ-Agent ha mostrato una capacità ridotta rispetto al testo-a-testo, con un tasso di successo del 50% per la generazione di immagini potenzialmente dannose. Ciò è dovuto in parte ai meccanismi di sicurezza più robusti integrati nei modelli commerciali come DALLE-3, che bloccano attivamente contenuti sensibili. Tuttavia, il MRJ-Agent ha dimostrato un adattamento progressivo delle istruzioni di rischio, aumentando gradualmente la probabilità di generare contenuti problematici. Questo processo di raffinamento progressivo delle istruzioni risulta particolarmente efficace per aggirare le difese automatiche, soprattutto quando l'attacco viene eseguito su più round. In un altro esperimento, il MRJ-Agent è stato testato sulla sua capacità di generalizzare su dataset come JailbreakBench (JBB), che include dieci categorie di comportamenti rischiosi. Su questo benchmark, il tasso di successo è stato del 93,9%, confermando l'efficacia del MRJ-Agent non solo in scenari testuali ma anche in contesti più ampi e diversificati. Le categorie più difficili da attaccare sono risultate essere quelle relative a contenuti sessuali, con un tasso di successo del 71,42% e un numero medio di query pari a 11,85, suggerendo che la sensibilità del modello agli stimoli di questo tipo rimane comunque elevata.   Implicazioni future Le implicazioni future del lavoro su MRJ-Agent riguardano principalmente la necessità di sviluppare ulteriori meccanismi di difesa in grado di affrontare attacchi sempre più sofisticati e diluiti su più round di interazione. L'efficacia dimostrata dal MRJ-Agent nell'aggirare i meccanismi di difesa suggerisce che i modelli di grandi dimensioni devono essere dotati di capacità di rilevamento e risposta dinamiche, in grado di evolversi di pari passo con le minacce. Un approccio che potrebbe essere adottato in futuro è l'implementazione di strategie basate sull'intelligenza artificiale per la difesa, capaci di adattarsi automaticamente ai cambiamenti nei modelli di attacco e di apprendere da interazioni precedenti. Inoltre, il fatto che il MRJ-Agent abbia mostrato capacità di attacco su una vasta gamma di contesti, inclusi quelli immagine-a-testo e testo-a-immagine, evidenzia la necessità di espandere le metodologie di sicurezza a tutti i campi di applicazione dell'AI. Ciò implica che non solo i modelli di linguaggio, ma anche i modelli generativi di immagini e altri tipi di AI devono essere resi più robusti contro questi tipi di minacce. Un possibile sviluppo in tal senso potrebbe essere la creazione di una serie di benchmark standardizzati per valutare la resilienza dei modelli a diversi tipi di attacchi multi-round. Un'altra implicazione significativa riguarda l'allineamento continuo dei modelli ai valori umani. Gli attacchi multi-round come quelli condotti dal MRJ-Agent mettono in luce la difficoltà di mantenere un allineamento stabile quando i modelli sono sottoposti a interazioni prolungate e complesse. Un'area di ricerca futura potrebbe concentrarsi sul miglioramento delle tecniche di allineamento basate sul feedback umano, ad esempio con l'uso di rinforzo adattativo da parte di esperti umani per rilevare segnali di deviazione e correggere il comportamento del modello. Infine, la divulgazione dei dati e dei codici utilizzati per addestrare il MRJ-Agent rappresenta un altro importante passo verso la costruzione di una comunità di ricerca più trasparente e collaborativa. Rendere pubblico il codice di attacco potrebbe aiutare i ricercatori a sviluppare nuove tecniche di difesa, promuovendo così un progresso collettivo nella sicurezza delle AI. Tuttavia, questo comporta anche il rischio che agenti malintenzionati possano sfruttare tali informazioni per sviluppare attacchi più efficaci. Pertanto, sarà fondamentale adottare un approccio bilanciato che consenta il progresso della ricerca scientifica senza compromettere la sicurezza globale. Il lavoro su MRJ-Agent non solo evidenzia la vulnerabilità attuale dei LLMs, ma sottolinea anche l'importanza di un approccio proattivo e adattativo per la sicurezza dei modelli. È necessario esplorare ulteriormente l'interazione tra attacco e difesa, cercando soluzioni che possano evolvere con la stessa rapidità delle minacce emergenti. Solo così potremo garantire che questi modelli continuino a servire l'umanità in modo sicuro e responsabile.   Conclusioni L'emergere di tecnologie come l'MRJ-Agent mette in luce una verità cruciale nel panorama dell'intelligenza artificiale: l'interazione tra attacco e difesa non è statica, ma evolve come una dinamica complessa e interdipendente.  Le capacità multi-round di questo sistema rivelano un punto critico che spesso viene trascurato: i modelli di linguaggio non sono semplicemente strumenti di risposta, ma partecipanti attivi in dialoghi che rispecchiano la complessità delle interazioni umane. Questa considerazione trasforma la sicurezza da una questione di barriere tecniche statiche a un processo fluido che richiede un adattamento costante. La decomposizione del rischio e l'induzione psicologica introdotte dal MRJ-Agent non sono solo tattiche di attacco, ma indicano un cambio di paradigma nel modo in cui la vulnerabilità è concepita.  Non si tratta più di un difetto isolato del modello, bensì di una falla sistemica che emerge dalla somma delle interazioni. Questo suggerisce che la sicurezza dell'AI deve essere ridefinita per affrontare non solo le vulnerabilità tecniche, ma anche le manipolazioni cognitive e strategiche. Un modello di sicurezza efficace non può limitarsi a filtrare le richieste dannose; deve comprendere la sequenza e il contesto del dialogo per rilevare pattern insidiosi che si sviluppano nel tempo. L'idea di utilizzare un red-team automatizzato come il modello πred solleva una domanda strategica: quanto è sostenibile l'attuale approccio di sicurezza passivo? Le aziende che implementano LLMs in contesti critici devono adottare una mentalità offensiva nella sicurezza, investendo non solo in difese ma anche in test continui contro attacchi simulati.  Questo concetto, simile a una "guerra preventiva" nel mondo della cybersecurity, potrebbe rivoluzionare l'approccio tradizionale, passando da un focus esclusivo sulle protezioni statiche a un modello di apprendimento iterativo e dinamico. Un altro aspetto fondamentale riguarda l'intersezione tra contesto e input multimodale.  Gli attacchi che combinano testo, immagini e altre modalità dimostrano come la vulnerabilità non sia confinata a un unico dominio. Questo richiede una convergenza tra difese specifiche dei modelli e un framework di sicurezza unificato capace di operare trasversalmente. Le imprese che sviluppano sistemi multimodali devono comprendere che il rischio non si somma semplicemente, ma si amplifica: un attacco inizialmente innocuo in un dominio può essere la chiave per sfruttare debolezze in un altro. Questa prospettiva richiede una nuova generazione di sistemi di monitoraggio che possano tracciare l'evoluzione delle interazioni attraverso domini e modalità. Infine, la ricerca sull'MRJ-Agent evidenzia un problema cruciale per l'etica e l'allineamento dei modelli AI. La crescente sofisticazione degli attacchi multi-round sfida l'idea che l'AI possa mantenere un allineamento stabile nel tempo.  Le implicazioni per le imprese sono profonde: non basta che un modello sia sicuro al momento del rilascio; è necessario garantire che resti allineato durante l'intero ciclo di vita operativo. Questo suggerisce la necessità di meccanismi di auto-correzione, supportati da feedback continuo e umano. Ma ciò apre anche la porta a un dilemma: come bilanciare l'autonomia del modello con la supervisione umana senza ridurre l'efficienza operativa? In definitiva, la sfida lanciata dall'MRJ-Agent non riguarda solo la sicurezza tecnologica, ma tocca anche questioni più ampie di governance, responsabilità e progettazione strategica dei sistemi AI.  Le imprese devono affrontare queste sfide non come problemi tecnici isolati, ma come parte di una trasformazione più ampia nella gestione del rischio e nella costruzione di fiducia nell'intelligenza artificiale. Podcast: https://spotifycreators-web.app.link/e/MHlH4WzDTOb Fonte: https://arxiv.org/abs/2411.03814

La ricerca scientifica rappresenta sempre più una sfida complessa, richiedendo la capacità di sintetizzare decenni di studi. L'attuale capacità umana di elaborare informazioni risulta ormai inadeguata di fronte all'enorme mole di pubblicazioni prodotte quotidianamente. In questo panorama, i Large Language Models (LLMs), modelli di linguaggio addestrati su un vasto corpus di letteratura scientifica, si profilano come una soluzione promettente per integrare e prevedere nuovi risultati, spesso con maggiore efficienza rispetto agli esperti umani. Un recente studio, pubblicato sulla rivista Nature Human Behaviour , ha introdotto BrainBench, un benchmark innovativo ideato per valutare l'abilità dei LLM nel formulare previsioni nel campo delle neuroscienze, mettendoli a confronto diretto con gli esperti del settore. BrainBench e la sfida della previsione BrainBench è un benchmark specificamente progettato per verificare la capacità dei modelli di linguaggio di prevedere i risultati di esperimenti neuroscientifici. La struttura di BrainBench include la presentazione di versioni modificate di abstract scientifici, che permettono di valutare la capacità degli LLM di distinguere tra risultati verosimili e quelli alterati. La peculiarità di BrainBench risiede nel suo carattere "forward-looking", ovvero nella sua capacità di misurare l'abilità di previsione degli LLM in situazioni nuove, piuttosto che limitarsi a verificare la loro abilità nel recupero di informazioni già note. Questo approccio differisce da altri benchmark che sono principalmente "backward-looking", come PubMedQA o MMLU, in cui le domande riguardano il richiamo di conoscenze preesistenti. In BrainBench, invece, vengono presentate due versioni di un abstract scientifico, uno originale e uno modificato nei risultati, e il compito del partecipante è identificare quale sia la versione corretta. Il benchmark include casi di studio tratti da cinque sottocategorie delle neuroscienze: comportamentale/cognitiva, cellulare/molecolare, sistemi/circuiti, neurobiologia delle malattie e sviluppo/plasticità/riparazione. Questo approccio garantisce una copertura ampia e rappresentativa delle diverse aree delle neuroscienze, rendendo il compito di previsione particolarmente sfidante. È stato osservato che i modelli di linguaggio hanno superato in accuratezza gli esperti umani in tutte queste sottocategorie. In particolare, l'accuratezza media degli LLM è stata dell'81,4%, mentre quella degli esperti umani si è fermata al 63,4%. Anche limitando l'analisi agli esperti umani con il livello più alto di auto-valutazione della competenza, l'accuratezza raggiunta è stata solo del 66,2%, inferiore rispetto ai modelli LLM. Un altro aspetto interessante è la valutazione di modelli di dimensioni diverse. Ad esempio, modelli più piccoli come Llama2-7B e Mistral-7B, con 7 miliardi di parametri, hanno ottenuto prestazioni comparabili a modelli più grandi come Falcon-40B e Galactica-120B. Inoltre, è emerso che i modelli ottimizzati per il dialogo o per compiti conversazionali (come le versioni "chat" o "instruct") hanno mostrato prestazioni inferiori rispetto alle loro controparti base. Questo suggerisce che l'allineamento dei LLM per conversazioni naturali potrebbe ostacolare le loro abilità di inferenza scientifica. L'accuratezza dei LLM è stata misurata anche in base alla capacità di ridurre la "perplessità" (perplexity), ovvero il livello di sorpresa del modello di fronte a un testo. I modelli hanno mostrato un miglioramento significativo quando potevano accedere a informazioni contestuali complete, piuttosto che concentrarsi su passaggi locali del testo. Questo dimostra come la capacità di integrazione delle informazioni a livello globale sia una delle chiavi del loro successo rispetto agli umani. Nel complesso, BrainBench rappresenta un metodo innovativo per valutare non solo la capacità degli LLM di richiamare informazioni, ma anche la loro abilità di generalizzare e prevedere risultati di esperimenti mai osservati prima. L’approccio si basa sull’utilizzo di abstract scientifici modificati, in cui i risultati degli studi sono alterati in modo sostanziale, per verificare se i modelli possono distinguere tra versioni alternative di esperimenti. Ad esempio, un abstract originale potrebbe riportare che la stimolazione di una specifica area del cervello aumenta una certa attività, mentre la versione modificata potrebbe indicare una diminuzione dell’attività. BrainBench valuta se il modello riesce a determinare quale dei due esiti sia più plausibile, utilizzando le informazioni metodologiche e i dettagli forniti nell'abstract. Questo metodo richiede che i modelli non solo identifichino cambiamenti nei risultati, come un aumento o una diminuzione dell’attività cerebrale, ma che li mettano in relazione con il resto delle informazioni contenute nell’abstract, come il metodo utilizzato o la logica alla base della scoperta. In tal modo, BrainBench misura la capacità degli LLM di integrare informazioni sul contesto e sulle metodologie per fare inferenze coerenti su situazioni nuove, simulando un processo di scoperta scientifica. L’obiettivo di questa valutazione è cruciale per comprendere il potenziale degli LLM nel supportare la ricerca scientifica, soprattutto in ambiti complessi come le neuroscienze, dove la coerenza tra metodo, dati e risultati è essenziale. Questo approccio non si limita a testare la memorizzazione di informazioni, ma esplora la capacità dei modelli di pensare in modo critico e di contribuire all'interpretazione e alla generalizzazione di conoscenze scientifiche.   Perché i LLM sono così potenti nella previsione? Un elemento chiave del successo degli LLM è la loro capacità di integrare informazioni provenienti da fonti multiple e di gestire la complessità di diversi livelli di dettaglio, come evidenziato dai test condotti con BrainBench. In particolare, quando gli LLM sono stati testati utilizzando solo singoli passaggi degli abstract, la loro performance è drasticamente diminuita. Al contrario, con l'integrazione di tutto il contenuto dell'abstract, che include informazioni su metodologia, background e risultati, la loro capacità predittiva è aumentata significativamente. Questo suggerisce che gli LLM riescono a trarre vantaggio dalla sinergia di informazioni diverse per formulare previsioni più precise. Inoltre, la capacità degli LLM di generalizzare le informazioni, anche quando queste sono rumorose o potenzialmente ridondanti, rappresenta un vantaggio competitivo. BrainBench ha mostrato che modelli come BrainGPT, addestrati su un corpus specifico e arricchiti tramite tecniche come il Low-Rank Adaptation (LoRA), hanno raggiunto prestazioni superiori del 3% rispetto ai modelli standard. Questo miglioramento è indicativo di come una personalizzazione mirata e l'addestramento su dati di alta qualità possano rendere gli LLM strumenti estremamente efficaci per la previsione di risultati scientifici. L'approccio degli LLM alla previsione si basa su architetture come i Transformer, che permettono di modellare con precisione le relazioni tra elementi del testo. Questo approccio è particolarmente utile nelle neuroscienze, dove i fenomeni da analizzare spesso coinvolgono dati complessi e interdipendenti. Grazie ai loro miliardi di parametri, gli LLM sono in grado di identificare pattern e correlazioni che sfuggono agli esseri umani, il che li rende adatti a prevedere non solo risultati sperimentali ma anche a suggerire nuove direzioni di ricerca. Un ulteriore elemento che spiega il successo degli LLM nella previsione è la capacità di adattare il loro comportamento sulla base dei segnali di fiducia. Gli LLM utilizzano la differenza di perplessità tra versioni di abstract per calibrare la loro fiducia nelle risposte, il che si traduce in una maggiore affidabilità complessiva. Questo livello di calibrazione è stato uno dei fattori determinanti per il superamento degli esperti umani, poiché ha permesso ai modelli di identificare con maggiore sicurezza le risposte corrette, soprattutto nei casi più complessi. In sintesi, la capacità degli LLM di elaborare enormi quantità di dati, integrando informazioni a diversi livelli di dettaglio e gestendo la complessità in modo efficace, li rende strumenti potenti per la previsione in ambiti scientifici complessi. Le loro performance su BrainBench dimostrano che non solo sono in grado di competere con esperti umani, ma anche di superarli in modo significativo, aprendo nuove possibilità per l'utilizzo dell'AI nel supporto alla ricerca e alla scoperta scientifica.   BrainGPT: Un modello adattato per le neuroscienze BrainGPT è un modello linguistico di grandi dimensioni, ulteriormente specializzato rispetto agli LLM generali grazie a un fine-tuning specifico sul corpus neuroscientifico. Questo adattamento è stato realizzato tramite la tecnica di Low-Rank Adaptation (LoRA), che ha permesso di inserire oltre 629 milioni di nuovi pesi all'interno delle strutture del modello Mistral-7B, pari a circa l'8% del numero totale di pesi del modello base. Questo approccio ha consentito di ottimizzare il modello per compiti neuroscientifici, migliorando la capacità di previsione dei risultati sperimentali. L'addestramento di BrainGPT ha coinvolto oltre 1,3 miliardi di token provenienti da pubblicazioni neuroscientifiche raccolte tra il 2002 e il 2022, spaziando su un totale di 100 riviste scientifiche. I dati sono stati estratti utilizzando l'API Entrez Programming Utilities (E-utilities) e il pacchetto Python pubget, al fine di garantire un set di dati di alta qualità e rilevanza. Questo enorme corpus di dati ha fornito al modello un ampio contesto per comprendere e prevedere i risultati neuroscientifici. LoRA è stata scelta per la sua efficienza in termini di adattamento dei modelli già pre-addestrati. Invece di riaddestrare l'intero modello, LoRA inserisce matrici di adattamento a basso rango nei blocchi Transformer, che vengono poi addestrate specificamente per aggiornare il comportamento del modello in un dominio di conoscenza specifico. Questo processo è stato particolarmente efficace per BrainGPT, portando a un miglioramento delle performance di circa il 3% su BrainBench rispetto ai modelli generali, come evidenziato dai test condotti. L'analisi dei risultati ha mostrato che la tecnica LoRA non solo ha migliorato la precisione complessiva del modello, ma ha anche ridotto la perplessità delle risposte corrette (t(199) = 15,7, P < 0,001, Cohen’s d = 0,25), indicando una specializzazione più efficace per il materiale neuroscientifico. Questo miglioramento è stato ottenuto con un impiego relativamente limitato di risorse computazionali: il processo di fine-tuning ha richiesto circa 65 ore di calcolo su GPU Nvidia A100, utilizzando quattro unità in parallelo. Un aspetto interessante di BrainGPT è la possibilità di aggiornarlo continuamente con nuovi dati neuroscientifici. Utilizzando approcci complementari come il retrieval-augmented generation (RAG), il modello potrebbe essere costantemente allineato con la letteratura più recente, garantendo così una performance sempre aggiornata e rilevante. In tal modo, BrainGPT può evolversi in uno strumento non solo di previsione, ma anche di suggerimento e supporto alla pianificazione di esperimenti futuri. Questo pone le basi per una futura collaborazione sempre più stretta tra ricercatori umani e modelli di intelligenza artificiale, ampliando le possibilità di scoperte scientifiche in un settore complesso come quello delle neuroscienze.   La sfida della calibrazione della fiducia La calibrazione della fiducia si rivela un elemento chiave nello studio delle prestazioni dei modelli di linguaggio di grandi dimensioni (LLM). La ricerca ha mostrato che esiste una correlazione positiva tra la fiducia espressa dai modelli nelle loro risposte e l'accuratezza di queste ultime. In particolare, quando i modelli erano altamente fiduciosi, le loro previsioni risultavano significativamente più precise. Questo legame è stato quantificato utilizzando la regressione logistica, evidenziando una relazione significativa tra la perplessità (un indicatore che rappresenta quanto un modello considera prevedibile un testo da generare) e la correttezza delle risposte fornite   È stato scoperto che i modelli di linguaggio funzionano meglio quando riescono a distinguere chiaramente tra versioni corrette e alterate di un testo. Questa capacità è stata misurata con uno strumento statistico chiamato “correlazione di Spearman” che indica quanto due cose siano legate tra loro. Nel nostro caso, il valore di 0,75 mostra un legame molto forte: quanto più i modelli erano bravi a notare differenze nei testi, tanto più accurate erano le loro risposte. Il risultato è stato confermato con un'alta sicurezza, con un margine di errore molto piccolo (±0,08 su 95 prove su 100). Questa calibrazione ha un impatto cruciale nell'ambito dei sistemi di supporto alle decisioni, dove le valutazioni dei modelli possono integrarsi con il giudizio umano. Ad esempio, suddividendo i risultati in venti fasce di fiducia, si è riscontrato che nei livelli più alti di fiducia l'accuratezza media superava l'85%, mentre nei livelli più bassi si attestava attorno al 55%. Tali risultati sottolineano l'efficacia della calibrazione, poiché sia i modelli che gli esperti umani hanno mostrato di saper valutare con precisione la propria sicurezza rispetto alla probabilità di successo. Questa capacità consente una sinergia più efficace tra le previsioni automatiche e il controllo umano. Un altro aspetto rilevante emerso dallo studio riguarda le differenze tra modelli e umani nel percepire la difficoltà degli stessi compiti. Sebbene la correlazione media tra le difficoltà percepite dagli LLM e quelle dagli esperti umani fosse solo di 0,15, tra diversi modelli la correlazione saliva a 0,75. Questo dato indica una complementarità tra le aree in cui umani e modelli mostrano rispettivamente punti di forza o debolezza. Tali caratteristiche possono essere sfruttate per migliorare la collaborazione nei processi decisionali. Infine, è stato messo in evidenza come la calibrazione della fiducia non solo aumenti l'accuratezza delle previsioni, ma contribuisca anche a creare un contesto di fiducia nell'uso degli LLM come strumenti di supporto alla ricerca. La capacità di un modello di indicare il grado di sicurezza delle proprie risposte rappresenta un aspetto essenziale per un utilizzo responsabile ed efficace di queste tecnologie, specialmente in ambito scientifico. Ciò consente agli scienziati di affidarsi a questi strumenti per compiti specifici, mantenendo però un controllo critico sul processo decisionale complessivo.   Implicazioni future: collaborazione Uomo-Macchina Il successo di BrainBench e BrainGPT pone una serie di domande cruciali sul futuro della scienza e sul ruolo degli LLM nella ricerca scientifica. Se, da un lato, questi modelli si dimostrano in grado di prevedere con precisione i risultati degli esperimenti, è possibile immaginare un futuro in cui gli LLM diventino parte integrante del processo di scoperta scientifica. Questi strumenti potrebbero suggerire ai ricercatori quali esperimenti eseguire, identificare risultati promettenti e guidare l'interpretazione dei dati. Un aspetto cruciale sarà quello di garantire un'integrazione efficace tra la potenza computazionale degli LLM e l'ingegno umano. Gli LLM sono in grado di gestire una quantità di dati scientifici che supera di gran lunga la capacità umana, elaborando rapidamente migliaia di articoli e fornendo connessioni tra studi che spesso sfuggono agli esperti. Tuttavia, l'intuito umano, la creatività e la capacità di contestualizzare un problema specifico restano insostituibili per garantire che le scoperte abbiano un impatto significativo e siano dirette verso applicazioni utili e innovative. Per massimizzare il potenziale della collaborazione uomo-macchina, sarà necessario sviluppare strumenti di supporto che aiutino i ricercatori a comprendere le predizioni degli LLM e a valutarne la fiducia. Ad esempio, strumenti basati sull'interfaccia utente che visualizzino il livello di fiducia di un LLM rispetto a una specifica previsione potrebbero migliorare la trasparenza e facilitare un uso più consapevole delle raccomandazioni generate dall'AI. In particolare, potrebbe essere utile implementare visualizzazioni che mostrino le differenze di perplessità tra le versioni corrette e alterate degli abstract, permettendo ai ricercatori di comprendere meglio su quali basi un LLM ha formulato la sua previsione. Un'altra interessante implicazione riguarda la possibilità di utilizzare LLM per generare ipotesi sperimentali innovative. La capacità dei modelli di linguaggio di identificare pattern nascosti nei dati potrebbe portare alla formulazione di ipotesi che altrimenti non verrebbero prese in considerazione, accelerando così il ritmo delle scoperte. Tuttavia, è fondamentale che i ricercatori mantengano un approccio critico, valutando con attenzione le previsioni e le ipotesi generate per evitare il rischio di seguire ciecamente una direzione suggerita dall'AI, senza considerare la possibilità di risultati inaspettati o contraddittori. Inoltre, la collaborazione uomo-macchina potrebbe beneficiare di una continua interazione e adattamento reciproco. Ad esempio, LLM come BrainGPT potrebbero essere addestrati utilizzando feedback esplicito dai ricercatori umani, migliorando continuamente la loro capacità di fornire suggerimenti pertinenti. Allo stesso modo, gli esperti umani potrebbero sviluppare nuove metodologie sperimentali o teoriche sulla base dei suggerimenti degli LLM, creando un ciclo virtuoso di innovazione e scoperta. Tuttavia, uno dei rischi principali è quello di affidarsi troppo alle previsioni degli LLM, specialmente quando queste suggeriscono un percorso di ricerca che potrebbe sembrare più sicuro o più promettente. Questo potrebbe portare a una riduzione dell'esplorazione di ipotesi meno ovvie ma potenzialmente rivoluzionarie. Il rischio è che la scienza diventi meno esplorativa e più orientata verso una logica di ottimizzazione basata su modelli predittivi, il che potrebbe limitare il potenziale di scoperte davvero innovative. Infine, la complementarità tra LLM e ricercatori umani potrebbe essere ulteriormente migliorata sviluppando modelli specializzati per diversi campi del sapere. Come dimostrato con BrainGPT, un modello addestrato su un corpus specifico ha migliorato le proprie performance rispetto a LLM generalisti. Estendendo questo approccio, potremmo immaginare una rete di LLM altamente specializzati, ognuno con una profonda comprensione di un settore specifico, che collaborano per risolvere problemi complessi, creando un ecosistema di conoscenza in cui le capacità analitiche delle macchine e la creatività umana si potenziano a vicenda. In sintesi, il futuro della ricerca scientifica potrebbe vedere una crescente integrazione tra LLM e scienziati umani, con questi modelli che diventano non solo strumenti di supporto, ma veri e propri partner nella scoperta. La chiave del successo sarà mantenere un equilibrio tra l'affidamento alle previsioni degli LLM e la creatività e l'indipendenza del pensiero umano, garantendo che l'innovazione resti al centro del processo scientifico.   Conclusioni La capacità dei modelli linguistici di superare gli esperti umani nelle neuroscienze pone interrogativi profondi sul futuro della ricerca scientifica e sulle dinamiche di collaborazione uomo-macchina.  Questo fenomeno non riguarda solo una questione di efficienza computazionale, ma solleva prospettive strategiche per il modo in cui affrontiamo la complessità del sapere e organizziamo le risorse intellettuali. Gli LLM, attraverso strumenti come BrainBench e modelli specifici come BrainGPT, dimostrano non solo di competere con gli esperti umani ma di portarci a ripensare il valore e il ruolo dell’intuizione e dell’esperienza in ambiti ad alta densità di dati. La performance superiore degli LLM non si limita a una questione di accuratezza predittiva, ma riflette un cambio di paradigma nella gestione della conoscenza.  La loro capacità di integrare enormi quantità di informazioni, spesso distribuite su discipline diverse, ridefinisce il concetto di competenza, spostandolo dalla profondità del sapere individuale alla larghezza della capacità analitica collettiva. Questo pone una sfida fondamentale alle strutture tradizionali della ricerca scientifica, in cui l’autorità dell’esperto era una pietra angolare. Gli LLM, con la loro adattabilità e la capacità di specializzazione, potrebbero presto diventare un nuovo standard per validare, prevedere e proporre ipotesi scientifiche, rendendo i confini dell’expertise più fluidi e collaborativi. Un aspetto cruciale è l'emergere di una "fiducia calcolata" che gli LLM possono offrire, ridefinendo la relazione tra previsione e decisione.  La capacità di calibrare la fiducia in base alla perplessità e di comunicarla in modo trasparente rappresenta un'innovazione strategica per il processo decisionale, non solo nelle neuroscienze ma anche in settori come la medicina, l’economia e l’ingegneria. Questa caratteristica non è semplicemente un miglioramento tecnico; è un modello di come gli esseri umani possono apprendere a gestire le incertezze e le probabilità in contesti complessi. I decisori aziendali, per esempio, potrebbero adottare questo approccio per combinare analisi quantitative e giudizio umano, ottimizzando strategie e riducendo i rischi associati a decisioni incerte. Il rischio di una scienza "ottimizzata ma non esplorativa" merita una riflessione strategica più ampia.  Se da un lato gli LLM possono orientare i ricercatori verso le aree di maggior probabilità di successo, dall’altro potrebbero disincentivare l’esplorazione di ipotesi meno ovvie o contrarie alle tendenze dominanti. Per evitare questo pericolo, sarà fondamentale bilanciare la potenza analitica degli LLM con il coraggio creativo dell’uomo. Le imprese che investiranno in modelli di innovazione capaci di integrare queste due dimensioni avranno un vantaggio competitivo nel generare soluzioni radicali e non solo incrementali. La complementarità uomo-macchina non deve essere vista come una semplice somma delle parti, ma come un nuovo ecosistema di conoscenza in cui l’interazione produce valore emergente.  Ad esempio, l’idea di feedback continuo tra esperti umani e LLM rappresenta non solo un’opportunità di miglioramento delle performance tecnologiche, ma anche un modo per gli esseri umani di apprendere da prospettive che altrimenti rimarrebbero inaccessibili. Questo non è un dettaglio tecnico, ma un principio guida per costruire organizzazioni in grado di adattarsi rapidamente ai cambiamenti e di anticipare le tendenze future. Infine, la specializzazione degli LLM, come nel caso di BrainGPT, apre scenari inediti per una "rete di intelligenze artificiali specializzate", in cui modelli altamente focalizzati lavorano insieme per affrontare problemi complessi e interdisciplinari.  Questo concetto di "intelligenza distribuita" non riguarda solo la scienza, ma si estende alle imprese, ai governi e ad altri contesti in cui il successo dipende dalla capacità di collegare punti tra sistemi apparentemente distanti.  La capacità di orchestrare questa rete sarà una delle competenze chiave del futuro, ridefinendo non solo come lavoriamo, ma anche come pensiamo e innoviamo.   Podcast: https://spotifycreators-web.app.link/e/EtyMogTwSOb Fonte: https://www.nature.com/articles/s41562-024-02046-9.pdf