diff --git a/better-bibtex.sqlite b/better-bibtex.sqlite index b24bb21..6e229b1 100644 Binary files a/better-bibtex.sqlite and b/better-bibtex.sqlite differ diff --git a/storage/8HXNW7M4/.zotero-pdf-state b/storage/8HXNW7M4/.zotero-pdf-state index d7948ba..06ff0f1 100644 --- a/storage/8HXNW7M4/.zotero-pdf-state +++ b/storage/8HXNW7M4/.zotero-pdf-state @@ -1 +1 @@ -{"pageIndex":0,"scale":"page-width","top":579,"left":-14,"scrollMode":0,"spreadMode":0} \ No newline at end of file +{"pageIndex":0,"scale":"page-width","top":579,"left":-9,"scrollMode":0,"spreadMode":0} \ No newline at end of file diff --git a/storage/DMVITWZ9/.zotero-ft-cache b/storage/DMVITWZ9/.zotero-ft-cache new file mode 100644 index 0000000..6e792f9 --- /dev/null +++ b/storage/DMVITWZ9/.zotero-ft-cache @@ -0,0 +1,473 @@ +J. Mol. Biol. (1970) 48, 443453 +A General Method Applicable to the Search for Similarities in the Amino Acid Sequence of Two Proteins +SAUL B. NEEDLEMAN ~LNDCHRISTIAN D. WIJN~CH Department of Biochemistry, Northwestern University, and +Nuclear Medicine Service, V. A. Research Hospital Chicago, Ill. 60611, U.S.A. +(Received 21 July 1969) +A computer adaptable method for finding similarities in the amino acid sequences of two proteins has been developed. From these findings it is possible to determine whether significant homology exists between the proteins. This information is used to trace their possible evolutionary development. +The maximum match is a number dependent upon the similarity of the sequences. One of its definitions is the largest number of amino acids of one protein that can be matched with those of a second protein allowing for all possible interruptions in either of the sequences. While the interruptions give rise to a very large number of comparisons, the method efficiently excludes from consideration those comparisons that cannot contribute to the maximum match. +Comparisons are made from the smallest unit of significance, a pair of amino acids, one from each protein. All possible pairs are represented by a two-dimensional array, and all possible comparisons are represented by pathways through the array. For this maximum match only certain of the possible pathways must, be evaluated. A numerical value, one in this case, is assigned to every cell in the array representing like amino acids. The maximum match is the largest number that would result from summing the cell values of every pathway. +1. Introduction The amino acid sequences of a number of proteins have been compared to determine whether the relationships existing between them could have occurred by chance. Generally, these sequences are from proteins having closely related functions and are so similar that simple visual comparisons can reveal sequence coincidence. Because the method of visual comparison is tedious and because the determination of the significance of a given result usually is left to intuitive rationalization, computerbased statistical approaches have been proposed (Fitch, 1966; Needleman & Blair, 1969). +Direct comparison of two sequences, based on the presence in both of corresponding amino acids in an identical array, is insufficient to establish the full genetic relationships between the two proteins. Allowance for gaps (Braunitzer, 1965) greatly multiplies the number of comparisons that can be made but introduces unnecessary and partial comparisons. +2. A General Method for Sequence Comparison The smallest unit of comparison is a pair of amino acids, one from each protein. The maximum match can be defined as the largest number of amino acids of one protein that can be matched with those of another protein while allowing for all possible deletions., +443 + +444 + +S. B. NEEDLEMAN + +ASD C. D. WUNSCH + +The maximum match can be determined by representing in a two-dimensional array? all possible pair combinations that can be constructed from the amino acid sequences of the proteins, A and B, being compared. If the amino acids are numbered from the N-terminal end, Aj is the jth amino acid of protein A and Bi is the ith amino acid of protein B. The Aj represent the columns and the Bi the rows of the two-dimensional array, MAT. Then the cell, MATij, represents a pair combination that contains Aj and Bi. +Every possible comparison can now be represented by pathways through the array. An i or j can occur only once in a pathway because a particular amino acid cannot occupy more than one position at one time. Furthermore, if MATmn is part of a pathway including MATij, the only permissible relationships of their indices are m > i, n > j or m < i, n < j. Any other relationships represent permutations of one or both amino acid sequences which cannot be allowed since this destroys the significance of a sequence. Then any pathway can be represented by MATab . . . MATyz, where a 3 1, b 3 1, the i and j of all subsequent cells of MAT are larger than the running indices of the previous cell and y < K, x 4 M, the total number of amino acids comprising the sequences of proteins A and B, respectively. A pathway is signified by a line connecting cells of the array. Complete diagonals of the array contain no gaps. When MATij and MATmn are part of a pathway, i - m # j - n is a sufficient, but not. necessary condition for a gap to occur. A necessary pathway through MAT is defined as one which begins at a cell in the first column or the first row. Both i and j must increase in value; either i or j must increase by only one but the other index may increase by one or more. This leads to the next cell in a MAT pathway. This procedure is repeated until either i or j, or both, equal their limiting values, I{ and 111, respectively. Every partial or unnecessary pathway will be contained in at least one necessary pathway. +In the simplest method, MATij is assigned the value, one, if Aj is the same kind of amino acid as Bi; if they are different amino acids, MATij is assigned the value, zero. The sophistication of the comparison is increased if, instead of zero or one, each cell value is made a function of the composition of the proteins, the genetic code triplets representing the amino acids, the neighboring cells in the array, or any theory concerned with the significance of a pair of amino acids. A penalty factor, a number subtracted for every gap made, may be assessedas a barrier to allowing the gap. The penalty factor could be a function of the size and/or direction of the gap. No gap would be allowed in the operation unless the benefit from allowing that gap would exceed the barrier. The maximum-match pathway then, is that pathway for u,bich the sum of the assigned cell values (less any penalty factors) is largest. MAT can be broken up into subsections operated upon independently. The method also can be expanded to allow simultaneous comparison of several proteins using the amino acid sequences of n proteins to generate an n-dimensional array whose cells represent all possible combinations of n amino acids, one from each protein. +The maximum-match pathway can be obtained by beginning at the terminals of the sequences (i = y, j = Z) and proceeding toward the origins, first by adding to the value of each cell possessing indices i = y - 1 and/or j = z - 1, the maximum value from among all the cells which lie on a pathway to it. The process is repeated for indices i = y - 2 and/or j = z - 2. This increment in the indices is continued until all cells in the matrix have been operated upon. Each cell in this outer row or column will contain the maximum number of matches that can be obtained by originating + +SIMILARITIES + +IN AMINO ACID SEQUENCE + +446 + +any pathway at that cell and the largest number in that row or column is equal to the maximum match; the maximum-match pathway in any row or column must begin at this number. The operation of successive summations of cell values is illustrated in Figures 1 and 2. + +ABCNJROCLCRPM A 1 + +1 + +1 + +1 + +4332200 + +B121111 +P000000 +FIQ. 1. The maximum-match operation for necessary pathways. The number contained in each cell of the array is the largest number of identical pairs that can be found if that cell is the origin for a pathway which proceeds with increases in running indices. Identical pairs of amino acids were given the value of one. Blank cells which represent non-identical pairs have the value, zero. The operation of successive summations was begun at the last row of the array and proceeded row-by-row towards the first row. The operation has been partially completed in the R row. The enclosed cell in this row is the site of the cell operation which consists of a search along the subrow and subcolumn indicated by borders for the largest value, 4 in subrow C. This value is acldecl to the cell from which the search began. + +ABCNJROCLCRPM + +A + +J + +4332100 + +C + +J + +N + +R + +C + +K333333 33 + +C + +R 2 11112 + +111 + +B + +P _0_0000-0.-0-000010 + +.____ + +FIG. 2. Contributors to the maximum match in the completed array. The alternative pathways that could form the maximum match are illustrated. The maximum match terminates rtt the largest number in the first row or first column, 8 in this case. + +446 + +S. B. NEEDLEMAN + +AND C. D. WUNSCH + +It is apparent that the above array operation can begin at any of a number of points along the borders of the array, which is equivalent to a comparison of N-terminal residues or C-terminal residues only. As long as the appropriate rules for pathways are followed, the maximum match will be the same. The cells of the array which contributed to the maximum match, may be determined by recording the origin of the number that was added to each cell when the array was operated upon. + +3. Evaluating the Significance of the Maximum Match +A given maximum match may represent the maximum number of amino acids matched, or it may just be a number that is a complex function of the relationship between sequences. It will, however, always be a function of both the amino acid compositions of the proteins and the relationship between their sequences. One may ask whether a particular result found differs significantly from a fortuitous match between two random sequences. Ideally,one would prefer to know the exact probability of obtaining the result found from a pair of random sequences and what fraction of the total possibilities are less probable, but that is prohibitively difficult, especially if a complex function were used for assigning a value to the cells. +As an alternative to determining the exact probabilities, it is possible to estimate the probabilities experimentally. To accomplish the estimate one can construct two sets of random sequences, a set from the amino acid composition of each of the proteins compared. Pairs of random sequences can then be formed by randomly drawing one member from each set. Determining the maximum match for each pair selected will yield a set of random values. If the value found for the real proteins is significantly different from the values found for the random sequences, the difference is a function of the sequences alone and not of the compositions. Alternatively, one can construct random sequences from only one of the proteins and compare them with the other to determine a set of random values. The two procedures measure different probabilities. The first procedure determines whether a significant relationship exists between the real sequences. The second procedure determines whether the relationship of the protein used to form the random sequences to the other proteins is significant. It bears reiterating that the integral amino acid composition of each random sequence must be equal to that of the protein it represents. +The amino acid sequence of each protein compared belongs to a set of sequences which are permutations. Sequences drawn randomly from one or both of these sets are used to establish a distribution of random maximum-match values which would include all possible values if enough comparisons were made. The null hypothesis, that any sequence relationship manifested by the two proteins is a random one, is tested. If the distribution of random values indicates a small probability that a maximum match equal to, or greater than, that found for the two proteins could be drawn from the random set, the hypothesis is rejected. + +4. Cell Values and Weighting Factors +To provide a theoretical framework for experiments, amino acid pairs may be classified into two broad types, identical and non-identical pairs. From 20 different amino acids one can construct 180 possible non-identical pairs. Of these, 75 pairs of amino acids have codons (Marshall, Caskey & Nirenberg, 1967) whose bases differ at only one position (Eck & Dayhoff, 1966). Each change is presumably the result of a + +SIMILARITIES IN AMINO ACID SEQUENCE + +447 + +single-point mutation. The majority of non-identical pairs have a maximum of only one or zero corresponding bases. Due to the degeneracy of the genetic code, pair differences representing amino acids with no possible corresponding bases are uncommon even in randomly selected pairs. If cells are weighted in accordance with the maximum number of corresponding bases in codons of the represented amino acids, the maximum match will be a function of identical and non-identical pairs. For comparisons in general, the cell weights can be chosen on any basis. +If every possible sequence gap is allowed in forming the maximum match, the significance of the maximum match is enhanced by decreasing the weight of those pathways containing a large number of gaps. A simple way to accomplish this is to assign a penalty factor, a number which is subtracted from the maximum match for each gap used to form it. The penalty is assigned before the maximum match is formed. Thus the pathways will be weighted according to the number of gaps they contain, but the nature of the contributors to the maximum match will be affected as well. In proceeding from one cell to the next in a maximum-match pathway, it is necessary that the difference between each cell value and the penalty, be greater than the value for a cell in a pathway that contains no gap. If the value of the penalty were zero, all. possible gaps could be allowed. If the value were equal to the theoretical value for the maximum match between two proteins, it would be impossible to allow a gap and. the maximum match would be the largest of the values found by simply summing along the diagonals of the array; this is the simple frame-shift method. + +5. Application of the Method +To illustrate the role of weighting factors in evaluating a maximum match, two prot’eins expected to show homology, whale myoglobin (Edmundson, 1965) and human /l-hemoglobin (Konigsberg, Goldstein & Hill, 1963), and two proteins not expected to exhibit homology, bovine pancreatic ribonuclease (Smyth, Stem t Moore, 1963) and hen’s egg lysozyme (Canfield, 1963) were chosen for comparisons. +The FORTRANprograms used in this study were written for the CDC3400 computer. The operations employed in forming the maximum match are those for the special case when none of the cells of the array have a value less than zero. Four types of amino acid pairs were distinguished and variable sets consisting of values to be assigned to each type of pair and a value for the penalty were established. The pair types are as follows: +Type 3. Identical pairs: those having a maximum of three corresponding bases in their codons. +Type 2. Pairs having a maximum of two corresponding bases in their codons. Type 1. Pairs having a maximum of one corresponding base in their codons. Type 0. Pairs having no possible corresponding base in their codons. +The value for type 3 pairs was 1.0 and the value for type 0 pairs was zero for all variable sets. +At program execution time, the a,mino acids (coded by two-digit numbers) of the sequences to be compared were read into the computer, and were followed by a twenty-by-twenty symmetrical array, the maximum correspondence array, analogous to one used by Fitch (1966), that contained all possible pairs of amino acids and identified each pair as to type. The RNA codons for amino acids used to construct the maximum-correspondence array were taken from a single Table (Marshall et al., + +448 + +S. B. NEEDLEMAN + +AND C. D. WUNSCH + +1967). The UGA, UAA and UAG codons were not used, but UUG was used as a codon for leucine. The subsequent data cards indicated the numerical values for a variable set. +The two-dimensional comparison array was generated row-by-row. The amino acid code numbers for Ai and Bj referenced the correspondence array to determine the type of amino acid pair constituted by Ai and Bj. The type number referenced a short array, the variable set, containing the type values, and the appropriate value from that set was assigned to the appropriate cell of the comparison array. The maximum match was then determined by the procedure of successive summations. +Following the determination of the maximum makh for the real proteins, the amino acid sequence of only one member of the protein pair was randomized and the match was repeated. The sequences of ,&hemoglobin and ribonuclease were the ones randomized. The randomization procedure was a sequence shuffling routine based on computer-generated random numbers. A cycle of sequence randomization-maximummatch determination was repeated ten times in all of the experiments in this report, giving the random values used for comparison wit,h the real maximum-match. The average and standard deviation for the random values of each variable set was estimated. + +6. Results and Discussion +The use of a small random sample size (ten) was necessary to hold the computer time to a reasonable level. The maximum probable error in a standard deviation estimate for a sample this small is quite large and the results should be judged with this fact in mind. For each set of variables, it was assumed that the random values would be distributed in the fashion of the normal-error curve; therefore, the values of the first six random sets in the ,B-hemoglobin-myoglobin comparison were converted to standard measure, five was added to the result, and these values were plotted as one group against their calculated probit. The results of the plot are shown in Figure 3. The fit is good indicating the probable adequacy of the measured standard deviations for these variable sets in estimating distribution functions for random values through two standard deviations. The above fit indicates no bias in the randomization procedure. In other words, randomization of the sequence was complete before the maximum match was determined for any sequence in a random set. +The results obtained in the comparison of /3-hemoglobin with myoglobin are summarized in Table 1 and the results for the ribonuclease-lysozyme comparison are in Table 2. These Tables indicate the values assigned to the pair types, the penalty factor used in forming each of the maximum matches, and the statistical results obtained. The number of gaps roughly characterizes the nature of the pathway that formed the maximum match. A large number is indicative of a devious pathway through the array. One gap means that all of the pathway may be found on only two partial diagonals of the array. +The most important information is obtained from the standardized value of the maximum match for the real proteins, the difference from the mean in standarddeviation units. For this sample size all deviations greater than 3.0 were assumed to include less than 1% of the true random population and to indicate a significant difference. As might be expected, all matches of myoglobin and ,&hemoglobin show a significant deviation. Among the sets of variables, set 1, which results in a search for identical amino acid pairs while allowing for all deletions, indicates that 63 + +SIMILARITIES + +IN SMINO ACID SEQUENCE + +449 + +8 ----T------T-- + +_.._ ‘--i.‘--.‘-.“-.-T---~i-.. + +7 + +6 +I$ h +4 + +3 + +i + +3 + +4 + +8 + +6 + +7 + +8 + +Variable in standardized measure + +FIG. 3. Probit plot for six grouped random samples. + +The solid line indicates the plot that would result from a probit analysis on an infinite number + +of samples from a normally-distributed + +population. The points represent the results of probit + +calculations on 60 random maximum match values that were assumed to have come from one + +population. + +TABLE 1 /3-Hemoglobin-myoglobin maximum matches + +Variable set + +Match values for +pair types + +2 + +1 + +Penalty + +Maximum-match value sum +Real Random? + +s + +Real Minimum deletions + +x + +Real + +Randomt + +0 + +0 + +0 + +63.00 + +55.60 1.80 4.11 + +35 + +36.2 + +0 + +0 + +1.00 + +38.00 + +27.80 2.09 4.88 + +4 + +5.5 + +0.67 + +0.33 + +0 + +97.00 + +91.47 1.55 3.57 + +18 + +24.3 + +0.67 + +0.33 + +1.03 89.63 + +80.25 1.11 8.46 + +1 + +3.6 + +0.25 + +0.05 + +0 + +71.55 + +64.78 1 59 4.27 + +46 + +45.0 + +0.25 + +0.05 + +1.05 51.95 + +40.54 1.46 7.80 + +3 + +7.5 + +0.25 + +0.05 + +25 + +47.30 + +33.80 1.52 8.87 + +0 + +0 + +s is the estimated standard deviation; X, the standardized value, (real - random)/s, of the maximum match of the real proteins. The values for type 3 and type 0 pairs were 1-O and 0, respectively, in each variable set. +t An average value from 10 samples. + +450 +Variable set + +8. B. NEEDLEMAN + +AND C. D. WUNSCH + +TABLE 2 Ribonuclease-lysoxyme maximum matches + +Match values for +pair types + +2 + +1 + +Penalty + +Maximum-match value 8um +Real Randomt + +9 + +Real Minimum deletions + +X + +Real + +Random? + +1 + +0 + +0 + +0 + +48.00 + +44.20 2.56 1.48 34 + +20.2 + +2 + +0 + +0 + +1.00 23.00 + +22.00 1.73 0.58 + +5 + +:i 2 + +3 + +0.67 + +0.33 + +0 + +78.33 + +76.17 0.82 2.64 21 + +18.8 + +4 + +0.67 + +0.33 + +1.03 67.93 + +67.37 1.27 0.43 + +2 + +2.2 + +5 + +0.25 + +0.05 + +0 + +56.00 + +52.26 2.12 1.77 35 + +33.5 + +6 + +0.25 0.05 + +1.05 33.70 + +33.02 1.66 0.41 + +8 + +6.8 + +7 + +0.25 + +0.05 + +25 + +28.15 + +27.67 1.75 0.22 + +0 + +0 + +8 is the estimated standard deviation; X, the maximum match of the real proteins. The values respectively in each variable set. +t An average value from 10 samples. + +standardized value, for type 3 and type + +(real-random)/a, of the 0 pairs were 1.0 and 0, + +amino acids in ,&hemoglobin and myoglobin can be matched. To attain this match, however, it is necessary to permit at least 35 gaps. In contrast, when two gaps are allowed according to Braunitzer (1965), it is possible to match only 37 of the amino acids. Curiously, when this variable set was used for comparing human myoglobin (Hill, personal communication) with human /Lhemoglobin, the maximum match obtained was not significant. Differences between real and random values were highly significant, however, when other variable sets were used. +Variable set 2 attaches a penalty equal to the value of one identical amino acid pair to the search for identical amino acid pairs. This penalty will exclude from consideration any possible pathway that leaves and returns to a principal diagonal, thereby needing two gaps, in order to add only one or two amino acids to the maximum match. This set results in a total of 30 + 4 = 42 amino acids matched (the maximum-match value plus the number of gaps is reduced to four) and the significance of the result relative to set 1 appears to be increased. Braunitzer’s comparison would have a value of 37 - 2 = 35 using this variable set, hence it was not selected by the method. +Variable sets 3 and 4 have an interesting property. Their maximum-match values can be related to the minimum number of mutations needed to convert the selected parts of one amino acid sequence into the selected parts of the other. The minimum number of mutations concept in protein comparisons was first advanced by Fitch (1966). If the type values for these sets are multiplied by three, they become equal to their pair type and directly represent the maximum number of corresponding bases in the codons for a given amino acid pair. Thus the maximum match and penalty factors may be multiplied by three, making it possible to calculate the maximum number of bases matched in the combination of amino acid pairs selected by the maximum-match operation. +,%Hemoglobin, the smaller of the two proteins, contains 146 amino acids; consequently the highest possible maximum match (disregarding integral amino-acid composition data) with myoglobin is 146 x 3 = 438. Insufficient data are available + +SIMILARITIES + +IN AMINO ACID SEQUENCE + +461 + +to analyze the result from set 3 on the basis of mutations. If it is assumed that the gap in set 4 does not exclude any part of/3-hemoglobin from the comparison, this set has a maximum of 3(89*63 + 1.03) = 272 bases matched, indicating a minimum of 438 272 = 166 point mutations in this combination. Using this variable set and placing gaps according to Braunitzer, a score of 88.6 was obtained, thus his match was not selected. Again it may be observed that the penalty greatly enhanced the significance of the maximum match. +Variable sets 5 and 6 have no intrinsic meaning and were chosen because the weight attached to type 2 and type 1 pairs is intermediate in value with respect to sets 1 and 2 and sets 3 and 4. The maximum match for set 6 is seen to have a highly significant value. +The data of set 7 are results that would be obtained from using the frame-shift method to select a maximum match; the penalty was large enough to prevent any gaps in the comparisons. The slight differences in significance found among the maximum-match values of /l-hemoglobin and myoglobin resulting from use of sets 4,6 and 7 are probably meaningless due to small sample size and errors introduced by the assumptions about the distribution functions of random values. Finding a value in set 7 that is approximately equal to those from sets 4 and 6 in significance is not surprising. A larger penalty factor would have increased the difference from the mean in sets 4 and 6 because almost every random value in each set was the result of more gaps than were required to form the real maximum match. Further, the gaps that are allowed are at the N-terminal ends so that about 85% of the comparison can be made without gaps. If an actual gap were present near the middle of one of the sequences, it would have caused a sharp reduction in the significance of the frame-shift type of match. +Set 3 is the only variable set in Table 2 that shows a possible difference. Assuming the value is accurate, other than chance, there is no simple explanation for the difference. A small but meaningful difference in any comparison could represent evolutionary divergence or convergence. It is generally accepted that the primary structure of proteins is the chief determinant of the tertiary structure. Because certain features of tertiary structure are common to proteins, it is reasonable to suppose that proteins will exhibit similarities in their sequences, and that these similarities will be sufficient to cause a significant difference between most protein pairs and their corresponding randomized sequences, being an example of submolecular evolutionary convergence. Further, the interactions of the protein backbone, side chains, and the solvent that determine tertiary structure are, in large measure, forces arising from the polarity and steric nature of the protein side-chains. There are conspicuous correlations in the polarity and steric nature of type 2 pairs. Heavy weighting of these pairs would be expected to enhance the significance of real maximum-match values if common structural features are present in proteins that are compared. The presence of sequence similarities does not always imply common ancestry in proteins. More experimentation will be required before a choice among the possibilities suggested for the result from set 3 can be made. If several short, sequences of amino acids are common to all proteins, it seems remarkable that the relationship of ribonuclease to lysozyme in six of the seven variable sets appears to be truly a random one. It should be noted, however, that the standard value of the real. maximum-match is positive in each variable set in this comparison. +This method was designed for the purpose of detecting homology and defining its nature when it can be shown to exist. Its usefulness for the above purposes depends in1 + +452 + +S. B. NEEDLEMAN + +AND C. D. WUNSCH + +part upon assumptions related to the genetic events that could have occurred in the evolution of proteins. Starting with the assumption that homologous proteins are the result of gene duplication and subsequent mutations, it is possible to construct several hypothetical amino-acid sequences that would be expected to show homology. If one assumes that following the duplication, point mutations occur at a constant, or variable rate, but randomly, along the genes of the two proteins, after a relatively short period of time the protein pairs will have nearly identical sequences. Detection of the high degree of homology present can be accomplished by several means. The use of values for non-identica’l pairs will do little to improve the significance of the results. If no, or very few, deletions (insertions) have occurred, one could expect to enhance the significance of the match by assigning a relatively high penalty for gaps. Later on in time the hypothetical proteins may have a sizable fraction of their codons changed by point mutations, the result being that an attempt to increase the significance of the maximum match will probably require attaching substantial weight to those pairs representing amino acids still having two of the three original bases in their codons. Further, if a few more gaps have occurred, the penalty should be reduced to a small enough value to allow areas of homology to be linked to one another. At a still later date in time more emphasis must be placed on non-identical pairs, and perhaps a very small or even negative penalty factor must be assessed. Eventually, it will be impossible to detect the remaining homology in the hypothetical example by using the approach detailed here. +From consideration of this simple model of protein evolution one may deduce that the variables which maximize the significance of the difference between real and random proteins gives an indication of the nature of the homology. In the comparison of human P-hemoglobin to whale myoglobin, the assignment of some weight to type 2 pairs considerably enhances the significance of the result, indicating substantial evolutionary divergence. Further, few deletions (additions) have apparently occurred. +It is known that the evolutionary divergence manifested by cytochrome (Margoliash, Needleman Bt Stewart, 1963) and other heme proteins (Zuckerkandl & Pauling, 1965) did not follow the sample model outlined above. Their divergence is the result of non-random mutations along the genes. The degree and type of homology can be expected to differ between protein pairs. As a consequence of the difference there is no a priori best set of cell and operation values for maximizing the significance of a maximum-match value of homologous proteins, and as a corollary to this fact, there is no best set of values for the purpose of detecting only slight homology. This is an important consideration, because whether the sequence relationship between proteins is significant depends solely upon the cell and operation values chosen. If it is found that the divergence of proteins follows one or two simple models, it may be possible to derive a set of values that will be most useful in detecting and defining homology. +The most common method for determining the degree of homology between protein pairs has been to count the number of non-identical pairs (amino acid replacements) in the homologous comparison and to use this number as a measure of evolutionary distance between the amino acid sequences. A second, more recent concept has been to count the minimum number of mutations represented by the non-identical pairs. This number is probably a more adequate measure of evolutionary distance because it utilizes more of the available information and theory to give some measure of the number of genetic events that have occurred in the evolution of the proteins. The approach outlined in this paper supplies either of these numbers. + +SIMILARITIES + +IN AMINO ACID SEQUENCE + +463 + +This work was supported in part by grants to one of us (S.B.N.) from the U.S. Public Health Service (1 501 FR 05370 02) and from Merck Sharp & Dohme. + +REFERENCES +Braunitzer, G. (1966). In Evolving Genes and Proteina, ed. by V. Bryson & H. J. Vogel, p. 183. New York: Academic Press. +Canfield, R. (1963). J. Biol. Chem. 238, 2698. Eck, R. V. & Dayhoff, M. 0. (1966). Atlas of Protein Sequence and Xtructure. Silver Spring, +Maryland: National Biomedical Research Foundation. Edmundson, A. B. (1965). Nature, 205, 883. Fitch, W. (1966). J. Mol. BioZ. 16, 9. Konigsberg, W., Goldstein, J. & Hill, R. J. (1963). J. BioZ. Chem. 238, 2028. Margoliash, E., Needleman, S. B. & Stewart, J. W. (1963). Acta Chem. Stand. 17, S 250. Marshall, R. E., Caskey, C. T. & Nirenberg, M. (1967). Science, 155, 820. Needleman, S. B. & Blair, T. H. (1969). Proc. Nat. Acad. Sci., Wash. 63, 1127. Smyth, D. G., Stein, W. G. & Moore, S. (1963). J. BioZ. Chem. 238, 227. Zuckerkandl, E. & Pauling, L. (1965). In Evolving Genes and Proteins, ed. by V. Bryson +& H. J. Vogel, p. 97. New York: Academic Press. + diff --git a/storage/DMVITWZ9/.zotero-ft-info b/storage/DMVITWZ9/.zotero-ft-info new file mode 100644 index 0000000..f717844 --- /dev/null +++ b/storage/DMVITWZ9/.zotero-ft-info @@ -0,0 +1,13 @@ +Title: PII: 0022-2836(70)90057-4 +Creator: Acrobat 4.05 Capture Plug-in for Windows +Producer: Acrobat 4.05 Import Plug-in for Windows +CreationDate: 08/06/03 23:58:18 +ModDate: 09/17/03 19:37:56 +Tagged: no +Form: none +Pages: 11 +Encrypted: no +Page size: 468 x 684 pts (rotated 0 degrees) +File size: 865922 bytes +Optimized: yes +PDF version: 1.3 diff --git a/storage/FAQZVUQ8/.zotero-ft-cache b/storage/FAQZVUQ8/.zotero-ft-cache new file mode 100644 index 0000000..8568807 --- /dev/null +++ b/storage/FAQZVUQ8/.zotero-ft-cache @@ -0,0 +1,1115 @@ +X media press +Peter Hoffmann  +Beyond (Multi-) Media +Multimediaformen erklärt: Von Panoramabildern über 3D bis zu den immersiven Welten des Metaversums + +X.media.press + +X.media.press ist eine praxisorientierte Reihe zur Gestaltung und Produktion von Multimedia-Projekten sowie von Digital- und Printmedien. + +Peter Hoffmann +Beyond (Multi-) Media +Multimediaformen erklärt: Von ­Panoramabildern über 3D bis zu den immersiven Welten des Metaversums + +Peter Hoffmann FB Technik (Informatik), FHV - Vorarlberg University of Applied Sciences Rorschach, St. Gallen, Schweiz + +ISSN 1439-3107 + +ISSN 2523-3998  (electronic) + +X.media.press + +ISBN 978-3-658-48566-5 + +ISBN 978-3-658-48567-2  (eBook) + +https://doi.org/10.1007/978-3-658-48567-2 + +Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der DeutschenNationalbibliografie; detaillierte bibliografische Daten sind im Internet überhttps://portal.dnb.deabrufbar. + +© Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert an Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2025 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von allgemein beschreibenden Bezeichnungen, Marken, Unternehmensnamen etc. in diesem Werk bedeutet nicht, dass diese frei durch jede Person benutzt werden dürfen. Die Berechtigung zur Benutzung unterliegt, auch ohne gesonderten Hinweis hierzu, den Regeln des Markenrechts. Die Rechte des/der jeweiligen Zeicheninhaber*in sind zu beachten. Der Verlag, die Autor*innen und die Herausgeber*innen gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag noch die Autor*innen oder die Herausgeber*innen übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral. + +Springer Vieweg ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer Nature. Die Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany + +Wenn Sie dieses Produkt entsorgen, geben Sie das Papier bitte zum Recycling. + +Vorwort +Mein Name ist … … Dr. Peter Hoffmann und ich bin Hochschullehrer an der FHV Vorarlberg Uni- +versity of Applied Sciences in Dornbirn – aber stets auch Medieninformatiker mit Herz und Seele. +Unter dem Label Invisible Cow beschäftige ich mich seit mittlerweile fast 20 Jahren mit den Fragen danach, was … +… diese „digitalen Medien“ ganz allgemein eigentlich sind, … … was genau unter „Multimedia“ und „Hypermedia“ und … was unter dem Begriff „Metaversum“ verstanden werden muss, und … … wie Multimedia und Hypermedia kombiniert werden müssen, … … damit aus dieser Kombination ein geschlossenes System entstehen kann. Der Name Invisible Cow … … ist den Kühen an den Hängen des Mauna Kea auf Big Island in Hawaii entlehnt, die eben manchmal unsichtbar bleiben, wenn sie sich in den senkenden Wolken verstecken. Genauso wie diese Kühe dort bleibt auch wirklich gute Gestaltung von Medien meist unsichtbar! Aber sie wirkt! Sowohl bei der Informations­… … als auch bei der Interaktionsgestaltung! Peter Hoffmann +V + +VI + +Vorwort + +Competing Interests  Der/die Autor*in hat keine für den Inhalt dieses Manuskripts relevanten Interessenkonflikte. + +Medienformen im Wandel +Überall und zu jeder Zeit, ob erwünscht oder nicht, sind wir das Ziel medialer Inhalte. Damit wir uns bei all dem Informationsüberfluss überhaupt angesprochen fühlen, müssen die Informationen, die über die medialen Kanäle in unsere Richtung gesendet werden, gezielt so aufbereitet werden, dass sie unsere Aufmerksamkeit wecken. Aber auch darüber hinaus soll diese Aufmerksamkeit erhalten bleiben. Das Problem dabei ist nicht das einzelne Medium an sich, sondern vielmehr die Vielzahl der unterschiedlichen Kanäle und damit die Vielzahl der unterschiedlichen Medienformen, auf denen wir erreicht werden. Mittlerweile wird eine Information eher selten nur auf einem einzigen Kanal übermittelt. Vielmehr wird „auf allen Kanälen gefeuert“, in der Hoffnung, dass wenigstens ein Kanal sein Ziel – also uns und unsere Aufmerksamkeit – erreicht. +Zwei Folgeprobleme resultieren daraus: +• Das eine Folgeproblem besteht darin, dass für jeden genutzten Kanal, also für jedes genutzte Medium, die Inhalte gezielt aufbereitet, gestaltet und strukturiert werden müssten. Dies wiederum ist aber aufwendig, sodass hier gerne nur das Nötigste für diese Anpassung der Inhalte an den jeweiligen Kanal aufgewendet wird. +• Das zweite Folgeproblem besteht darüber hinaus in der medialen Vielfalt an sich: • Multimedia? Hypermedia? Social Media? • 3D, 360°, VR? • Wer kennt schon wirklich den Unterschied? • Welche Informationen passen auf welchen Medienkanal? • Wie verpacken wir die Informationen in spannende Geschichten, die auf den jeweiligen Medien auch funktionieren? +Diese und weitere Fragen bildeten den Grund, mit der Arbeit an „Beyond (Multi-) Media“ zu beginnen. Zwei Ziele wurden dabei abgesteckt: +• Für den gezielten Einsatz und die zielgerichtete Gestaltung ist es zwingend notwendig, die verschiedenen Medienformen definiert voneinander abgrenzen zu kön- +VII + +VIII + +Medienformen im Wandel + +nen. Ziel eins ist es deshalb, aktuelle Medienformen zu betrachten, einführend zu beschreiben und so die Unterschiede zwischen ihnen deutlich zu machen. • Unterschiedliche mediale Formen unterscheiden sich jedoch nicht nur technisch voneinander. Mindestens ebenso wichtig ist es darüber hinaus zu wissen, wie die Medienformen einzeln aber auch im Zusammenspiel wirken und wie diese Wirkung erzeugt und unterstrichen werden kann. Ziel zwei ist es deshalb, auch die Unterschiede im Storytelling in, mit und durch die verschiedenen Medienformen zu beleuchten. + +Mit „Beyond (Multi-) Media“ soll, obwohl es an einigen Stellen sicherlich hilfreich sein könnte, es nicht um die tiefgehende Theorie der Mediengestaltung gehen. Dies würde den Rahmen deutlich sprengen, wie ein Blick in die Bibliotheken der Disziplin „Mediendesign“ leicht zeigt. Vielmehr geht es darum, ein Verständnis aufzubauen, wie sich die verschiedenen Medienformate voneinander unterscheiden. Dazu wird sowohl ein Blick auf die (medien-) technische historische Entwicklung sowie die Betrachtung der (medien-) psychologischen Wirkung geworfen. Zunächst werden dazu die verschiedenen Medienformate einzeln betrachtet, um sie dann später unter der Bezeichnung „Multimedia“ zusammenzuführen. +Die Einzelbetrachtungen sind stets identisch aufgebaut, damit ein Vergleich der Medienformate erleichtert wird: + +Übersicht • Jedes Einzelmedium wird aus seinem technischen, zum Teil auch aus seinem +theoretischen Ursprung heraus betrachtet. So wird gezeigt, wann und wozu das Medium vorgedacht wurde und warum es entwickelt wurde. An einigen Stellen kann der Leser durchaus die ein oder andere Überraschung erwarten, denn viele „unserer“ heutigen Medien sind als Idee deutlich älter als es oftmals zu vermuten ist. Die darauf jeweils folgende Betrachtung der technischen Entwicklung und Nutzung zeigt dann die Gründe auf, warum das heutige Verständnis vieler Medien sich oftmals von den ursprünglichen Ideen unterscheidet.• Auch wenn der Fokus hier nicht, wie oben schon gesagt, auf Technik und Gestaltung liegt, werden diese Punkte doch im jeweiligen ersten Unterabschnitt einführend und in aller Kürze angeschnitten.• Selbstverständlich wird in allen Medienbetrachtungen auch in den aktuellen Stand der technischen Entwicklung eingeführt. Vielfach wird dies anhand aktuell erhältlicher Produkte und Geräte (Stand: Oktober 2023) erfolgen. Keine dieser Produktnennungen aber ist dabei gesponsort noch soll die Nennung eine Kaufempfehlung darstellen! Vielmehr soll auch hier die Produktnennung lediglich dazu beitragen, das oftmals falsche Verständnis einiger Begriffe zu verdeutlichen. So wie sich Tesa-Film® als Sy- + +Medienformen im Wandel + +IX + +nonym für Klebestreifen und Tempo® als solches für Papiertaschentücher eingebürgert haben, geschieht dies in der Technik- und Medienwelt ganz genauso. Hier sind es dann vielleicht Produktnamen wie Oculus Rift® oder GoPro®, die zur Bezeichnung ganzer Produkttypen oder -kategorien geworden sind. • Ohne das Wissen darüber, wie der Zuschauer die Information in der jeweiligen Medienform wahrnimmt, kann keine zielgerichtete inhaltliche Gestaltung eines Mediums erfolgen. Daher werden im jeweiligen zweiten Unterabschnitt spezielle Wahrnehmungsaspekte der einzelnen Medienformen betrachtet.• In „Beyond (Multi-) Media“ gilt, dass der Einfachheit halber der Begriff „Zuschauer“ allgemein für weitere, teils verwandte, teils synonyme Begriffe wie zum Beispiel Benutzer, Betrachter, Publikum und so weiter, steht. • Gerade die Formen der digitalen Medien bringen einen Aspekt mit sich, der bei den „klassischen“ Medien eher nicht vorhanden war und ist. Gemeint ist die Möglichkeit der Interaktion, die bedeutet, dass der Zuschauer mehr mit einem Medium machen kann, als es nur zur Hand zu nehmen oder wegzulegen. Vielmehr kann der Zuschauer hier „in das Medium eingreifen“. Diesem neu(er)en Aspekt widmet sich der jeweilige dritte Unterabschnitt. • Gerade digitale Medien laden dazu ein, dass der Benutzer (hier also: der Zuschauer) mit den vermittelten Informationen „arbeitet“, indem ein hohes Maß an Interaktionsmöglichkeiten bei der Präsentation angeboten wird. Die Form aber, wie mit den Inhalten interagiert und gearbeitet werden kann, ist dabei jedoch wesentlich von der technischen Realisierung bzw. von der Präsentationsumgebung abhängig. Des Weiteren ist nicht jede Form von Interaktion für jede Medienform sinnvoll. Interaktion kann dabei weit mehr sein als das bloße „Stopp“ und „Play“ wie wir es von den Bedienkonsolen von Video- oder Blu-ray-Playern kennen. Vielmehr besteht für Autoren und Produzenten die Möglichkeit, dem Publikum die unmittelbare Arbeit mit dem jeweiligen Inhalt anzubieten. • Schon 1964, in der Zeit, als das „elektrische“ Medium Fernsehen sich als „neues“ Medium etablierte, beschrieb Marshall McLuhan, dass die Wahl des Mediums Einfluss auf die Wirkung des übermittelten Inhalts hat [MCL64]. So lassen sich Geschichten in unterschiedlichen Medien ebenfalls unterschiedlich erzählen. Daher widmen sich die jeweiligen vierten Unterabschnitte dem spezifischen Storytelling. • Den Abschluss der Einzelbetrachtungen macht jeweils ein fünfter Abschnitt, in dem weitere Aspekte betrachtet werden, die für das jeweilige Medium spezifisch sind. Dies reicht von Ethik über Recht bis hin zu (→) Cybersickness, (→) Lost-in-Hyperspace-Effekten und ähnlichen Aspekten. + +X + +Medienformen im Wandel + +Im auf die Einzelbetrachtungen folgenden Kapitel wird ein Blick in die mögliche, zukünftige technische und mediale Entwicklung geworfen und der Versuch eines Fazits gewagt. +Abgeschlossen und abgerundet werden soll diese Betrachtung durch eine vergleichende Gegenüberstellung der besprochenen einzelnen Medienformen, die das Ziel verfolgt, eine bessere und genauere Abgrenzung zwischen den Medienformen zu erreichen, sowie ein umfassendes Glossar. + + Wichtig   Das hier vorliegende Buch will KEIN (!) Lehrbuch für Medientechnik und Mediengestaltung sein! + +Übersicht Vielmehr soll ein einführender, allgemeiner Überblick vermittelt werden, +• welche Medienformen aktuell existieren, • woher sie mediengeschichtlich kommen und wie sie einzuordnen sind, • wie sie sich voneinander abgrenzen lassen und • wie Inhalte gestaltet und aufgebaut werden sollten, um Informationen erfolg- +reich zu vermitteln sowie • welche Möglichkeiten bestehen, um den Zuschauer mit den Medien und den +vermittelten Inhalten interagieren zu lassen. + +Wie oben schon gesagt, besteht das Ziel des hier vorliegenden Buches darin, die aktuell zu findenden Medien definiert voneinander abgrenzen zu können. Dies erscheint deshalb notwendig, da die verschiedenen Formate zwar zunächst nahe verwandt erscheinen, dies in ihrem eigentlichen Sinne aber nicht sind. Als Beispiel kann hier unter anderem die häufig synonyme Verwendung von Begriffen wie (→) „3D“, (→) „360°“ und (→) „VR“ genannt werden, obwohl diese Formate sowohl in ihrer Technik als auch in den Möglichkeiten der (→) Interaktion und im (→) Storytelling jeweils ganz eigene Charakteristika, Nutzungsvoraussetzungen und Wirkungen aufweisen. +Der Fokus wird auf die eher graphischen und visuellen Formate gelegt. Eine Begründung kann daraus abgeleitet werden, dass mittlerweile anstelle vom „präsentieren einer Information“ häufig von deren „Visualisierung“ und deren „Veranschaulichung“ gesprochen wird. Die weitergehende Begründung besteht darin, dass diese Formate die zahlenmäßig größte Zahl an Medienformen darstellen und somit durchaus als die grundlegenden Medienformen bezeichnet werden können. Zwar wird auch Audio zum Beispiel in Form von Radio durchaus häufig gehört (siehe auch Abb. 1 und 2), aber im Sinne der „digitalen“ oder „neuen“ Medien spielt Audio als Einzelmedium bzw. -modalität eher + +Medienformen im Wandel + +XI + +Abb. 1  Mediennutzung in Deutschland, 2023 Verband Privater Rundfunk und Telemedien e. V. [VPR23] +Abb. 2   ARD-/ ZDF-Onlinestudie 2023 [ARD23] +eine Nebenrolle. Vielmehr werden Audioelemente oft parallel zu den visuellen Inhalten abgespielt und begleiten diese als informative Ergänzung oder auch als emotionale Verstärkung. Dies soll in dem vorliegenden Buch auch nicht vernachlässigt werden und wird dergestalt berücksichtigt, dass allen Einzelbetrachtungen stets doch eine multimediale Perspektive zugrunde gelegt wird. + +Der betrachtete Medienbereich ist – wie alle medienbetreffenden Themen – äußerst lebendig und entwickelt sich mit rasanter Geschwindigkeit stetig weiter. Das macht die Auseinandersetzung mit dem Thema zum Teil recht schwierig, denn Dinge, die wir gestern noch als normal und in Stein gemeißelt voraussetzen konnten, haben sich morgen durch weiterentwickelte Technik oder auch durch veränderte Benutzungsweisen des Zuschauers radikal verändert. Zugleich macht gerade dieser stete Wandel diese Auseinandersetzung aber auch so unglaublich spannend. Für mich (als dem Autor) entsteht daraus ein faszinierender Fragenkatalog, der mich treibt, mich dem Thema zu widmen: +Übersicht • Welche Medienform ist für welchen Inhalt geeignet? • Wie können Inhalte auf- und vorbereitet werden, damit sie auch in anderen +Medienformen optimal wirken? • Wie kann das Publikum optimal in die mediale Präsentation eingebunden wer- +den? • Welche Auswirkung hat die Möglichkeit zur inhaltlichen Interaktion auf die +Wahrnehmung des Publikums? • Und welche Auswirkungen ergeben sich für Autoren und Produzenten? +Als Autor hoffe, dass dies gelungen ist, und am Ende Antworten auf einige dieser Fragen gefunden wurden. + +Inhaltsverzeichnis +Teil I  „Neue“ Medienformen 1 Panorama. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 +1.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 1.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 1.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 1.5 Panorama-Film. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2 360°. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 2.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 2.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 2.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 2.5 Rechtliches, Ethisches … und die Marktreife. . . . . . . . . . . . . . . . . . . . . . . 75 3 Virtual Reality. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 3.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3.5 Cyber Sickness. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 4 Augmented Reality. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 4.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 4.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 4.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 4.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 4.5 Diminished Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 +XIII + +XIV + +Inhaltsverzeichnis + +Teil II  Weitere, verwandte Medienformen +5 3D-Fotographie & 3D-Film . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 5.1.1 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 5.2 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 5.3 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 5.4 Wahrnehmungsprobleme: Sehbeeinträchtigungen. . . . . . . . . . . . . . . . . . . . 151 +6 Hyper hyper … vernetzte Medien. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 6.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 6.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 6.5 Lost in Hyperspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 +7 Und jetzt alles zusammen: Multimedia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 7.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 7.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 7.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 7.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 7.5 Lost in Multimedia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 + +Und in Zukunft: Brain?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 Übersicht und Abgrenzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 Angaben zu den Abbildungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 Glossar. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 Literatur. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 + +Abkürzungsverzeichnis + +AHM AR AV BCI DoF DR DSLR EEG fMRT FoV HDR HMD IoT MEG MoCap MR NR NUI PoV RVK UX VR + +Amsterdam Hypermedia Model Augmented Reality Augmented Virtuality Brain Computing Interface Degree of Freedom Diminished Reality Digitale Spiegelreflexkamera Elektroenzephalographie funktionelle Magnetresonanztomographie Field of View, Sichtfeld High Dynamic Rande Head Mounted Display Internet of Things (Internet der Dinge) Magnetenzephalographie Motion Capturing Mixed Reality Narrative Realität Natural User Interface Point of View Realitäts-Virtualitäts-Kontinuum User Experience Virtual Reality + +XV + +Abbildungsverzeichnis +Abb. 1 Petroglyphen, Big Island, Hawaii. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Abb. 2 Das Realitäts-Virtualitäts-Kontinuum. (In Anlehnung an [KIS94]). . . . 3 Abb. 3 Zeitstrahl der Medienentwicklung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Abb. 1.1 Leonardo da Vinci, „Das letzte Abendmahl“. . . . . . . . . . . . . . . . . . . . . 8 Abb. 1.2 Leonardo da Vincis „Das letzte Abendmahl“ in Relation zu +aktuellen Abbildungsformaten. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Abb. 1.3 Gebirgspanorama von Jacques-Barthélemy Micheli du Crest. . . . . . . . 11 Abb. 1.4 Die Qingming-Rolle (oben: Ansicht in der gesamten Breite; +unten: Ausschnitt einer Szene aus der Rolle). . . . . . . . . . . . . . . . . . . . . 12 Abb. 1.5 London-Panorama von Robert Barker. . . . . . . . . . . . . . . . . . . . . . . . . . 12 Abb. 1.6 Das Thun-Panorama, gestern und heute. . . . . . . . . . . . . . . . . . . . . . . . . 13 Abb. 1.7 Georamen (links: Wyld; rechts: Guérin) [ABB 1.23] [BEL15]. . . . . . . 14 Abb. 1.8 Myriorama – Zehntausendschau. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Abb. 1.9 Cyklorama und Mareorama. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Abb. 1.10 Rheinpanorama (E. v. Adlerflycht). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Abb. 1.11 Cinemascope und Panavision im 4:3-Fernsehen (schwarz: 4:3 +grün: Cinemascope blau: Panavision) . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Abb. 1.12 Größenvergleiche (oben: Panoramen der Geschichte und heutige +Standardgrößen; unten: Panoramen der Geschichte bezogen auf einen 17“-Monitor (16:9)) (blau: die Größe des Thun-Panorama; rot: die Größe der Qingming-Rolle; grün: DIN A4 (hochkant); orange: 27“-Monitor (16:9)). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Abb. 1.13 Abbildungsprobleme bei der Zentralprojektion. . . . . . . . . . . . . . . . . . . 21 Abb. 1.14 Abstrahierte Zentralprojektion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Abb. 1.15 Abstraktion der Zentralprojektion auf eine Ebene (links) und auf eine Zylinderprojektion als Mantelabrollung (rechts). . . . . . . . . . . . . . 22 Abb. 1.16 Abstraktion eines Endlos-/ 360°-Panoramas . . . . . . . . . . . . . . . . . . . . . 23 Abb. 1.17 Endlos-/ 360°-Panorama (Thun-Panorama). . . . . . . . . . . . . . . . . . . . . . 23 Abb. 1.18 Panoramafoto (allgemein) (hier: Skyline Singapur (HDR)). . . . . . . . . . 24 +XVII + +XVIII + +Abbildungsverzeichnis + +Abb. 1.19 Kreisringpanorama: Abstraktion (links) und Umsetzung (rechts: Rundsicht von der Altane des Bundesrathhauses). . . . . . . . . . . . . . . . . 24 +Abb. 1.20 Abstraktionsmöglichkeiten für Tiny Planets . . . . . . . . . . . . . . . . . . . . . 25 Abb. 1.21 Tiny Planets (links: St. Gallen; rechts: Lübeck). . . . . . . . . . . . . . . . . . . 26 Abb. 1.22 Multi-Viewpoint-Panorama . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Abb. 1.23 Abstraktion des Multi-Viewpoint-Panoramas (nach: [AGA06]). . . . . . 27 Abb. 1.24 Körperachsen und -ebenen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Abb. 1.25 Innenansicht eines Kirchenschiffs als vertikales Panorama. . . . . . . . . . 28 Abb. 1.26 Potenzielle Fehlerquellen bei Panorama-Aufnahmen (Beispiel- +hier: bewegte Objekte wie Menschen am Strand) . . . . . . . . . . . . . . . . . 31 Abb. 1.27 Von Einzelbildern zum Panorama . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Abb. 1.28 Panorama mit verschiedenen Stitching-Fehlern(1a & 1b: bewegte +Objekte; 2: Geisterobjekte; 3: horizontale Verzerrung (Biegung); 4: vertikale Verzerrung (Neigung); 5: Belichtungsfehler) . . . . . . . . . . . 33 Abb. 1.29 Panorama-Kameras im Vergleich (links: 180°-Kamera im Consumerbereich; rechts: Panorama-Kamera für den (semi-) professionellen Bereich). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Abb. 1.30 Frühe Ausstattung für Panoramafotografie (links: Kamera mit Schwenklinse (J. Puchberger) [IND20]; rechts: Kamera mit Nodalpunktadapter (J. R. Connon) [IND20]). . . . . . . . . . . . . . . . . . . . . 35 Abb. 1.31 Bedeutung von Nodalpunkt und Nodalpunktadapter. . . . . . . . . . . . . . . 36 Abb. 1.32 Entfernungsproblematik für Panorama-Aufnahmen: Idealfall (links) vs. Realität (rechts). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Abb. 1.33 Hyperfokaldistanz. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 Abb. 1.34 Ungestitchtes „Panorama“. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Abb. 1.35 Gesichts- und Blickfeld (links: vertikal; oben: horizontal) . . . . . . . . . . 41 Abb. 1.36 Bewegungsoptionen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 Abb. 1.37 Bewegung mit VR-Headset (links: Leinwand an fixierter Position in der VR-Welt; rechts: Leinwand, die dem Blick des Benutzers folgt). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Abb. 1.38 Bourbaki-Panorama (rechts: Ausschnitt aus dem Gemälde; links: Querschnitt durch das Gebäude in Luzern) . . . . . . . . . . . . . . . . . . . . . . 45 Abb. 1.39 Das Mammut – die Panorama-Riesenkamera von Georg R. Lawrence. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Abb. 1.40 Der erste Film mit Breitwand-Sequenzen: Napoleon von Abel Gance, 1927. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 Abb. 1.41 Prinzip des "Anamorphoten" . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Abb. 1.42 Gestauchte und entzerrte anamorphotische Aufnahme . . . . . . . . . . . . . 51 Abb. 1.43 Prinzip der Cinerama-Projektion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Abb. 1.44 Panoramafilmvorführungen (links: Los Angeles Cinerama: Rollercoaster; rechts: Norwegisches Naturmuseum Hardangervidda). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 + +Abbildungsverzeichnis + +XIX + +Abb. 1.45 +Abb. 2.1 Abb. 2.2 Abb. 2.3 +Abb. 2.4 Abb. 2.5 +Abb. 2.6 Abb. 2.7 +Abb. 2.8 +Abb. 3.1 +Abb. 3.2 Abb. 3.3 +Abb. 3.4 +Abb. 3.5 +Abb. 3.6 Abb. 3.7 Abb. 3.8 Abb. 3.9 Abb. 4.1 Abb. 4.2 Abb. 4.3 Abb. 4.4 +Abb. 4.5 Abb. 4.6 Abb. 4.7 Abb. 5.1 Abb. 5.2 + +Die Kamerakonstruktion des Circarama-Verfahrens nach E. A. Heiniger . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 Vom „Rund-um-Panorama“ zur „Rund-herum-360°-Welt“. . . . . . . . . . 56 Von Einzelbildern zum 360°-Foto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Typen von 360°-Kameras (links: mit zwei Linsen (Samsung Gear 360, nicht mehr erhältlich); rechts: mit mehr als zwei Linsen (GoPro Rig)). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Abstraktion der Zentralprojektion auf eine Kugelprojektion. . . . . . . . . 62 Wahrnehmungssituationen (oben links: Lean back; oben rechts: lean forward; unten: dive in (z. B. mittels Headset)) (orange: Informationsfluss; blau: Interaktionsfluss). . . . . . . . . . . . . . . . . . . . . . . 67 Zonen der Wahrnehmung (nach: [HUD17]). . . . . . . . . . . . . . . . . . . . . . 68 Übertragung der Interaktion auf drei Dimensionen (links: Abstraktion 1: von zwei auf drei Dimensionen: rechts: Abstraktion 2: von zwei auf drei Dimensionen). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Das erste 360°-Musikvideo: „Salt in the Wounds“ von Pendulum, 2010. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Das Realitäts-Virtualitäts-Kontinuum: von realer Welt zum Metaversum [HOF24]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 Das Sensorama von Morton Heilig . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 VR im „Gartner Hype Cycle for Emerging Technologies“ von 2017 [PAN17]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Modellhafter Aufbau eines VR-Systems (Tracking, Processing, Rendering) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Unterschied der Darstellung von VR (links: Headset; rechts: CAVE). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 Das Uncanny Valley. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 Kontinuum der Interaktion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Logik und Spannung der Handlung vs. Freiheit der Interaktion . . . . . . 100 Die Dimension der Narrativen Realität . . . . . . . . . . . . . . . . . . . . . . . . . 103 Spacetop, der AR-Laptop von Sightful. . . . . . . . . . . . . . . . . . . . . . . . . . 110 AR in 2D (links) und in 3D (rechts). . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 AR-Verarbeitungspipeline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 Richtungen der Interaktion in AR (oben links: Reale Objekte in der realen Welt; oben rechts: Reale Objekte in der digitalen Welt; unten links: Digitale Objekte in der realen Welt; unten rechts: Digitale Objekte in der digitalen Welt). . . . . . . . . . . . . . . . . . . . . . . . . . 120 Akzeptierte Interaktionsformen in gesellschaftlichen Situationen. . . . . 122 Soziale Interaktion in AR? (Symbolbild). . . . . . . . . . . . . . . . . . . . . . . . 122 Diminished Reality als Konzept und im Beispiel. . . . . . . . . . . . . . . . . . 126 Stereoskop nach Wheatstone (links: Skizze; rechts: Nachbau). . . . . . . 132 Kinoplakat „Bwana Devil“. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 + +XX + +Abbildungsverzeichnis + +Abb. 5.3 Abb. 5.4 Abb. 5.5 Abb. 5.6 Abb. 6.1 Abb. 6.3 Abb. 6.3 Abb. 6.4 Abb. 6.5 Abb. 7.1 Abb. 7.2 Abb. 7.3 + +Stereokamera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 Anaglyphe aus Einzelbildaufnahmen. . . . . . . . . . . . . . . . . . . . . . . . . . . 140 Polarisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 Anaglyphe bei Farbsehschwäche. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 MEMEX. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 Verlinkung (Konstruktion von Links). . . . . . . . . . . . . . . . . . . . . . . . . . . 158 Amsterdam Hypermedia Model. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 Paradox of Choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 Freiheit des Autors vs. Freiheit der Interaktion . . . . . . . . . . . . . . . . . . . 166 Produktionspipeline. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 SW-/ Usability-/ Medien-Engineering. . . . . . . . . . . . . . . . . . . . . . . . . . 179 Transmediales Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185 + +Teil I +„Neue“ Medienformen +Die Geschichte der Medien – nach wieviel Pathos es auch klingen mag – ist so alt wie die Geschichte der menschlichen Kommunikation. Selbst wenn die gesprochene Kommunikation bei einer solchen Betrachtung ausgeklammert wird, so reichen die ersten Belege für die Nutzung von Medien zur Kommunikation bis in die frühe Steinzeit zurück. Ein Beispiel, dass dies nicht nur in versteckten Höhlen geschah, zeigen Petroglyphen wie auf den hawaiianischen Inseln. (Abb. 1) Aus den frühen, mehrere tausend Jahre alten Zeichnungen haben sich letztlich alle Medienformen, insbesondere aber die visuellen Medienformen entwickelt. +Neben Zeichnungen und Gemälden wurde die Schrift als zweite mediale Form zur Bewahrung und Weitergabe sprachlicher Informationen entwickelt. Auch wenn das erste Schriftsystem auf das 4. Jahrtausend v. Chr. datiert wird, so liegen zwischen diesem und den ersten bekannten (Höhlen-) Zeichnungen dennoch mehrere tausend Jahre. [SAM85] Schrift blieb, aber, ebenso wie auch Zeichnungen, lange Zeit ein manuell produziertes Medium. Die Automatisierung der Medienproduktion begann erst mit der Entwicklung der Druckpressen mit beweglichen Lettern, wie sie Johannes Gutenberg um 1442 vorstellte. Nicht unerwähnt bleiben darf bei einer solchen, wenngleich auch nur schnellen, historischen Betrachtung, dass schon vor Gutenberg in verschiedenen Ländern in Asien ebenfalls Druckpressen entwickelt wurden. Diese aber hatten nicht den gleichen weitreichenden Einfluss, wie es die Entwicklung von Gutenberg in Europa hatte. [FUS99, DUF82] +Ab Mitte des 19. Jahrhunderts beschleunigte sich die Entwicklung der Medientechnik deutlich. Mit der wahrscheinlich ersten Fotografie, genauer eigentlich einer (→) Heliographie, präsentierte Joseph Nicéphore Niépce 1826 der Welt ein neues Medium. Diesem folgten in schneller Folge weitere Entwicklungen wie der Film (ab etwa 1878), zunächst stumm, zumeist in Schwarz-Weiß, später mit Ton und in Farbe, das Radio (ab etwa 1888, Heinrich Hertz [BUC94]) und das Fernsehen (ab etwa 1883, Paul Nipkow [NIP84]). Damit war die Basis für die heute oft als „klassisch“ bezeichneten Medien gelegt. Zwar änderten und verfeinerten sich die technischen Grundlagen, aber erst mit + +2 + +Teil I  „Neue“ Medienformen + +Abb. 1   Petroglyphen, Big Island, Hawaii +der Entwicklung der Digitaltechnik und insbesondere der, ebenfalls digitalen, Computer, konnten weitere Medienformen entwickelt und etabliert werden. +Panoramafotografie, 360°-Fotografie und Virtual Reality (VR) sind Beispiele für solche Medienformen, die sich deutlich von den klassischen Medienformen wie Print, Radio und Fernsehen unterscheiden. Es gibt mehrere Gründe, die für diese Unterscheidung sprechen, insbesondere aufgrund der Merkmale der (→) Interaktivität, (→) Immersion und (→) Partizipation, die diese neuen Medienformen bieten. +Übersicht • Erstens ist der Grad der Interaktivität, den Panoramafotografie, 360°-Fotogra- +fie und VR ermöglichen, in den klassischen Medien nicht erreichbar. Während traditionelle Medien in der Regel eine lineare und passive Erfahrung bieten, ermöglichen diese neuen Medienformen den Benutzern, aktiv in die Medienumgebung einzutauchen und sich innerhalb dieser Umgebung zu bewegen, auch wenn die Freiheit der Bewegung sich untereinander deutlich unterscheidet. Insbesondere VR bietet zudem eine nicht-lineare und hoch interaktive Erfahrung, die weit über das hinausgeht, was mit „klassischen“ Medien möglich ist. • Zweitens bieten Panoramafotografie, 360°-Fotografie und VR ein hohes Maß an Immersion, das weit über das hinausgeht, was klassische Medien bieten kön- + +Teil I  „Neue“ Medienformen + +3 + +nen. Durch die Nutzung dieser Technologien können Zuschauer das Gefühl bekommen, tatsächlich in der wahrgenommenen Umgebung präsent zu sein. Dieses Gefühl der Präsenz und des aktiven „Seins“ an einem anderen Ort ist ein charakteristisches Merkmal dieser neuen Medienformen und unterscheidet sie stark von klassischen Medien, die in der Regel lediglich eine eher distanzierte und objektive Beobachterperspektive bieten. • Drittens ist die Möglichkeit der Partizipation ein weiterer Faktor, der diese neuen Medienformen von klassischen Medien unterscheidet. Während letztere in der Regel von professionellen Medienproduzenten erstellt und kontrolliert werden, ermöglichen die digitalen Medientechnologien den Benutzern, selbst zum Schöpfer zu werden und eigene Inhalte zu erstellen. Dies verschiebt die Machtverhältnisse in der Medienproduktion und fördert eine partizipativere und vermeintlich demokratischere Medienlandschaft. • Schließlich stellen diese neuen Medienformen auch eine Herausforderung für traditionelle Methoden der Medienanalyse und -interpretation dar. Aufgrund ihrer interaktiven und immersiven Natur erfordern sie neue Ansätze und Werkzeuge für das Verständnis und die Interpretation von Medieninhalten. Dieser paradigmatische Wandel in der Medienlandschaft fordert dazu heraus, die bisherigen Vorstellungen von Medien und Medienkonsum zu überdenken und neu zu definieren, was es bedeutet, ein Medienkonsument und -produzent im 21. Jahrhundert zu sein. + +Den Zusammenhang zwischen „klassisch“, „neu“ und „digital“ lässt sich aus dem in der (Medien-) Informatik häufig zitierten Realitäts-Virtualitäts-Kontinuum ablesen. (Abb. 2) [HOF24][KIS94] +Dieses Kontinuum wird auf der linken Seite eröffnet mit der rein realen Welt, die ausschließlich über die Wahrnehmung „realer“, oder zielgerichteter ausgedrückt: analoge, + +Abb. 2   Das Realitäts-Virtualitäts-Kontinuum. (In Anlehnung an [KIS94]) + +4 + +Teil I  „Neue“ Medienformen + +Artefakte wahrgenommen wird. Auf der rechten Seite schließt es mit der Wahrnehmung einer Welt, die ausschließlich über virtuelle, künstliche, also digitale, Artefakte wahrgenommen wird. Zwischen diesen beiden Extremen spannt sich ein Bereich, bei der die Welt als eine Konstruktion aus analogen UND digitalen Artefakten, in unterschiedlicher Anzahl und auch in unterschiedlicher Qualität, wahrgenommen wird. Neben mit dieser steigenden Anreicherung der realen Welt durch digitale Artefakte können zwei weitere Aspekte aus diesem Kontinuum ausgelesen werden: +• Der „Weg“ vom linken Extrem zum rechten kann stellvertretend als grober chronologischer Ablauf interpretiert werden. +• Die steigende Anreicherung der Wahrnehmung mit digitalen Artefakten eröffnet mehr Möglichkeiten zur Interaktion mit den Artefakten, und damit mit der Welt, und es verstärkt die Immersion in diese Welt. +Im wesentlichen handelt es sich bei allen im weiteren betrachteten Formaten um visuelle beziehungsweise graphische Medienformen, die es durchaus schon seit geraumer Zeit gibt. Dies zeigt auch ein Blick auf einen groben Zeitstrahl der Medienentwicklung, wie er in Abb. 3 versucht wird. +Im Laufe der Zeit wurden aber nicht nur die zentralen Aspekte zum Beispiel von Foto und Film genutzt, sondern es wurden auch seit jeher schon die Extreme ausgelotet. Aus einem solchen Blickwinkel heraus betrachtet sind zum Beispiel die Panoramafotographie, der 3D-Film oder auch Virtual Reality dann doch nicht wirklich neu. Dies wird im Einzelnen auch in den jeweiligen Kapiteln noch gezeigt werden. Dennoch haben diese + +Abb. 3   Zeitstrahl der Medienentwicklung + +Teil I  „Neue“ Medienformen + +5 + +„Sonderformate“ bisher eher bescheidene Nischenrollen besetzt, die von besonders Interessierten – oder vielleicht auch von besonderen Nerds – entwickelt und benutzt wurden. Selten hat es eine dieser besonderen Formen in die gesellschaftliche Aufmerksamkeit oder gar in den Bereich der erfolgreichen kommerziellen Anwendung gebracht. +Zwei Entwicklungen, die mehr oder weniger Hand in Hand, liefen, ändern dies aber seit kurzer Zeit. Gemeint ist zum einen die Digitalisierung der Medien an sich und zum anderen eine Entwicklung, die auf dieser Digitalisierung aufbaut, nämlich die Entwicklung und Verbreitung von Social Media. +Waren Kameras für die analoge Fotografie zwar auch früher schon, genauer seit etwa der Mitte des vorigen Jahrhunderts, in nahezu jedem Haushalt zu finden, so galten zum Beispiel diejenigen, die eine Spiegelreflexkamera besaßen, diese einzusetzen wussten und möglicherweise auch ihre Filme selbst in der eigenen (→) Dunkelkammer entwickelten, häufig als dass, was heute als „Nerd“ bezeichnet wird. War die Zahl dieser Leute schon nicht sehr groß, so ging die Zahl derjenigen, die dann zum Beispiel besondere Dinge wie (→) Anaglyphenfotographie betrieben, nahezu gegen Null. Mit der Verbreitung der digitalen Kameras bis hin zu der heutigen Situation, dass jedes mobile Telefon oder jeder Tablet-PC mit immer besser werdenden Kameras ausgestattet ist, hat sich auch die Zahl derjenigen erhöht, die sich auch auf höherem Niveau als dem bloßen Knipsen mit der Fotografie auseinandersetzen. Zudem hat sich durch das Zusammenwachsen von Fotografie und Computern/ Informatik/ IT auch die Zielgruppe der Anwender oder Interessierten vergrößert. Einhergehend damit hat sich durch die Digitalisierung zu guter Letzt auch der Prozess der „Entwicklung“ und die weitergehende Bearbeitung der aufgenommenen Bilder vereinfacht. All dies führt(e) dazu, dass auch mehr und mehr mit den Möglichkeiten des Mediums – hier eben der digitalen Fotografie – gespielt und experimentiert und dessen Grenzen ausgelotet wurden. Zudem greifen viele Plattformen des „Social Media“ die besonderen Möglichkeiten auf und bieten die Unterstützung von Panorama- und 360°-Fotografie oder entwickeln gar ihre eigenen Virtual- und (→) Augmented-Reality-Anwendungen (AR). +Somit haben sich die Nischen der früheren Sonderformate deutlich geöffnet und jeder, den es interessiert, ist heute in der Lage, ohne allzu großen Aufwand gute Panoramafotos, 3D-Filme oder 360°-Fotos zu produzieren. Der Massenmarkt scheint bereit zu sein für diese „neuen“ Medien (-formen). + +Panorama + +1 + +Inhaltsverzeichnis +1.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.2 Wahrnehmung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 1.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 1.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 1.5 Panorama-Film. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 +Die Welt ist klein +Zumindest sagen dies viele – nicht nur deutsche – Spruchweisheiten. Aber das Gegenteil ist der Fall: die Welt ist groß! Die Welt ist sogar zu groß. Zu groß nämlich, um sich auf ein „normales“ Bild in „normaler“ Größe und in „normalem“ Format einfangen zu lassen. +Diese „normalen“ Bilder sind immer zu klein! Nie lässt sich das, was interessant ist und was gezeigt werden soll, wirklich in die Grenzen eines Bildes oder eines Monitors pressen. Egal ob 9*13 cm oder 13*18 cm in der klassischen Fotografie oder ob VGA, Full-HD oder UHD 4 K für digitale Darstellungen – der Platz ist stets zu eingeschränkt und zu klein. Lässt man den Blick in die Welt schweifen, so zeigt sich, … +• … dass die Welt zum einen eben doch groß und vor allem weitläufig ist und sich deshalb häufig nicht in Standardgrößen pressen lässt, … +• … dass die einzelnen interessanten Dinge, die der Künstler zeigen möchte, oftmals schon solchen Standardformaten nicht entsprechen aber es zeigt sich auch, … +• … dass diese interessanten Dinge häufig zu weit voneinander entfernt sind, sodass sie gar nicht zusammen in das „klassische“ Bildformat passen. + +© Der/die Autor(en), exklusiv lizenziert an Springer Fachmedien Wiesbaden GmbH, ein + +7 + +Teil von Springer Nature 2025 + +P. Hoffmann, Beyond (Multi-) Media, X.media.press, + +https://doi.org/10.1007/978-3-658-48567-2_1 + +8 + +1 Panorama + +So ist der Fotograf gezwungen, nicht nur das, was er eigentlich abbilden möchte, aufzunehmen, sondern vielmehr ist er gezwungen, vieles aus dem Drumherum mit aufzunehmen. Am Beispiel von Leonardo da Vincis Gemälde „Das Abendmahl“ (Abb. 1.1) soll versucht werden, dies zu verdeutlichen. +Das es sich bei diesem Werk um ein Meisterwerk handelt, steht ohne Zweifel außer Frage. Diesen Status hat das Gemälde nicht nur aufgrund seiner Größe, sondern vielmehr auch durch seinen Inhalt und dessen Aufbau. Beides, Größe und Inhalt, hängen eng zusammen, wie später noch deutlich wird. +Das Original im Kloster Santa Maria delle Grazie in Mailand hat je nach Messung eine Höhe von etwa 4,60 m und eine Breite von etwa 9,00 m und somit ein Seitenverhältnis von etwa 1:1,95. Es ähnelt damit dem heute üblichen 16:9-Format von Monitoren und TV-Geräten mit dem daraus resultierenden Seitenverhältnis von 1:1,777. [SANoJ]. +Neben den Personen und dem Tisch, an dem Jesus und seine zwölf Jünger Platz genommen haben, zeigt da Vinci auch viel von dem Raum, in dem dieser Tisch steht. Der eigentlich zentrale Inhalt, also die Darstellung des Abendmahls selbst, nimmt im Verhältnis nur relativ wenig der zur Verfügung stehenden Fläche ein. Um allein ausschließlich dieses abzubilden, hätte da Vinci bei den gegebenen etwa 9 m Breite eine Höhe von etwa 1,50 m gereicht. Das Seitenverhältnis hätte sich damit drastisch auf einen Wert von 1:6 verändert. Da Vinci stand als Künstler allerdings vor demselben Problem, wie es sich Fotografen heutzutage auch stellt. Er hatte durch den Auftrag des Mailänder Herzogs + +Abb. 1.1   Leonardo da Vinci, „Das letzte Abendmahl“ + +1 Panorama + +9 + +Ludovico Sforza die Aufgabe, die existierende Wand des Speisesaals des Klosters mit einem Gemälde zu versehen und konnte daher, genauso wenig wie heutige Fotografen es durch die bzw. trotz der technischen Rahmenbedingungen können, die Abmaße der Darstellungsfläche beeinflussen. Für heutige Fotografen wäre sich das Problem sogar noch größer, denn bei den typischen Formaten für (Papier-) Abzüge von Fotos mit 9*13 cm oder 13*18 cm ergibt sich ein Seitenverhältnis von 1:1,444 bzw. 1:1,385, was auf die Gegebenheiten des Klosters umgerechnet bedeuten würde, dass das Bild bei der Breite von 9 m die Lünetten eingeschlossen hätte. Abb. 1.2 versucht diese Problematik für die gängige TV- und Fotoformatgrößen zu zeigen. +Dieses Problem, dass er neben der zentralen Aussage auch viel „Überflüssiges“ in das Bild einbauen musste, löste da Vinci dadurch, dass er eine ausgefeilte Raumgeometrie konstruierte, die sich ideal an die Gegebenheiten der realen Umgebung, also dem Speisesaal des Klosters, anschloss und so die spezielle Stimmung des Bildes erzeugt. Heutzutage würde dies als Teil des „Storytelling“ angesehen. +Dieses „Panorama-Problem“ ist strenggenommen allerdings eigentlich ein recht neues Problem. Nur für die wenigsten Gemälde aus der Zeit, bevor die Fotografie sich + +Abb. 1.2   Leonardo da Vincis „Das letzte Abendmahl“ in Relation zu aktuellen Abbildungsformaten + +10 + +1 Panorama + +­etablierte, stellte sich ein Problem wie für da Vinci bei seinem Abendmahl. Ein Gang durch die Museen der Welt zeigt auf den ersten Blick, wie unterschiedlich groß Gemälde sind. Ihre jeweiligen Abmaße wurden auf die dargestellte Szene angepasst. Die meisten Bilder dieser „vor-fotografischen“ Zeit weisen zwar durchaus Verhältnisse von Höhe zu Breite auf, die recht nah an den heutigen Standardformaten liegen. Allerdings machte es die Handarbeit in der Herstellung von mit Leinwand bespannten Rahmen leicht, jedes vom Maler gewünschte Format zu bauen. So ist es nicht verwunderlich, dass der Blick in die „große, weite Welt“, schon sehr früh auf Leinwand festgehalten wurde. +Erst die Einführung der industriellen automatischen Entwicklung belichteter Filme ab etwa 1890 machte es notwendig, die Größen von Bildern zu vereinheitlichen und ihre Maße zu standardisieren. [BUT19] So sind die heute typischen Größen von Bildern und Fotografien letztlich den konstruktiven Vorgaben der Entwicklungsmaschinen geschuldet, ebenso wie die Formate und Größen von Bildschirmen in deren technischen Anforderungen begründet sind. +Unbestreitbar hat die Standardisierung von Bildformaten eine Reihe von Vorteilen. Der größte Vorteil ist sicherlich der, dass durch die Standardisierung die Entwicklung von Bildern automatisiert werden konnte und auf diesem Wege das Fotografieren für jedermann erschwinglich wurde. Dennoch bestand und besteht ein häufiges Interesse, Dinge bildlich festhalten zu wollen, die eben nicht in diese vorgegebenen Formate passen. Eine häufige Herausforderung ist dabei die Abbildung der Welt in „voller Breite“ – das Panorama. + Definition  Der Begriff „Panorama“ entstammt dem Altgriechischen und setzt sich aus zwei Worten zusammen: +• pan (πᾶν), was zu Deutsch „alles“ oder „ganz“ bedeutet, und • horao (ὁράω), was „sehen“ bedeutet. +Neben dieser Übersetzung passt für den Kunst- und Medienbereich eine andere Bedeutung des zweiten Wortteils allerdings ein wenig besser. Statt des Verbs kann auch das Substantiv horama (οράμα) eingesetzt werden, woraus dann zwar das untypische Wort „Allsicht“ entsteht, was aber das Ziel und die Charakteristik von Panoramaabbildungen sehr gut beschreibt. +Panoramaabbildungen im Allgemeinen sind deutlich älter als die heutigen fotografischen Panoramabilder. Der bekannte Kamerahersteller Rollei sagt auf seiner Webseite: +„Der Ursprung des Panoramabegriffs ist in der Landesvermessung zu finden. Das Panorama war eine gleichberechtigte geographische Darstellungsform neben der Karte, dem Relief und dem Profil. 1754 entstand das erste wissenschaftliche Panorama. Es handelte sich um das Gebirgspanorama von Jacques-Barthélemy Micheli du Crest aus Genf.“ (Abb. 1.3) [ROL15]. + +1 Panorama + +11 + +Abb. 1.3   Gebirgspanorama von Jacques-Barthélemy Micheli du Crest +Als früheste Beispiele für diese Art der großflächigen Darstellungen werden in der Regel jedoch eher die Panoramabilder aus dem Ende der 1780er Jahre von Robert Barker (1739–1806) bezeichnet, die Städte wie Edinburgh oder London abbilden, obwohl in der Literatur auch Hinweise auf frühere Gemälde mit ähnlicher Charakteristik zu finden sind. Allerdings sind hier weder die Namen der jeweiligen Künstler bekannt, noch gibt es Abbildungen dieser Gemälde und auch die Gemälde selbst haben die Jahre nicht überstanden. Eines der wenigen Beispiele solch früher Panorama-Abbildungen stellt die Qingming-Rolle (Abb. 1.4) dar, auf der der chinesische Maler Zhang Zheduan (1085– 1145) eine Flussuferszene zum Qingming-Fest zur Mitte der Song-Dynastie (960–1279) zeigt. Auf 24,8 cm Höhe und 528,7 cm Breite hielt Zheduan das Alltagsleben von mehr als 800 Menschen in ihrer städtischen Umgebung fest. Dieses Gemälde existiert heute noch und gilt als eines der größten Meisterwerke Chinas. +Der oben genannte Robert Barker führte den Begriff „Panorama“ mit seiner heutigen Bedeutung 1792 ein, als er in London eine Stadtansicht von Edinburgh vorstellte. Diese wurde auf der Wand eines zylinderförmigen Raumes präsentiert. Für diese Art umlaufender Gemälde, integriert in ein Gebäude (Abb. 1.5), beantragte Barker schon 1787 ein Patent und erhielt dieses auch. War die Präsentation 1792 noch eine bauliche Improvisation, konnte er ein Jahr darauf wiederum in London mit dem „London Panorama“ das weltweit erste „Panorama-Haus“ eröffnen, was zum Vorbild für viele weitere Häuser wurde. Jede Stadt, die etwas auf sich hielt, eröffnete in den folgenden Jahren ihr eigenes Panorama-Haus. [BÖH14d] [ACK21]. +Wie aufwendig die Arbeit an einem solchen Panoramabild zur damaligen Zeit war und wie präzise und detailgetreu es die Realität abbildete, zeigt sich sehr gut am Beispiel des Thun-Panoramas. An diesem Werk arbeitete der Kleinmeister Marquard Wocher fünf Jahre lang. Kleinmeister ist die schweizerische Bezeichnung für Maler des 18. und 19. Jahrhunderts, die Stadt- und Landschaftsmotive in Skizzenbüchern festhielten, um sie später entweder selbst oder von beauftragten Künstlern in Radierungen oder Gemälde auf Leinwand übertragen ließen. Für einen solchen Künstler muss es eine wahre Herausforderung gewesen sein, statt der üblicherweise eher oberflächlichen Skizzen + +12 + +1 Panorama + +Abb. 1.4   Die Qingming-Rolle (oben: Ansicht in der gesamten Breite; unten: Ausschnitt einer Szene aus der Rolle) + +Abb. 1.5   London-Panorama von Robert Barker + +1 Panorama + +13 + +Abb. 1.6   Das Thun-Panorama, gestern und heute +nun ein detailreiches, großflächiges Bild zu zeichnen. Die Euphorie für die Landschaft des Berner Oberlandes brachte Wocher dazu, von 1809 bis 1814 die Aussicht von einem Dach über der Thuner Altstadt auf eine (Lein-) Wand mit einer Höhe von 7,5 m und einer „Breite“ von 38 m zu bringen. Die Detailtreue ist faszinierend, wie Abb. 1.6 zeigt, und sie besticht auch heute noch. Einen direkten Vergleich zu einem aktuellen Panoramafoto zeigt das Kunstmuseum Thun auf seiner Webseite (Stand: Februar 2021). [THU23]. +Sowohl auf die Qingming-Rolle als auch auf das Thun-Panorama soll im folgenden Abschn. 2.1.1 noch einmal kurz eingegangen werden. Bevor aber in dem genannten Kapitel der Fokus der weiteren Betrachtung dann auf die Gestaltung und die Technik von fotografischen Panoramen gelegt wird, sollen hier zunächst noch einige Arten von Panoramen vorgestellt und voneinander abgegrenzt werden. Diese Einführung ist deshalb sinnvoll, weil sich einige dieser Panoramen oder zumindest Teilcharakteristika von ihnen bei später noch betrachteten Medienformen wieder aufgegriffen werden. +Georama und Kosmorama: Kugelpanoramen Übliche Abbildungen, egal ob als Gemälde oder als Fotografie, zeigen stets nur einen Ausschnitt von der Welt. Um eine Gesamtansicht der Welt zu erhalten, wurde die Idee des (→) Georama entwickelt. Hierbei wird die Welt im Ganzen gezeigt. Dazu wird das Abbild der Welt auf die Innenseite einer hohlen Kugel übertragen. Vom Mittelpunkt aus können so Kontinente mit Gebirgen und Flüssen, die Ozeane, Länder und Städte betrachtet werden. +Ein Beispiel für diese Art der Darstellung ist das sogenannte „neue Georama von Guérin“, einer 1844 in Paris eröffneten Kugel mit einem Innendurchmesser von 10 m. (Abb. 1.7) Auf Höhe des Äquators konnten die Besucher von einer Galerie, die über eine Treppe zu erreichende war, die „Erdtheile und Meere“ sowie „[d]ie ohne zu große Uebertreibung dargestellten Berge, die Ebenen und Plateaux […] übersehen“ [POL45]. Nur wenig später zeigte der englische Geograph James Wyld zwischen 1851 und 1862 + +14 + +1 Panorama + +Abb. 1.7   Georamen (links: Wyld; rechts: Guérin) [ABB 1.23] [BEL15] +in London in seinem „Great Globe“ die Welt im Maßstab von 1“: 2mi, umgerechnet also in etwa 1: 126.720. Der Ausblick auf die maßstabsgetreue Abbildung, bei der Berge und Erhebungen mit dreifacher Überhöhung dargestellt wurden, war von vier übereinanderliegenden Galerien möglich [WIK21a]. +Die Idee, die Innenseite einer Kugel als Abbildungsfläche zu nutzen, greift auch das (→) Kosmorama auf. Hier wird allerdings nicht die Erde, sondern es wird der Himmel beziehungsweise der Blick ins Weltall gezeigt. Populär ist diese Art der Darstellung auch heute noch in Planetarien, wenngleich mittlerweile hier nicht nur statische Bilder, sondern multimediale Präsentationen und Filme gezeigt werden. [WIK21c][OET80]. +Diese besagte Projektion des Bildes auf die Innenseite einer Kugel, ist, so alt ihre Idee auch erscheinen mag, heute umso aktueller, insbesondere, als die aktuelle Präsentationstechnik diese Projektion auch ohne bauliche Maßnahmen, wie sie für Geo- und Kosmoramen üblich und notwendig waren, sozusagen für jedermann auch auf dem Bildschirm oder in einem Web-Browser oder, noch aktueller, in einem (→) VR-Headset zulässt. Zudem eröffnet sowohl die aktuelle Kameratechnik als auch die Unterstützung durch entsprechende Software jedem leicht die Möglichkeit, solche Panoramabilder zu erstellen. +Die „Zehntausendschau“: das Myriorama Eine etwas andere Form der Panorama-Abbildung bildet das sogenannte „tableau polyoptique“, dass von Pierre Brès in Paris entwickelt wurde. Die Besonderheit dieser speziellen Panoramaform ist die Interaktion, die Brès diesem sogenannten (→) Myriorama mitgab. Laut Meyers Konversationslexikon aus dem Jahr 1877 besteht es „aus einer auf einen langen Streifen in den buntesten Farben ausgemalten Landschaft, welche in viele Theile so zerschnitten ist, daß die Durchschnittslinien überall aneinander passen und die einzelnen Landschaftsstücke vielfach von neuem zusammengesetzt werden können, wodurch sehr viele Landschaftsbilder entstehen.“ (Abb. 1.8) [MEY77]. + +1 Panorama + +15 + +Abb. 1.8   Myriorama – Zehntausendschau +Die Kartensätze aus diesen Landschaftskarten konnten dann spielerisch neu angeordnet und zusammengelegt werden. Ob oder wie diese Karten tatsächlich in die damalige Spielzeugwelt aufgenommen wurde, ist nicht weiter belegt. Dennoch zeigt sich hier ein sehr frühes Beispiel für den spielerischen, und damit also einem interaktiven¸ Umgang mit medialen Inhalten. Die Kartensets bestanden aus bis zu 24, seltener auch aus mehr, Karten. Daraus ergibt sich eine große Zahl an Zusammenstellungen, die möglich sind. Für die „Endless Landscapes“ von Wendy Walker mit 24 Karten kommt La Frage auf die stolze Zahl von 1.686.553.615.927.922.354.187.720 möglichen Permutationen. [BRE12b] Ihren Durchbruch fanden Myrioramen als sogenannte „Hellenicoramen“, die die damalige Begeisterung für Griechenland und seine Landschaften aufgriffen, denn so konnten vermeintlich vor Reiseantritt die Sinne auf die Wahrnehmung der historischen Landschaften vorbereitet werden. [BRE12] [WIK21b]. +Interessant wird diese Idee der Panoramen durch die ihr innewohnende Möglichkeit zur Interaktion, die die ansonsten eher statischen Abbildungen deutlich beleben kann, wie es in Abschn. 2.1.3 noch gezeigt werden soll. +Pleorama, Cyklorama und Mareorama Allgemein wird häufig gesagt, dass der Betrachter sich in einem guten Bild verlieren können soll. Er soll in das Bild und in die darin dargestellte Szene eintauchen können. Dies gelingt bei großen Panoramabildern sicherlich schon leichter als bei kleinformatigeren Fotos, aber perfekt ist diese (→) Immersion genannte Eigenschaft auch bei besagten großen Panoramabildern noch nicht. Dies erkannte auch der Architekt Carl Ferdinand Langhans, der mit den Malern August Kopisch und Antonio Sacchetti die Idee + +16 + +1 Panorama + +des (→ Pleorama entwickelte und umsetzte. Dazu sollten große Bilder und Panoramen so bewegt werden, dass das Publikum den Eindruck bekommt, es bewege sich an der dargestellten Szene vorbei. Die Bezeichnung für diese Art des Panoramas leitet sich von griechischen pléo (πλέω) für „schiffen“ ab und bezieht sich auf den Inhalt der 1831 in Breslau präsentierten Installation. Dort saßen die Zuschauer während der etwa einstündigen Präsentation in kleinen Booten, die tatsächlich schwammen und konnten dabei die Fahrt durch den Golf von Neapel wie die Gäste einer Kreuzfahrt auf sich wirken lassen. Diese Präsentation wurde zudem noch multimedial angereichert, indem zum Beispiel durch Lichteffekte eine Eruption des Vesuvs gezeigt wurde oder ein „chter“ Matrose singend zur Unterhaltung beitrug. [LAN31]. +Unter der Bezeichnung (→) Cyklorama, die vor allem im US-amerikanischen Raum Anwendung fand, wurde die Idee der sich bewegenden Landschaft auf eine leicht andere Weise aufgegriffen und weiterentwickelt. Die Präsentation fand hier in zumeist runden Gebäuden statt. Inhaltlich reichten die Darstellungen von Fluss- oder Eisenbahnfahrten durch exotische Landschaften bis hin zu „Fahrten“ durch bewegende Momente der Geschichte, wie zum Beispiel der Schlacht von Gettysburg oder gar dem Wagenrennen aus Ben Hur. [NPS21] [GUA02] Eines der wohl aufwendigsten Cykloramen wurde auf der Weltausstellung 1900 in Paris mit der „Fahrt auf der Transsibirischen Eisenbahn“ gezeigt. An drei echten Waggons, die ursprünglich tatsächlich auf dieser Strecke im Einsatz waren, wurden Leinwände mit Stadt- und Landschaftsansichten vorbeibewegt. Um die Immersion zu verstärken, wurde nicht nur eine Leinwand installiert, sondern vielmehr wurde die Szene auf vier Leinwänden dargestellt, die sich in unterschiedlichen Geschwindigkeiten von 5 m pro Minute bis zu 300 m pro Minute bewegten und so den Eindruck der fahrenden Bewegung verstärkten. Das für Präsentationen solchen Ausmaßes sehr große Bilder gemalt werden mussten, liegt auf der Hand. So war das „langsamste“ Bild, dass nur der Darstellung des landschaftlichen Hintergrunds diente, schon stattliche 8 m hoch und 220 m lang, während das Bild im „schnellen“ Vordergrund 1500 m lang war. (Abb. 1.9 links) [LAN00]. +Der damaligen Technikeuphorie entsprechend, ging es allerdings noch aufwendiger. Sozusagen nebenan konnte ebenfalls auf der Weltausstellung 1900 das Mareorama betreten werden, ein Dampfer, auf dem die Besucher eine Kreuzfahrt von Marseille nach Konstantinopel erleben konnten. Das Schiff, beziehungsweise dessen Deck, wurde über eine mechanische Kardanaufhängung so bewegt, dass das Rollen und Stampfen des Schiffs spürbar wurde. Ein zweiter Mechanismus bewegte die Leinwände mit einer Höhe von jeweils 13 m und einer Länge von 750 m an Steuer- und Backbordseite entlang. Während diese Leinwand mit den gemalten See- und Landszenen an den Gästen vorüberzogen, wurde die Illusion, an Bord zu sein, durch rauchende Schornsteine und Dampfsirenen erhöht und auch die typische Geruchswelt wurde durch Teergeruch abgebildet. Die Gäste erlebten romantische Sonnenaufgänge, laue Mittelmeernächte und sogar Gewitter mit Blitz und Donner auf ihrer Reise. Die multimediale und multisensorische Präsentation wurde sogar zu einer, wie es heute wohl bezeichnet würde, crossmedialen Präsentation, denn es war sowohl daran gedacht worden, dass echte + +1 Panorama + +17 + +Abb. 1.9   Cyklorama und Mareorama +­Ansichtskarten mit Motiven der Kreuzfahrt „von Bord“ aus verschickt werden konnten als auch daran, dass auch Besatzungsmitglieder anwesend waren, die sich um seekrank gewordene Gäste kümmerten. (Abb. 1.9 rechts) [LAN00] [SCA99] [SCA00] [WAG14]. +Ob diese Art der Präsentation tatsächlich, wie vielfach gesagt, Vorläufer einer „Virtuellen Realität“ ist, wird im späteren Abschn. 2.5 näher betrachtet. Als einen ersten Schritt in diese Richtung können sie in jedem Fall angesehen werden. [WIK21d] [HIS21]. +Rheinpanorama Einen anderen Blick auf die Welt hält das Relief- oder (➔) Rheinpanorama fest. Während die oben vorgestellten Panorama-Arten entweder Kugel- oder Zylinderprojektionen darstellen, handelt es sich beim Rheinpanorama um eine sogenannte fortlaufende Parallelprojektion. Der Namen „Rheinpanorama“ kommt daher, dass die erste Abbildung dieser Art den Rhein von Rüdesheim bis Koblenz zeigt. Die deutsche Malerin Elisabeth von Adlerflycht war von der Landschaft des Rheins nach einer ihrer Reisen so beeindruckt, dass sie dies als ein Aquarell mit einer Länge von 2,34 m und einer Breite von 23 cm festhielt und damit die Vorlage und den Anstoß für eine Reihe weiterer solcher Darstellungen entlang des Rheins gab. (Abb. 1.10) [SAT93] [STE93] Unter der Bezeichnung Multi-Viewpoint-Panorama wird diese Art der Abbildung im folgenden Kapitel noch einmal aufgegriffen werden. +Ein (erstes Zwischen-) Fazit Panoramafotos stellen eine besondere Form der Darstellung im Allgemeinen und in der Fotografie im Speziellen dar, die sich durch ihre Möglichkeit charakterisiert, einen weiten Blickwinkel einfangen zu können und dem Betrachter ein immersives visuelles Erlebnis zu bieten. Im Gegensatz zu herkömmlichen Fotos, die oft ein recht eng begrenztes + +18 +Abb. 1.10   Rheinpanorama (E. v. Adlerflycht) + +1 Panorama + +Sichtfeld abdecken, ermöglichen Panoramafotos damit eine breitere Erfassung der Umgebung und erzeugen somit eine größere räumliche Wirkung. +Die genaue Definition der Panoramafotografie kann je nach Kontext und Anwendungsbereich variieren. Im Allgemeinen bezieht sich der Begriff auf Fotos, die ein Sichtfeld von mehr als 180 Grad abdecken. Oftmals werden Panoramafotos jedoch verwendet, um einen noch größeren Blickwinkel bis zu (fast) 360 Grad zu erfassen. Dies ermöglicht es dem Betrachter, sich in alle Richtungen umzuschauen und das Gefühl zu haben, mitten im aufgenommenen Szenario zu stehen. +Die Erzeugung von Panoramafotos erfordert den Einsatz spezieller Techniken und Ausrüstung, um das erweiterte Sichtfeld erfassen zu können. Typischerweise werden mehrere Einzelaufnahmen in einer sequenziellen Reihenfolge gemacht und dann mithilfe spezieller Software oder durch manuelle (➔) Stitching-Techniken zu einem einzigen Bild zusammengefügt. Dadurch entsteht der Eindruck eines nahtlosen und kontinuierlichen Panoramas. + +1.1  Gestaltung & Technik + +19 + +Verwendung finden Panoramafotos in verschiedenen Anwendungsbereichen. In der Landschaftsfotografie ermöglichen sie es dem Betrachter, die beeindruckende Weite einer Landschaft einzufangen und sich inmitten der Natur zu fühlen. In der Architekturfotografie können Panoramafotos verwendet werden, um große und komplexe Strukturen vollständig darzustellen und Details zu präsentieren, die mit herkömmlichen Fotos nicht erfasst werden können. + +1.1 Gestaltung & Technik +Wie im vorigen Kapitel schon gesagt, besteht eine der großen Herausforderungen der fotografischen Abbildung mittlerweile darin, die Welt in Bilder standardisierter Größe einzufangen. Diese Formate, sind in aller Regel allerdings recht klein. Dies führt dazu, dass Zugeständnisse im Aufbau des Bildinhaltes gemacht werden müssen. Entweder werden Teile des eigentlich gewünschten Inhaltes abgeschnitten oder es wird viel „Drumherum“ mit aufgenommen, der eigentlich nicht relevant ist. Beides ist nicht wirklich optimal. Sicherlich erinnert sich der ein oder andere Leser noch an die Zeiten, als die Filme, in denen glorreiche Westernhelden in (→) Cinemascope oder (→) Panavison durch epische Prärielandschaften ritten, im (Röhren-) Fernseher gezeigt wurden. Entweder wurde das Filmbild dabei soweit verkleinert, dass das Bild schrumpfte und oben und unten schwarze Balken das Bild umrahmten, oder die Bilder waren zwar so hoch wie dass Fernsehformat, dabei aber dann rechts und links beschnitten und zeigten von ebenjenen epischen Landschaften lediglich noch Postkartenausschnitte. (Abb. 1.11). +Wie unschön und unpraktisch dies ist, verdeutlichen die Größenvergleiche der Abb. 1.12, in denen die absoluten und relativen Größenverhältnisse im Vergleich gezeigt werden. +Neben dieser Größenproblematik besteht eine weitere Problematik in der Abbildung der aufgenommenen Bilder. Ein Fotograf sieht die Welt um sich herum von (s)einem Standort aus wie eine Kugel, in deren Zentrum er steht, ganz ähnlich, wie es bei den Georamen im vorigen Abschnitt gezeigt wurde. Er stellt nun seine Kamera auf eine gewisse Entfernung scharf und nimmt so die Welt auf. Daraus ergeben sich verschiedene Folgeprobleme: (Abb. 1.13) +1. Ein Foto ist eine Abbildung beziehungsweise Aufzeichnung auf einer Ebene, die nicht so einfach an die Innenseite der Kugel geheftet werden kann, ohne dass dabei Verzerrungen auftreten. +2. Hat der Fotograf zur Präsentation keine (Hohl-) Kugel zur Verfügung, so muss er die ursprüngliche Kugelaufnahme auf eine (Präsentations-) Ebene transformieren, also verbiegen. Bei kleinen Präsentationsformaten spielt dies keine Rolle, da die Verzerrungen so klein sind, dass sie nicht auffallen. Bei großformatigen Präsentationen allerdings zeigen sich diese Verzerrungen deutlich. + +20 + +1 Panorama + +Abb. 1.11   Cinemascope und Panavision im 4:3-Fernsehen (schwarz: 4:3 grün: Cinemascope blau: ­Panavision) + +Abb. 1.12   Größenvergleiche (oben: Panoramen der Geschichte und heutige Standardgrößen; unten: ­Panoramen der Geschichte bezogen auf einen 17“-Monitor (16:9)) (blau: die Größe des Thun-Panorama; rot: die Größe der Qingming-Rolle; grün: DIN A4 (hochkant); orange: 27“-Monitor (16:9)) + +1.1  Gestaltung & Technik + +21 + +Abb. 1.13   Abbildungsprobleme bei der Zentralprojektion +Die reine Kugelprojektion wird in Abschn. 2.3, dass sich den 360°-Fotos widmet, wieder aufgegriffen werden. An dieser Stelle hier werden zunächst die Abbildungen „der Welt“ auf eine Ebene betrachtet. Dies führt dann zugleich auch zu einer allgemeinen Definition von Panoramabildern: + Definition  Ein Panorama ist ein Ausschnitt aus der Kugelprojektion der Welt rund um einen (Aufnahme)-Punkt, der auf eine Ebene projiziert wird. Der abgebildete Blickwinkel ist dabei größer als der natürliche Blickwinkel des Menschen von etwa 100. +Die unterschiedlichen Arten der Projektion sollen am folgenden Beispiel und in den folgenden Abbildungen erläutert werden. Hier steht der Fotograf auf der Mitte des Platzes sozusagen in seinem Zylinder. Von dort hat er freien Blick in alle Winkel rund um sich herum: +• Der gerade Blick nach vorne ist hier als 0° gekennzeichnet, • der Blick nach rechts mit 90°, • nach hinten mit 180° und • nach links somit mit 270°. +Abstrahiert stellt sich dies wie in Abb. 1.14 dar. Diese Zentralprojektion muss nun entsprechend transformiert werden, damit ein Panorama auf einer Ebene abgebildet wird. In der darstellenden Geometrie wird dies auch als (Mantel-) Abwicklung bezeichnet. Dazu wird die Projektion auf die Kugel (-innenseite) zunächst zur Form eines Zylinders transformiert, der dann abgewickelt wird. Während die Abstände der Blickwinkel nach oben + +22 + +1 Panorama + +Abb. 1.14   Abstrahierte Zentralprojektion + +Abb. 1.15   Abstraktion der Zentralprojektion auf eine Ebene (links) und auf eine Zylinderprojektion als Mantelabrollung (rechts) +und unten bei der Abwicklung der Zentralprojektion gleich groß sind, sind diese Abstände bei der Zylinderprojektion unterschiedlich groß. (Abb. 1.15). +Viele Panoramen begrenzen, wie auch die obigen Beispiele, den Blickwinkel. Es wird ein Bogen von 180° oder 240° gezeigt, der nicht den gesamten Rundumblick abbildet. Technisch ist es, wie später auch noch gezeigt wird, aber durchaus möglich, ein Bild aufzunehmen, dass dem Betrachter die Möglichkeit gibt, sich um 180° nach rechts und auch um 180° nach links zu drehen und so einen kompletten Rundumblick bietet. (Abb. 1.16 und Abb. 1.17) Die Besonderheit besteht darin, dass der Betrachter also kein Ende des Panoramas erreicht, sondern sich vielmehr auch um 360° drehen kann. Daher werden solche Panoramen auch als (→) Endlos- oder 360°-Panorama bezeichnet. + +1.1  Gestaltung & Technik + +23 + +Abb. 1.16   Abstraktion eines Endlos-/ 360°-Panoramas +Abb. 1.17   Endlos-/ 360°-Panorama (Thun-Panorama) + Wichtig  Genau hier zeigt sich die sprachliche Problematik, weswegen ursprünglich mit der Arbeit an dem hier vorliegenden Vergleich begonnen wurde. Der Begriff des 360°-Panoramas wird nicht selten auch für die später noch betrachteten 360°-Kugel-Panoramen benutzt Wer hier also sprachlich ungenau arbeitet, kann sehr schnell in Fehler und Fallen tappen. Selbige Probleme treten unter anderem auch bei schlechter oder fehlender Abgrenzung von 360°Fotos und -Filmen zu Virtual Reality auf! +Die gerade gezeigten Arten der Projektion eignen sich dann, wenn ein Panorama erzeugt werden soll, dass quasi aufrecht vor einem Betrachter zum Beispiel an einer Wand aufgehängt wird. Aber es gibt auch andere, weitere Projektionsarten, die, der Definition des Panoramas entsprechend, einen Blickwinkel von mehr als etwa 100° abbilden. Hierbei „steht“ die Projektionsfläche nicht vor dem Betrachter, sondern sie liegt wie das Segment eines Kreisrings vor ihm, wie es die Abb. 1.28 und 1.29 zeigen. Dies kann häufig an exponierten Touristenspots gefunden werden. (Abb. 1.18) So kann zum Beispiel der reale Blick in die Bergwelt der Alpen geworfen werden, und eine Orientierungshilfe zu geben, in welcher Richtung welcher Berggipfel zu finden ist. (Abb. 1.19) Dies wird häufig mittels (→) Kreisringpanoramen erreicht. + +24 + +1 Panorama + +Abb. 1.18   Panoramafoto (allgemein) (hier: Skyline Singapur (HDR)) + +Abb. 1.19   Kreisringpanorama: Abstraktion (links) und Umsetzung (rechts: Rundsicht von der Altane des Bundesrathhauses) +Ein besonders in den sozialen Medien beliebter Panoramatyp entsteht durch die Steigerung des Kreisringpanoramas ins Extrem. Während, wie auch in den obigen Beispielen zu sehen, das Kreisringpanorama meist Blickwinkel von 180° bis etwa 270° abbildet, wird beim sogenannten (→) Tiny Planet der Blickwinkel auf 360° erweitert. (Abb. 1.21) + +1.1  Gestaltung & Technik + +25 + +Anders aber als beim Endlospanorama erfolgt hier durch die Projektion auf die orthogonale Ebene, also den „Boden“, eine Verzerrung: +• Die Objekte, die sich unterhalb des Horizonts, also zwischen 0° und -90° befinden, werden, je weiter sie gegen -90° gehen, umso mehr gestaucht. +• Die Objekte, die sich oberhalb des Horizonts, also zwischen 0° und + 90° befinden, werden, je weiter sie gegen + 90° gehen, umso mehr gezerrt. + +Je nachdem, auf welcher Höhe der Horizont liegt, kann sich hier auch ein asymmetrischer Verlauf ergeben, wenn zum Beispiel der Horizont nicht in der Mitte bleibt, sondern in die Höhe, also in Richtung des Randes der Kreisfläche gehoben wird. Dies kann bis zur Umkehrung des Tiny-Planet-Effektes geführt werden, sodass der Anschein erweckt wird, es handle sich nicht um einen „Planeten“, sondern um einen Tunnel. Abb. 1.20 +Alle bisher gezeigten Projektionen und Panoramen lassen sich aus der Zentralprojektion ableiten, die den Blick von einem zentralen Standort aus abbildet. Sie lassen sich, mit einer Ausnahme, auf die zum Ende des vorigen Abschnitts eingeführten, sozusagen „klassischen“ Arten von Panoramen anwenden. Die Ausnahme ist das Rheinpanorama, bei dem es sich nicht um eine Zentral-, sondern um eine Parallelprojektion handelt. Um ein solches Panorama zu erzeugen, wird die Kamera nicht um die Achse des Standortes des Fotografen gedreht, sondern die Kamers schaut stets in die gleiche Richtung. Allerdings wird der Standort der Kamera verschoben. Daraus resultiert auch die englische Bezeichnung (→) Multi-Viewpoint-Panorama. (Abb. 1.22) Die so aufgenommenen Bilder können direkt aneinander gelegt werden, denn sie sind theoretisch + +Abb. 1.20   Abstraktionsmöglichkeiten für Tiny Planets + +26 + +1 Panorama + +Abb. 1.21   Tiny Planets (links: St. Gallen; rechts: Lübeck) +Abb. 1.22   Multi-Viewpoint-Panorama +nicht perspektivisch verzerrt. In der Praxis hingegen ergeben sich durch die Kamera- und Objektivgeometrie allerdings oftmals doch Verzerrungen, die eine Vorverarbeitung vor dem Zusammenfügen erforderlich machen. (Abb. 1.23). +Wird die Art der Auslegung des Begriffes Panorama genauer betrachtet, könnte dabei ein Aspekt auffallen. Alle bisherigen Beispiele gehen davon aus, dass die Drehung, die der Mensch zum Aufnehmen und zum Betrachten machen muss, um die sogenannte Longitudinalachse erfolgt. Dies ist durchaus naheliegend, denn wenn davon gesprochen wird, dass wir den Kopf drehen, ist damit üblicherweise die Drehung von rechts nach links oder umgekehrt gemeint. +Allerdings ist es auch durchaus möglich, den Kopf nach oben und unten zu neigen, ihn also um die Horizontalachse zu drehen. So macht der Mensch es in der Regel, wenn er Berge, hohe Bäume oder Gebäude betrachten möchte. Das Ziel besteht auch hier darin, durch diese Bewegung den Blickwinkel zu vergrößern. Der Begriff „Panorama“ und so, wie er allgemein verstanden wird, schließt dies nicht aus. Die theoretischen und abstrakten Betrachtungen gelten auch für diese sogenannten vertikalen Panoramen oder (→) Vertoramen, wie sie seltener auch bezeichnet werden. Einerseits muss hier lediglich eine gedankliche Drehung um 90° vorgenommen werden, um aus dem horizontalen + +1.1  Gestaltung & Technik + +27 + +Abb. 1.23   Abstraktion des Multi-Viewpoint-Panoramas (nach: [AGA06]) +Abb. 1.24   Körperachsen und -ebenen + +28 +Abb. 1.25   Innenansicht eines Kirchenschiffs als vertikales Panorama + +1 Panorama + +ein vertikales Panorama zu machen, wie es Abb. 1.25 zeigt. Andererseits aber müssen hier die Gesetze der Optik und der optischen Wahrnehmung noch mehr beachtet werden, denn vor allem bei der Abbildung von Gebäuden auf einem vertikalen Panorama werden die architektonisch strengen, geraden Linien allzu leicht verbogen. Dies muss schon bei der Aufnahme durch die Wahl des richtigen technischen Geräts, wie zum Beispiel des richtigen Objektivs, berücksichtigt werden. + Wichtig  Der Vollständigkeit halber soll hier nicht unerwähnt bleiben, dass mir (dem Autor) Panoramen entlang der Sagittalachse bisher noch unbekannt sind, was aber nicht heißt, dass es solche nicht zumindest theoretisch auch geben könnte. + +1.1  Gestaltung & Technik + +29 + +Technik der Produktion + +Übersicht Um Panoramabilder zu erstellen, gibt es verschiedene Wege. Letztlich lassen sich diese aber auf eine aus der klassischen Fotografie abgeleiteten Verarbeitungs-Pipeline zurückführen: [BÖH14d] +1. Die Idee und das Auge! 2. Vorbereitung der Aufnahme(n) 3. Die Aufnahme an sich 4. Nachbereitung und Korrektur der rohen (Einzel-) Aufnahmen als Vorbereitung +zum +Zusammensetzen der Ausgangsbilder zum endgültigen Panorama. Panoramabilder können im Regelfalle nicht wie normale, also standardgroße +Fotos präsentiert werden. Sie an exponierter Stelle auszustellen ist sicherlich die geringste Schwierigkeit. Sollen allerdings andere Präsentationsformen oder -kanäle eingeschlagen werden, muss die obige Pipeline um wenigstens einen, möglicherweise aber auch noch weitere Punkte erweitert werden: 5. Umsetzung beziehungsweise Anpassung des Panoramas an die gewählte +Präsentationsform. Spätestens in Abschn. 2.1.3, der sich mit dem Punkt der Interaktion beschäftigen soll, wird dieser fünfte Schritt der Pipeline noch einmal aufgegriffen. + +Schritt 0: Die Idee und das Auge Dazu kann an dieser Stelle wenig Inhaltsreiches gesagt werden. In diesem Schritt stehen die Intuition, die Kreativität und vielleicht auch das technische Know-how des Fotografen im Zentrum. +Schritt 1: Vorbereitung der Aufnahme(n) Die Umsetzung einer Idee in ein „echtes“ Panorama ist nicht nur abhängig vom eigentlichen Vorgang des Aufnehmens an sich. Vielmehr kann das Aufnehmen eines Panoramas nur dann zu einem guten Ergebnis führen, wenn die Aufnahme im Vorfeld gezielt geplant und vorbereitet wurde. Wie später noch näher erläutert wird, besteht das endgültige Panorama in der Regel aus mehreren einzelnen Fotos, die später zusammengesetzt werden. So ist also nicht nur das Bild zum Zeitpunkt der einen Aufnahme wichtig, sondern jedes Bild muss in sich und darüber hinaus zu allen anderen Bildern stimmig sein. So sollte schon bei der Aufnahme darauf geachtet werden, + +30 + +1 Panorama + +• wie lange die Aufnahme aller Einzelfotos voraussichtlich dauern wird, • was sich während dieser Zeit im Bereich der Aufnahme verändern kann und so später +zu Problemen beim Zusammensetzen führt, • wie sich eventuell auch die Lichtverhältnisse und die Schattensituation im Verlaufe +einer länger dauernden Aufnahmeprozedur verändern wird sowie • welche Probleme durch unterschiedliche Helligkeiten und unterschiedliche Ent- +fernungen zu Objekten bei den einzelnen Aufnahmen auftreten können. +Schritt 2: Die Aufnahme an sich Dieser Schritt kann an dieser Stelle relativ schnell abgehandelt werden: es gelten, unter Berücksichtigung der Planung aus dem vorigen Schritt 1, für jede einzelne Aufnahme des späteren Panoramas alle Regeln, die auch bei der Aufnahme jedes anderen Einzelfotos gelten. Beachtet werden sollte hier allerdings, dass die einzelnen Fotos so aufgenommen werden, dass es eine ausreichend große Überlappung zwischen zwei benachbarten Fotos gibt. Für die Größe dieser Überlappung gibt es keine festen Regeln. Professionelle Quellen wie zum Beispiel Whitewall reden aus ihrer Erfahrung von etwa 20 % bis 40 %. [BRU16]. +Schritt 3: Nachbereitung der (Einzel-) Aufnahmen Nach Abschluss der Aufnahme aller Einzelbilder muss jede einzelne Aufnahme nachbearbeitet oder zumindest aber kontrolliert werden. Was im Film (→) Continuity genannt wird, sollte bei einer guten Panoramaaufnahme nicht fehlen. Neben der reinen Qualitätskontrolle und den Bearbeitungen zur Verbesserung der Qualität der einzelnen Fotos steht hier zum Beispiel auch die Kontrolle darauf an, ob zum Beispiel +• genug Überlappung zwischen zwei benachbarten Fotos bedacht wurde, • sich nicht doch Objekte zwischen den einzelnen Fotos bewegen, die das zusammen- +fügen stören könnten oder die ganz allgemein nicht zum späteren Ergebnis passen, • die Beleuchtung und die Schärfe in den Einzelfotos korrekt ist. + +Insbesondere störende und/ oder sich bewegende Objekte sind eine typische Fehlerquelle bei der Umsetzung einer Panoramaaufnahme. (Abb. 1.26) Sind störende Autos und Fußgänger noch leicht zu erkennen, so wird zum Beispiel +• ein Vogel, der durch das eine Foto fliegt und durch die anderen nicht, gerne übersehen, +• der Kondensstreifen eines Flugzeugs, der sich über mehrere Fotos erstreckt und sich während der Aufnahme verändert, häufig zum Problem, +• die kleine Analoguhr im Hintergrund, die ebenfalls die Zeit zwischen den einzelnen Aufnahmen anzeigt, zum Stolperstein. + +1.1  Gestaltung & Technik + +31 + +Abb. 1.26   Potenzielle Fehlerquellen bei Panorama-Aufnahmen (Beispiel-hier: bewegte Objekte wie Menschen am Strand) +Für einzeilige Panorama werden in der Regel etwa zwölf bis zwanzig Bilder benötigt, für die später noch betrachteten Kugelpanoramen gelten etwa 36 Bilder als Untergrenze für gute Ergebnisse. [BÖH14d] Allein diese Zahlen geben schon einen deutlichen Hinweis, warum die Schritte 1 und 2 mit möglichst großer Sorgfalt durchlaufen werden sollten. +Schritt 4: Zusammensetzen der Ausgangsbilder zum Panorama Im zunächst letzten Schritt müssen die Bilder „nur noch“ zusammengesetzt werden. Aus dem Englischen stammt dafür der Begriff des „Stitchens“, der diesen Vorgang in seiner Übersetzung sehr gut beschreibt: das Panorama wird „zusammengenäht“. Leider ist dies allerdings nicht ganz so simpel, wie es sich anhört, denn hier kommen die in den obigen Abbildungen dargestellten Probleme der Optik und der geometrischen Abbildung zum Tragen. Die auf der den jeweiligen Fotoebenen abgebildeten Bildinformationen müssen nun so transformiert werden, dass der sphärische Eindruck des Panoramas nicht verletzt wird. +Jedes einzelne Bild ist aus einer leicht anderen Perspektive aufgenommen als seine Nachbarn, wie auch Abb. 1.27 zeigt. Dies bedeutet auch, dass die geometrischen Abbildungen der Bildobjekte sich unterscheiden und beim Zusammenfügen entsprechend transformiert werden müssen, damit ein nahtloses und (möglichst) fehlerfreies Panorama entsteht. +Alles in allem ist der Arbeitsablauf für ein Panorama damit also durchaus recht aufwendig. Es stellt sich die Frage, ob dies wirklich notwendig ist oder ob es nicht andere, einfachere Wege gibt, ein Panorama zu fotografieren. Ein Ansatz könnte sein, einfach ein ganz normales Foto zu machen und die nicht gewünschten Ränder oben und unten abzuscheiden – fertig ist das Panorama. Was nach einem durch und durch pragmatischen Ansatz klingt, wird tatsächlich auch gemacht. Allerdings nicht, um ein fertiges, + +32 + +1 Panorama + +Abb. 1.27   Von Einzelbildern zum Panorama +­hochqualitatives Ergebnis zu erhalten. Ein einzelnes Foto, auch wenn es mit einer guten – was immer dies auch bedeuten mag – Kamera aufgenommen wurde, hat niemals dieselbe Auflösung und Größe wie ein auf dem oben gezeigten Wege produziertes. Das Ziel dieses Vorgehens besteht in der Regel darin, ein erstes, schnelles, Hilfspanorama zu bekommen, dass helfen kann, die „Problemzonen“ zu finden, auf die dann bei der späteren Aufnahme besonderes Augenmerk gelegt werden muss. +Qualitativ bessere Lösungen ergeben sich durch die Verwendung besonderer Kameras oder besonderer Kamerafunktionen. Letztere finden sich in den Programmfunktionen nahezu jeder aktuellen digitalen Spiegelreflexkamera (DSLR) oder Systemkamera, meist einfach unter der Programmbezeichnung „Panorama“, (→) „Sweep Panorama“ oder ähnlichen. Der Fotograf fokussiert eine Entfernung scharf und dreht sich nun um die (Longitudinal-) Achse. Solange der Auslöser betätigt bleibt, nimmt die Kamera einzelne Bilder auf. Nach Loslassen des Auslösers werden die Bilder dann in der Kamera „gestitcht“. Auch die Kamera-Apps auf mehr und mehr Smartphones bieten diese Funktion an. So gut die Ergebnisse dieser Programmfunktionen auch mittlerweile durchaus sind, so erreichen sie allerdings nur selten die Qualität manuell produzierter Panoramen. Häufig kommt die Programmfunktion mit unterschiedlichen Helligkeiten und mit unterschiedlich weit entfernten Objekten bei diesem automatisierten Prozess nicht zurecht. Die häufigste Fehlerquelle ist allerdings der Fotograf selbst, der solche Programmfunktionen durch eine nicht einheitliche Drehgeschwindigkeit oder auch durch das Verlassen der ursprünglichen Horizontlinie vor nicht korrigierbare Probleme stellt. (Abb. 1.28). +Bessere Ergebnisse liefern „echte“ Panoramakameras, die unter der Bezeichnung 360°-Kameras derzeit in immer größerer Zahl auf dem Markt verfügbar sind. Beispielhaft sind verschiedene Umsetzungen solcher Kamers in Abb. 1.29 dargestellt. Ihr charakteristisches Zeichen ist die Ausstattung mit extremen Weitwinkelobjektiven, eines auf der Vorder- und ein weiteres auf der Rückseite der 360°-Kamera. Diese Anordnung ermöglicht es dann, mit einer einzigen Betätigung des Auslösers gleichzeitig Bilder in beide Richtungen aufzunehmen. Die Vor- und Nachteile dieses Weges und die sich daraus ergebenden Probleme werden in Abschn. 2.2–360° betrachtet. + +1.1  Gestaltung & Technik + +33 + +Abb. 1.28   Panorama mit verschiedenen Stitching-Fehlern (1a & 1b: bewegte Objekte; 2: Geisterobjekte; 3: horizontale Verzerrung (Biegung); 4: vertikale Verzerrung (Neigung); 5: Belichtungsfehler) + +Abb. 1.29   Panorama-Kameras im Vergleich (links: 180°-Kamera im Consumerbereich; rechts: Panorama-Kamera für den (semi-) professionellen Bereich) +Für die Preise besonders im professionellen Bereich gilt, wie in den meisten anderen Bereichen ebenso, dass die Grenzen nach oben offen. Die oben dargestellte professionelle „Kandao Obsidian Pro“ ist (Stand September 2024) je nach Anbieter ab etwa €29.000 erhältlich. Aber auch ohne spezielle Kameras und auch ohne Programmfunktionen können mit normalen, handelsüblichen DSLR oder mit Systemkameras qualitativ hochwertige Panoramafotos produziert werden. Jedoch sollten bei der Aufnahme von Panoramen insbesondere zwei Aspekte berücksichtigt werden, die in der „normalen“ Fotografie in aller Regel nicht so bedeutend sind wie eben hier. Diese beiden Aspekte sind der (→) Nodalpunkt sowie die (→) Hyperfokaldistanz. Werden diese nicht beachtet, stellt sich beim Zusammenfügen der Einzelfotos zum Panorama oftmals dann doch kein optimales Ergebnis ein, obwohl die Einzelfotos an sich jeweils eine gute Qualität zeigen. Grund dafür ist die den Objektiven eigene (→) Distorsion oder Verzeichnung, durch die das aufgenommene Motiv nicht geometrisch gleichförmig über das gesamte Bild + +34 + +1 Panorama + +abgebildet wird. Grund dafür wiederum ist die mittlerweile übliche Konstruktion der Objektive, die keine Symmetrie im Aufbau vorsieht. Deutlich erkennen lässt sich diese Verzeichnung zum Beispiel bei Zoomobjektiven, bei denen es im Weitwinkelbereich durch kurze Brennweiten zu tonnenförmigen sowie im Telebereich durch die langen Brennweiten zu kissenförmigen Verzeichnungen kommt. Diese Art der Abbildungsfehler lässt sich vielleicht durch Auf- oder Abblenden leicht verringern, allerdings nicht gänzlich verhindern. [BÖH14c] Solche Verzerrungen sind für das spätere, mittlerweile häufig automatisierte, Zusammenfügen oftmals problematisch und können dann dazu führen, dass offensichtliche „Nähte“ im Panorama erkennbar sind. +Vorteilhaft ist also für den Einsatzzweck Panorama die Erweiterung der fotografischen Standardausrüstung durch zusätzliche Hardware, die speziell für das Aufnehmen von Panoramen geeignet sind. Neben hochwertigen Objektiven sind dies vor allem +• Stative mit einem Schwenkkopf, der möglichst eine gut ablesbare Gradeinteilung besitzt und eventuell auch noch eine gleichmäßige, leichtgängige und im Idealfall auch automatisierte Bewegung unterstützt, sowie +• sogenannte (→) Nodalpunktadapter, die helfen, den verschobenen Drehpunkt von Kamera und Objektiv auszugleichen. + +Wie so häufig, ist auch diese zusätzliche Ausrüstung nicht neu, sondern sie ist in der Regel dem Fotografen, der sich mit dem Thema noch nie auseinandergesetzt hat, lediglich unbekannt, da sie selten in der allgemeinen Literatur oder im Handel zu finden ist. So beantragte der Fotograf Joseph Puchberger schon 1843 das Patent auf eine Panoramakamera mit einem speziellen Objektiv, bei dem mittels einer Handkurbel die Linse geschwenkt werden konnte. [IND20] 1888 folgte das Patent für John R. Connon, der nicht die Linse alleine schwenken wollte, sondern vielmehr den Drehpunkt der Kamera durch den oben schon erwähnten Nodalpunktadapter verlegte und es damit ermöglichte, auch mit normalen Objektiven und Kameras Panoramen aufzunehmen. (Abb. 1.30) [SOCoJ]. +Anstelle einer langen theoretischen Herangehensweise über die Physik beziehungsweise die Grundlagen der Optik soll die Erklärung des Nodalpunktes hier am praktischen Beispiel erfolgen. Dazu wird zunächst der Blick auf ein Objekt in einer gewissen Entfernung gerichtet. Um den Effekt gut zu erkennen, eignet sich dazu die Ecke eines Gebäudes oder ein entfernter Schornstein gut. Dieses Objekt oder diese Marke wird nun mit einem Auge bei ausgestrecktem Arm anvisiert, sodass der abgespreizte Daumen das „Ziel“ abdeckt. Das andere Auge sollte dabei geschlossen sein. Wird nun der Kopf gedreht, so wird das entfernte Objekt, je nach Drehrichtung rechts oder links, neben dem Daumen wieder sichtbar. Dies geschieht deshalb, weil die auch Augen im Kopf nicht auf dessen Drehachse liegen. +Wird nun zum Vergleich der Kopf in den Nacken gelegt, das entfernte Objekt erneut über den abgespreizten Daumen anvisiert und der Kopf nun gedreht – dabei bitte nicht den Kopf verlieren – wird die Differenz zwischen Daumen und Objekt verringert. Durch + +1.1  Gestaltung & Technik + +35 + +Abb. 1.30   Frühe Ausstattung für Panoramafotografie (links: Kamera mit Schwenklinse (J. Puchberger) [IND20]; rechts: Kamera mit Nodalpunktadapter (J. R. Connon) [IND20]) +die Drehung des Kopfes in den Nacken nähern sich die Augen der Drehachse des Kopfes an, womit die optische Verschiebung zwischen Daumen und entferntem Objekt reduziert wird. [PRAoJ]. +Beim Fotografieren mit einer Kamera tritt dieses Phänomen ebenfalls auf. Die „optische Mitte“ des Objektivs liegt im Normalfall nicht auf der Drehachse der Kamera. So ist das Gewinde, mit der die Kamera auf dem Stativ befestigt wird, zwar in der Mitte des Kameragehäuses angeordnet. Dies entspricht häufig konstruktiv dem Schwerpunkt des Kameragehäuses. An dieses wird jedoch das gewünschte Objektiv angesetzt. Wird nun die Kamera geschwenkt, so vollführt das Objektiv eine kreisförmige Bewegung, was zu unerwünschten optischen Verzeichnungen führt. Die Kamera muss also soweit von der Drehachse verschoben werden, bis die „Mitte“ des Objektivs auf der Drehachse liegt. Dies wird mit dem Nodalpunktadapter erreicht. (Abb. 1.31) Das eine solche Verzeichnung, wenn der Nodalpunkt nicht berücksichtigt wird, zu Problemen beim Zusammenfügen eines Panoramas führen kann, lässt sich leicht zeigen. +Neben den Gesetzen der Optik erschwert oftmals auch die Umgebung, die aufgenommen werden soll, und ebenso die aktuelle Situation die Aufnahme. So sind in der Regel Objekte wie Gebäude oder andere Landmarken nicht alle in gleicher Entfernung rund um den Aufnahmestandort angeordnet. (Abb. 1.32) Bei dem später zusammengesetzten Rundumblick müssen aber alle Objekte scharf abgebildet sein, um den Gesamteindruck nicht zu (zer-) stören. Zumindest Objekte in gleicher Entfernung müssen auch in gleicher Schärfe dargestellt werden. Die Frage für den Fotografen ist nun also, auf welche Entfernung er die Schärfe (-ebene) einstellen und welche Schärfentiefe er wählen soll. + +36 + +1 Panorama + +Abb. 1.31   Bedeutung von Nodalpunkt und Nodalpunktadapter +Abb. 1.32   Entfernungsproblematik für Panorama-Aufnahmen: Idealfall (links) vs. Realität (rechts) +Ein üblicher und hilfreicher Weg für gute Panoramen ist die Nutzung der sogenannten Hyperfokaldistanz. Ein anderer Begriff hierfür ist der „Nah-Unendlichkeitspunkt“, für den eine Definition folgendermaßen klingen kann:  Definition  Die Hyperfokaldistanz ist die an einem Objektiv eingestellte Entfernung, bei der bei einer eingestellten Blende alles von der halben eingestellten Distanz bis unendlich scharf abgebildet wird + +1.1  Gestaltung & Technik + +37 + +Abb. 1.33   Hyperfokaldistanz +Wird am Objektiv zum Beispiel die Entfernung auf 10 Meter eingestellt, so sollen bei gleichbleibender Blende alle Objekte ab einer Entfernung von 5 m bis in die Unendlichkeit scharf zu sehen sein. [RAA15] (Abb. 1.33) Für die Aufnahme von Panoramen ist es somit sinnvoll mit festem Fokus und fester Brennweite zu arbeiten. Ausnahmen davon sollen im späteren Abschn. 2.1.4 angerissen werden, wenn das Storytelling betrachtet wird. +Ebenso wie auf den Autofokus sollte bei der Aufnahme von Panoramen auch auf die Autobelichtung verzichtet werden. Einerseits bereiten Objekte, die auf aufeinanderfolgenden Fotos unterschiedliche Helligkeiten aufweisen, häufig Probleme beim Zusammensetzen. Zudem aber wird auch der Gesamteindruck beim Betrachten des fertigen Panoramas gestört, wenn solche Helligkeitsunterschiede ohne offensichtlichen Grund auftreten. Vermieden werden kann diese durch feste Einstellungen von Blende und Zeit. Hier ist eine gute Vorbereitung der Aufnahme notwendig, bei der auch auf mögliche Beleuchtungs-/ Belichtungsprobleme geachtet werden sollte. Je nach Aufwand und zur Verfügung stehender Zeit für die Aufnahme bieten sich unterschiedliche Lösungen an, wie zum Beispiel der Einsatz zusätzlichen Lichts und Beleuchtungsequipments oder auch die Aufnahme von (→) HDR-Reihen für jede Einzelaufnahme. +An diesem Punkt ist die Vorbereitung abgeschlossen, die all die obigen theoretischen Punkte einschließt. Der nächste Schritt ist die eigentliche Aufnahme. Ist auch diese durchgeführt, müssen die Einzelfotos nur noch zusammengesetzt werden, was in Abb. 1.34 versucht wird. +Obige Abbildung verdeutlicht noch einmal, dass das kleine Wörtchen „nur“, welches sich im letzten Satz vor der Abbildung versteckte, dann doch nicht so ganz korrekt ist. Selbst bei sehr guter Planung und Vorbereitung und bei guter Durchführung der Aufnahme(n) folgt nun die entsprechende Nachbereitung, ohne die ein gutes Panorama nicht entstehen kann: das „Zusammennähen“ der Einzelbilder. [BÖH14d]. + +38 + +1 Panorama + +Abb. 1.34   Ungestitchtes „Panorama“ +Heutzutage geschieht das Stitchen in aller Regel mit Hilfe digitaler Werkzeuge. Dabei werden die Einzelbilder rechnerisch so bearbeitet, dass sie aneinandergefügt werden können. Dieses Anfügen ist aber mehr als das Verkleinern der Ränder der beiden benachbarten Bilder. Vielmehr muss hier auf die Verzeichnung der einzelnen sichtbaren Objekte in den Bildern geachtet werden und diese durch Verzerrung, Verformung und (Teil-) Skalierung angeglichen werden. Je besser die Bilder aufgenommen wurden, desto besser werden auch diese Berechnungen und umso geringer wird der notwendige Aufwand für die finale Retusche ausfallen. [BÖH14d] Diese erfolgt dann mit besagten digitalen Werkzeugen und besteht als Feinarbeit in der Regel aus Schritten wie: +• einer manuellen Korrektur von Unschärfen durch die Stitching-Berechnungen, • einer manuellen (Nach-) Retusche von fehlerhaften Größenberechnungen und ähn- +lichem, • einer manuellen Anpassung von Ton- und Helligkeitswerten sowie • einer optionalen Angleichung an das gewünschte Ausgabeformat. +Auf eine lange Liste von Software-Anwendungen, die dies unterstützen, wird an dieser Stelle bewusst verzichtet, da die digitale Welt äußerst schnelllebig ist. Jedoch haben sich zwei Anwendungen soweit als Standard etabliert, dass davon ausgegangen werden kann, dass sie auch zumindest mittelfristig weiterentwickelt, betreut und vertrieben werden. Dies sind: + +1.1  Gestaltung & Technik + +39 + +• PTGui (Panorama Tools graphical user interface), eine professionelle Software für die Erstellung von Panoramafotos, die zahlreiche Einstellmöglichkeiten und Überblendtechniken integriert. +• Pano2VR, ein Software-Lösung für die Konvertierung von Panoramabildern und, wie der Name schon vermuten lässt, für das Zusammenstellen von Touren durch die erstellten Panoramen. + Wichtig  Für weitere Tools, aber auch für weitere Informationen – nicht nur zum Thema Panoramafotografie, sondern zu allen Themen, die in „Beyond (Multi-) Media“ angesprochen werden und auch zu anderen, verwandten Themen, schauen Sie gerne auf die Begleitseiten zu diesem Buch:https://invisiblecow.de/beyond-multimedia/ + +Panoramafotos, ebenso wie die im folgenden Kapitel 360°-Fotos, bergen gegenüber „normalen“ Fotos noch eine Besonderheit außerhalb der physikalischen und technischen Dinge, die bisher betrachtet wurden. +Durch den großen Bildwinkel bis hin zu dem Extremfall, dass einmal um den gesamten Aufnahmestandort herum alles fotografisch aufgezeichnet wird, ist es oftmals nicht zu verhindern, dass auch Passanten aufgenommen werden. + + Wichtig  Hier sind in der Regel rechtliche Fragen, die unter anderem den Datenschutz betreffen, zu beachten. Dies gilt allerdings nicht immer, denn bei besonderen Arten der Aufnahme wie zum Beispiel der gerade hier besprochenen Panoramafotografie, können zum Teil auch Ausnahmen gelten. Da sich das her vorliegende Buch allerdings vor allem um technische und gestalterische Grundlagen kümmern will, sollen diese rechtlichen Aspekte in allen Themenbereichen ausgeklammert werden. + + Wichtig  Bei diesem Produktionsprozess ergeben sich an verschiedenen Positionen mögliche Fehlerquellen: +• Zu wenige Fotos =  = zu großer abgebildeter Bildbereich pro Foto • Zu wenig Überlappung benachbarter Fotos • Unterschiedliche Belichtung/ Helligkeit • Unterschiedliche Fokussierung =  = unterschiedlich scharf abgebildete +Objekte • Bewegte Objekte wie Autos oder Spaziergänger, die in mehreren Bildern +auftreten =  = „Zwillings“effekt • Bewegte Objekte wie Wellen oder Wolken, die das Stitchen erschweren + +40 + +1 Panorama + +1.2 Wahrnehmung +Allein durch ihre Ausmaße ziehen Panoramafotografien den Zuschauer in ihren Bann. Sie eröffnen die Möglichkeit, mittels nur eines einzigen Bildes einen Überblick über eine Situation zu gewinnen. Der Zuschauer steht an einem zentralen Punkt und kann sich im wahrsten Sinne des Wortes umschauen. Die Wahrnehmung von Panoramafotografien ist ein komplexer und multidimensionaler Prozess, der sowohl kognitive als auch emotionale Aspekte umfasst. Durch ihr breites Sichtfeld, das das normale menschliche Sehfeld oft übersteigt, erzeugen sie ein intensives Gefühl von Raum und Präsenz. Diese besonderen Eigenschaften können das Zuschauererlebnis und auch die Art und Weise, wie ein solches Bild interpretiert wird, stark beeinflussen. Diese Eigenschaften bedeuten aber auch, dass der Zuschauer in der Regel mehr Zeit und kognitive Anstrengung aufwenden muss, um das Bild vollständig zu erfassen und zu verstehen. In diesem Prozess spielt die menschliche Fähigkeit zur Mustererkennung und zur räumlichen Orientierung oftmals eine entscheidende, unterstützende Rolle. +Neben der kognitiven Herausforderung eröffnen die Ausmaße von Panoramen die Möglichkeit, völlig in die abgebildete Szenerie des Panoramas einzutauchen. Möglich macht dies die sogenannte (→) „panoramatische Apperzeption“, die eine spezielle Art der visuellen Wahrnehmung ist. Sie basiert darauf, dass ein Panorama den Rahmen „normalgroßer“ Bilder sprengt und so das Bild gegenüber seinem Zuschauer im wahrsten Sinne öffnet. Er wird eingeladen, in den von ihm betrachteten Bildraum einzutreten und selbst Teil des dortigen Geschehens zu werden. [BOL93] Ein wesentlicher Punkt, damit diese panoramatische Apperzeption gelingen kann, besteht darin, dass der durch ein Panorama angebotene Bildraum sowohl größer ist als das menschliche (→) Gesichtsfeld und als auch als das menschliche (→) Blickfeld. [HOF20b]. +Das Gesichtsfeld beschreibt den Teil der visuellen Umwelt, der bei fixierten und unbewegten Augen wahrgenommen werden kann. Es beinhaltet das zentrale (→) foveale) und das (→) periphere Sehen. Gebildet wird das menschliche Gesichtsfeld durch die beiden nebeneinander angeordneten Augen. Sie erfassen in der Horizontalen einen Bereich von etwa 180° und in der Vertikalen einen Bereich von etwa 120°. Jedoch wird nicht dieser ganze Bereich scharf abgebildet, sondern tatsächlich lediglich nur ein Winkel von etwa 1,5°, was auch ein Grund für die ständigen Bewegungen von Augen und Kopf ist. Diese Bewegungen sind zum größten Teil unbewusst und auch nicht direkt kontrolliert und auch nicht völlig kontrollierbar. Sie vergrößern aber die insgesamt aufgenommenen Informationen und werden im Gehirn zu einem Gesamteindruck verschmolzen. Der Bereich, der mit diesen Bewegungen visuell erfasst werden kann, wird daher als Blickfeld bezeichnet, dargestellt in Abb. 1.35. +Des Weiteren spielt die räumliche Wahrnehmung eine entscheidende Rolle bei der Betrachtung von Panoramabildern. Panoramabilder repräsentieren oft eine dreidimensionale Szene in einem zweidimensionalen Format, und es liegt an unserem Gehirn, diese räumlichen Informationen zu verarbeiten und zu interpretieren. Dies kann + +1.2 Wahrnehmung + +41 + +Abb. 1.35   Gesichts- und Blickfeld (links: vertikal; oben: horizontal) +eine Herausforderung darstellen, insbesondere wenn die im Panorama dargestellte Situation komplex ist oder eine ungewöhnliche Perspektive bietet. +Zudem hat die individuelle Aufmerksamkeitssteuerung einen signifikanten Einfluss auf die Wahrnehmung von Panoramabildern. Aufgrund des breiten Sichtfelds und der Menge an visuellen Informationen, die Panoramen bieten, muss unser Aufmerksamkeitssystem bestimmen, auf welche Bereiche des Bildes es sich konzentrieren will. Dies kann von vielen Faktoren beeinflusst werden, einschließlich der Ästhetik des Bildes, den persönlichen Interessen und Vorlieben des Betrachters sowie von Kontextinformationen, die der Betrachter über die Szene hat. +Die kognitive Wahrnehmung von Panoramafotografien ist ein deutlich komplexerer Prozess als die Wahrnehmung „normaler“ Fotos. Die spezifische Art und Weise, wie die kognitiven Systeme interagieren und zusammenarbeiten, kann erheblichen Einfluss auf die Wahrnehmung und das Verständnis des Panoramabildes durch den Betrachter haben. Das Verständnis dieser Prozesse liefert Einblicke in die menschliche Wahrnehmung im Allgemeinen und kann zur Verbesserung von Techniken und Technologien in der Panoramafotografie beitragen. +Die obige Betrachtungsweise kann vielleicht als sensorische oder als technische Perspektive bezeichnet werden. Der Wahrnehmungsprozess allerdings geht darüber hinaus und mündet in einer emotionalen, durchaus auch psychologischen Ebene, auf der Panoramabilder starke Gefühle und Reaktionen hervorrufen können. Nicht zuletzt dadurch können Panoramen ein Gefühl von Immersion und Präsenz erzeugen, das bei normalen Fotografien in der Regel so nicht erreicht werden kann. Dies kann das Gefühl des "Dabei-Seins" intensivieren und emotionale Reaktionen wie Staunen, Bewunderung oder durchaus auch Ehrfurcht hervorrufen. Darüber hinaus kann die ästhetische Qualität von Panoramafotografien, wie z. B. ihre Farbgebung, Komposition und Lichtverhältnisse, ebenfalls emotionale Reaktionen beeinflussen und zur Gesamtwirkung des Bildes beitragen. Diese Gesamtwirkung kann Gefühle wie Ruhe und Frieden in einer ­natürlichen + +42 + +1 Panorama + +Landschaft, das Gefühl der Erhabenheit und Größe einer städtischen Skyline oder auch das Gefühl von Unübersichtlichkeit und Hektik in einer Großstadtstraße auslösen. [LAN93]. + +1.3 Interaktion +Der Umgang mit klassischen Fotos ist für den Betrachter eng begrenzt. Zwar gibt es neben der im vorigen Abschnitt betrachteten Dimension der Kognition die darauf aufbauenden Dimensionen der ebenfalls schon angesprochenen Emotionalität und noch darüber hinaus soziale, psychologische und ästhetische Dimensionen. Diese lassen sich aber auf eine simple technische Ebene herunterbrechen, denn die einzige Form der Interaktion mit einer Fotografie besteht darin, diese in die Hand zu nehmen und sich vor die Augen zu halten. Zwar kann das Bild um die drei räumlichen Achsen gedreht werden, ob dies jedoch sinnvoll ist, bleibt ungewiss. +Bei Panoramafotografien wird die Interaktion zumindest grundlegend dahingehend erweitert, dass dem Betrachter die Möglichkeit angeboten werden muss, den betrachteten Ausschnitt zu verschieben. (Abb. 1.36) Die Optionen, dies zu erreichen bestehen darin, … +• … dass sich der Betrachter selbst vor dem Panorama bewegt oder • … dass der Betrachter das Panorama bewegt. +Hier zeigt sich nun ein wesentlicher Unterschied. Panoramafotografien, die aus der klassischen, also der analogen, Produktion kommen, lassen in der Regel nur die erstgenannte Form der Interaktion zu. Ein gedrucktes Panoramafoto ebenso wie ein ge- + +Abb. 1.36   Bewegungsoptionen + +1.3 Interaktion + +43 + +maltes ­Panorama lässt es allein wegen der jeweiligen Größe nicht zu, es zu bewegen. In der digitalen Welt hingegen ist dies anders. Ein digitales Bild lasst sich auf jedem Bildschirm durch Benutzerinteraktion bewegen. Die Größe des Bildes spielt dabei keine Rolle. Bei digitalen Präsentationen kommt neben der Bewegung die Möglichkeit des Hinein- und Hinauszoomens in das Bild hinzu. Dies ist allerdings kein Alleinstellungsmerkmal für Panoramafotografie, denn Zoomen ist auch mit Bildern klassischer Größen möglich. Dies bedeutet also, dass die einzigen relevanten Interaktionsmöglichkeiten des Betrachters mit dem Panorama in der Verschiebung des wahrnehmbaren Ausschnitts besteht. +Neue(re) technische Entwicklungen dürfen an dieser Stelle nicht unbeachtet bleiben. Gemeint ist der Trend der Verbreitung von VR-Headsets im Consumermarkt. Auf (oder in) diesen Geräten ist die Präsentation von großformatigen Panoramabildern ebenfalls möglich. Die Verschiebung des wahrgenommenen Ausschnitts geschieht in der Regel durch die Kopf- und die Körperbewegung. Präziser muss hier allerdings gesagt werden, die Wahl des Ausschnitt erfolgt durch die Drehung von Kopf oder Körper. Bewegt sich der Betrachter translatorisch, also seitlich oder nach vorn oder hinten, so verändert sich der Ausschnitt nicht. Der Grund dafür liegt darin, dass die Position des Betrachters dem Standort der Aufnahme entspricht. Bei der Translation des Betrachters nimmt der sozusagen den Aufnahmestandort mit sich mit. (Abb. 1.37) Hierin zeigt sich einer der wesentlichen Unterschiede zu zwischen Panoramafotografie und VR, wie später noch im Detail diskutiert wird. Ein weiterer Unterschied zu VR besteht darin, dass der Betrachter auch stets in der Rolle des Betrachters bleibt. Er kann nicht mit Objekten, die im Panorama abgebildet sind, interagieren, wie ebenfalls in Abschn. 2.3 noch diskutiert werden soll. Einzige das Aufrufen von zusätzlichen Informationen ähnlich dem Klick auf einen Link in einer Webseite ist hier denkbar. [HOF18]. +Ganz bewusst werden hier die spielerischen Interaktionsmöglichkeiten, wie sie zum Beispiel die oben vorgestellten Myrioramen ermöglichen, nicht betrachtet. Dafür müssten der große Bereich der Gamification und der Spielegestaltung berücksichtigt werden – was den Rahmen dieses Buches dann wiederum deutlich sprengen würde. Dennoch soll hier die Webseite des Bill Douglas Cinema Museums der University of Exeter als Anschauungsbeispiel für eine – wenngleich sicherlich nicht die beste – Umsetzungsform des spielerischen Myrioramas genannt werden. [DOU21]. + +Abb. 1.37   Bewegung mit VR-Headset (links: Leinwand an fixierter Position in der VR-Welt; rechts: Leinwand, die dem Blick des Benutzers folgt) + +44 + +1 Panorama + +1.4 Storytelling +Ein Bild sagt mehr als tausend Worte +Auch wenn dieses geflügelte Wort nicht mehr das neueste ist, so ist es doch nicht so alt, wie man sich vielleicht denkt. Kurt Tucholsky machte den Satz 1926 im deutschsprachigen Raum bekannt [TUC26] und übersetzte dazu einen Werbespruch von Fred R. Barnard aus Printers Ink. Von 1921, einer englischsprachigen Werbezeitschrift [BAR21a], den allerdings auch dieser übernommen hatte. Barnard bediente sich bei dem russischen Schriftsteller Iwan Sergejewitsch Turgenjew und dessen Roman „Väter und Söhne“ aus dem Jahr 1862, der darin ursprünglich sagte: „Das Bild zeigt mir auf einen Blick, wozu es dutzende Seiten eines Buches brauchen würde zu erklären.“ [TUR62] Dies ist allerdings nur dann richtig, wenn die Wörter nicht ein unkoordiniertes Sammelsurium ergeben, sondern wenn sich sie in einer geordneten Struktur abbilden. Die beste Wirkung wird sich unbestreitbar dann ergeben, wenn diese Struktur sich zu einer „guten“ Geschichte fügt. +An dieser Stelle soll aber nicht das Attribut „gut“ weiterverfolgt werden, denn dies würde eine intensive Auseinandersetzung mit der Theorie des Geschichtenerzählens und der Spannungs- und Dramaturgieaufbaus voraussetzen. Vielmehr soll in diesem und auch in den folgenden Storytelling-Kapiteln der Frage nachgegangen werden, welche Möglichkeiten sich in den unterschiedlichen neuen Medienformen für das Erzählen von Geschichten eröffnen – und sicherlich soll und wird an der ein oder anderen Stelle auch die Problematik des Zusammenspiels von Spannungsaufbau und Medienform eingegangen werden. +Storytelling ist also eine zentrale Komponente menschlicher Kommunikation und spielt eine ebenso wichtige Rolle in der Welt der Fotografie. [HOF10] Panoramafotografien, die durch ihre Fähigkeit, umfassende und detaillierte Ansichten von Szenen zu bieten, charakterisiert sind, eröffnen besondere Möglichkeiten für das erzählerische Erzählen von Geschichten. +Panoramafotografien können aufgrund ihrer Fähigkeit, ein breites Sichtfeld und eine Fülle von Details darzustellen, eine komplexe und vielschichtige Erzählung ermöglichen. Im Gegensatz zu einem herkömmlichen Foto, das oft einen einzigen Moment oder Aspekt einer Szene einfängt, kann ein Panorama die gesamte Szene in ihrer Breite und Tiefe darstellen. Dies ermöglicht es, verschiedene Elemente oder Ereignisse innerhalb der Szene miteinander in Beziehung zu setzen und eine kohärente und umfassende Geschichte zu erzählen. Dies kann verstärkt werden, wenn eine emotionale Resonanz angesprochen werden kann. Durch den Einsatz von Farbe und Licht, Bildkomposition und anderen ästhetischen Elementen können bestimmte Stimmungen erzeugt werden, die den Betrachter auf eine emotionale Reise mitnehmen. +Zunächst einmal ist Storytelling, also das Finden einer Geschichte, etwas ausgesprochen subjektives und individuelles. Es setzt voraus, dass der Betrachter dazu bereit ist, eine Geschichte – Story – in dem rezipierten Medium zu suchen und diese Geschichte zu formen. Dies kann durch die Gestaltung des Inhaltes unterstützt werden: + +1.4 Storytelling + +45 + + Definition  Auf diesem Wege erzählt der Produzent (hier: der Fotograf) durch das Medium (hier: die Panoramafotografie) dem Rezipienten (hier: dem Betrachter) eine Information, die einer (inneren) Dramaturgie (hier: der Storyline oder der Handlung) folgt +Dem Fotografen bietet das Format der Panoramafotografie mehrere unterschiedliche Ansätze, eine Story in das abgebildete Szenario zu integrieren. +Ein sehr eindrucksvolles Beispiel dafür ist das sogenannte Bourbaki-Panorama in Luzern. Das 1881 von Edouard Castres und zehn Gehilfen zunächst in Genf gemalte und im Jahr 1889 nach Luzern umgezogene Bild zeigt auf einer Fläche von 10 m * 112 Meter die Internierung der Bourbaki-Armee in am Ende des deutsch-französischen Krieges 1870 1871: [BAR21b]. +„Eindrücklich gelingt es [Castres], das langgestreckte Val de Travers auf eine kreisrunde Leinwand zu bringen. Ausschlaggebend für die Wirkung ist […] die Wahl der ‚idealen Mitte‘ des Panoramas. Er konstruiert einen Standort, von dem aus die Landschaft und das Geschehen bis weit ins Tal hinein überblickt werden können.“ +Der Fotograf Hans-Peter Sahrhage hat dieses Gemälde und dessen heutige Präsentation im Bourbaki-Museum in Luzern in die digitale Welt übertragen. [SAH11] Diese digitale Präsentation gibt zum einen Eindruck von der Größe des originalen Bildes und des baulichen Aufwandes, der für seine analoge Präsentation notwendig ist. Z­ ugleich zeigt die digitale Präsentation auch, wie die in den beiden vorangegangenen Kapiteln behandelten Themen der Wahrnehmung beziehungsweise des Eintauchens und der Immersion und die Interaktion ineinanderspielen. (Abb. 1.38). +Das Bourbaki-Panorama erzählt die Geschichte eines Moments. Hier ist es der Moment des Überschreitens der schweizerischen Grenze, des Elends und des Dramas eines jeden einzelnen Soldaten. Der Blick reicht, wenn der Betrachter sich nicht bewegt, vom Vordergrund bis in die Tiefe und damit in die weite Entfernung und erzählt so das grenzenlose Grauen des Krieges. Bewegt sich der Betrachter, so bewegt er sich plastisch durch das Geschehen zu jenem Zeitpunkt im Val de Travers. Deutlich zeigt sich an ­diesem Panorama-Beispiel, wie wichtig die Wahl des richtigen Zentrums des Panoramas ist. Der Betrachter kann sich hier ganz um sich selbst drehen, ohne dabei visuell einmal + +Abb. 1.38   Bourbaki-Panorama (rechts: Ausschnitt aus dem Gemälde; links: Querschnitt durch das Gebäude in Luzern) + +46 + +1 Panorama + +in der Wahrnehmung der Geschichte – der Story – gestört oder beeinflusst zu werden. Hätte Castres einen anderen Standpunkt gewählt, zum Beispiel an der Wand des „Hotel Federal“, wäre ein Eintauchen in die Geschehnisse für den Betrachter deutlicher schwieriger, wenn nicht gar gänzlich unmöglich. +Allerdings wäre es Castres auch möglich gewesen, die Geschichte anders zu erzählen und ihre Wirkung auf einer anderen „Handlungslinie“ zu erreichen. Durch ein Verlagern des zentralen Punktes in die geöffnete Tür zum Beispiel des Eisenbahnwaggons „E1096“, hätte sozusagen ein Szenenwechsel in die Darstellung integriert werden können: + +• Die „ersten“ 180° hätten das Elend der Soldaten im Überblick außerhalb des Waggons und +• im Tal und in der Landschaft gezeigt, • während die zweiten 180° hätten dann ihren Fokus durch den Wechsel in das Innere +des Waggons zum Beispiel auf das persönliche Leid eines einzelnen Soldaten gerichtet hätten. + +Dieses angedachte Beispiel verdeutlicht die Relevanz einer detaillierten Planung eines – guten – Panoramabildes. Das Ziel, also die zu Story, die erzählt werden soll, muss stimmen und die Umsetzung ihrer Präsentation muss zu dieser Story passen. + +Übersicht Die Geschichten, die mit Panoramen erzählt werden können, sind nahezu unbegrenzt. Ihnen allen gemein muss sein, dass die „Storyline“ mit der Umsetzung übereinstimmt. So braucht ein Panorama nicht nur einen Rundumblick zu einem bestimmten Zeitpunkt zu ermöglichen, sondern es kann auch … +• … als (→) Zeit-/ Zeitverlaufs-Panoramen die Drehung um die Achse des Betrachters mit zum Beispiel dem Verlauf der Tageszeit gleichsetzen: – der Blick nach vorn bedeutet morgens, – der Blick nach rechts bedeutet mittags, – und so weiter. +• … als Schärfe-Unschärfe-Panorama eine Geschichte dadurch erzählen, dass verschiedene Objekte, die als Handlungsträger dienen sollen, scharf oder unscharf abbildet. +• … als Bewegungs-Panorama eine Geschichte dadurch erzählen, dass zum Beispiel ein Objekt wie ein Auto oder eine Person mehrfach an verschiedenen Stellen innerhalb des Rundumblicks auftaucht, und – dabei verschiedene Dinge tut, – in unterschiedlichen Zuständen zu sehen ist, oder auch – unterschiedlich weit entfernt vom Betrachtungspunkt auf-taucht. + +1.5 Panorama-Film + +47 + +Der Kreativität sind hier generell keine Grenzen gesetzt. Der Anspruch ist allerdings der, dass der Betrachter möglich auch unvorbereitet mit der Geschichte umgehen können muss. Wichtig ist dabei vor +• der Einstiegspunkt in die Geschichte und • bei welchem Winkel wird die Klimax der Geschichte erreicht und • wie wird der Betrachter aus der Geschichte wieder „herausgeleitet“. +Die Art, wie Betrachter durch die Geschichte geführt wird und welche Interaktionsmöglichkeiten ihm angeboten werden sollen, können oder müssen, sind natürlich eng mit der Wahl der Präsentationstechnik verknüpft. Analoge Präsentationen bieten dazu andere Möglichkeiten als digitale oder hybride Präsentationsformen. +Egal allerdings, welchen Weg er wählt, beginnt jede Story beim Betrachter. Beim ersten Blick auf ein Bild nimmt der Betrachter sofort eine Gesamtwahrnehmung des Bildes auf. Dies geschieht in Sekundenbruchteilen und basiert auf den auffälligsten Merkmalen wie Farben und Formen. Dieser erste Eindruck kann stark von persönlichen Vorerfahrungen und kulturellen Kontexten beeinflusst sein. Nach dem ersten Eindruck beginnt der Betrachter, spezifische Details des Bildes zu untersuchen. Dies kann das Erkennen von Figuren, Objekten und deren Beziehungen zueinander umfassen. Hier werden auch Techniken wie Lichtführung, Perspektive und Farbgebung analysiert. [MAT05]. + +1.5 Panorama-Film +Der Weg vom einzelnen Foto zu einem Film als Abfolge von Fotos ist naheliegend, wie es ja auch der Blick in die frühe Medienentwicklung zeigt. Aus diesem Grunde, sowie auch deswegen, um später die Formate Panorama- und 360°-Film gezielt von VR- und AR-Medien abgrenzen zu können, soll an dieser Stelle nach dem Panoramafoto nun noch kurz der Panoramafilm betrachtet werden. + Wichtig  Wenn, wie eingangs des vorigen Kapitels festgestellt, ein Bild mehr sagt als tausend Worte, … … wieviele Worte sagt dann erst ein Film? Kurz überschlagen hieße dies bei einem durchschnittlichen Spielfilm: 90 min = 90 * 60 s = 5400  s 5400 s * 25 Bilder/Sekunde = 135.000 Bilder 135.000 Bilder * 1000 Wörter = 135.000.000 Wörter + +48 + +1 Panorama + +Zum Vergleich: Die geschriebene Bibel hat, nach Übersetzung, etwa 750.000 Wörter. Dies würde dann bedeuten, dass der gesamte Inhalt der Bibel in einem Film von etwa 5 min zusammengefasst werden könnte. +Wenngleich auch von den reinen Zahlen her betrachtet beeindruckend, kann auf diese Weise allerdings sicherlich nicht an eine Medienproduktion herangegangen werden. Jedes Medium hat eine eigene Charakteristik der Informationsübertragung, sodass eine inhaltliche und wirkungsbezogene Gleichsetzung hier nicht funktioniert. Dies muss auch bei den in diesem Buch betrachteten „neuen“ Medienformen berücksichtigt werden. Daher wäre es sicherlich zu begründen gewesen, jede betrachtete Medienform in einem eigenen Kapitel zu behandeln und so zunächst das Thema Panoramafoto mit den Teilaspekten Gestaltung & Technik, Wahrnehmung, Interaktion und Storytelling alleine zu behandeln und dies mit dem Thema Panoramafilm in einem folgenden Kapitel ebenso zu tun. Allerdings haben Panoramafoto und Panoramafilm zugleich aber so viel gemeinsam, dass darauf an dieser Stelle doch bewusst verzichtet wurde, denn vieles in Bezug auf Gestaltung und Wahrnehmung wäre dabei dann wiederholt worden. So soll der „…film“ hier als Teil des Panorama-Aspektes betrachtet werden. +Wie in der historischen Herleitung der Panorama-Ursprünge gezeigt, trat die Idee, die eigentlich statische Präsentation durch eine gewisse Dynamik noch intensiver und damit noch immersiver zu gestalten, schon früh auf. So waren, wie oben schon näher vorgestellt in der ersten Hälfte des 19. Jahrhunderts Präsentationsformen wie Pleoramen und Cykloramen wahre Publikumsmagnete. Die Dynamik der Präsentation wurde dadurch erzeugt, dass die entsprechend großen beziehungsweise langen Gemälde an den Zuschauern vorbei bewegt wurden und sich für das Publikum so die Illusion einstellte, dass es sich zum Beispiel durch eine Landschaft bewegte. Durch passende Gestaltung des Präsentationsraums zum Beispiel im Stile eines typischen Eisenbahnwaggons, wurde die Immersion verstärkt. +Diese Präsentationsweise ist jedoch nur bedingt mit einer Filmpräsentation verwandt oder vergleichbar. Anders als bei den genannten Pleoramen und Cykloramen, werden beim Film Bilder, die sich nur in Einzelheiten leicht voneinander unterscheiden, im regelmäßigen Wechsel nacheinander gezeigt. Durch die Trägheit des menschlichen visuellen Sinnes entsteht so der Eindruck der Bewegung. Bei genauem Hinschauen fällt es hingegen bei Pleoramen und Cykloramen auf, dass sich der Inhalt der Bilder an sich nicht bewegt. Abgebildete Tiere oder Personen verharren in ihrer gezeichneten Position und Haltung. Dem heutigen Publikum fällt dies in der Regel direkt auf. Für das damalige Publikum hingegen stellten Panoramabilder völlig neue Wahrnehmungserlebnisse dar, die für einen hohen Grad an Immersion ausreichten. Zudem war es zur damaligen Zeit technisch weder möglich, Fotografien in den benötigten riesigen Abmessungen aufzunehmen, noch diese in den entsprechenden Größen wieder zu zeigen und zu ­präsentieren – wenngleich es durchaus schon sehr früh Kameras mit auch heute noch geradezu gigantischen Ausmaßen gab, wie zum Beispiel die „Mammut“ bezeichnete Panoramakamera, die Georg R. Lawrence 1990 entwickelte und die mit einem Gewicht von 635kg bis heute als die größte Kamera ihrer Art gilt. [STI13] (Abb. 1.39). + +1.5 Panorama-Film + +49 + +Abb. 1.39   Das Mammut – die Panorama-Riesenkamera von Georg R. Lawrence +Die ersten Filme, die öffentlich präsentiert wurden, entsprachen im Verhältnis von Höhe zu Breite ihres Bildes in etwa „normalen“ Fotos. In der Frühzeit der bewegten Bilder reichte diese Größe für die Immersion, also das schon genannte Eintauchen in den Film, vollkommen aus, da, wie ebenfalls schon gesagt, da bewegte Bilder für die Zuschauer noch etwas Neues waren. Es fehlte die Erfahrung in Erleben und Wahrnehmung. Diese Erfahrungen wurden jedoch schnell von vielen Leuten gemacht und die Gewöhnung daran setzte schnell ein. Daher wurde auch früh die Idee verfolgt, die Leinwände und damit die Präsentation zu vergrößern, um den Grad der Immersion möglichst hoch zu halten. Ein Weg war dabei die Veränderung des Verhältnisses von Höhe und Breite der Bilder. Die Leinwände wuchsen in ihrer Breite, und mit ihnen wuchsen auch die Filmformate. +Das Jahr 1927 nimmt in dieser Entwicklung mit zwei Meilensteinen eine besondere Rolle ein. Zum einen wurde in diesem Jahr „Napoleon“ von Abel Gance in der Pariser Oper uraufgeführt, der wohl auch heute noch als eines ehrgeizigsten Projekte der Filmgeschichte gelten kann. In 330 min wird der Beginn des Aufstiegs Napoleon Bonapartes gezeigt. Neben der epischen Breite, die sich auch darin zeigt, dass die gesamte Planung für dieses Projekt noch fünf weitere, anschließende Filme umfasste, öffnet dieser Film aber auch mit der Berücksichtigung aller zur damaligen Zeit zur Verfügung stehenden filmischen Techniken neue Wege der Immersion. Nicht nur der Schnitt, die Handkolorierung und auch der Versuch von 3D-Sequenzen waren ihrer Zeit voraus. Berühmt geworden ist dieser Film vor allem wegen seiner Schlusssequenz. Dafür nahm Gance Teile in (→) Polyvision auf, die bei der späteren Aufführung als Triptychon auf drei nebeneinanderliegen-den Leinwänden synchron projiziert wurden. [BRO97] Die Ausmaße dieser Installation überschritten deutlich alle vorhergegangenen + +50 + +1 Panorama + +Abb. 1.40   Der erste Film mit Breitwand-Sequenzen: Napoleon von Abel Gance, 1927 +­Leinwandabmessungen. (Abb.  1.40) Leider gibt es keine belastbaren Informationen darüber, wie das Publikum eine Präsentation solcher Größe aufnahm und wie es darauf reagierte. Es ist aber mit einiger Sicherheit davon auszugehen, dass das Erlebnis die Menschen beeindruckt hat und in die Handlung des Film eintauchen ließ. +Abel Gance konnte nur diesen ersten Teil seines Projektes realisieren, da die Kosten schon für diesen Teil so hoch waren, dass die weiteren geplanten Produktionen gestrichen wurden. Ein weiteres Problem wäre sicherlich daraus resultiert, dass auch der finanzielle und der technische Aufwand für die Vorführung das damalige Normalmaß um ein Vielfaches überstiegen hätte. Hier setzt nun die zweite Entwicklung, die im Jahr 1927 ihren Ursprung hatte, an. Der französische Astronom Henri Chrétien setzte dafür auf der Idee der schon im Mittelalter bekannten anamorphotischen Malerei auf, bei der nur aus einem bestimmten Blickwinkel oder in einem speziell geformten Spiegel zu erkennen sind. [FÜS99] Er übertrug die Idee auf ein Linsensystem, dass es ermöglichte, ein Bild für die Aufnahme optisch zu stauchen und es bei der Projektion optisch wieder zu strecken. Auf diesem Wege konnte das Bildformat mit einem typischen Verhältnis von Höhe zu Breite von etwa 1:1,33 annähernd an die heute auch im Videobereich üblichen Formate 16:9 oder 21:9 verändert beziehungsweise vergrößert werden. Blieb diese Idee des + +1.5 Panorama-Film + +51 + +(→) Anamorphoten (Prinzip: Abb. 1.41; Beispiel: Abb. 1.42) auch mehr oder weniger zunächst nur ein technischer Prototyp mit nur wenigen Kurzfilmen, die in diesem Verfahren realisiert wurden, so griff ab 1950 die Entwicklung des (→) CinemaScope diese Idee auf, entwickelte sie technisch weiter zeigte mit dem ersten Breitwand-Monumentalfilm in diesem Verfahren produzierten Film „Das Gewand“ 1953 die Marktreife des Systems. +Wenngleich auch bei Breitwandformaten wie CinemaScope und den anderen damit verwandten Verfahren, ein erster Schritt zur panoramatischen Apperzeption gemacht wird, da die Leinwand breiter ist als menschliche Gesichtsfeld und auch die Grenzen + +Abb. 1.41   Prinzip des "Anamorphoten" + +Abb. 1.42   Gestauchte und entzerrte anamorphotische Aufnahme + +52 + +1 Panorama + +des Wahrnehmungsfeldes übersteigt, so sind diese Formate doch weit davon entfernt, ein „echtes“ Panorama darzustellen +Die synchronisierte Projektion mehrerer Filme, wie Gance sie für seinen Film „Napoleon“ einsetzte, war diesem „Panorama-Feeling“ deutlich näher. Dies erkannten auch die in der US-amerikanischen Filmindustrie tätigen Fred Waller, Lowell Thomas und Mike Todd, die 1952 am Broadway in New York mit dem Fim „This is Cinerama“ das ebenso benannte (→) Cinerama-verfahren eindrucksvoll vorstellten. [HARoJ] [DEM52] (Abb. 1.43) Dabei wurden drei Filmprojektoren so installiert, dass eine Präsentation über 146° und mindestens 20 m Breite und 8 m Höhe erreicht wurde. Die Synchronisierung der drei Projektoren erfolgte über eine separate Spur auf einem vierten Projektor, über den auch die sieben Tonkanäle gesteuert wurden. +Dieses Verfahren war sowohl erfolgreich als auch beeindruckend. Wenn auch die Technik relativ aufwendig war, so öffneten doch eine ganze Reihe speziell dafür gebaute + +Abb. 1.43   Prinzip der Cinerama-Projektion + +1.5 Panorama-Film + +53 + +Spielstätten. Insbesondere in Freizeitparks waren diese Attraktionen bis in die späten 1980er Jahre sehr beliebt. Hier wurde das Verfahren oftmals auch so weit erweitert, dass sowohl 180°- als vereinzelt auch 360° Vorführungen möglich waren. +Heutzutage werden Verfahren wie Cinerama und ähnliche nur noch an wenigen, besonderen Orten genutzt, wie zum Beispiel in einigen Museen oder an besonderen touristischen Locations, wie zum Beispiel im unten abgebildeten norwegischen Naturzentrum Hardangervidda. (Abb. 1.44). +Bei der obigen Herangehensweise an das Format „Panoramafilm“ ist ein Aspekt bis hierher noch nicht wirklich angesprochen werden, wenngleich er implizit durchaus schon zu erkennen war. Gemeint ist, dass der Aufnahmeprozess für Panoramafotos, wie er mit den vier bzw. fünf Schritten in Abschn. 2.1.1 beschrieben wird, wegen des zeitlichen Aufwandes für eine Filmaufnahme nicht geeignet ist. Die oben genannten Aufnahmeverfahren für Panoramafilme haben dieses Problem dahingehend gelöst (oder umgangen), indem sie mit einer einzigen Aufnahme die gesamte Situation um den Aufnahmestandort herum festhalten. Die technischen Ansätze dafür unterscheiden sich deutlich: + +• Verfahren wie das schon genannte CinemaScope und andere setzen auf das anamorphotische Stauchen und Entzerren der aufgenommenen Bilder, während zum Beispiel +• Lösungen wie das (→) Circarama-Verfahren von Ernst A. Heiniger (Abb. 1.45) auf eine konstruktive Lösung setzen, bei der mehrere Kameras, die in alle Richtungen rund um den Aufnahmestandort gerichtet sind, für die (Film-) Aufnahme synchronisiert werden. + +Die betrachteten Formate, sowohl für Fotos und Bilder als auch für Filme, werden zwar im Volksmund nicht (nur) als Panorama, sondern gerne auch mit Namen wie 180° oder 360° bezeichnet. Dies hat vor allem allerdings marketingtechnische Hintergründe und + +Abb. 1.44   Panoramafilmvorführungen (links: Los Angeles Cinerama: Rollercoaster; rechts: Norwegisches Naturmuseum Hardangervidda) + +54 + +1 Panorama + +Abb. 1.45   Die Kamerakonstruktion des Circarama-Verfahrens nach E. A. Heiniger +führt häufig dazu, dass diese Formate mit „echten“ 360°-Formaten verwechselt werden. Strenggenommen handelt es sich bei diesen Techniken eben lediglich um Panoramen, die auf einem Streifen entweder halb oder ganz um den Zuschauer herum präsentiert werden. Hebt der Zuschauer seinen Blick, oder senkt er ihn, so sieht er Decke oder Boden des Präsentationsraums – und ist somit aus der Immersion wieder in die Realität aufgetaucht. Wie im folgenden Kapitel dann noch näher dargestellt, umfasst das 360°-Format mehr als nur diesen einen Streifen, weshalb es durchaus angeraten ist, die richtige Bezeichnung zu wählen, um Missverständnissen und falschen Erwartungen vorzubeugen. +Wie schon bei „normalen“ Panoramafotos ergeben sich auch bei Panoramafilmen einige potenzielle Stolpersteine: + Wichtig  +• Geringe panoramatische Apperzeption und damit geringe kognitive Immersion bei anamorphotischer Produktion +• Cinerama-ähnliche Verfahren mit mehreren synchronisierten steigern die Immersion, sind aber technisch aufwendig +• Es bleibt bei dem „Streifen“, der zwar rundum läuft, jedoch oben und unten begrenzt ist +• Je größer die panoramatische Apperzeption und je größer der Projektionswinkel, desto schwieriger das Storytelling, dadurch, dass die Blickrichtung des Zuschauers an die Stelle, an der „die Handlung passiert“ gelenkt werden muss. + +360° + +2 + +Inhaltsverzeichnis +2.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 Wahrnehmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.5 Rechtliches, Ethisches … und die Marktreife. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 +Wenn die Panoramadarstellung auf einem Leinwandstreifen rund um den Zuschauer das Eintauchen in die präsentierte Szene erleichtert, so ist der nächste Schritt der Weiterentwicklung naheliegend: der Leinwandstreifen wird in seiner Höhe nach oben und unten soweit erweitert, bis die Leinwand eine Kugel um den Zuschauer herum bildet. Der Zuschauer steht also nun mitten in der Szene, die ihn vollständig in jede Blickrichtung umgibt (Abb. 2.1). +Willkommen in der 360°-Welt +Wie im Eingang zum vorherigen Kapitel gezeigt, ist die Idee der 360°-Präsentation an sich nicht wirklich neu. Mit Georamen und Kosmoramen wurde die Machbarkeit dieser Präsentationsform schon gegen Ende des 19. Jahrhunderts gezeigt. Allerdings werden an diesen Beispielen auch leicht die Probleme deutlich, die den großen Durchbruch dieser 360°-Bilder verhinderten: + +© Der/die Autor(en), exklusiv lizenziert an Springer Fachmedien Wiesbaden GmbH, ein + +55 + +Teil von Springer Nature 2025 + +P. Hoffmann, Beyond (Multi-) Media, X.media.press, + +https://doi.org/10.1007/978-3-658-48567-2_2 + +56 + +2 360° + +Abb. 2.1   Vom „Rund-um-Panorama“ zur „Rund-herum-360°-Welt“ +• Für jede dieser Präsentationen bedurfte es eines eigens dafür errichteten Gebäudes, in dessen Inneren die kugelförmige Präsentationsfläche feste eingebaut war. +• Durch die direkte architektonische Integration der Präsentationsfläche in das Gebäude war die Präsentation an den Ort gebunden und konnte nicht an anderen Orten gezeigt werden. +• Ein Wechsel des Motivs wäre zwar theoretisch möglich gewesen, blieb aber, da es sich in der Regel um großflächige Malereien handelte, ob des daraus resultierenden immensen Aufwandes aus. +Aus diesen Gründen blieb die Zahl der Präsentationen dieser Art zunächst gering. Vor allem bei besonderen Veranstaltungen, die viel Aufmerksamkeit und eine hohe Zahl von Besuchern erwarten ließen, wurden 360°-Präsentationen eingerichtet, wie zum Beispiel bei einigen Weltausstellungen. Hier spielten der technische Aufwand und die Finanzierung keine Rolle. +Erst als die Weiterentwicklung der Projektionstechnik es erlaubte, die Präsentation gemalter Inhalte durch die Projektion fotografisch aufgezeichneter Inhalte abzulösen, stieg die Zahl solcher Vorführungen deutlich an. Zunächst etablierten sich die sogenannten Kuppelkinos als beliebte Publikumsmagnete in Freizeit- und Unterhaltungsparks wie denen von Disney oder in Deutschland im Phantasialand bei Köln. Die weitere Entwicklung stellte kurze Zeit später aber auch stabile und leichtgewichtige Projektoren bereit, die zum Beispiel in Kuppelzelten auf Jahrmärkten zum Einsatz kamen. Bei diesen Präsentationen allerdings wurde nicht eine ganze, sondern nur eine Halbkugel als Projektions- und Präsentationsfläche genutzt. Das Publikum stand auf dem Boden und musste den Kopf in den Nacken legen, um die Fotos und Filme zu sehen. Dies konnte einerseits durchaus unangenehm sein, weil es unbequem war und zu Nackenschmerzen führen konnte. Andererseits wurde so auch ein unterhaltendes Element eingeführt. Indem die Zuschauer frei auf dem Zeltboden standen und tief in die gezeigte Szenerie eintauchten, wurde die Wahrnehmung an einigen Stellen gezielt so gelenkt, dass zum Bei- + +2 360° + +57 + +spiel während der Fahrt mit einem Auto dieses plötzlich abbremste – und das gesamte Publikum einen Schritt nach vorn machte. [PIC07]. +Dennoch blieb weiterhin das große Problem, dass die Technik und ihre Infrastruktur trotz aller Verbesserung und Miniaturisierung recht groß, schwer und unhandlich blieb, bestehen. Für einen gemütlichen 360°-Abend zu Hause – in Anlehnung an die familiären Dia- und Super-8-Abende nach Rückkehr aus dem Urlaub – war mit dieser Technik noch nicht zu denken. Der Durchbruch zu einem großen Markt musste noch bis zur Entwicklung passender digitaler Medienformate, leicht zu bedienender Produktionswerkzeuge und entsprechender Präsentationsanwendungen warten. +Heutzutage sind 360°-Präsentationen in Form von Fotos und Filmen fast schon alltäglich – dem Internet und in hohem Maße den „sozialen Medien“ sei Dank, denn insbesondere letztere öffneten sowohl eine leicht zugängliche und breite Präsentationsmöglichkeit, ohne das zunächst eigene Gebäude dafür errichtet oder Projektionsanlagen eingerichtet werden müssten. Die Präsentation erfolgt auf dem heimischen Bildschirm – womit sich jedoch auch die Wahrnehmung und auch die Interaktion gegenüber der ursprünglichen Idee gewandelt hat, wie in den weiteren Abschnitten noch vertieft betrachtet werden soll. +Ein besonders interessanter Aspekt dieser Entwicklung ist, dass die einst großräumige Installation, die ein leichtes Eintauchen in die präsentierte Rund-herum-Szenerie bot, nun zur kleinen Präsentation auf dem Bildschirm oder gar auf dem Smartphone geschrumpft ist. Aber wenn damit das vollständige Eintauchen in die Szenerie zwar nicht mehr so leicht und nicht mehr so beeindruckend wie damals ist, so hat diese Präsentationsform anscheinend dennoch nichts von ihrer Faszination verloren, denn die Zahl von 360°-Angeboten im Internet wächst stetig. Dies wird unter anderem wahrscheinlich auch daran liegen, dass mit den heutigen Präsentationen nicht nur wie mit den Installationen früherer Zeit vor allem das Publikum beeindruckt werden soll. Vielmehr geht es neben diesem Erregen von Aufmerksamkeit heutzutage auch darum, dem Zuschauer eine Vielzahl von Nutzen anbieten zu können, wie z. B. +• einen Ort oder eine Situation oder möglichst realistisch abzubilden und dem Zuschauer zugleich einen größtmöglichen Grad an (Bewegungs-) Freiheit bieten, +• einen möglichst einfachen Zugang zu ortsgebundenen Informationen anzubieten, • auf Social-Media-Plattformen wie Facebook oder YouTube große Reichweite erzielen +und zugleich den Zuschauer als Benutzer dazu animieren, eigene Inhalte zu teilen oder Bewertungen und Kommentare abzugeben. + +Natürlich sind solche Ziele auch mit anderen Medienformaten umsetzbar, aber der WowEffekt, der sich mit der Rund-herum-Präsentation erreichen lässt, ist bei 360°-Präsentationen deutlich höher. Allerdings stehen diesem Wow-Effekt die Besonderheiten in Gestaltung, Wahrnehmung und auch in der Interaktion entgegen, die dieses Medium mit sich bringen und die für eine erfolgreiche Präsentation berücksichtigt werden müssen. + +58 + +2 360° + +2.1 Gestaltung & Technik +Strenggenommen könnte die Behauptung aufgestellt werden, dass 360°-Präsentationen die Panorama-Idee nur dahingehend erweitern, dass der Streifen der Panoramapräsentation nach oben und unten erweitert wird. Das ist zwar einerseits richtig, ist aber andererseits dahingehend falsch, als dass … +• … der Panoramastreifen, wenn er sich in der Horizontalen um den Zuschauer „krümmt“, diese Krümmung in der Vertikalen nicht aufweist und die Präsentation somit in dieser vertikalen Richtung (→) plan bliebe, während es sich … +• … bei der 360°-Präsentation um die Projektion auf die Innenseite einer Kugel handelt und sich der „Streifen“ eben nicht nur nach oben und unten erweitert, sondern dabei auch derart gekrümmt wird, dass sich die auf 180° gegenüberliegenden Seiten nach oben im (→) Zenit und nach unten im (→) Nadir treffen, wie es in Abb. 2.2 versucht wird darzustellen. +Daraus ergeben sich sowohl für die Aufnahme als auch für die Präsentation und die Vorbereitung der Präsentation Konsequenzen. +Da, wie gerade gesagt, ein 360°-Foto ja „nur“ eine nach oben und unten erweiterte Panoramaaufnahme ist, kann die Abb. 32 (Von Einzelbildern zum Panorama), auf der das prinzipielle Vorgehen für die Aufnahme von Panoramafotos gezeigt wird, so erweitert werden, wie es Abb. 2.2 aufgreift: • Es werden die Einzelaufnahmen auf gleicher Höhe rund um den Aufnahmestandort +gemacht, so wie es bei Panoramaaufnahmen üblich ist. +Dann werden sowohl nach oben und nach unten anschließend weitere „Streifen“ rund um den Aufnahmestandort aufgenommen, bis auch die gesamte Höhe abgedeckt ist. +• Davon ausgehend, dass die Kamera während der Aufnahme auf einem Stativ positioniert ist, wird zum Schluss noch eine Aufnahme senkrecht von oben auf den Untergrund gemacht, um später das Stativ aus der Aufnahme heraus retuschieren zu können. +• Der Perfektionist macht zusätzlich auch noch eine Aufnahme senkrecht nach oben, um auch hier Material für die finale Bearbeitung zu haben. +Ist die Aufnahme eines (guten, hochqualitativen) Panoramas schon aufwendig, so ist eine auf diese Weise entstandene 360°-Aufnahme sowohl in der Vorbereitung als auch bei der Aufnahme und der Nachbearbeitung noch einmal mit mehr Aufwand verbunden. Um diesen Mehraufwand zu reduzieren, wird versucht, die Kamera- und Objektivtechnik für diesen Einsatzzweck zu optimieren und spezielle 360°-Kamera-Konstruktionen zu entwickeln. Dabei haben sich unterschiedliche Ansätze als praktikabel erwiesen: (Abb. 2.3) + +2.1  Gestaltung & Technik + +59 + +Abb. 2.2   Von Einzelbildern zum 360°-Foto + +60 + +2 360° + +Abb. 2.3   Typen von 360°-Kameras (links: mit zwei Linsen (Samsung Gear 360, nicht mehr erhältlich); rechts: mit mehr als zwei Linsen (GoPro Rig)) +• Kameras mit einer Linse, die auf die Nutzung extremer Fischaugen(-Objektive) setzen. Diese Technik ist vergleichbar mit dem im Abschnitt „Panoramafilm“  erwähnten anamorphotischen Verfahren. Der Nachteil dabei ist, dass auf diesem Wege keine vollständigen 360° -Aufnahmen möglich sind, da unmittelbar hinter der Linse des Objektivs stets ein toter Winkel entsteht. +• Kameras mit zwei Linsen, die mit zwei, durchaus auch extremen, Fischaugen(Objektiven), die sich gegenüberliegen, den vollen 360°-Raum aufnehmen können. Die beiden synchronisiert aufgenommenen Bilder müssen dann, ähnlich wie die Panoramaaufnahmen, zusammengefügt, also gestitcht werden. +• Kameras mit mehr als zwei Linsen, bei denen sich die Fischaugen-/ Weitwinkelcharakteristik der einzelnen Objektive mit der Zahl der Objektive verringert. Zwar reduziert sich auf diesem Wege die optische Verzerrung. Dieser Vorteil wird allerdings mit dem Nachteil eingekauft, das zugleich mehr Bilder zusammengefügt werden müssen, was die Gefahr potenzieller Stitchingfehler erhöht. +• Eine Sonderform dieses Vorgehens sind die sogenannten mosaikbasierten Kameras, bei denen keine Kameras mit Weitwinkel-/ Fischaugenobjektiven verwendet werden, sondern Kameras mit Normalobjektiven. Das daraus entstehende „omnidirektionale Gesamtbild“ setzt sich dann aus vielen Fotos mit einem jeweils sehr kleinen Ausschnitt der Gesamtszene zusammen. +• Eine weitere besondere Konstruktion sind Kamerariggs. Diese haben Würfelform haben, und auf jeder Seite dieses Würfels Wird eine Kamera angebracht, die, wie in allen anderen Fällen ebenfalls, synchronisiert, die Szene in allen Richtungen aufnimmt. Eines der ersten Kamera Rigs wurde von GoPro für den Einbau von sechs ihrer Actionscams vorgestellt. Mittlerweile gibt es solche Rig-Konstruktionen auch für andere, professionelle und semiprofessionelle Kameratypen. +Wenngleich die notwendige Technik für die Aufnahme von 360°-Fotos also aufwendiger ist als bei „normalen“ Panoramen“, ist der eigentlich Aufnahmeprozess dennoch vergleichbar. + +2.1  Gestaltung & Technik + +61 + +Schritt 0 … … bleibt die Idee und das Auge. Wie in den folgenden Abschnitten noch ausführlicher dargestellt werden soll, ist für 360°-Aufnahmen die passende Idee (und ihre Umsetzung) jedoch durchaus noch bedeutender, als sie es für „normale“ Fotos und auch für Panoramaaufnahmen ist, denn nicht jede Idee ist auch wirklich für eine 360°-Umsetzung geeignet. + +Schritt 1: … … ist auch bei 360°-Aufnahmen die entsprechend genaue Vorbereitung, die wiederum Planung einschließt: +• Soll das 360°-Foto aus Einzelaufnahmen zusammengestellt werden, so ist der erhöhte Zeitbedarf durch die größere Zahl der notwendigen Aufnahmen zu berücksichtigen. +• Soll das 360°-Foto nur aus zwei Fotos (z. B. mit extremen Fischaugen) zusammengestellt werden, reduziert sich zwar die Zeit für die Aufnahme, allerdings ist der Bereich, in dem keine (visuellen) Störungen auftreten dürfen, deutlich größer und damit deutlich schwieriger zu kontrollieren. + +Schritt 2: … … ist auch für 360°-Fotos die Aufnahme an sich, für die, unter Berücksichtigung der Planung und Vorbereitung aus Schritt 1 für jede Aufnahme alle Regeln, die auch bei der Aufnahme jedes anderen Einzelfotos gelten, zu beachten sind. +Schritt 3 … … ist wiederum die Nachbereitung der Einzelaufnahmen. Der Vergleich zur Continuity im Film, wie er im Panoramakapitel gezogen wurde, gilt auch bei der 360°-Aufnahme: +• Die allgemeine Prüfung beginnt mit der Kontrolle der Qualität der einzelnen Aufnahmen in Bezug auf eine durchgehend gute und einheitliche Beleuchtung und Schärfe. +• Des Weiteren ist es hier noch wichtiger, die „Schnittkanten“ genau zu kontrollieren: – oNicht nur muss beachtet werden, dass sich keine Objekte zwischen den einzelnen Fotos bewegen, sondern … – o… es muss ebenfalls kontrolliert werden, dass wichtige Einzelheiten sich möglichst nicht durch Schnitte auf mehrere Fotos verteilen, da an diesen Stellen die Gefahr von Fehlern beim späteren Stitching besteht. + +Schritt 4 … … schließt mit dem Stitching, also dem Zusammensetzen der einzelnen Aufnahmen den Aufnahmeprozess ab. Hier gilt vielleicht nicht so sehr, dass die einzelnen Bilder aus unterschiedlichen Perspektiven aufgenommen wurden – wenngleich dies insbesondere dann stimmt, wenn die Aufnahme mit mehreren synchronisierten Kameras gemacht + +62 + +2 360° + +wird. Viel bedeutender sind im Kontext der 360°-Thematik allerdings die optischen Verzerrungen durch die extremen Weitwinkelcharakteristika der üblicherweise genutzten Objekte, die durch entsprechende Transformation aufgefangen und korrigiert werden müssen. +Wie schon mehrfach erwähnt, handelt es sich bei einer 360°-Aufnahme um ein sphärisches oder Kugelpanorama. Es wird damit also ein Bildwinkel von 360° in der Breite und 180° in der Höhe wiedergegeben, was also die voll-ständige Innenfläche einer Kugel, in deren Mitte der Aufnahmestandort liegt, inclusive Zenit und Nadir abbildet. Dies bedeutet für das Zusammenfügen, dass die Einzelaufnahmen nicht derart bearbeitet und transformiert werden, dass eine durchgängige Aufnahme auf dem besagten „Panoramastreifen“ entsteht, wie es schon auf den Abb. 19 Abstrahierte Zentralprojektion und Abb. 20 Abstraktion der Zentralprojektion auf eine Ebene (links) und auf eine Zylinderprojektion als Mantelabrollung (rechts)gezeigt wurde. Die Projektion auf die Innenseite eines Zylinders muss also verändert werden zu einer Projektion auf die Innenseite einer Kugel. (Abb. 2.4) Dies geht einher mit einer deutlich erhöhten Komplexität der Bildtransformation. [WIK21g] [ACK21]. +Diese Veränderungen in der Art Projektion und der Projektionsfläche haben weitere wesentliche Veränderungen zur Folge, die sich sehr gut mit dem bekannten Slogan „mittendrin statt nur dabei“ beschreiben lassen: +• Bei der klassischen Fotografie steht die Kamera (und damit der Fotograf oder die Fotografin) vor einer Szene und betrachtet diese von außen. Sie ist also sozusagen „nur dabei“ und schaut unbeteiligt zu. + +Abb. 2.4   Abstraktion der Zentralprojektion auf eine Kugelprojektion + +2.1  Gestaltung & Technik + +63 + +• Auch bei der Panoramaaufnahme nimmt die Kamera noch die unbeteiligte Position ein. Zwar steht sie im Zentrum des Geschehens, blickt aber von dort nur einmal rundum. +• Bei der 360°-Aufnahme hingegen ist die Kamera Teil der Szenerie und steht in deren Mittelpunkt. + +Besonders auffällig ist der letzte Punkt bei solchen Aufnahmen, die mit Kameras mit zwei Fischaugen-Objektiven gemacht werden, wie sie in Abb. 2.5 (Kameras mit zwei Linsen) gezeigt wurden. Die Kamera selbst ist zwar im Regelfalle nicht zusehen, aber … + +• … beim „Blick nach unten“, also zum Nadir, zeigt sich häufig das Stativ, auf dem die Kamera positioniert wurde, und … +• … für den Fotografen bedeutet die Aufnahme oftmals eine besondere Form des „Selfies“, denn auch er ist, sofern er sich nicht versteckt, als Teil der Szene zu sehen. Dies unterstreicht die besondere Bedeutung der detaillierten und genauen Vorbereitung einer guten 360°-Aufnahme. + +Allerdings ist die Einbeziehung von Fotograf und Kamera nicht die einzige Auswirkung der Verschiebung des Aufnahmestandortes in die (aktive) Mitte der Szene und der Öffnung des Erfassungswinkels in alle Richtungen. Vielmehr haben diese beiden Aspekte unmittelbar auch Einfluss auf die Gestaltung der Aufnahme. Arg überspitzt könnte es so ausgedrückt werden: +Der goldene Schnitt … … shit! +Die Szene gestaltet sich selbst, denn bei der Aufnahme wird eben alles abgebildet und nicht ein speziell ausgewählter Ausschnitt, wie es in der klassischen Fotografie der Fall ist. Ein „Anschneiden“ vom Objekten oder von Personen oder eben das Positionieren in den besagten goldenen Schnitt funktioniert bei 360°-Aufnahmen nicht. Besonders wichtige Objekte können lediglich hervorgehoben und gestalterisch unterstrichen werden, indem die Kamera an einem Platz positioniert wird, indem sich das Objekt nahe dem Mittelpunkt, also dem Aufnahmestandort, befindet. Daraus resultiert ebenfalls, dass auch Nah- und Detailaufnahmen nur in ausgesprochen seltenen Fällen realisiert werden können, denn es gibt nur die eine Einstellung „alles rundherum“. +Insbesondere für die Produktion von Filmen bedeutet die Reduzierung auf eine einzige Art der Einstellung eine besondere Herausforderung. Der Wechsel zwischen verschiedenen Einstellungsgrößen, wie er in der klassischen Filmgestaltung üblich ist, ist bei 360°-Filmen ebenso unmöglich wie der Einsatz von Schwenk und Zoom. +Ein weiterer Aspekt hebt die Bedeutung des oben genannten Schritt 2 noch weiter hervor. So, wie die Kamera (und Fotograf und Fotografin) Mitten in der Szene und damit in der Aufnahme sind, so gilt dies auch für alle weiteren Produktionsmittel. Wo sonst + +64 + +2 360° + +Lichtmasten und Mikrofongalgen außerhalb des Aufnahmebereiches platziert werden, sind diese, inklusive der sie bedienenden Personen, bei 360°-Aufnahmen zwangsläufig mit „im Bild“. Daher muss bei der Planung ein großes Augenmerk darauf gerichtet werden, wie diese Dinge versteckt in die Szene gebracht werden können, oder ob sie eventuell als Teil der Szene akzeptabel sind. Eine nicht unbedingt optimale Lösung bietet eine nachträgliche digitale Retusche, um die Fremdkörper aus dem Bild zu entfernen, womit allerdings stets auch Qualitätsprobleme einhergehen. [WID17a][WID17b]. +Um diese Herausforderungen zu meistern schlägt Jessica Brillhart, die sich durch ihre Tätigkeiten als Entwicklerin und Produzentin unter anderem bei Google Apple sowie in ihrem eigenen Produktionsunternehmen VRAI einen Namen als Expertin für immersive Medien, wozu eben auch 360°-Medien zählen, gemacht hat, eine besondere Denkweise für 360°-Produzenten vor. Ihr Ansatz ist es, dass. + Definition  … die „Kamera […] bei der Produktion von 360°-Videos kein reines Werkzeug mehr [sein sollte], sondern […] vom Filme-macher wie ein Mensch behandelt werden [muss]. Der Filmer müsse sich überlegen, welche Behandlung er einem Menschen zumuten würde und welche nicht und diese Überlegungen anschließend auf den Dreh übertragen.“ [BAS16]. + +Mehrere Faktoren sind essentiell für das seit einiger Zeit zunehmende Interesse an 360°-Aufnahmen sowie für ihre ebenfalls zunehmende Verbreitung und Verfügbarkeit. +Zum einen ist dies das vermehrt erhältliche Kameraequipment, dass auch für den Consumerbereich tauglich und erschwinglich ist. Wenngleich von der Qualität nicht mit Profibereich angesiedelt, lassen sich für geringere Ansprüche 360°-Kameras ab etwa 100 € finden. Selbstverständlich ist hier natürlich nicht die beste technische Ausstattung zu erwarten und auch an die Bildqualität und die Qualität der meist mitgelieferten Stitching-Software können hier nicht die höchsten Maßstäbe angelegt werden. Zum anderen zeigt natürlich auch hier die Digitalisierung Wirkung. +Durch die digitalen Möglichkeiten ergeben sich für die Wiedergabe und die Präsentation von 360°-Aufnahmen deutliche Vorteile gegenüber der analogen Präsentation. Gebäude oder fliegende Bauten mit zumindest einem Kuppeldom als Projektionsfläche können heute zwar durchaus auch für digitale Präsentationen noch errichtet werden, sind allerdings zum Glück nicht mehr zwingend notwendig. Auf diese Form wird, wenn überhaupt, dann vor allem für große Einzelveranstaltungen und für feste, langfristig genutzte Einrichtungen wie Freizeit- und Entertainmentparks zurückgegriffen. Statt dieser großen Aufbauten stehen aktuell für die Präsentation zwei andere Wege zur Verfügung: +• die Präsentation mit Hilfe eines (→) Head-Mounted-Displays (HMD) und • die Präsentation am „normalen“ Bildschirm. + +Sowohl die Wahrnehmung der 360°-Aufnahme als auch die Interaktion unterscheiden sich bei beiden Formen deutlich, wie in den folgenden Kapiteln noch beschrieben + +2.2 Wahrnehmung + +65 + +­werden soll. Beide Wege können aber zu eindrucksvollen Ergebnissen und Eindrücken führen. Betont werden muss aber an dieser Stelle auch hier noch einmal, dass die Präsentation einer 360°-Aufnahme mit einem HMD, dass leider häufig auch vereinfacht als „VR-Brille“ bezeichnet wird, nichts mit der „echten“ Virtual Reality zu tun hat, was im späteren Abschnitt dann noch beschrieben werden soll. +Insbesondere die Präsentationsmöglichkeit von 360°-Aufnahmen auf normalen Bildschirmen, zumeist im Webbrowser, trägt zu einer häufigeren Nutzung dieser Medienform bei. Internetplattformen wie YouTube, Vimeo und nicht zuletzt Facebook bieten einfache Zugangsmöglichkeiten, sowohl für das Hochladen und Speichern als eben auch für die Präsentation von 360°-Videos. Hier zeigt sich allerdings schon (wieder) die Schwierigkeit der richtigen Wortwahl, denn auf diesen Plattformen werden 360°-Aufnahmen tatsächlich zumeist als „Videos“ bezeichnet, auch wenn eigentlich „nur“ ein 360°-Foto präsentiert wird. + +2.2 Wahrnehmung +Der oben schon benutzte Slogan „mittendrin statt nur dabei“, der die Charakteristik der 360°-Aufnahmen – egal ob in Form von Foto oder Film – sehr gut beschreibt, weist auch auf das zentrale Ziel dieses Mediums hin. Der Zuschauer ist eigentlich gar kein Zuschauer mehr. Vielmehr befindet er sich eben „mittendrin“ – er ist „eingetaucht“ und damit selbst Teil der Szene, die er gerade wahrnimmt. Diese (→) Immersion kann auf zwei Ebenen interpretiert werden: +• Der Zuschauer ist in das Medium, dessen Präsentation er gerade wahrnimmt, eingetaucht, und … +• … er ist in die Handlung, die in der ihn umgebenden Szene dargestellt wird, eingetaucht. +Ein Eindruck, wie es ihn bei klassischen Fotos und Filmen gibt, dass sich nämlich etwas außerhalb des Sichtbereiche oder „hinter der Kamera“ versteckt, kann sich bei 360°-Aufnahmen nicht einstellen. Der Zuschauer hat die Möglichkeit, sich vollkommen frei umzusehen und so auch die Stellen zu entdecken, die bei den klassischen „Fotos“ im Verborgenen geblieben wären. Diese Freiheit in der Wahrnehmung kann allerdings auch zum gegenteiligen Effekt führen. Zu viele Informationen und Eindrücke fließen zu schnell auf den Zuschauer ein. Besonders problematisch wird dies dann, wenn der Zuschauer davon unvorbereitet getroffen wird. Die Folge ist ein „Information overflow“ – und damit wiederum ist die Immersion unterbrochen. +Der Zuschauer muss also „abgeholt“ und in die Szene eingeführt werden. Werden. Bei klassischen Foto- und Filmaufnahmen geschieht dies über die Wahl des Bildausschnitts, mit der der Fotograf oder Filmer die Wirkung und Wahrnehmung zu beeinflussen versucht. Natürlich besteht auch in 360°-Medien die technische Möglichkeit, + +66 + +2 360° + +Blick und Aufmerksamkeit des Zuschauers zu lenken. Allerdings wird eine zu strenge Reglementierung der Führung vom Zuschauer eher nicht akzeptiert. Dies gilt besonders dann, wenn es sich um mit dem Format gut vertraute Zuschauer handelt, die ein hohes Maß an „Freiheit“ erwarten. Gerhard Schröder von der Agentur K3 beschreibt diese sanfte Art der Lenkung der Wahrnehmung schön und treffend als „Verführung“: [SCH17] +„Statt dem Zuschauer vorzugeben, wohin er schauen soll, laden wir seinen Blick und seine Aufmerksamkeit dazu ein, einer Bewegung oder einem Objekt zu folgen. So wirkt der Aufmerksamkeitsfluss natürlich und stört die Zuschauer nicht.“ +Auf diese Weise, also mit möglichst wenigen Ablenkungen, steigt die Wahrscheinlichkeit, das Ziel der Immersion des Zuschauers zu erreichen, erheblich. Als Beispiel nennt Schröder zum Beispiel eine Person, die über eine Straße geht oder Luftballons, die nach oben steigen, und durch ihre eigenen Bewegungen den Blick des Zuschauers dabei nahezu automatisch mitnehmen und die Aufmerksamkeit auf ein zentrales Objekt lenken. Zudem wird dem Zuschauer auf diese Weise auch Sicherheit in der Szene vermittelt, denn er ist sich schnell über seine Umgebung im Klaren und findest sich schnell zurecht. Zudem kann so auch auf ansonsten störende Hilfsmittel wie eingeblendete Richtungspfeile oder andere Hinweisschilder verzichtet werden. +Nachteilig für die Immersion ist bei 360°-Aufnahmen ein technischer Aspekt, der in den klassischen Präsentationsformen schon lange gelöst ist. Anders als bei diesen Medienformaten gibt es auf Internetplattformen wie YouTube und Facebook lediglich Stereoton. Ein 360°-Audio, wie es bei großen Installationen in Freizeit- und Entertainmentparks üblich ist, fehlt bei den kleineren Präsentationsformen mit der heimischen Technik in der Regel. Somit ist auch kein auditives Verstärken des visuellen Eindrucks oder gar ein Lenken des Zuschauers durch auditive Impulse möglich. Je nach-dem, wie stark die Diskrepanz zwischen der visuellen und der auditiven Wahrnehmung ist, kann sich dies negativ auf die Immersion auswirken. [WID17b]. +Die Wahl der Präsentationsform, also die Wahl zwischen einer Präsentation mit HMD und der Präsentation auf dem heimischen Bildschirm, hat wesentlichen Einfluss auf die Wahrnehmungsintensität und damit ebenfalls darauf, wie leicht Immersion zu erreichen ist, da sich die Wahrnehmungssituationen fundamental unterscheiden. +Die Präsentation am Bildschirm ist die wohl bekannteste und derzeit sicher auch noch die vertrauteste. Nach Nielson [NIE94] muss hier zwar unter-schieden werden in die Lean-back- und die Lean-Forward-Situation, allerdings ist beiden Situationen gemein, dass der Blick des Zuschauers zwar auf den Bildschirm gerichtet ist, er aber dennoch immer noch Dinge visuell wahrnehmen kann, die um ihn herum geschehen. (Abb. 2.5) Damit ist es auch ein leichtes, dass die Konzentration des Zuschauers auf die Präsentation und damit zwangsläufig auch die Immersion gestört wird. Dies geschieht bei der + +2.2 Wahrnehmung + +67 + +Abb. 2.5   Wahrnehmungssituationen (oben links: Lean back; oben rechts: lean forward; unten: dive in (z. B. mittels Headset)) (orange: Informationsfluss; blau: Interaktionsfluss) +Präsentation mit HMD, also in der Dive-in-Situation, nicht. Hier kann es keine visuellen Störungen von extern geben, da der Wahrnehmungsbereich auf die Displays des HMDs beschränkt ist. (Abb. 2.5 unten) Diese Situationen, sowie auch die, auf die im weiteren Verlauf hier bei der Betrachtung der Wahrnehmung der anderen Medienformen noch zurückgegriffen wird, sind ausführlich von Hoffmann untersucht und beschrieben. [HOF20b]. +Einen interessanten Ansatz hat Hudelson in die Diskussion eingeführt, indem er das wahrgenommene Umfeld in verschiedene Zonen eingeteilt hat, wie es in Abb. 2.6 dargestellt ist. Diese Einteilung entstammt zwar eigentlich der Forschung im Kontext von virtueller Realität, kann aber durchaus auch schon hier im Kontext der 360°-Fotografie relevant sein. +Natürlich haben Produzent, Fotograf oder Filmer in der Regel keinen Einfluss darauf, für welchen Weg der Präsentation sich der Zuschauer entscheidet und auf welche Situation er sich damit einlässt. Jedoch sollten sie über die verschiedenen Situationen und die sich daraus ergebenden unter-schiedlichen Wirkungen Bescheid wissen, um zumindest zu versuchen, dies beim Aufbau der Szene während der Aufnahme zu berücksichtigen. Wenn die Aufnahme selbst schon durch einen (zu) unübersichtlichen Aufbau, eine (zu) hektische Situation oder ähnliche Faktoren die Gefahr des Information Overflow und damit eben den Verlust der Immersion bergen, so verstärkt sich diese Gefahr bei den bildschirmgestützten Präsentationsformen noch einmal mehr. + +68 + +2 360° + +Abb. 2.6   Zonen der Wahrnehmung (nach: [HUD17]) +2.3 Interaktion +Die beiden, oben genannten, verschiedenen Arten der digitalen Präsentation von 360°-Inhalten, Bildschirm und HMD, wirken nicht nur in Bezug auf die Wahrnehmung beim Zuschauer unterschiedlich. Vielmehr unterscheiden sie sich ebenso in der Art und Weise, wie der Zuschauer mit der Präsentation interagiert. +Ein wesentlicher Unterschied der Interaktion mit 360°-Medien zur Interaktion in der später noch betrachteten Virtuellen Realität liegt darin, dass bei den 360°-Medien die Interaktion lediglich eine solche mit der Präsentation selbst ist und keine Interaktion mit dem präsentierten Inhalt, oder anders ausgedrückt: +• der Zuschauer interagiert mit dem Medium, • er interagiert NICHT mit der Story. + Wichtig  Egal, wie die Interaktion technisch abgebildet ist, hat sie stets das Ziel, dass der Zuschauer sich in der ihn vermeintlich umgebenden Szene umschauen kann. Jedoch kann er diese Szene in keiner Weise verändern. + +2.3 Interaktion + +69 + +Dies bedeutet wiederum eine starke Reduzierung des technischen Aufwandes für die Interaktion, da lediglich die Navigation in der Szene für den Zuschauer möglich sein soll, und diese Navigation selbst besteht nur darin, dass er seinen einen Blick um die +• Longitudinalachse und die • Horizontalachse und strenggenommen auch um die • Sagittalachse + +(zur Erläuterung der Achsen siehe auch Abb. 29) drehen können muss. Für die Interaktion mit 360°-Inhalten ist nicht einmal eine Translation, also eine Veränderung im Sinne einer Verschiebung des (Betrachtungs-) Standorte notwendig. Letztlich ist diese auch gar nicht sinnvoll, da der Zuschauer ja an genau der Stelle positioniert ist, an der sich die Kamera bei der Aufnahme befand. +Bei der Präsentation auf dem normalen Bildschirm, zum Beispiel im Fenster eines Webbrowsers, kann dazu die Maus, die Tastatur oder das Touch-Display selbst genutzt werden. Gefordert ist hier allerdings, dass der Betrachter eine gewisse Abstraktionsfähigkeit mitbringt. Diese ist dazu not-wendig, die Bewegung der Maus oder auch des Fingers auf dem Display, die auf einer Ebene, also zweidimensional, stattfinden, in die drei Dimensionen der 360°-Szene zu übertragen. Hier zeigt sich sehr gut das Problem: +• Aus der Bewegung der Maus, also einer Translation, nach rechts und links wird in der Regel eine Drehung um die Horizontalachse abgeleitet, und … +• … aus der Bewegung der Maus nach vorne und hinten wird eine Drehung um die Longitudinalachse abgeleitet. + +Allein dies bedarf schon einer Abstraktion, die der Benutzer verstehen muss und die er nachvollziehen kann. Dies wird natürlich dadurch erleichtert, dass diese Abstraktion mittlerweile durchaus üblich ist. Schwierig wird es allerdings nun, wenn auch noch die Drehung um die Sagittalachse abgebildet werden soll, denn hier fehlt bei der typischen Maus eben die dritte Dimension beziehungsweise die Dimension, entlang der die Maus – oder auch der Finger auf dem Touch-Display – verschoben werden kann. Ist die erforderliche Abstraktionsleistung für die Übersetzung von Maus zum Medium zu groß, beeinflusst dies die Wahrnehmung und stört so die Immersion. (Abb. 2.7). +Weniger Störungen auf die immersive Wirkung ergeben sich bei der Interaktion mit der Präsentation in einem HMD. Ist das Störpotenzial auf die Immersion schon dadurch, dass die visuelle Wahrnehmung auf die Displays des HMDs, die sich unmittelbar vor den Augen des Zuschauers befinden, reduziert, so ist auch die Interaktion deutlich natürlicher und intuitiver als bei der Präsentation auf einem Bildschirm, was zur weiteren Reduzierung des Störpotenzials beiträgt. +Die gängigen Head-Mounted-Displays sind in der Regel mit einem oder mehreren (Gyro-) Sensoren ausgestattet, die die Bewegung des HMD registrieren. Eine Drehung des Kopfes, oder auch des ganzen Körpers, wird somit in eine Drehung der dargestellten + +70 + +2 360° + +Abb. 2.7   Übertragung der Interaktion auf drei Dimensionen (links: Abstraktion 1: von zwei auf drei Dimensionen: rechts: Abstraktion 2: von zwei auf drei Dimensionen) +Szene übersetzt. Das Medium verhält sich also genau wie es die reale Umwelt bei einer Drehung von Kopf oder Körper ebenfalls macht. Es bedarf also keiner Abstraktionsleistung des Zuschauers. +Einige 360°-Präsentationssysteme erweitern die Navigation innerhalb der Szene durch einen Aspekt, der für eine andere Medienform charakteristisch ist. Gemeint sind damit die sogenannten „Panorama-Touren“, wie sie zum Beispiel mit Werkzeugen wie „Pano2VR“ produziert werden können. Hier können in der Präsentation Bereich definiert werden, die, wenn der Zuschauer diese aktiviert, dazu führen, dass ein Wechsel der Szene eintritt. Der Zuschauer verlässt auf diesem Wege seinen aktuellen Betrachtungsstandort und wechselt zu einem anderen. Auf diesem Wege kann der Zuschauer dann geführten Touren zum Beispiel durch Gebäude folgen. Die Aktivierung eines solchen Standortwechsels geschieht in der Regel wie im normalen Webbrowser dadurch, dass ein Cursor auf den definierten Bereich gebracht und ein Mausklick ausgelöst wird. Diese Art der Mediencharakteristik wird im späteren Abschnitt "Hyper Hyper ..." der sich mit den sogenannten Hypermedien auseinandersetzt, besprochen. +2.4 Storytelling +Eigentlich könnte dieses Kapitel sehr kurz gehalten werden: + Wichtig  Alles, was bisher über Storytelling in, mit und durch Panoramen gesagt wurde, gilt eins-zu-eins auch für 360°-Inhalte. +Die einzige Erweiterung, die dabei vielleicht noch berücksichtigt werden könnte, wäre, dass der Betrachter jetzt eben auch noch nach oben und unten schauen kann. + +2.4 Storytelling + +71 + +Dieser Ansatz ist natürlich nicht ganz ernst gemeint, allerdings stimmt es schon, dass das Storytelling in Panoramen mit dem Storytelling in 360°-Inhalten sehr eng verwandt ist. In diesem Kapitel soll aber das, was oben schon beschrieben wurde, noch ein wenig erweitert werden. Im früheren Kapitel wurde bewusst nicht unterschieden in PanoramaFoto und Panorama-Film. Dies soll nun aber hier geschehen. +Grundsätzlich könnte gesagt werden, dass 360°-Fotos eine Art Zwischenschritt zwischen dem normalen Foto und einem Video darstellen. Dadurch, dass der Zuschauer nicht mit einem Blick die gesamte aufgenommene Situation erfassen kann, ist er gezwungen, sich im 360°-Raum umzusehen. Zwar verändert sich in der Präsentation nichts, ganz genau wie sich auch auf einem klassischen Foto nichts verändert, allerdings muss entweder der Zuschauer sich selbst oder aber das Bild bewegen, um es in Gänze erfassen zu können. Insofern könnte in gewisser Weise hier von einer nicht-statischen Präsentation gesprochen werden. Wenn allerdings nun schon das sich inhaltlich nicht verändernde Foto seine statischen Eigenschaften dynamisiert, so stellt die Auseinandersetzung mit einem 360°-Film eine nochmals größere Herausforderung dar. Christian Jakubetz drückt dieses Dilemma so aus: +„Der Kniff dabei ist: Natürlich sind 360-Grad-Videos kein klassisch interaktives Format. Als linear kann man sie aber auch nicht gerade bezeichnen.“ [Jak20] +Bei den klassischen, linearen Medien wird für den Aufbau einer spannen-den Geschichte in aller Regel auf das Dramaturgiemodell, dass Aristoteles für seine Poetik entwickelte oder eine der vielen darauf basierenden Entwicklungen wie zum Beispiel die von Syd Field, gesetzt. [ARI07], [FIE87], [FIE03] Das Storytelling 360°-Medien folgt zwar in der Regel den gleichen Prinzipien wie auch das klassische Storytelling, und generell ist ein solcher Spannungsaufbau für 360°-Geschichten sicher auch ebenso sinnvoll. Allerdings müssen die Stolpersteine, die sich aus dieser 360°-Charakteristik ergeben, berücksichtigt werden. Wenn auf der einen Seite für den Produzenten oder den Fotografen gilt, dass er sich nicht verstecken kann, so gilt eben auf der anderen Seite damit auch, dass der Zuschauer alles sehen kann. Der Zuschauer hat die Freiheit, sich selbstbestimmt im Raum umzuschauen und diesen „auf eigene Faust“ zu erkunden. [SCH17] Je erfahrener er im Umgang mit dem Medium ist, wird er diese Freiheit auch erwarten. Der Verlust dieser Freiheit könnte also schon zu einem Bruch der Immersion führen. +Während bei klassischen Foto- und Videoformaten der Fotograf Bildauswahl und -ausschnitt bestimmt und festlegt, was der Zuschauer zu sehen bekommt, und auf diese Weise Stimmung und Wirkung von Bildern und Videos gestaltet, gibt es diese Möglichkeit bei 360°-Medien nicht: + Wichtig  Aristoteles … ... steht hinter Dir! + +72 + +2 360° + +Und damit geschehen die Dinge, die die Geschichte interessant machen und sie vorantreiben möglicherweise gerade dort, wo der Zuschauer nicht hinschaut. Die oben schon genannte Jessica Brillhardt schlägt deshalb vor, dass Produzenten von 360°-Inhalten statt in Bildausschnitten besser in Bildwelten denken sollten. In diesen Welten sollte der Produzent die verschiedenen Interessenspunkte betonen und hervorheben, auf die der „Besucher“ seinen Blick richten kann. [BAS16] Mit diesem Wechsel der begrifflichen Bezeichnung weg vom „Zuschauer“ hin zum „Besucher“ unterstreicht Brillhardt die auch in „Beyond Hypertext“ schon beschriebene Problematik der neuen Rolle des Publikums [HOF20a]: +• Nahm früher der Zuschauer einzig die passive Rolle des Beobachters ein, so … • … wechselt der Besucher dadurch, dass er selbstbestimmt seinen Blick frei schweifen +lassen kann, in eine aktive Rolle. + +Als Hilfe und Werkzeug zur Planung unter Berücksichtigung der zu erzählenden Story nutzt Brillhart kein Storyboard, wie es in der 2D-Produktion die Regel ist, sondern sie bezeichnet ihre Art der Planung als „Storykreis“, der ihr hilft, die Interessenspunkte in einer 360°-Umgebung besser zu visualisieren. Sie zeichnet dazu nicht nur die Interessenspunkte selbst, sondern auch deren Relation zum Blickwinkel des Besuchers ein. Brillhart ist dies deshalb wichtig, weil sie den Standpunkt vertritt, dass der Besucher einer 360°-Welt selbst zum Geschichtenerzähler innerhalb dieser Welt wird. Die ehemalige Rolle des Geschichtenerzählers, die in aller Regel der Produzent und/oder sein Produktionsteam innehatte, mutiert nun zur Rolle des Weltenerschaffers. [BAS16]. +360° bedeutet, wie gerade schon gezeigt, dass die Geschichte im gesamten Raum ihren Verlauf finden kann. Allerdings verlangt diese Freiheit vom Produzenten zugleich aber auch, dass er das Fingerspitzengefühl haben muss, den Zuschauer – den Besucher! – nicht zu überfordern. Bei zu viel paralleler Aktivität kann der Zuschauer schnell den Überblick verlieren – und damit eventuell auch essentielle Teile der Geschichte verpassen. Daher muss die Geschichte nachvollziehbar sein und sich Schritt für Schritt entwickeln, damit alle gewünschten Informationen vermittelt werden. Dezent eingebaute Hinweise wie Schilder, sich bewegende Protagonisten oder auch, wenn 360°-Sound von der Präsentationstechnik unterstützt wird, akustische Signale können hier zur Lenkung der Wahrnehmung auf die wichtigen Teile der Handlung genutzt werden. +Allerdings ist auch diese Lenkung wiederum eine nicht ganz einfache Sache und kann schnell zur Verwirrung des Zuschauers und damit dem Verlust der Immersion führen. Was im Film in der Regel sicher hilft, nämlich ein „Guide“, der aus dem Off die Handlung erzählt, wird in 359:1 Fällen im 360°-Medium nicht funktionieren. Der Produzent weiß schlicht und ergreifend nie mit absoluter Sicherheit, wohin der Zuschauer denn tatsächlich gerade blickt. Dann sind ist ein Satz wie „Und hier sehen wir jetzt …“ ziemlich verwirrend oder gar störend. [JAK20]. +Es ist sicherlich nicht falsch, wenn gesagt wird, dass diese neuen Möglichkeiten 360°-Medien zu einer neuen Kunstform machen. So sind 360°-Videos schon aufgrund + +2.4 Storytelling + +73 + +ihrer Immersion eine eigenständige Form des Films und gehorchen gänzlich anderen Regeln. Wie bei jeder neuen Kunstform sollte also auch hier ein zentraler Fehler vermieden werden. Dinge, die bei einem klassischen Foto oder einem klassischen Film funktioniert haben, müssen zunächst einmal auf ihre Wirkung im neuen Medium untersucht werden, bevor sie stumpf eins-zu-eins übernommen werden. +Neben der Frage, wie 360°-Geschichten erzählt werden sollen, ist eine weitere Frage ebenso naheliegend: Welche Geschichten können – oder sollten – in 360° erzählt werden – und welche nicht. 360°-Medien haben sich, nicht zuletzt dank der Integration in die Social-Media-Plattformen, mit großer Geschwindigkeit etabliert. Die Zeiten scheinen schon lange vorbei, dass allein ein Musikvideo wie das zu dem 2010 erschienen Stück „Salt in the Wounds“ der australisch-britischen Drum-and-Bass-Band Pendulum die Zuschauer in Begeisterung versetzte. (Abb. 2.8). +Vielmehr ist heutzutage in bestimmten Bereichen und in bestimmten Themengebieten 360° geradezu eine Selbstverständlichkeit, wie zum Beispiel im Tourismus oder auch für die Präsentation von archäologischen Ausgrabungsstätten. Diese steigende Zahl von An- + +Abb. 2.8   Das erste 360°-Musikvideo: „Salt in the Wounds“ von Pendulum, 2010 + +74 + +2 360° + +wendungen bedeutet zugleich aber auch eine Steigerung der Erwartungshaltung und der Ansprüche der Zuschauer, die erfüllt werden wollen. Es reicht heutzutage nicht mehr, einfach mal die 360°-Kamera hoch- und auf das Motiv draufzuhalten. Schon bei diesem Satz fällt auf, dass hier ein anderes Denken zwingend notwendig ist: + Wichtig  Motiv? Welches Motiv? Wir reden hier über die ganze Szene rund um die Kamera herum! + +Selbstverständlich kann – theoretisch – 360° überall eingesetzt werden. Es bleibt aber fraglich, ob damit wirklich echter Mehrwert gegenüber einem „normalen“ Bild oder einem normalen Film generiert wird. Der Vorteil, dass sich der Zuschauer am Aufnahmestandort umsehen kann, muss nicht zwingend ein Vorteil sein: +• Mal nimmt eine Wand die Hälfte des sichtbaren Bereiches ein. • Mal sind die Interessenpunkt zu weit auseinander, als dass sich daraus eine Ge- +schichte ergeben würde. • Mal ist es schlicht nur ein einziger Interessenpunkt und das restliche Wahrnehmungs- +feld ist für die Geschichte uninteressant. + +Übersicht Der oben ebenfalls schon erwähnte Christian Jakubetz hat diese Herausforderungen in drei Fragen zusammengeführt, die der 360°-Produzent vor einer Produktion bedenken sollte: [JAK20]. +1. Gibt es einen Wow-Effekt? Jakubetz bezieht sich hier auf die mittlerweile klassische 5-Shot-Regel der Videoproduzenten, nach der jede Sequenz eine Perspektive, ein Panorama oder ein Bild enthalten soll, das dem Zuschauer ein „Wow“ entlockt. Jakubetz sagt ganz kurz und knapp: „Ohne „Wow“ keine 360°!“ +2. Lohnt es sich? Jakubetz dreht diese Frage zum besseren Verständnis um und fragt: „Würden Sie an den Ort, den Sie gerade filmen wollen, privat einen guten Freund mitnehmen, weil er das unbedingt mal gesehen haben muss?“ Oder reicht vielleicht auch ein ganz normales 16:9-Video? +3. Bringe ich den Nutzer dazu, sich auch tatsächlich das ganze Panorama anzusehen? Dies ist – nicht nur nach Jakubetz – die zentrale Frage jeder 360°-Produktion: „Das tollste 360-Grad-Video ist nämlich nur so mittelgut, wenn man damit nichts anderes machen kann als sich ein bisschen umzusehen.“ + +2.5  Rechtliches, Ethisches … und die Marktreife + +75 + +An dieser Stelle kann sich der potentielle 360°-Produzent an der etablierten „New York Times“ orientieren, die über mehrere Monate auf der Startsete ihrer Webpräsenz die Rubrik „Daily 360“ mit ansprechenden Inhalten zu füllen versuchte. Mittlerweile ist diese Rubrik wieder geschlossen, was durchaus ein Zeichen dafür sein kann, dass sich nicht jedes Thema für 360° eignet und die Zahl der Themen möglicherweise doch begrenzter ist, als man es sich landläufig vorstellt. + +2.5 Rechtliches, Ethisches … und die Marktreife +Als ob die Herausforderungen in Technik, Gestaltung und Storytelling nicht schon umfassend genug seien, soll an dieser Stelle nun noch (kurz!) auf rechtliche Aspekte aufmerksam gemacht werden. Schließlich bringt eine 360°-Aufnahme das Problem mit sich, dass eben ein Rund-herum-Blick abgebildet wird – und damit auch leicht Dinge und Personen aufgenommen werden, die eigentlich nicht das Ziel der Abbildung waren. Aber genau daraus können möglicherweise schnell Probleme entstehen. +Es geht hier natürlich nicht um Aufnahmen aus dem privaten Heim. Vielmehr werden sicherlich die meisten 360°-Aufnahmen, egal ob Foto oder Film, draußen, also im sogenannten öffentlichen Raum, gemacht. Von den Gebäuden, die diesen Raum ausmachen, können durchaus rechtliche Probleme ausgehen, denn ganz allgemein liegt das Urheberrecht eines Bauwerks zunächst einmal beim Architekten, ganz so, wie es einer Statue beim Bildhauer oder bei jedem anderen Kunstwerk beim jeweiligen Künstler liegt. Nach dem Urheberrecht dürften Fotos von Gebäuden oder Kunstwerken nicht kommerziell veröffentlicht werden. Zum Glück gilt aber im deutschen Recht der Begriff der „Panoramafreiheit“. Diese Panoramafreiheit besagt, dass Fotos urheberrechtlich geschützter Werke veröffentlicht und vermarktet werden dürfen, sofern sie von öffentlichen Wegen und Plätzen aus fotografiert wurden und sich bleibend an diesem Ort befinden. Um ganz sicher zu gehen, muss an dieser Stelle nun ein Blick auf die rechtliche Bedeutung des Begriffes „öffentlich“ geworfen werden. Die deutsche Rechtsprechung legt diesen Begriff so aus, dass jeder Ort, der ohne Zutrittsbeschränkung betreten werden kann, als öffentlich gilt. Ein Ort ist in der Regel dann nicht öffentlich, wenn … +• … Eintritt bezahlt werden muss, um an diesen Ort zu gelangen, … • … er durch ein Tor, betreten werden muss oder wenn … • … der Zutritt durch einen Zaun oder ähnliche Einrichtungen behindert wird. +Die Zuhilfenahme von Leitern oder gar von Drohnen zur Umgehung dieser Hürden ist nach deutschem Recht ausgeschlossen. [RAU17]. +Allerdings ist öffnet der Begriff „öffentlich“ nicht in jedem Falle einen Freibrief für Fotografen und Medienproduzenten. Ein einschränkender Faktor ist die Frage, ob es sich bei einem abgebildeten Werk um ein bleibendes Werk handelt oder nicht. Wie schwierig diese Beurteilung für den juristischen Laien sein kann, zeigt sehr anschaulich die Ver- + +76 + +2 360° + +hüllung des Berliner Reichtags im Juni/ Juli 1995. Natürlich ist der „Reichstag“ als Gebäude von öffentlichen Wegen einsehbar, und das Gebäude an sich ist sicher auch ein bleibendes Werk. Nicht bleibend allerdings war die von Christo vorgenommene Verhüllung, die nach zwei Wochen wieder entfernt wurde. Somit dürfen Fotos, die den verhüllten Reichstag zeigen, nicht ohne Weiteres veröffentlicht oder gar kommerziell genutzt werden. [22PoJ]. +Die Diskussion des Begriffes „kommerziell“ wird an dieser Stelle bewusst nicht weiter verfolgt, denn dazu gibt es von verschiedenen deutschen Gerichten unterschiedlichste Auslegungen. So kann zum Beispiel auch der private Blog als kommerziell angesehen werden, wenn darauf ein Werbebanner enthalten ist, um damit die Betriebskosten des Blogs zu decken. +Noch schwieriger wird die juristische Beurteilung, wenn neben Gebäuden und Bauwerken auch noch Personen abgebildet werden. Gerade bei 360°-Aufnahmen wird es sich nicht immer vermeiden lassen, dass, vor allem wenn von öffentlichen Plätzen mit dichtem Publikumsverkehr aus fotografiert wird, Personen mit aufgenommen werden, die unabsichtlich in das Bild geraten sind. Insbesondere die Einführung der DSGVO hat hier zu einer großen rechtlichen Verunsicherung geführt. Vor der intensiven Auseinandersetzung mit entsprechender Rechtsliteratur mag vielleicht eine pragmatisch-ethische Herangehensweise hilfreich sein: Vor jeder Aufnahme möge sich der Fotograf oder Produzent selbst befragen, ob es für ihn in Ordnung wäre, an dieser Stelle und zu dieser Zeit ungefragt aufgenommen und (fotografisch) verewigt zu werden. [RAU17]. +Ein anderer Aspekt neben dem (unbeliebten, aber dennoch wichtigen) rechtlichen Aspekt ist die grundlegende Frage, ob 360° nicht vielleicht doch einfach nur ein Hype ist, dem man in Zukunft zwar immer mal wieder begegnet, der aber doch keine hohe Relevanz haben wird. Kristian Widmer hat dazu den in der IT häufig genutzten Gartner Hype-Cycle zum Thema 360°-Medien untersucht. [WID17a]. +Das Gartner-Institut ist ein Marktforschungsinstitut mit dem Schwerpunkt IT. Der von Gartner entwickelte Hype-Cycle versucht aufzuzeigen, welche Phasen der öffentlichen Aufmerksamkeit neue Technologien bei deren Einführung durchläuft. Gartner definiert beim Hype-Cycle fünf solcher Phasen, die eine neue, innovative Technologie bis zu ihrer Marktreife durch-läuft. + +Übersicht • Phase 1: der technologische Auslöser, einhergehend mit ersten Informationen +um ein neues Produkt mit ungeahnten technischen Möglichkeiten, • Phase 2: der Gipfel der überzogenen Erwartungen, rund um den die ersten Pro- +dukte (oder deren Prototypen) dem Markt mit viel Wirbel vorgestellt werden, • Phase 3: das Tal der Tränen, in dem sich herausstellt, wieviel heiße Marketing- +Luft rund um die eigentliche Innovation er-zeugt wurde, • Phase 4: der Pfad der Erleuchtung, auf dem die verbleibenden innovativen An- +sätze für sinnvolle Anwendungen adaptiert werden, + +2.5  Rechtliches, Ethisches … und die Marktreife + +77 + +• Phase 5: das Plateau der Produktivität, auf dem sich die erfolgreichen Produkte dann endlich vermarkten lassen. + +Widmer behauptet 2017, dass sich „VR 360 Videos“ (hier darf der Hinweis nicht fehlen: Vorsicht mit dem Begriff „VR“!) auf dem Weg in das Tal der Tränen und damit in der dritten Phase des Hype-Cycles befinden: „Während Zuckerberg und Zalando noch vor Freude geschrien haben, mehrte sich die Kritik an der Technologie. 2016 schloss Facebook die Türen des eigenen VR-Animationsstudios für VR 360 Video und reduzierte die Verkaufspunkte seiner VR-Brillen.“ +Zwar mischt auch Widmer (wie so viele so häufig) 360° mit VR, aber generell kann seine Interpretation des Hype-Cycle sowohl in Bezug auf die 360°-Medien als auch in Bezug auf VR-Anwendungen durchaus als optimistisch bezeichnet werden, denn beide Medienformen befinden sich nach ihm gerade auf dem Weg ins Tal der Tränen. Und diesem Tal folgt dann die eigentliche produktive Zukunft. [WID17a]. + +Virtual Reality + +3 + +Inhaltsverzeichnis +3.1 Gestaltung & Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3.2 Wahrnehmung. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3.3 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.4 Storytelling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 3.5 Cyber Sickness. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 + +Genau wie das vorige Kapitel soll auch dieses Kapitel beginnen, denn letztlich kann, wie später deutlich werden wird, Virtual Reality aus Sicht der Medienentwicklung als Erweiterung der 360°-Medien betrachtet werden. Wenn die 360°-Darstellung auf der Innenseite einer Kugel rund um den Zuschauer das Eintauchen in die präsentierte Szene verstärkt, so ist der nächste Schritt der Weiterentwicklung naheliegend: da die Leinwand nicht mehr erweitert werden kann, soll der Zuschauer nun selbst in die Szene eingreifen können. Der Zuschauer ist also nicht mehr nur passiv, sondern kann aktiv seine Umgebung beeinflussen. +Willkommen in der Virtuellen Realität. +Eigentlich ist VR also genau wie 360°, da die Szene den Zuschauer visuell vollständig umgibt. Zugleich aber ist VR auch mehr, da der Zuschauer nicht mehr Zuschauer bleibt, sondern ganz im Sinne von Jessica Brillhardt zum „Mitwirkenden“ wird. [BAS16] Das Ziel, ihn solcherart einzubeziehen ist – wieder einmal – die Immersion des Zuschauers in das Medium. +Leider taugt das bisher Gesagte als Definition von Virtueller Realität ebenso wenig wie viele andere Beschreibungen in Literatur oder Internet. Ein Grund für die vielen + +© Der/die Autor(en), exklusiv lizenziert an Springer Fachmedien Wiesbaden GmbH, ein + +79 + +Teil von Springer Nature 2025 + +P. Hoffmann, Beyond (Multi-) Media, X.media.press, + +https://doi.org/10.1007/978-3-658-48567-2_3 + +80 + +3  Virtual Reality + +unterschiedlichen Definitionsversuche liegt darin, dass VR keinem klassischen Medienansatz entspricht und genügt. Zudem besteht eine „funktionierende“ virtuelle Realität aus mehr als einem dargestellten Inhalt, sondern es bedarf einer ganzen Reihe von verschiedenen Technologien, die erst im Zusammenspiel die VR entstehen lassen. Aus all diesen Medien- und Technologieperspektiven heraus wird aber versucht, eine Definition zu finden, was im Regelfalle eher nicht mit Erfolg beschieden ist. [OLI18] Einer der besten Ansätze zur Beschreibung von VR ist der von Brill, nach dem VR „eine mittels Computer simulierte Wirklichkeit oder künstliche Welt [ist], in die Personen mit Hilfe technischer Geräte sowie umfangreicher Software versetzt und interaktiv eingebunden werden.“ [BRI09] In dieselbe Richtung geht Böhringer, der aber deutlich herausstellt, dass die in der VR dargestellten Inhalte die reale Welt in vielen Elementen nachbilden kann, dies aber nicht muss, sondern auch vollständig „virtuell“ sein kann. Diese Elemente können nach diesem Ansatz „realitätsnah, stilisiert oder auch unrealistisch sein.“ [BÖH14d]. +Wie schwierig das Aufstellen einer korrekten Definition von VR ist, zeigt Palmer Luckey, der als Gründer von Oculus VR und Entwickler der Oculus Rift durchaus als vom Fach bezeichnet werden kann. Allerdings unterläuft auch ihm ein Fehler, wenn er „VR als eine stereoskopische Perspektive mit deutlich erhöhter Sichtweite“ beschreibt, die dem Benutzer „das Gefühl vermittelt, Teil einer virtuellen Welt zu sein.“ [BBC02] Dieses Gefühl ist allerdings unabhängig von einer solchen Perspektive, da es eine solche in der Kognitionswissenschaft gar nicht gibt. +Um zumindest ein besseres Gefühl für das, was VR sein soll(te), zu bekommen, ist die Herangehensweise von Paul Milgram hilfreich. Sein Team und er stellten 1994 das sogenannte Realitäts-Virtualitäts-Kontinuum (RVK) vor, dass Abb 4 zeigt. [KIS94]. +Dieses zeigt auf der linken Seite die reale Realität, die ausschließlich aus realen Elementen und Wahrnehmungen besteht. Hier können die „normale“ Fotografie, die Panoramafotografie und letztlich auch die 360°-Fotografie verortet werden. Auch wenn die und letztlich auch Ihr Gegenüber steht auf der linken Seite die „Virtuelle Realität“, die wiederum vollständig aus digitalen Elementen und Wahrnehmungen besteht. Alles zwischen diesen beiden Extremen bezeichnen Milgram und sein Team als () „Mixed Reality“ (MR), die sich aus einer Kombination von realen und digitalen Elementen und Wahrnehmungen in unterschiedlichen Verhältnissen zusammensetzt:(Abb. 3.1). +• Überwiegen die realen Elemente die digitalen, so wird hier von angereichter Realität, oder () „Augmented Reality“ (AR) gesprochen, die im folgenden Kapitel noch im Detail betrachtet werden soll. +• Überwiegen hingegen die virtuellen Elemente die realen, so wird dies als angereicherte Virtualität oder „Augmented Virtuality“ bezeichnet. +Die Übergänge innerhalb dieser Mixed Reality sind fließend und werden je nach Anwendung und je nach Definitionsansatz unterschiedlich ausgelegt. Ebenso unterschiedlich ist die Auslegung der beiden Extrempunkte. So wird durchaus unterschiedlich + +3  Virtual Reality + +81 + +Abb. 3.1   Das Realitäts-Virtualitäts-Kontinuum: von realer Welt zum Metaversum [HOF24] +­diskutiert, wo die digitale Anreicherung denn nun tatsächlich beginnt, und ob nicht ein Bildschirm, der Informationen aus der digitalen – also einer virtuellen – Welt zeigt, auch schon eine Anreicherung der Realität mit digitalen Informationen darstellt. Ebenso umstritten ist die Auslegung der hundertprozentigen Virtualität, denn strenggenommen kann diese unter Berücksichtigung der menschlichen Wahrnehmung nicht erreicht werden – außer es gelänge in Zukunft, in einer virtuellen Realität auch solche Wahrnehmungen wie die Schwerkraft abzubilden und zu verändern. Heutzutage ist dies wohl einer der Anker der Wahrnehmung, der beständig ist. [HOF24]. +Der obige Definitionsansatz zeigt, dass es, um die als Ziel genannte Immersivität zu erreichen, notwendig ist zu berücksichtigen, dass „die VR“ mehr ist als „nur“ ihre mediale Darstellung. Vielmehr braucht es [SHE03] [OLI18] +• die virtuelle Welt mit ihren Informationen an sich, • ein sensorisches Feedback, dass über die übliche visuelle/ grafische Darstellung +hinausgeht sowie • die Möglichkeit der Interaktion zwischen inhaltlichen Elementen der virtuellen Welt +und noch einmal darüber hinaus • die Möglichkeit der Interaktion des Benutzers – also des früheren Zuschauers – mit +den Elementen der virtuellen Welt, wozu ebenfalls gehört, dass • der Benutzer sich selbständig durch die virtuelle Welt bewegen und damit seinen () +„Point-of-View“ (POV), also seinen Stand- und Sichtpunkt, verändern kann. +Durch die Einführung des Begriffes () der Freiheitsgrade, im Englischen Degree of Freedom, kurz DoF, des Benutzers für den gerade zuletzt genannten Punkt wird der Unterschied zwischen 360° und VR besonders deutlich: + +82 + +3  Virtual Reality + +• Bei 360°-Medien hat der Benutzer 3 DoF und damit die Möglichkeit zur Rotation um die drei Achsen x, y, und z, also horizontal, vertikal und sagittal. +• Bei VR hingegen hat der Benutzer 6 DoF, weil der sich nicht nur um die Achsen drehen, sondern seinen Standort auch noch entlang aller Achsen verschieben kann. +Bei näherer Betrachtung wird schnell klar, dass die in den obigen Definitionsansätzen beschriebene mediale Weiterentwicklung nur auf Basis einer sehr starken technischen Grundlage möglich war und ist. Dennoch beginnt auch hier die Geschichte deutlich früher als es wahrscheinlich vielfach vermutet wird. Erstaunlich ist, dass die Idee von künstlichen (Daten-) Welten, wie sie heute unter dem Begriff VR oder auch dem verwandten Begriff () Cyberspace verstanden wird, ihren Ursprung nicht in den Visionen von Science-Fiction-Schriftstellern hat. Vielmehr sind es Techniker, die den Begriff VR vordachten und prägten. +Allgemein wird häufig gesagt, dass das Konzept der Virtuellen Realität erstmalig von Ivan Sutherland in seinem Beitrag „The Ultimate Display“ zum IFIP-Kongress (International Federation for Information Processing) 1965 beschrieben wird. [SUT65] Auf drei Seiten stellt Sutherland die Interaktion und die notwendige Benutzungsschnittstelle als Basis für ein grundlegend neues Interaktionsparadigma vor. Dabei wird allerdings in der Regel der Filmemacher und Kameramann Morton Heilig vergessen. Er hatte in den frühen 1950er Jahren die Vision, dass Kino nicht nur auf der Leinwand stattfinden sollte, sondern das der Zuschauer auf allen Sinneskanälen in das Geschehen einbezogen werden sollte. Seine Ideen arbeitete er soweit aus, dass er 1955 ein Patent für das „Sensorama“ erhielt, ein sperriges mechanisches Gerät, dass dem Zuschauer eine immersive und multisensorische Präsentation bot. (Abb. 3.2) Mittels ... +• eines stereoskopischen Farbdisplays, • eines Lüfters, • eines „Geruchsstrahlers“, • eines Stereo-Soundsystems und eines • beweglichen Stuhls +simulierte Heilig mit dem Sensorama eine Motorradtour durch New York. Der Zuschauer nahm dafür auf einem imaginären Motorrad Platz und sah über das stereoskopische Display die Straßen, die er befuhr, spürte dabei den vom Ventilator erzeugten Wind, hörte den simulierten, aufgezeichneten Lärm der Stadt und kam auch in den Genuss ihres Geruchs. Das Gerät wurde aufgrund des technischen Aufwandes sowie auch wegen der hohen Kosten für die aufwendige Medienproduktion nur einmal gebaut. [HEI62][WIKoJ] Dennoch aber hat sich Morton Heilig mit dem Sensorama sowohl als Vater der multimodalen Präsentation und Interaktion sowie auch als eigentlicher Vater der Virtuellen Realität in die Bücher der Technikgeschichte eingetragen. + diff --git a/storage/FAQZVUQ8/.zotero-ft-info b/storage/FAQZVUQ8/.zotero-ft-info new file mode 100644 index 0000000..bd68662 --- /dev/null +++ b/storage/FAQZVUQ8/.zotero-ft-info @@ -0,0 +1,13 @@ +Title: Beyond (Multi-) Media +Author: Peter Hoffmann +Producer: Springer-i +CreationDate: 08/09/25 10:24:41 +ModDate: 08/09/25 17:31:57 +Tagged: yes +Form: AcroForm +Pages: 249 +Encrypted: no +Page size: 476.22 x 680.315 pts (rotated 0 degrees) +File size: 24690258 bytes +Optimized: yes +PDF version: 1.7 diff --git a/storage/FI4CETHW/.zotero-ft-cache b/storage/FI4CETHW/.zotero-ft-cache new file mode 100644 index 0000000..4589fb3 --- /dev/null +++ b/storage/FI4CETHW/.zotero-ft-cache @@ -0,0 +1,243 @@ +J. Mol. Bid. (1981) 147, 195-197 + +Identification of Common Molecular Subsequences + +The identification of maximally homologous subsequences among sets of long + +sequences is an important problem in molecular sequence analysis. The problem is + +straightforward + +only if one restricts consideration to contiguous subsequences + +(segments) containing no internal deletions or insertions. The more general problem + +has its solution in an extension of sequence metrics (Sellers 1974; Waterman et al., + +1976) developed to measure the minimum number of “events” required to convert + +one sequence into another. + +These developments in the modern sequence analysis began with the heuristic + +homology algorithm of Needleman & Wunsch (1970) which first introduced an + +iterative matrix method of calculation. Numerous other heuristic algorithms have + +been suggested including those of Fitch (1966) and Dayhoff (1969). More mathemat- + +ically rigorous algorithms were suggested by Sankoff (1972), Reichert et al. (1973) + +and Beyer et al. (1979) but these were generally not biologically satisfying or + +interpretable. Success came with Sellers (1974) development of a true metric measure + +of the distance between sequences. This metric was later generalized by Waterman + +et al. (1976) to include deletions/insertions + +of arbitrary length. This metric + +represents the minimum number of “mutational events” required to convert one + +sequence into another. It is of interest to note that Smith et al. (1980) have recently + +shown that under some conditions the generalized Sellers metric is equivalent to the + +original homology algorithm of Needleman & Wunsch (1970). + +In this letter we extend the above ideas to find a pair of segments, one from each of + +two long sequences, such that there is no other pair of segments with greater + +similarity (homology). The similarity measure used here allows for arbitrary length + +deletions and insertions. + +Algorithm + +The two molecular sequences will be h=alaz . . . an and IZj= blb, + +b,. A + +similarity a(a,b) is given between sequence elements a and b. Deletions of length k + +are given weight Wt. To find pairs of segments with high degrees of similarity, we set up a matrix H. First set + +Hto = Ho, = 0 for 0 I k I n and 0 I 1 I m. + +Preliminary values of H have the interpretation of two segments ending in ai and bj, respectively. relationship + +that H, is the maximum similarity These values are obtained from the + +Hij=max{Hi-,,j-1+S(ai,bj), + +~F,X {Hi-k,j- W,}, ~2" {Hi,j-,- W,}, 0}, (1) + +1 lilAS + +The formula for H, follows by considering the possibilities + +segments at any ai and b,. (1) If ai and bj are associated, the similarity is + +for ending the + +Hi-l,j-l +s(ai,bj). + +(2) If ai is at the end of a deletion of length k, the similarity is + +Hi-k,j-Wk + +(3) If bj is at the end of a deletion of length I, the similarity is + +Hi-k,j- cc',. + +(4) Finally, a zero is included to prevent calculated negative similarity, indicating no similarity up to ai and bj.t + +The pair of segments with maximum similarity is found by first locating the +maximum element of H. The other matrix elements leading to this maximum value +are than sequentially determined with a traceback procedure ending with an +element of H equal to zero. This procedure identifies the segments as well as +produces the corresponding alignment. The pair of segments with the next best +similarity is found by applying the traceback procedure to the second largest, +element of H not associated with the first traceback. +A simple example is given in Figure 1. In this example the parameters s(aibj) and +W, required were chosen on an a priori statistical basis. A match, ai = bj, produced +an s(aibj) value of unity while a mismatch produced a minus one-third. These values have an average for long, random sequences over an equally probable four letter set +of zero. The deletion weight must be chosen to be at least equal to the difference +between a match and a mismatch. The value used here was Wk= 1=0-t-1/3*k. + +A + +0.0 0.0 0.0 0.0 04 0.0 0.0 0.0 0.0 04 0.0 04 04 04 + +A + +0.0 0.0 1,o 0.0 04 04 04 0.0 04 0.0 0.0 0.0 1,o 04 + +A + +0.0 0.0 1.0 0.7 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1.0 0.7 + +L7 + +0.0 0.0 0.0 0.7 0.3 0.0 I.0 04 04 04 I.0 1.o 0.0 0.i + +G + +0.0 0.0 04 + +1.0 0.3 0.0 04 + +0.i + +1.0 0.0 0.0 0.7 0.7 I .o + +c + +0.0 I .o 0.0 o-o 2.0 1.3 0.3 1.0 0.3 2.0 0.7 0.3 0.3 0.3 + +( + +0.0 1.0 0.1 0.0 1 .o 3.0 1.7 1.3 I.0 1.3 1.i 0.3 0.0 04 + +A + +0.0 0.0 2.0 0.1 0.3 1.7 2.7 I.3 + +1.0 0.i + +1 4 + +1.3 I .3 0.0 + +u + +0.0 0.0 0.7 1.7 0.3 E- + +2.1 2.3 1.0 0.5 1.7 2.0 I 4 + +1.0 + +u + +0.0 0.0 0.3 0.3 1.3 I .o 1.3 2.3 2.0 0.7 1.7 2.7 1.7 I .o + +G + +0.0 0.0 0.0 l-3 0.0 1 .o 1.0 G + +3.3 2.0 1.7 1.3 1.3 2.i + +A + +0.0 0.0 1 .o 0.0 I.0 0.3 0.7 0.7 56 3.0 I .i I.3 2.3 2.1) + +c + +~ 0.0 1.0 0.0 0.7 1,O I.0 + +0.7 1 ,7 1.7 3.0 1.; + +1.3 I.0 2.0 + +G + +0.0 0.0 0.7 1.0 0.3 0.7 1.7 0.3 2.i + +I.7 23 + +2.3 1.0 2.0 + +G + +0.0 0.0 0.0 1.7 0.7 0.3 0.3 1.3 1 ,3 1.3 1.3 2.3 24 2.0 + +FK:, 1. Hij matrix generated from the application ofeqn (1) to the sequences A-4-U-G-(‘-(!-$-~‘-~~(~-.~~ + +C-G-G and C-A-G-C-C-U-C-G-C-U-U-A-G. + +The underlined elements indicate the trackback path fkom the + +maximal element 3.30. + +t Zero need not be included unless there are negative values ofs(a.b) + +LETTERS TO THE EDITOR + +197 + +Note. in this simple example, that the alignment obtained: + +-G-C-C-A-U-U-G-G-C-C-UU-C.G- + +contains both a mismatch and an internal deletion. It is the identification of the latter which has not been previously possible in any rigorous manner. +This algorithm not only puts the search for pairs of maximally similar segments on a mathematically rigorous basis but it can be efficiently and simply programmed on a computer. + +Northern Michigan University + +T. F. SMITH + +Los Alamos Scientific Laboratory P.0. Box 1663, Los Alamos N. Mex. 87545. U.S.A. +Received 14 July 1980 + +M. S. WATERMAN + +REFERENCES +Beyer, W. A., Smith, T. F., Stein. M. L. & Ulam, S. M. (1979). Math. Biosci. 19, 9-25. Dayhoff. M. 0. (1969). Atlas of Protein Sequence and Structure, National Biomedical Research +Foundation, Silver Springs, Maryland. Fitch, W. M. (1966). J. Mol. Biol. 16, 9-13. Needleman, S. B. & Wunsch, C. D. (1970). J. Mol. Biol. 48, 443-453. Reich&. T. A., Cohen, D. N. & Wong, A. K. C. (1973). J. Theoret. Biol. 42, 245-261. Sankoff, D. (1972). Proc. Nat. Acud. Sci., U.S.A. 61, 44. Sellers. P. H. (1974). J. Appl. Math. (Siam), 26, 787-793. Smith, T. F., Waterman, M. S. & Fitch, W. M. (1981). J. Mol. Evol. In the press. Waterman. M. S., Smith, T. F. & Beyer, W. A. (1976). Advan. Math. 20, 367-387. + +,Votp added in proof: A weighting similar to that given above was independently developed by Walter Goad of Los Alamos Scientific Laboratory. + diff --git a/storage/FI4CETHW/.zotero-ft-info b/storage/FI4CETHW/.zotero-ft-info new file mode 100644 index 0000000..5ce3ed4 --- /dev/null +++ b/storage/FI4CETHW/.zotero-ft-info @@ -0,0 +1,13 @@ +Title: PII: 0022-2836(81)90087-5 +Creator: Acrobat 4.05 Capture Plug-in for Windows +Producer: Acrobat 4.05 Import Plug-in for Windows +CreationDate: 08/18/03 18:13:35 +ModDate: 09/19/03 18:46:57 +Tagged: no +Form: none +Pages: 3 +Encrypted: no +Page size: 468 x 684 pts (rotated 0 degrees) +File size: 179287 bytes +Optimized: yes +PDF version: 1.3 diff --git a/storage/J72S7AU5/.zotero-ft-cache b/storage/J72S7AU5/.zotero-ft-cache new file mode 100644 index 0000000..e69de29 diff --git a/storage/J72S7AU5/.zotero-ft-info b/storage/J72S7AU5/.zotero-ft-info new file mode 100644 index 0000000..510b4ff --- /dev/null +++ b/storage/J72S7AU5/.zotero-ft-info @@ -0,0 +1,14 @@ +Title: Binder3.pdf +Author: sschimke +Creator: PScript5.dll Version 5.2.2 +Producer: Acrobat Distiller 6.0.1 (Windows) +CreationDate: 04/04/06 17:39:24 +ModDate: 04/04/06 17:39:24 +Tagged: no +Form: none +Pages: 4 +Encrypted: no +Page size: 595 x 842 pts (A4) (rotated 0 degrees) +File size: 883254 bytes +Optimized: yes +PDF version: 1.4 diff --git a/storage/TJ3HG7E3/.zotero-ft-cache b/storage/TJ3HG7E3/.zotero-ft-cache new file mode 100644 index 0000000..728462b --- /dev/null +++ b/storage/TJ3HG7E3/.zotero-ft-cache @@ -0,0 +1,676 @@ +See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/14269194 +Disambiguating Complex Visual Information: Towards Communication of Personal Views of a Scene +Article in Perception · February 1996 +DOI: 10.1068/p250931 · Source: PubMed + +CITATIONS +118 +3 authors, including: +Marc Pomplun University of Massachusetts Boston 169 PUBLICATIONS 3,799 CITATIONS +SEE PROFILE + +READS +270 +Boris M Velichkovsky Kurchatov Institute 191 PUBLICATIONS 4,282 CITATIONS +SEE PROFILE + +Some of the authors of this publication are also working on these related projects: Human Factors and Ergonomics View project In search of the "I" View project + +All content following this page was uploaded by Marc Pomplun on 27 May 2014. +The user has requested enhancement of the downloaded file. + +Disambiguating Complex Visual Information: Towards Communication of Personal Views of a Scene +Marc Pompluna, Helge Rittera, Boris Velichkovskya;b +a Department of Neuroinformatics, University of Bielefeld, Germany b Unit of Applied Cognitive Research, Dresden University of Technology, Germany +email: impomplu@techfak.uni-bielefeld.de +Abstract. Two experiments on perception and eye-movement scanning of a set of +6 overtly ambiguous pictures are reported. In the rst experiment it was shown that speci c perceptual interpretations of an ambiguous picture usually correlate with parameters of the gaze-position distributions. In the second experiment these distributions were used for an image-processing of initial pictures in such a way that in regions which attracted less xations the brightness of all elements was lowered. The pre-processed pictures were then shown to a group of 150 na?ve subjects for an identi cation. The results of this experiment demonstrated that in 4 out of 6 pictures it was possible to in uence perception of other persons in the predicted way, i.e. to shift spontaneous reports of na?ve subjects in the direction of interpretations that accompanied gaze-position data used for the pre-processing of initial pictures. Possible reasons for a failure of such a communication of personal views in two cases are also discussed. +1 Introduction +Pictures and scenes are notoriously ambiguous. Culture, experience, attention, functional state and dozens of other factors determine that two persons may have completely di erent subjective perception of one and the same physical situation. For any educated psychologist this is a well-established basic fact which certainly deserves investigation but cannot be changed. There is a long tradition of illustrating this multistable and idiosyncratic character of individual perceptive consciousness with the help of ambiguous gures both in history of art (Gombrich, 1969; Chapman, 1987) and in experimental psychology where perception of ambiguous pictures became the goal of countless studies (Vicholkovska, 1906; Boring, 1942; Velichkovsky, Luria & Zinchenko, 1973; Cooper, 1994; Rock, Hall & Davis, 1994). In other disciplines like e.g. computer science pictures and scenes are processed and transformed but usually from a physicalist point of view, although active vision approach and neural computation paradigm can be regarded as signs of change in the tradition (see Lee & Bajcsy, 1992; Ritter, Martinetz & Schulten, 1992). In this paper we are going to demonstrate that an interdisciplinary convergence of these two lines of research is possible and welcomed on practical reasons: The transformation of physical pictures from the perspective of their perception by an active observer can support an unambiguous communication of the subjective views to other persons. +1 + +In order to approach this problem experimentally we used the most reliable (albeit certainly not ideal, see Zinchenko & Vergiles, 1972) objective index of visual perceptual activity, namely the data about eye movements of an observer. Since Yarbus' (1967) and other earlier investigation it is generally accepted that gaze position data are a fairly sensitive index of individual preferences and task attitudes. Our interest in eye movements was based on pragmatic considerations and had no direct relation to hypotheses about their possible casual role in detection, recognition and identi cation of visual information (e.g. Noton & Stark, 1971). In recent years there were several studies demonstrating the importance of clustering gaze position data (Nodine, Kungel, Toto & Krupinsky, 1992; Pillalamari, Barnette & Birkmire, 1993) for explication of subject's knowledge and strategies. However, these studies did not change the situation of a passive registration of eye movements in principle. The gaze-contingent change of local characteristics of visual displays in dependence on parameters of eye movements remained one of the paradigms of investigation that was predominantly used in the eld of reading research. (see e.g. Rayner, Well, Polatsek & Bertera, 1982). +Our intention was to make a further step: The use of the information about gaze position in order to process the picture/scene for reconstruction of its outlook as it could be available to the active observer who produced the eye-movements. In other words, we want to approach if not the famous question of a philosopher "What is it like to be a bat?" then at least "What is it like to be Mrs/Mr. Smith's (visual) perceptual homunculus?". The answer on this last question can be of practical importance as many forms of non-verbal expertise, for instance, in interpretation of medical images (Norman, Coblentz, Brooks & Babcook, 1992), are still hardly available to an objective analysis and public communication. Fluctuations in perception of classic ambiguous pictures seem to provide a suitable experimental model for the study, because variants of their perceptual interpretation are well known and, in addition, eye movements have been investigated in numerous previous studies. In particular, these studies have demonstrated that the eye movement parameters can be speci c to the di erent subjective interpretations of the ambiguous gures (e.g. Ellis & Stark, 1978; Gale & Findlay, 1983). +Recently Garcia-Perez (1992) proposed that eye movements during perception of ambiguous gures, such as the Necker cube and the Boring gure, can lead to a kind of spatial frequency ltration favoring the interpretation which corresponds to the location of gaze in a corresponding "focal area" of the gure (for other similar proposals, see Kawabata & Mori, 1992; Tsal & Kolbet, 1985). The method developed for the present investigation can be helpful in empirically proving hypotheses of this kind. The study was based on the use of an advanced imaging eye-tracker as well as on our previous work on eye-movement mediated communication of attention in cooperative problem solving (Velichkovsky, 1995). +2 Experiment 1: Eye-movement characteristics in perception of ambiguous pictures +This experiment was performed for collection of eye-movement data and evaluation of their speci city to di erent perceptual interpretations of ambiguous pictures. +2 + +2.1 Method +2.1.1 Apparatus +The system used in our experiments (Stampe, 1993) is an example of non-invasive imaging eye-trackers. It is based on the use of ISCAN RK-416PC pupil-tracking boards and two video cameras as inputs of information about the position of the head within the environment and the position of the pupil within the head. Fast calibration that remains stable over the whole period of study and does not su er from accidental blinks (which are detected and described as such), free head with permitted deviation from the straight-ahead +position up to 15o, and nally a practically unrestricted eld of view (80o in the horizontal dimension and 60o in the vertical) as well as the possibility to run experiments under nor- +mal illumination conditions made this eye-tracker to a perfect device for basic and applied studies. The average absolute precision of the gaze-position measurement with the help of +the eye-tracker lies within the range of 0:6 : : : 0:8o. By using a new calibration interface +based on parametrized arti cial neural networks, we improved the precision of measure- +ment by up to 0:4o. This made it possible to recruit even subjects wearing spectacles (see +Pomplun, Velichkovsky & Ritter, 1994). +2.1.2 Subjects +6 subjects na?ve about the purpose of the study participated in Experiment 1. They were students and co-workers of the computer science department at University of Bielefeld. 4 of them had a normal and 2 a corrected to normal vision. +2.1.3 Material and procedure +As the stimuli for this experiment we chose 6 pictures. These pictures are shown in Fig. 1 left. Two of them the Necker cube and the Boring gure are classical examples of ambiguous gures with a long history of investigation (Boring, 1942; Garcia-Perez, 1992, among many others). Two others were fragments of "Earth" by Giuseppe Arcimboldo and Maurits Cornelis Escher's "Circlelimit IV". Though popular as examples of perceptual bi-stability, these pictures were not used earlier in connection with eye-movement studies, as far as we know. Another picture was a fragment of Albrecht Duerer's "View of the Val d'Arco". Strictly speaking, this picture can hardly be considered as ambiguous, because the alternatives interpretations are unequal: Almost all observers rst see a landscape with the castle and discover only after long delay the possibility to see the rock on the left side as the pro le of a human face. It was included nevertheless, because of the realism of this situation (which made this picture especially interesting for a transfer of the method to such domains, as medical imaging). The last picture was the product of our-own morphing of a woman's and a man's faces. +We also prepared two unambiguous versions of each picture. They are shown in Fig. 1 in the middle and in the right row. +All stimuli were presented on a high-resolution 17" colour monitor (ViewSonic 7) with a screen resolution of 640 480 pixels. The distance of observation was 60 cm. The pictures were about 480 pixels high and from 330 (Boring gure) to 620 (Duerer painting) pixels wide. At the beginning of every session two unambiguous and one ambiguous version of the Necker cube were shown. They were used to introduce the task. After the explana- +3 + +? !"#$%&' +()*+,-./01 23456789:; <=>?@ABCDE FGHIJKLMNO PQRSTUVWXY Z \]^_`abc defghijklm +? nopqrstuvw +xyz{|}~ +Figure 1: The original pictures (left column) and their unambiguous variants for interpretations A and B (middle and right column, respectively) +4 + +tion all pictures were shown in such a way that two unambiguous versions of a picture always preceded the corresponding ambiguous version. The presentation time of every unambiguous version was 20 sec; the time of presentation of an ambiguous picture was 60 sec. Intervals between the variants of the same picture were 10 sec, intervals between di erent classes of pictures - 60 sec. This time of 60 sec also included the time of re-calibrating of the eye-tracker which took less than 10 sec. The order of presentation of all pictures was counterbalanced across the subjects. +The subjects received the special task of manual reporting their perception while viewing the ambiguous version of each picture, and therefore had to put their hand on a two-button computer mouse. The task was to push the button on the left as soon as they saw a certain interpretation of the picture interpretation A and keep it pressed as long as this state of perception lasted. When seeing the interpretation B they had to push the button on the right. The experimenter told the subjects about the corresponding buttons for each interpretation shortly before the next ambiguous picture was shown. +After the experiment we divided the xations which were recorded during the presentation of the ambiguous pictures according to the button response data in two sets, namely the xations belonging to the interpretations A and B, respectively. With additional data obtained during the presentation of the unambiguous variants, there were four di erent xation sets derived from every thematic class of pictures: The sets A and B from the two unambiguous variants and the sets A' and B' which were obtained after dividing the pool of xation data from observation of the ambiguous picture. +2.2 Results +All subjects were able to di erentiate the perceptual states of all the pictures without apparent di culties. The transitions from one perceptual state to another as manifested in manual responses of the subjects were almost instantaneous, i.e. with temporal gaps or overlaps of less than 500 msec, in about 90% of cases. The intermediate state "not one/not other" extended over less than 5% of the observation time of ambiguous pictures. The duration of perceiving a constant interpretation was found between 3 and 13 seconds varying signi cantly between subjects, but not between pictures. In the following analysis we used as a reference point the moment of a button pushing signifying the transmission into the corresponding perceptual state. +In the few cases with extensive history of previous investigation with the help of eyemovement recording, our results partially replicated previous data (Ellis & Stark, 1978; Gale & Findlay, 1983). Thus, the perception of the Necker cube was mostly connected with the saccades along its main diagonal. The change of a perceptual state correlated with a shift of the xations to another "core area" of the picture. However, we could not con rm the previous suggestion that these phenomenal changes coincide with longer, socalled "organizational xations" or other parameters of individual xations or saccades (cf. Ellis & Stark, 1978). Corresponding data for xation length as well as average size of pupil are shown in Fig. 2 and Fig. 3, respectively. The same lack of correspondence between parameters of separate xations and the instants of phenomenal changes was typical also in the case of all other pictures. In order to evaluate stability and possible speci city of eye-movement patterns to perceptual interpretation of pictures in a more objective way a measure of similarity s between two xation sets was used, which yields similarity values +in the interval 0; 1]. This is described in detail in appendix A. +5 + +800 700 600 500 tF (ms) 400 300 200 100 +-04000 -3000 -2000 -1000 0 1000 2000 3000 4000 tC (ms) +Figure 2: Average duration tF of xations as a function of the time tC relative to changes of interpretations + +3000 + +2500 + +2000 + +AP (pixel) 1500 + +1000 + +500 + +-04000 -3000 -2000 -1000 0 1000 2000 3000 4000 tC (ms) + +Figure 3: Average the digital picture + +pouf pthileseizyeeAcaPmaesraa)function + +of + +tC + +(measured + +as + +the + +number + +of + +pixels + +in + +6 + +Comparison Necker Cube Duerer Boring Escher Faces Arcimboldo + +A vs. B + +64.3 45.4 76.1 15.2 72.2 40.5 + +A' vs. B' 77.5 27.7 48.5 28.6 34.9 67.5 + +A vs. A' + +61.4 78.6 87.7 72.0 78.2 66.1 + +B vs. B' + +37.5 93.5 88.1 88.2 64.8 83.0 + +A vs. B' + +59.7 39.8 51.4 24.3 48.2 29.9 + +B vs. A' + +48.8 35.6 71.3 15.8 50.3 62.9 + +Table 1: Similarities of xation sets in % + +The degree of similarity of xation data for both variants of perception of the same picture was computed and compared between themselves and with the corresponding parameters for every unambiguous variant of the pictures. The computation was performed for individual and group data. The similarity of individual data for identical pictures was in the interval between 76% and 95%. The results of the comparison of group data (i.e. cumulated xation data across subjects) are presented in Table 1. +For almost all pictures the computed similarity coe cients demonstrate systematic changes which become more prominent when visualized as gray values in matrices shown in Fig. 4. Each 4 4 matrix shows the subset of similarity coe cients pertaining to the 4 4 pairings of the four variants A, B, A', B' of each picture (these matrices are symmetric since the order in a pair is irrelevant, and the main diagonal represents the pairings of each pattern with itself, which is not relevant for our discussion). The brightness of each matrix element increases with the similarity coe cient of the corresponding comparison. +If there was no signi cant di erence between the "statically" (A, B) and "dynamically" (A', B') derived xation patterns, but between xation patterns for di erent interpretations, the comparisons A vs. A' and B vs. B' should demonstrate higher similarity than all others. Obviously, in this case the matrices would present checker-board . patterns And in fact, the checker-board patterns can be easily seen in every box, with the sole exception of the box with data of the Necker cube. They are exactly those which can be expected on the basis of hypothesis about speci city of xation distributions to the type of phenomenal interpretation of a picture. +The e ect of higher similarities of A vs. A' and B vs. B' on the whole data set can be visualized also by a cumulative plot (Fig. 5). Here, the similarity coe cients for each class of comparison are presented in ascending order. +The computing of similarity coe cients nally allowed to approach the classic problem about objective indices of the phenomenal changes and the temporal relationships between a change of phenomenal state and the moment of manual report. For all the subjects and all the pictures, the minimal values of the similarity coe cient for xation patterns A' and B' during a speci c perceptual interpretation of an ambiguous picture were achieved if one takes into account a certain "response time" of approximately 900 1000 ms. In order to investigate the subject's response time, we changed the way of deriving the xation + +7 + +? +$-%.&/'0(1)2!*3?"+#, +Figure 4: The similarity matrices of the six pictures + +100 + +2 + +80 60 + +2 + +2 + +2 + +2 3 + +3+2? + +3+? 4 + +s (%) 40 +20 + +4+ 3? + +43+? + +43+? + +4+? + +4 + +AAAABB' + +vvvvvvssssss...... + +ABBBBB''''' + +3+2 4? + +00 + +1 + +2 + +3 + +4 + +5 + +6 + +7 + +Position + +Figure 5: Cumulative plot of similarity values s for the six classes of comparisons + +8 + +100 + +80 + +60 + +s (%) + +40 + +20 + +NAecrkciemDrBEbFCuosocareuhlicrbdneeeogerrs + +-04000 -3500 -3000 -2500 -2000 -1500 -1000 -500 0 500 1000 + +tS (ms) + +Figure 6: Similarity s of A' and B' for individual pictures and di erent "time shifts" tS + +sets A' and B' from showing the ambiguous picture. We added a constant "time shift" to every manual report of all subjects, pretending the reports happenend earlier (negative time shift) or later (positive time shift) than registrated. Now the similarity of the xation sets A' and B' for individual pictures was computed using di erent time shifts. +Fig. 6 shows the average similarity function of the xation patterns A' and B' as a function of the time shift used for the separation of the xations. The Necker cube values demonstrate no signi cant dependence from the underlying time shift, but the other pictures indicate a more or less distinct "U"-shape. If one takes as a temporal reference point the moment located about 900 ms before the subject's manual report, then the similarity functions reach their absolute minimum. +The empirical data on the xation patterns A' and B' that corresponded to the di erent perceptual interpretations of the same pictures were further used in Experiment 2 of the study. + +3 Experiment 2: Visualization and transfer of subjective views of the pictures +The aim of this experiment was to attempt an objective reconstruction of di erent subjective views of the ambiguous pictures on the basis of the eye-movement data collected in Experiment 1. + +9 + +3.1 Method +3.1.1 Subjects +150 subjects na?ve about the purpose participated in this study All of them were students of natural sciences and mathematics at University of Bielefeld. +3.1.2 Material and procedure +In order to process pictures in a gaze-dependent way, one should decide what the form of the visibility function connected with such xations is. Three lines of research can be of relevance for the answer of this question: "useful eld of view" and "useful resolution" studies (Ball, Beard, Roenker, Miller & Griggs, 1988; Mackworth, 1976; Shioiri & Ikeda, 1989), investigation of asymmetry in dynamic distribution of attention in dependence on the direction of eye movements in reading (Rayner, Well, Polatsek & Bertera, 1982) and experiments with images stabilized on the retina that demonstrate a kind of dissociation between anatomical and "functional" fovea (Zinchenko & Vergiles, 1972). Unfortunately, it is impossible to use these data directly, because all of them were obtained under rather speci cconditions.Thereforewe assumedthe relativelyrestrictedand conservativehypothesis that the average e cient eld of view coincides with the idealized anatomical fovea (Hood & Finkelstein, 1986). According to this working hypothesis the visibility function is a two-dimensional Gaussian distribution with the center at the registered xation point and the standard deviation of one degree of visual angle. +Our further hypothesis was that the visibility functions of individual xations can be collapsed without taking into account their temporal order. The aim of our image processing is to emphasize the regions of a picture which received the highest attention from the subject. There are many methods to achieve this, for example: +lowering of brightness, enhancing of brightness, reduction of contrast, reduction of optical resolution in the "valleys" of attentional landscapes, i.e. outside of the highs of the gaze-position clusters. More information about our image processing can be found in appendix B. In this experiment we only used the method "lowering of brightness". The processing was based on the corresponding xation sets A' and B', respectively, derived from showing the ambiguous pictures in Experiment 1. The resulting pictures are presented in Fig. 7. These 12 pictures were used together with 6 originals as material in Experiment 2. Subjects were individually presented with counterbalanced subsets of 6 pictures which included 2 originals and 4 processed pictures representing all di erent thematic classes of pictures used in current study one and only one time. Subjects were asked to describe the content of the pictures. The descriptions were then subjected to a blind forced choice evaluation, so that a consistent " rst sight interpretation" for every stimulus and every subject was agreed between three experts. +10 + +? +#*18?FMTbi$+29@GNU\cj%,3:AHOV]dk&-4;BIPW^el'.5ELSZaho +Figure 7: The "highlighted" pictures for each interpretation +11 + +Necker Cube Duerer Boring Escher Faces Arcimboldo + +IA(O) + +39 + +IA(A) + +37 + +IA(B) + +38 + +49 23 41 11 38 + +50 15 44 39 50 + +23 7 11 4 + +8 + +IB(O) + +11 + +IB(A) + +13 + +IB(B) + +12 + +1 27 9 39 + +12 + +0 35 6 11 + +0 + +27 43 39 46 + +42 + +Table 2: Results of Experiment 2 + +3.2 Results + +The results of this experiment are summarized in Table 2. The value of IA(O), e.g., tells us + +how many of the subjects came to interpretation A when the original picture was shown + +to them. Due to the fact that the decision always was either for A or B, the equation + +IA(x) + IB(x) = 50 is true for each of the 18 presented pictures. Statistical analysis of + +the data was performed with the help of a one-sided four elds 2 test (Lienert, 1973). + +The analysis demonstrates that the processing of initial pictures in terms of distribution + +of xations had a signi cant and predicted in uence on their further perception, although + +this in uence was not documented in all cases. In particular, both variants of processing + +(i.e. in the direction of the interpretations A or B) had no in uence on the perception of + +the Necker cube (uA = 0:58, p > 0:05; uB = 0:23, p > 0:05). In the case of the Boring + +gure the e ect was only signi cant for the enhancing of the interpretation "old woman" + +(uB = woman + +3:49, p rather + +< 0; 001). Paradoxically, the diminished the frequency of + +processing towards perception of the young this interpretation (uA = 1:65). In all other + +cases, the e ect of transfer of perceptual experience was fairly strong. When the base-line + +frequency was initially shifted towards one of the interpretations an appropriate processing + +either made the hidden version obvious or, at least in a tendency, additionally enhanced + +the dominating version of perception: Duerer's painting (uA = 1:43, :0 05 < p < 0:10; uB = 5:51, p < 0:001), Escher (uA = 1:11, :0 05 < p < 0:10; uB = 5:80, p < 0:001). For + +the remaining p < 0:001; uB + +two pictures the results = 1:96, p < 0:05) and + +were even more homogeneous: Arcimboldo (uA = 3:87, p < + +Faces 0:001; + +(uuBA + += = + +5:61, 5:81, + +p < 0:001). + +4 Discussion +The present study brought about some old as well as some new results. In the line with earlier work we were able to testify in Experiment 1 that in the case of several pictures allowing more than one interpretation there are speci c "focal areas" whose xation correlates with speci c perceptual interpretations (Gale & Findlay, 1983). In addition, we have demonstrated that a general change in distribution of gaze position patterns, as evalu- + +12 + +ated with the help of a new wholistic measure of similarity, usually preceded the manual response about the change of phenomenal perception by a time of about 900 ms. For experiments on perceptual identi cation (see e.g. Posner, 1978) this is a reasonably long reaction time to suppose that the manual report indeed is a reaction on the phenomenal changes. The result in general corresponds to the introspective observation that phenomenal changes, while being expected, often slightly astonished observers. The phenomenal changes themselves, of course, can coincide, precede or perhaps follow the changes in eye movements. In contrast with one previous report, characteristics of separate saccades or xations (as well as uctuations of the pupil size) were insu cient for a di erentiation of alternative perceptual interpretations of pictures from our set (cf. Ellis & Stark, 1978). +In Experiment 2 we attempted to use the data about eye xation patterns of ambiguous pictures for the visualization of actual perception. This processing was done in such a way that the regions of the pictures which attracted the gaze xations during speci c interpretations were highlighted. In the present study this processing was based on the simplest assumption about the form and size of visibility function whereby we equated the parameters of the "functional fovea" with the idealized anatomical fovea, i.e. the Gaussian function with the standard deviation of one degree of visual angle. Despite this oversimpli cation the experiment was basically successful: In four out of six pictures we found a clear transfer e ect of such a processing on the perceptual interpretation of na?ve subjects. All the pictures that demonstrated this transfer were relatively complex, colorful stimuli with several levels of contrast. +From these data it seems to follow that both line drawings in our set the Necker cube and the Boring gure have a special status. Although exactly these gures were considered earlier from the perspective of their dependence on the eye movement based ltering of spatial frequencies (Garcia-Perez, 1992), the rather similar transformation used in the present study did not lead to the expected control of phenomenal experience. What are possible reasons for such a failure? +In the case of the Necker cube, for instance, there seems to be a built-in deceit: The very shift of the focus of attention to the "focal area" of an alternative interpretation creates a higher probability of reversal in the opposite direction. Indeed, in the middle of both "focal areas" one nds a vertex which has to be perceived as a component of the back(ground) plane of the corresponding 3D-interpretation. The xation of the vertex can however provide it with a gure status and therefore provoke the reversal of the whole con guration. In the Boring gure there was an unexpected shift of initially more or less evenly distributed probabilities of both interpretations to one of them as a result of the image processing. The shading-out of the surrounding information obviously limits the possibility to see a young woman. This is the perceptual interpretation which is mostly conveyed by global information about the posture of the body as a whole and not so much by details like eye or mouth. An additional reason for the relative failure of our procedure in the case of black-and-white line-drawings may lay in the fact that the introduced modulation of brightness was too weak to be integrated into the main graphical elements of such pictures. +This study is only a rst attempt of elicitation of perceptual experience on the basis of eye movement data. Several additional problems should be solved before the outlined approach could become a more reliable method. First of all, the shape of the visibility function has to be considered anew with the possibility that it can vary depending on objective and subjective factors. The second in the list is the problem of temporal char- +13 + +acteristics of processing to what extent can the temporal order information be ignored in such studies (cf. Hacisalihzade, Stark & Allen, 1992) and what is the possible window size of accumulation of xations to the "attention landscapes"? Another problem to be solved is an adjustment of our processing algorithms to the spatial frequency characteristics of pictures and to the corresponding perceptual attitudes of observers, e.g. as it would be necessary in the case of the Boring gure (for an investigation of related issues, see Caelli, 1988). A combination of our approach with methods of visual scene parsing and depth planes analysis from computer vision research (Ballard & Brown, 1982) could also be fruitful. Finally, one should of course be aware that not every xation is " lled with attention", so states of "empty gaze" have to be di erentiated. It seems that this problem could be solved on the basis of an analysis of eye movements themselves. However, the possible key to the solution may be situated in a slightly di erent domain, namely in the domain of micro eye movements (Gippenreiter & Romanov, 1972). +Non-verbal visual expertise plays an important role in everyday life, technology and medicine (see e.g. Norman, Coblentz, Brooks & Babcook, 1992; Velichkovsky, Pomplun & Rieser, 1995). The demonstrated fact that it is possible to convey to other persons a speci c perceptual interpretation made by other people even in the case of relatively complex pictures gives grounds to believe in an applied signi cance of the gaze-dependent processing approach. Being well aware of shortcomings of the present study, we believe that future methods which like ours unite traditional perceptual research with contemporary image processing possibilities will support a more subject-oriented phase in the development of information and communication technologies. This will in turn open the way to communication of not only declarative knowledge but also practical expertise. +Acknowledgements. We wish to thank Larry Stark, Vladimir Zinchenko, and last not +least Richard Gregory for discussing the results of this study and for encouraging us to present them to PERCEPTION. Two anonymous reviewers helped us in improving the nal version of the text. Thomas Clermont and Peter Munsche participated in supervision and running the experiments. Our special thanks are due to Eyal Reingold and Dave Stampe for the development of the eye-tracker used in our experiments. This study was supported by a grant from the German Science Foundation (DFG SFB 360/B4). +14 + +dAipstpreibnudtixioAns: oAf sixmaitliaornitsy measure for the comparison of + +In order to derive a similarity measure for two xation patterns which depends on the + +holistic distribution of attention and not on separate eye movements, we rst subdivided + +the monitor screen which were located + +iinnttohnexsqnuyarseqnu,ahreasd. + +Then to be + +cthalecsuulamtesdnfoorf + +total duration each squaren, + +nof=x1a:t:io: n(nsx2nFy)0., + +We obtained distribution vector ~v0 consisting of the values sn and therefore having nx ny + +dimensions. Our hope was that this vector contained su cient information about how + +much attention or at least dwell time was spent in each of the squares. + +~v1 + +To and + +compute the similarity ~v2, respectively, had to + +of two xation be determined + +sets F1 and F2, rst the distribution vectors in the way described above. Then the cosine + +of the angle between these two vectors was calculated according to the following simple + +equation: + +cos + += + +~v1 ~vj 1j + +~v2 ~vj 2j + +The value of cos was taken as the similarity measure. In fact, it has several important + +features. It yields similarity values in the interval 0; 1], since both ~v1 and ~v2 have only + +nonnegative components. It does not take into account the number of xations, but only + +their distribution over the screen. In addition, it can be easily weighted or corrected for + +duration of xations. + +Nevertheless,thismeasurestillhas an unpleasantproperty:Its valuesdependon the size + +and position of the squares on the picture. This dependency on position could be nearly + +removed by calculating similarity coe cients for di erent x- and y-o sets of the whole + +square grid and by taking the average similarity as the result. We used 10 equidistant + +x-o sets, which were chosen in order to allow a maximum global shift of the length of one + +square's side. These x-o sets were combined with 10 analogous y-o sets, so there have to + +be computed 100 "elementary" similarities on the whole to derive the position-invariant + +measure. + +And how can we avoid the dependency on the square's size? Fig. 8 illustrates the + +functional relationship between square size (or "granularity") and calculated similarity + +coe cients for di erent xation patterns. As an example the data for the Boring and + +the Arcimboldo picture are displayed. The Boring picture causes di erences between the + +xation sets A' and B' on a small scale, the Arcimboldo picture on a large scale. This + +fact will be discussed later in the text; at this point these sets should be considered as + +"technical" examples. + +Obviously all similarity values generally increase with the underlying square's size. This + +fact can easily be explained by two extreme cases: If we used a square size of only one + +pixel, the similarity would be very low, because only very few xations would be located + +in corresponding squares. On the other hand, if we used squares as large as the screen, the + +similarity value would always be 100%, because all xations would lay in the same (single) + +square. Fig. 8 demonstrates another two important facts: First, the order of similarities + +remains invariant for the four xation patterns with respect to granularity, at least for + +the investigated range from 5 to 300 pixels. This con rms the stability of our measure. + +Second, the maximum di erence between similarities A vs. A' and A' vs. B' varies with + +the pictures. The Boring picture causes a maximum di erence at a granularity of about + +25 pixels (small scale), the Arcimboldo picture at about 60 pixels (large scale). To derive + +15 + +100 + +80 + +60 s (%) +40 20 + +AArrcciimmBBbboooorrililndndgogo AAAA vvvvssss AABB'' + +0 0 20 40 60 80 100 120 140 + +granularity of measure (pixels) + +Figure 8: Similarity of speci c xation sets as a function of the granularity used for the similarity measure + +a "fair" measure we decided to use the average similarity coe cient for comparison on 25, 40, and 64 pixel granularity, which is a geometric series in the relevant range. The use of smaller squares is not sensible, since the human foveal vision has a certain extent and, in addition, the eye-tracker accuracy itself is limited (see Pomplun, Velichkovsky & Ritter, 1994). Larger squares are not capable to improve the measure, because no further important information can be found on the scale of the presented pictures. Our de nite similarity measure now uses 300 elementary distribution vector comparisons. It has all desired properties and its stability was proved in various tests. + +16 + +!2<1;0:/!(32<1;0!()432<1!()+5432()+,6543)+,-7654+,-.8765,-./9876-./0:987./01;:98 Figure 9: The original picture +Aprpopceenssdiinxg B: Methods of gaze-dependent image +The important precondition for the gaze-contingent image processing is a continuous "attention function" a(x; y) which is de ned all over the picture and is built on the basis of the recorded xations. In order to nd a suitable function we de ne a two-dimensional Gaussian distribution centered at the current xation point, where the standard deviation is one degree of visual angle. Then we simply sum up these Gaussian distributions for all recorded xations weighted for their durations to receive the desired function a(x; y). +In order to illustrate the procedure, let us consider a test picture (Fig. 9). Its accumulative "attentional landscape" is shown in Fig. 10. This form of representation is derived from empirical xations, and the peaks of this function corresponding to the eyes and the mouth in the woman's picture are signi cant. +The gaze-contingent processing can be realized in several di erent ways, depending on the chosen type of image processing function fP : A O ! P which combines the attentional landscape A and the original picture O to the resulting picture P. The e ect of four di erent functions is illustrated in Fig. 11 to 14, where the gaze-contingent processing of a prototype picture was coupled with (a) lowering of brightness, (b) enhancing of brightness, (c) reduction of contrast, or (d) reduction of optical resolution in regions with lower values of attentional landscape. The last of these possibilities was already considered as a prospective method of disambiguation of ambiguous pictures, however, without considering eye movements (see Shiori & Ikeda, 1989). +Many di erent combinations of these procedures are easily realizable either beetween themselves or with di erent modes of processing. For the present study we used the +17 + +? + +!"#$%&' +Figure 10: "Attentional landscape" distributed over the monitor screen as obtained from a subject watching the picture shown in Fig. 9 + +rst of the described procedures: The brightness outside of attended regions was reduced + +according to the following transformational equation (1), which is applied on every pixel + +(x,y) of the picture: + +~pxy = xy ~oxy + +(1) + +Here, ~pxy and ~oxy are the RGB-vectors (i.e. the red, , green and blue component of a colour) of pixel (x,y) in the processed and the original picture, respectively. The transformation factors xy can be calculated by equation (2): + +xy + += + +m + ++ + +(1 + +? + +m) + +a(x; y) +amax + +; + +(2) + +where a(x; y) is the value of "attentional landscape" for pixel (x,y), amax is the maximal +value in the whole picture, and m is a constant which determines the minimum brightness remaining in the processed picture. If m, e.g., is set to 0.1, the regions of the picture with +attention value 0 will keep 10% of their initial brightness, if m = 1 the picture will not change at all. In this experiment we always set m = 0:1. + +18 + +!2<1;0:/!(32<1;0!()432<1!()+5432()+,6543)+,-7654+,-.8765,-./9876-./0:987./01;:98 +Figure 11: After a partial decrease of brightness one of the face regions seems to be "highlighted" (variant a). +!2<1;0:/!(32<1;0!()432<1!()+5432()+,6543)+,-7654+,-.8765,-./9876-./0:987./01;:98 +Figure 12: The less inspected areas seem to disappear behind a veil of mist after enhancing brightness (variant b). +19 + +!2<1;0:/!(32<1;0!()432<1!()+5432()+,6543)+,-7654+,-.8765,-./9876-./0:987./01;:98 +Figure 13: The di erences in colour decrease in the peripheral regions after reducing contrast (variant c). +0:/!2<1;!1;0(32 a:first-child'); + for (let row of rows) { + let href = row.href; + let title = ZU.trimInternal(row.textContent); + if (!href || !title) continue; + if (checkOnly) return true; + found = true; + items[href] = title; + } + return found ? items : false; +} + function findItemType(doc, url) { var itemType = text(doc, '.typdoc') // do some preliminary cleaning @@ -82,73 +101,64 @@ function findItemType(doc, url) { else return "journalArticle"; } -function doWeb(doc, url) { - var articles = []; - if (detectWeb(doc, url) == "multiple") { - var items = {}; - var titles = doc.evaluate('//strong/a[@data-original-title="Display the resource" or @data-original-title="Voir la ressource"]', doc, null, XPathResult.ANY_TYPE, null); - var title; - while ((title = titles.iterateNext())/* assignment */) { - items[title.href] = title.textContent; +async function doWeb(doc, url) { + if (detectWeb(doc, url) == 'multiple') { + let items = await Zotero.selectItems(getSearchResults(doc, false)); + if (!items) return; + for (let url of Object.keys(items)) { + await scrape(await requestDocument(url)); } - Zotero.selectItems(items, function (items) { - if (!items) { - return true; - } - for (var i in items) { - articles.push(i); - } - Zotero.Utilities.processDocuments(articles, scrape); - return true; - }); } - else if (/\/document$/.test(url)) { // work on PDF pages - var articleURL = url.replace(/\/document$/, ""); - // Z.debug(articleURL) - ZU.processDocuments(articleURL, scrape); + else { + await scrape(doc, url); } - else scrape(doc, url); } -function scrape(doc, url) { +async function scrape(doc, url = doc.location.href) { + if (/\/document$/.test(url)) { // work on PDF pages + var articleURL = url.replace(/\/document$/, ""); + // Z.debug(articleURL) + await scrape(await requestDocument(articleURL)); + return; + } + var bibtexUrl = url.replace(/#.+|\/$/, "") + "/bibtex"; var abstract = text(doc, '.abstract-content'); var pdfUrl = attr(doc, "#viewer-detailed a[download]", "href"); // Z.debug("pdfURL " + pdfUrl) - ZU.doGet(bibtexUrl, function (bibtex) { - // Z.debug(bibtex) - var translator = Zotero.loadTranslator("import"); - translator.setTranslator("9cb70025-a888-4a29-a210-93ec52da40d4"); - translator.setString(bibtex); - translator.setHandler("itemDone", function (obj, item) { - if (abstract) { - item.abstractNote = abstract.replace(/^(Abstract|Résumé)\s*:/, ""); - } - if (pdfUrl) { - item.attachments = [{ - url: pdfUrl, - title: "HAL PDF Full Text", - mimeType: "application/pdf" - }]; - } - else { - item.attachments = [{ - document: doc, - title: "HAL Snapshot", - mimeType: "text/html" - }]; - } - let detectedType = detectWeb(doc, url); - if (detectedType == "artwork" || detectedType == "presentation") { - item.itemType = detectedType; - } - if (detectedType == 'presentation' && text(doc, 'div.label-POSTER')) { - item.presentationType = 'Poster'; - } - item.complete(); - }); - translator.translate(); + let bibtex = await requestText(bibtexUrl); + // Z.debug(bibtex) + var translator = Zotero.loadTranslator("import"); + translator.setTranslator("9cb70025-a888-4a29-a210-93ec52da40d4"); + translator.setString(bibtex); + translator.setHandler("itemDone", function (obj, item) { + if (abstract) { + item.abstractNote = abstract.replace(/^(Abstract|Résumé)\s*:/, ""); + } + if (pdfUrl) { + item.attachments = [{ + url: pdfUrl, + title: "HAL PDF Full Text", + mimeType: "application/pdf" + }]; + } + else { + item.attachments = [{ + document: doc, + title: "HAL Snapshot", + mimeType: "text/html" + }]; + } + let detectedType = detectWeb(doc, url); + if (detectedType == "artwork" || detectedType == "presentation") { + item.itemType = detectedType; + } + if (detectedType == 'presentation' && text(doc, 'div.label-POSTER')) { + item.presentationType = 'Poster'; + } + item.complete(); }); + await translator.translate(); } /** BEGIN TEST CASES **/ @@ -197,19 +207,20 @@ var testCases = [ "creatorType": "author" }, { - "firstName": "F.", + "firstName": "Fernand", "lastName": "Karcher", "creatorType": "author" } ], - "date": "March 2006", + "date": "2006-03", + "DOI": "10.5194/acp-6-1033-2006", "abstractNote": "The MOZAIC programme collects ozone and water vapour data using automatic equipment installed on board five long-range Airbus A340 aircraft flying regularly all over the world since August 1994. Those measurements made between September 1994 and August 1996 allowed the first accurate ozone climatology at 9–12 km altitude to be generated. The seasonal variability of the tropopause height has always provided a problem when constructing climatologies in this region. To remove any signal from the seasonal and synoptic scale variability in tropopause height we have chosen in this further study of these and subsequent data to reference our climatology to the altitude of the tropopause. We define the tropopause as a mixing zone 30 hPa thick across the 2 pvu potential vorticity surface. A new ozone climatology is now available for levels characteristic of the upper troposphere (UT) and the lower stratosphere (LS) regardless of the seasonal variations of the tropopause over the period 1994–2003. Moreover, this new presentation has allowed an estimation of the monthly mean climatological ozone concentration at the tropopause showing a sine seasonal variation with a maximum in May (120 ppbv) and a minimum in November (65 ppbv). Besides, we present a first assessment of the inter-annual variability of ozone in this particular critical region. The overall increase in the UTLS is about 1%/yr for the 9 years sampled. However, enhanced concentrations about 10–15 % higher than the other years were recorded in 1998 and 1999 in both the UT and the LS. This so-called \"1998–1999 anomaly\" may be attributed to a combination of different processes involving large scale modes of atmospheric variability, circulation features and local or global pollution, but the most dominant one seems to involve the variability of the North Atlantic Oscillation (NAO) as we find a strong positive correlation (above 0.60) between ozone recorded in the upper troposphere and the NAO index. A strong anti-correlation is also found between ozone and the extremes of the Northern Annular Mode (NAM) index, attributing the lower stratospheric variability to dynamical anomalies. Finally this analysis highlights the coupling between the troposphere, at least the upper one, and the stratosphere, at least the lower one.", "issue": "4", "itemID": "thouret:hal-00328427", "libraryCatalog": "HAL Archives Ouvertes", "pages": "1051", "publicationTitle": "Atmospheric Chemistry and Physics", - "url": "https://hal.archives-ouvertes.fr/hal-00328427", + "url": "https://hal.science/hal-00328427", "volume": "6", "attachments": [ { @@ -233,7 +244,7 @@ var testCases = [ "creators": [ { "firstName": "Henry", - "lastName": "De Lumley", + "lastName": "de Lumley", "creatorType": "author" }, { @@ -248,7 +259,7 @@ var testCases = [ "libraryCatalog": "HAL Archives Ouvertes", "numPages": "637 p.", "publisher": "Éditions Recherche sur les Civilisations", - "url": "https://hal.archives-ouvertes.fr/hal-00472553", + "url": "https://hal.science/hal-00472553", "attachments": [ { "title": "HAL Snapshot", @@ -280,11 +291,12 @@ var testCases = [ "creatorType": "author" } ], - "date": "March 2014", + "date": "2014-03", + "abstractNote": "It seems that the Caisse des Dépôts et Consignations in partnership with the Conference of University Presidents have well taken the measure of this inexorable trend. That is why it \"is committed to supporting higher education institutions\" in the definition and implementation of their digital strategy and wider support them in their efforts to modernize. \" It is indeed in this modernization process that the University of Haute Alsace is committed to registration by engaging in a project to build a Learning Centre. The objective of this project is the modernization and rationalization of these support teaching and research services. There has to work at UHA innovation process its accompanying device in teaching learning and research which it is likely that this change will not be without effect on profit actors are students but also teachers. This research report aims to provide some ideas for reflection to support accompanying the opening of the Learning Centre to encourage future users to operate the premises.", "itemID": "coulibaly:hal-00973502", "libraryCatalog": "HAL Archives Ouvertes", "shortTitle": "Learning Centre de l'UHA", - "url": "https://hal.archives-ouvertes.fr/hal-00973502", + "url": "https://hal.science/hal-00973502", "attachments": [ { "title": "HAL PDF Full Text", @@ -292,14 +304,30 @@ var testCases = [ } ], "tags": [ - "Bibliothèque universitaire", - "ICT appropriation", - "Learning Centre", - "Pedagogy", - "University Library", - "appropriation TICE", - "innovation", - "pédagogie universitaire" + { + "tag": "Bibliothèque universitaire" + }, + { + "tag": "ICT appropriation" + }, + { + "tag": "Learning Centre" + }, + { + "tag": "Pedagogy" + }, + { + "tag": "University Library" + }, + { + "tag": "appropriation TICE" + }, + { + "tag": "innovation" + }, + { + "tag": "pédagogie universitaire" + } ], "notes": [ { @@ -324,23 +352,33 @@ var testCases = [ "creatorType": "author" } ], - "date": "March 2012", - "abstractNote": "Description : Children performing for a crowd of passersby in a park in Kunming. (Enfants jouant dans un parc à Kunming Photo d'enfants jouant dans un parc à Kunming", + "date": "2012-03", + "abstractNote": "Children performing for a crowd of passersby in a park in Kunming. (Enfants jouant dans un parc à Kunming Photo d'enfants jouant dans un parc à Kunming", "itemID": "gipouloux:medihal-00772952", "libraryCatalog": "HAL Archives Ouvertes", - "url": "https://medihal.archives-ouvertes.fr/medihal-00772952", + "url": "https://media.hal.science/medihal-00772952", "attachments": [ { - "title": "HAL PDF Full Text", - "mimeType": "application/pdf" + "title": "HAL Snapshot", + "mimeType": "text/html" } ], "tags": [ - "China", - "Kunming", - "children", - "park", - "town" + { + "tag": "China" + }, + { + "tag": "Kunming" + }, + { + "tag": "children" + }, + { + "tag": "park" + }, + { + "tag": "town" + } ], "notes": [], "seeAlso": [] @@ -349,7 +387,7 @@ var testCases = [ }, { "type": "web", - "url": "https://hal.archives-ouvertes.fr/search/index/q/%2A/docType_s/THESE/", + "url": "https://hal.science/search/index?q=test", "items": "multiple" }, { @@ -370,8 +408,7 @@ var testCases = [ "abstractNote": "First results about[i] in vitro[/i] bud neoformation on haploid apple leaves. The impact of biotechnology in agriculture. The meeting point between fundamental and applied in vitro culture research", "extra": "Published: The impact of biotechnology in agriculture. The meeting point between fundamental and applied in vitro culture research", "itemID": "duron:hal-01600136", - "presentationType": "Poster", - "url": "https://hal.archives-ouvertes.fr/hal-01600136", + "url": "https://hal.science/hal-01600136", "attachments": [ { "title": "HAL PDF Full Text", @@ -424,6 +461,76 @@ var testCases = [ "seeAlso": [] } ] + }, + { + "type": "web", + "url": "https://theses.hal.science/tel-05056628", + "items": [ + { + "itemType": "thesis", + "title": "Modélisation et simulation des impacts de gouttes et de sprays sur des surfaces liquides", + "creators": [ + { + "firstName": "Syphax", + "lastName": "Fereka", + "creatorType": "author" + } + ], + "date": "2025-01", + "abstractNote": "Sprays are ubiquitous in various industrial applications, such as combustion, surface coating, and system cooling. Understanding the dynamics associated with these phenomena is crucial for energy optimization and industrial safety. Several aspects warrant further study and comprehension. However, this thesis primarily focuses on the interactions between sprays and deep liquid substrates, with particular attention to the disturbance of the liquid substrate (deposition and re-ejection).Classical modeling approaches for spray/surface interactions, often based on experimental data or empirical extrapolations from isolated droplet impact data, have limitations when applied across a wide range of regimes (substrate quality, We, Re, etc.). To overcome these constraints, we use multiphase numerical simulations with the in-house code Fugu, employing direct numerical simulation (DNS) at the droplet scale. This methodology provides precise control over key parameters (impact velocity, polydispersity, etc.) and enables an in-depth analysis of the associated physical and statistical phenomena. This thesis presents: (1) a literature review on droplet and spray impacts, (2) details of the numerical methods used, (3) validation of simulations for cases involving isolated or multiple droplet impacts, and (4) results on spray impacts on thick liquid films under various impact regimes. This work paves the way for a deeper understanding of spray/substrate interaction phenomena and advances in their numerical modeling", + "itemID": "fereka:tel-05056628", + "libraryCatalog": "HAL Archives Ouvertes", + "thesisType": "Theses", + "university": "Université Gustave Eiffel", + "url": "https://theses.hal.science/tel-05056628", + "attachments": [ + { + "title": "HAL PDF Full Text", + "mimeType": "application/pdf" + } + ], + "tags": [ + { + "tag": "Bubbles" + }, + { + "tag": "Bulles" + }, + { + "tag": "Drops" + }, + { + "tag": "Gouttes" + }, + { + "tag": "Multi-Scale" + }, + { + "tag": "Multi-Échelle" + }, + { + "tag": "Multiphase flow" + }, + { + "tag": "Spray" + }, + { + "tag": "Spray" + }, + { + "tag": "Vof" + }, + { + "tag": "Volume of fluid" + }, + { + "tag": "Écoulement polyphasique" + } + ], + "notes": [], + "seeAlso": [] + } + ] } ] /** END TEST CASES **/ diff --git a/translators/Papers Past.js b/translators/Papers Past.js index 17676c5..a3fe515 100644 --- a/translators/Papers Past.js +++ b/translators/Papers Past.js @@ -1,21 +1,21 @@ { "translatorID": "1b052690-16dd-431d-9828-9dc675eb55f6", + "translatorType": 4, "label": "Papers Past", - "creator": "Philipp Zumstein and Abe Jellinek", + "creator": "Philipp Zumstein, Abe Jellinek, and Jason Murphy", "target": "^https?://(www\\.)?paperspast\\.natlib\\.govt\\.nz/", - "minVersion": "3.0", - "maxVersion": "", + "minVersion": "5.0", + "maxVersion": null, "priority": 100, "inRepository": true, - "translatorType": 4, "browserSupport": "gcsibv", - "lastUpdated": "2021-07-12 17:17:15" + "lastUpdated": "2025-10-21 16:40:00" } /* ***** BEGIN LICENSE BLOCK ***** - Copyright © 2017-2021 Philipp Zumstein and Abe Jellinek + Copyright © 2025 Philipp Zumstein, Abe Jellinek, and Jason Murphy This file is part of Zotero. @@ -35,15 +35,14 @@ ***** END LICENSE BLOCK ***** */ - function detectWeb(doc, url) { + if (/\/newspapers\/.+\.\d+\.\d+/.test(url)) { + return "newspaperArticle"; + } if (/[?&]query=/.test(url) && getSearchResults(doc, true)) { return "multiple"; } else if (ZU.xpathText(doc, '//h3[@itemprop="headline"]')) { - if (url.includes('/newspapers/')) { - return "newspaperArticle"; - } if (url.includes('/periodicals/')) { return "journalArticle"; } @@ -57,14 +56,13 @@ function detectWeb(doc, url) { return false; } - function getSearchResults(doc, checkOnly) { var items = {}; var found = false; var rows = doc.querySelectorAll('.search-results .article-preview__title a'); - for (var i = 0; i < rows.length; i++) { - var href = rows[i].href; - var title = ZU.trimInternal(rows[i].textContent); + for (let row of rows) { + var href = row.href; + var title = ZU.trimInternal(row.textContent); if (!href || !title) continue; if (checkOnly) return true; found = true; @@ -73,31 +71,108 @@ function getSearchResults(doc, checkOnly) { return found ? items : false; } - -function doWeb(doc, url) { +async function doWeb(doc, url) { if (detectWeb(doc, url) == "multiple") { - Zotero.selectItems(getSearchResults(doc, false), function (items) { - if (!items) { - return; - } - var articles = []; - for (var i in items) { - articles.push(i); - } - ZU.processDocuments(articles, scrape); - }); + let items = await Zotero.selectItems(getSearchResults(doc, false)); + if (!items) return; + for (let url of Object.keys(items)) { + scrape(await requestDocument(url)); + } } else { scrape(doc, url); } } +function scrape(doc, url = doc.location.href) { + var type = detectWeb(doc, url); + if (type == "newspaperArticle") { + scrapeNewspaper(doc, url); + } + else if (type) { + scrapeLegacy(doc, url); + } +} -function scrape(doc, url) { +function scrapeNewspaper(doc, url) { + var item = new Zotero.Item("newspaperArticle"); + var ld = getJSONLD(doc); + var news = null; + for (var i = 0; i < ld.length; i++) { + if (/NewsArticle|Article/i.test(ld[i]['@type'])) { + news = ld[i]; + break; + } + } + var meta = collectMeta(doc); + + var titles = []; + if (news && news.headline) { + titles.push(ZU.trimInternal(news.headline)); + } + if (meta.hw.citation_title) { + titles.push(ZU.trimInternal(meta.hw.citation_title)); + } + if (meta.dc["DC.title"]) { + titles.push(ZU.trimInternal(meta.dc["DC.title"])); + } + var rawTitle = dedupeFirst(titles); + item.title = fixTitleCase(rawTitle); + + item.publicationTitle = (news && news.isPartOf && news.isPartOf.name) + || meta.hw.citation_journal_title + || meta.dc["DC.publisher"] + || meta.dc["DC.source"] + || ""; + + item.date = ZU.strToISO((news && news.datePublished) || meta.hw.citation_date || meta.dc["DC.date"] || ""); + + var pageStart = (news && news.pageStart) || meta.hw.citation_firstpage || ""; + var pageEnd = (news && news.pageEnd) || meta.hw.citation_lastpage || ""; + var pagesMeta = meta.hw.citation_pages || ""; + item.pages = pagesFrom(pageStart, pageEnd, pagesMeta); + + item.language = (news && news.inLanguage) || meta.hw.citation_language || meta.dc["DC.language"] || ""; + item.rights = (news && news.copyrightNotice) || meta.dc["DC.rights"] || ""; + + var cleanUrl = canonicalURL(doc) || (news && news.url) || meta.hw.citation_fulltext_html_url || meta.dc["DC.source"] || url; + item.url = cleanUrl.split('?')[0].split('#')[0]; + + var bib = parseBibliographicDetails(doc); + if (!item.publicationTitle && bib.publicationTitle) { + item.publicationTitle = bib.publicationTitle; + } + if (!item.date && bib.date) { + item.date = ZU.strToISO(bib.date); + } + if (!item.pages && bib.pages) { + item.pages = bib.pages; + } + + var vol = (news && news.isPartOf && news.isPartOf.volumeNumber ? String(news.isPartOf.volumeNumber) : "") || meta.hw.citation_volume || bib.volume || ""; + var iss = (news && news.isPartOf && news.isPartOf.issueNumber ? String(news.isPartOf.issueNumber) : "") || meta.hw.citation_issue || bib.issue || ""; + + var extraParts = []; + if (vol) extraParts.push("Volume: " + vol); + if (iss) extraParts.push("Issue: " + iss); + if (extraParts.length > 0) { + item.extra = extraParts.join("\n"); + } + + item.creators = []; + item.attachments = [{ + title: "Snapshot", + document: doc + }]; + item.libraryCatalog = "Papers Past"; + item.complete(); +} + +function scrapeLegacy(doc, url) { var type = detectWeb(doc, url); var item = new Zotero.Item(type); - var title = ZU.xpathText(doc, '//h3[@itemprop="headline"]/text()[1]'); - item.title = ZU.capitalizeTitle(title.toLowerCase(), true); + var title = doc.querySelector('[itemprop="headline"]').firstChild.textContent; + item.title = fixTitleCase(title); if (type == "journalArticle" || type == "newspaperArticle") { var nav = doc.querySelectorAll('#breadcrumbs .breadcrumbs__crumb'); @@ -126,7 +201,6 @@ function scrape(doc, url) { if (type == "letter") { var author = ZU.xpathText(doc, '//div[@id="researcher-tools-tab"]//tr[td[.="Author"]]/td[2]'); - // e.g. 42319/Mackay, James, 1831-1912 if (author && !author.includes("Unknown")) { author = author.replace(/^[0-9/]*/, '').replace(/[0-9-]*$/, '').replace('(Sir)', ''); item.creators.push(ZU.cleanAuthor(author, "author")); @@ -136,29 +210,32 @@ function scrape(doc, url) { recipient = recipient.replace(/^[0-9/]*/, '').replace(/[0-9-]*$/, '').replace('(Sir)', ''); item.creators.push(ZU.cleanAuthor(recipient, "recipient")); } - item.date = ZU.xpathText(doc, '//div[@id="researcher-tools-tab"]//tr[td[.="Date"]]/td[2]'); - item.language = ZU.xpathText(doc, '//div[@id="researcher-tools-tab"]//tr[td[.="Language"]]/td[2]'); } item.abstractNote = text(doc, '#tab-english'); - item.url = ZU.xpathText(doc, '//div[@id="researcher-tools-tab"]/input/@value'); - if (!item.url) item.url = text('#researcher-tools-tab p'); - if (!item.url || !item.url.startsWith('http')) item.url = url; + if (!item.url) { + item.url = text(doc, '#researcher-tools-tab p'); + } + if (!item.url || !item.url.startsWith('http')) { + item.url = url; + } + + item.libraryCatalog = "Papers Past"; item.attachments.push({ title: "Snapshot", document: doc }); - let imagePageURL = attr(doc, '.imagecontainer a', 'href'); + var imagePageURL = attr(doc, '.imagecontainer a', 'href'); if (imagePageURL) { ZU.processDocuments(imagePageURL, function (imageDoc) { item.attachments.push({ - title: 'Image', - mimeType: 'image/jpeg', + title: "Image", + mimeType: "image/jpeg", url: attr(imageDoc, '.imagecontainer img', 'src') }); item.complete(); @@ -169,6 +246,111 @@ function scrape(doc, url) { } } +function getJSONLD(doc) { + var out = []; + var nodes = doc.querySelectorAll('script[type="application/ld+json"]'); + for (var i = 0; i < nodes.length; i++) { + try { + var data = JSON.parse(nodes[i].textContent); + if (Array.isArray(data)) { + for (var j = 0; j < data.length; j++) { + out.push(data[j]); + } + } + else if (data) { + out.push(data); + } + } + catch (e) {} + } + return out; +} + +function collectMeta(doc) { + var hw = {}; + var dc = {}; + var metas = doc.querySelectorAll("meta[name]"); + for (var i = 0; i < metas.length; i++) { + var name = metas[i].getAttribute("name"); + var content = metas[i].getAttribute("content") || ""; + if (!name) continue; + + if (/^citation_/i.test(name)) { + if (name === "citation_author") { + if (!hw[name]) hw[name] = []; + hw[name].push(content); + } + else { + hw[name] = content; + } + continue; + } + + if (/^DC\./.test(name) || /^dc\./.test(name)) { + dc[name.replace(/^dc\./, "DC.")] = content; + } + } + return { hw: hw, dc: dc }; +} + +function parseBibliographicDetails(doc) { + var textContent = text(doc, '#researcher-tools-tab .citation, .tabs-panel .citation, p.citation') || ""; + var out = { publicationTitle: "", volume: "", issue: "", date: "", pages: "" }; + if (!textContent) return out; + + var pubMatch = textContent.match(/^\s*([^,]+),/); + if (pubMatch) out.publicationTitle = ZU.trimInternal(pubMatch[1]); + + var volMatch = textContent.match(/Volume\s+([^,]+),/i); + if (volMatch) out.volume = ZU.trimInternal(volMatch[1]); + + var issMatch = textContent.match(/Issue\s+([^,]+),/i); + if (issMatch) out.issue = ZU.trimInternal(issMatch[1]); + + var dateMatch = textContent.match(/Issue\s+[^,]+,\s*([^,]+),\s*Page/i) || textContent.match(/,\s*([^,]+),\s*Page/i); + if (dateMatch) out.date = ZU.trimInternal(dateMatch[1]); + + var pageMatch = textContent.match(/Page\s+([0-9A-Za-z-]+)/i); + if (pageMatch) out.pages = ZU.trimInternal(pageMatch[1]); + + return out; +} + +function dedupeFirst(arr) { + return arr.find(Boolean) || ""; +} + +function fixTitleCase(str) { + if (!str) return str; + var letters = str.replace(/[^A-Za-z]/g, ""); + if (!letters) return str; + var uppers = (letters.match(/[A-Z]/g) || []).length; + var upperRatio = uppers / letters.length; + + if (upperRatio > 0.6) { + return ZU.capitalizeTitle(str.toLowerCase(), true); + } + return str; +} + +function pagesFrom(start, end, meta) { + var s = ZU.trimInternal(start); + var e = ZU.trimInternal(end); + var m = ZU.trimInternal(meta); + if (m) return m; + if (s && e && s !== e) return s + "-" + e; + if (s) return s; + return ""; +} + +function canonicalURL(doc) { + var link = doc.querySelector('link[rel="canonical"]'); + if (link && link.href) return link.href; + var og = doc.querySelector('meta[property="og:url"]'); + if (og && og.content) return og.content; + return ""; +} + /** BEGIN TEST CASES **/ var testCases = [ { @@ -185,9 +367,11 @@ var testCases = [ "title": "Coup in Argentina", "creators": [], "date": "1944-02-18", + "extra": "Volume: CXXXVII\nIssue: 41", "libraryCatalog": "Papers Past", "pages": "5", "publicationTitle": "Evening Post", + "rights": "Stuff Ltd is the copyright owner for the Evening Post. You can reproduce in-copyright material from this newspaper for non-commercial use under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International licence (CC BY-NC-SA 4.0). This newspaper is not available for commercial use without the consent of Stuff Ltd. For advice on reproduction of out-of-copyright material from this newspaper, please refer to the Copyright guide.", "url": "https://paperspast.natlib.govt.nz/newspapers/EP19440218.2.61", "attachments": [ { @@ -203,17 +387,19 @@ var testCases = [ }, { "type": "web", - "url": "https://paperspast.natlib.govt.nz/newspapers/NZH19360721.2.73.1?query=argentina", + "url": "https://paperspast.natlib.govt.nz/newspapers/MT19390701.2.6.3", "items": [ { "itemType": "newspaperArticle", - "title": "La Argentina", + "title": "Inter-School Basketball And Rugby Football", "creators": [], - "date": "1936-07-21", + "date": "1939-07-01", + "extra": "Volume: 64\nIssue: 153", "libraryCatalog": "Papers Past", - "pages": "9", - "publicationTitle": "New Zealand Herald", - "url": "https://paperspast.natlib.govt.nz/newspapers/NZH19360721.2.73.1", + "pages": "2", + "publicationTitle": "Manawatu Times", + "rights": "Stuff Ltd is the copyright owner for the Manawatu Times. You can reproduce in-copyright material from this newspaper for non-commercial use under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International licence (CC BY-NC-SA 4.0). This newspaper is not available for commercial use without the consent of Stuff Ltd. For advice on reproduction of out-of-copyright material from this newspaper, please refer to the Copyright guide.", + "url": "https://paperspast.natlib.govt.nz/newspapers/MT19390701.2.6.3", "attachments": [ { "title": "Snapshot", @@ -259,7 +445,7 @@ var testCases = [ "items": [ { "itemType": "letter", - "title": "1 Page Written 19 Jun 1873 by James Mackay in Hamilton City to Sir Donald Mclean in Wellington", + "title": "1 page written 19 Jun 1873 by James Mackay in Hamilton City to Sir Donald McLean in Wellington", "creators": [ { "firstName": "Mackay", @@ -292,6 +478,32 @@ var testCases = [ "seeAlso": [] } ] + }, + { + "type": "web", + "url": "https://paperspast.natlib.govt.nz/parliamentary/AJHR1899-I.2.4.2.3", + "items": [ + { + "itemType": "report", + "title": "Rabbits and Rabbitskins, Exported from Colony During Years 1894 to 1898, and Number and Value Thereof.", + "creators": [], + "libraryCatalog": "Papers Past", + "url": "https://paperspast.natlib.govt.nz/parliamentary/AJHR1899-I.2.4.2.3", + "attachments": [ + { + "title": "Snapshot", + "mimeType": "text/html" + }, + { + "title": "Image", + "mimeType": "image/jpeg" + } + ], + "tags": [], + "notes": [], + "seeAlso": [] + } + ] } ] /** END TEST CASES **/ diff --git a/translators/Prime 9ja Online.js b/translators/Prime 9ja Online.js index 6bd3ea9..42253e8 100644 --- a/translators/Prime 9ja Online.js +++ b/translators/Prime 9ja Online.js @@ -3,12 +3,12 @@ "translatorType": 4, "label": "Prime 9ja Online", "creator": "VWF", - "target": "^https?://(www\\.)?prime9ja\\.com\\.ng/\\d{4}/\\d{2}/[^/]+\\.html", + "target": "^https?://(www\\.|pidgin\\.)?prime9ja\\.com\\.ng/", "minVersion": "5.0", "maxVersion": null, "priority": 100, "inRepository": true, - "lastUpdated": "2025-08-08 17:40:00" + "lastUpdated": "2025-10-24 19:45:00" } /* @@ -34,38 +34,66 @@ ***** END LICENSE BLOCK ***** */ -function detectWeb(doc, _url) { - let jsonLdNodes = doc.querySelectorAll('script[type="application/ld+json"]'); - for (let node of jsonLdNodes) { +function meta(doc, nameOrProp) { + let m = doc.querySelector('meta[property="' + nameOrProp + '"]') + || doc.querySelector('meta[name="' + nameOrProp + '"]'); + return m ? m.getAttribute('content') : ''; +} + +function parseJSONLD(doc) { + let nodes = doc.querySelectorAll('script[type="application/ld+json"]'); + for (let node of nodes) { + let txt = node.textContent.trim(); + if (!txt) continue; try { - let data = JSON.parse(node.textContent); - let type = data['@type']; - if (typeof type === 'string' && type.endsWith('NewsArticle')) { - return 'newspaperArticle'; + let parsed = JSON.parse(txt); + let candidates = []; + if (Array.isArray(parsed)) { + candidates = parsed; } - if (Array.isArray(type) && type.some(t => typeof t === 'string' && t.endsWith('NewsArticle'))) { - return 'newspaperArticle'; + else if (parsed['@graph'] && Array.isArray(parsed['@graph'])) { + candidates = parsed['@graph']; + } + else if (parsed.mainEntity) { + candidates = [parsed.mainEntity, parsed]; + } + else { + candidates = [parsed]; + } + + for (let cand of candidates) { + if (!cand) continue; + let t = cand['@type'] || cand.type; + if (!t) continue; + if (typeof t === 'string') { + if (t.includes('NewsArticle')) { + return cand; + } + } + else if (Array.isArray(t)) { + for (let tt of t) { + if (typeof tt === 'string' && tt.includes('NewsArticle')) { + return cand; + } + } + } } } catch (e) { - // ignore JSON parsing errors + // ignore malformed JSON-LD } } - - if (getSearchResults(doc, true)) { - return 'multiple'; - } - - return false; + return null; } function getSearchResults(doc, checkOnly) { let items = {}; let found = false; - let rows = doc.querySelectorAll('a.entry-title[href*="/202"]'); + // generic year pattern in path for article links + let rows = doc.querySelectorAll('a[href*="/20"]'); for (let row of rows) { let href = row.href; - let title = ZU.trimInternal(row.textContent); + let title = ZU.trimInternal(row.textContent || row.title || ''); if (!href || !title) continue; if (checkOnly) return true; found = true; @@ -74,66 +102,186 @@ function getSearchResults(doc, checkOnly) { return found ? items : false; } -async function doWeb(doc, url) { - if (detectWeb(doc, url) === 'multiple') { - let items = await Zotero.selectItems(getSearchResults(doc, false)); - if (!items) return; - for (let url of Object.keys(items)) { - await scrape(await requestDocument(url)); - } - } - else { - await scrape(doc, url); - } +function isIndexURL(url) { + return url && url.includes('/search/label/'); } -async function scrape(doc, url = doc.location.href) { - let item = new Zotero.Item('newspaperArticle'); - let jsonLdNodes = doc.querySelectorAll('script[type="application/ld+json"]'); - let data = null; +function detectWeb(doc, url) { + url = url || doc.location.href; - for (let node of jsonLdNodes) { - try { - let parsed = JSON.parse(node.textContent); - let type = parsed['@type']; - if ( - type && typeof type === 'string' && type.endsWith('NewsArticle') - || Array.isArray(type) && type.some(t => typeof t === 'string' && t.endsWith('NewsArticle')) - ) { - data = parsed; - break; - } - } - catch (e) {} + // 1) JSON-LD NewsArticle -> single article + let j = parseJSONLD(doc); + if (j) { + return 'newspaperArticle'; } - if (data) { - item.title = ZU.unescapeHTML(data.headline || text(doc, 'h1.entry-title')); - item.ISSN = '3092-8907'; - item.abstractNote = ZU.unescapeHTML(data.description || ''); - item.date = data.datePublished || ''; - item.language = data.inLanguage || 'en'; - item.url = data.url || url; - item.publicationTitle = (data.publisher && data.publisher.name) || 'Prime 9ja Online'; - item.place = 'Nigeria'; + // 2) explicit index/list URL + if (isIndexURL(url)) { + return 'multiple'; + } + // 3) Use the standard getSearchResults() heuristic for listing pages + if (getSearchResults(doc, true)) { + // If page also clearly looks like an article, prefer article + if (meta(doc, 'article:published_time') || meta(doc, 'og:type') || text(doc, 'h1.entry-title') || doc.querySelector('[itemprop="articleBody"]')) { + return 'newspaperArticle'; + } + return 'multiple'; + } + + // 4) meta-based hints + if (meta(doc, 'article:published_time')) { + return 'newspaperArticle'; + } + let ogType = (meta(doc, 'og:type') || '').toLowerCase(); + if (ogType === 'article') { + return 'newspaperArticle'; + } + + // 5) fallback selectors + if (text(doc, 'h1.entry-title') + || text(doc, 'h1.s-title') + || doc.querySelector('[itemprop="articleBody"]') + || doc.querySelector('article.post')) { + return 'newspaperArticle'; + } + + return false; +} + +async function doWeb(doc, url) { + url = url || doc.location.href; + let mode = detectWeb(doc, url); + if (mode === 'multiple') { + let items = getSearchResults(doc, false); + if (!items) return; + let selected = await Zotero.selectItems(items); + if (!selected) return; + for (let u of Object.keys(selected)) { + await scrape(await requestDocument(u)); + } + } + else if (mode === 'newspaperArticle') { + await scrape(doc, url); + } + // else do nothing +} + +async function scrape(doc, url) { + url = url || doc.location.href; + let item = new Zotero.Item('newspaperArticle'); + + let data = parseJSONLD(doc); + + // If JSON-LD present, prefer it + if (data) { + item.title = ZU.unescapeHTML( + data.headline + || data.name + || meta(doc, 'og:title') + || text(doc, 'h1.entry-title') + || text(doc, 'h1.s-title') + || '' + ); + + item.abstractNote = ZU.unescapeHTML( + data.description + || meta(doc, 'og:description') + || '' + ); + + item.url = data.url || meta(doc, 'og:url') || url; + + item.language = data.inLanguage || meta(doc, 'og:locale') || 'en'; + + // --- date: use ZU.strToISO() to normalize if possible --- + let rawJsonDate = data.datePublished || data.dateCreated || ''; + if (rawJsonDate) { + // Prefer Zotero's normalization (handles many formats and keeps timezone when present) + let isoFromZU = ZU.strToISO(rawJsonDate); + if (isoFromZU) { + item.date = isoFromZU; + } + else { + // if ZU couldn't parse, keep raw (often already ISO with TZ) + item.date = rawJsonDate; + } + } + + // --- authors from JSON-LD (skip organisations) --- if (data.author) { - if (Array.isArray(data.author)) { - for (let author of data.author) { - if (author.name) { - item.creators.push(ZU.cleanAuthor(author.name, 'author')); + let authors = Array.isArray(data.author) ? data.author : [data.author]; + for (let a of authors) { + let name = (a && (a.name || a['@name'] || a)) || ''; + if (name) { + let lower = name.toString().toLowerCase(); + if (/news agency|agency|news desk|publish desk|prime 9ja|prime9ja|online media|media|staff|bureau/i.test(lower)) { + // skip org-like bylines + } + else { + item.creators.push(ZU.cleanAuthor(name.toString(), 'author')); } } } - else if (data.author.name) { - item.creators.push(ZU.cleanAuthor(data.author.name, 'author')); + } + } + + // DOM/meta fallbacks for anything missing + if (!item.title || !item.title.trim()) { + item.title = ZU.unescapeHTML( + meta(doc, 'og:title') + || text(doc, 'h1.entry-title') + || text(doc, 'h1.s-title') + || text(doc, 'title') + || '' + ); + } + + if (!item.abstractNote || !item.abstractNote.trim()) { + item.abstractNote = ZU.unescapeHTML( + meta(doc, 'og:description') + || meta(doc, 'description') + || '' + ); + } + + // If date still empty, try article:published_time meta (often ISO) + if (!item.date || !item.date.trim()) { + let metaDate = meta(doc, 'article:published_time'); + if (metaDate) { + let isoDate = ZU.strToISO(metaDate); + if (isoDate) { + item.date = isoDate; + } + else { + item.date = metaDate; } } - else { - let authorText = text(doc, 'span[itemprop="name"]'); - if (authorText) { - item.creators.push(ZU.cleanAuthor(authorText, 'author')); - } + } + + if (!item.url || !item.url.trim()) { + item.url = meta(doc, 'og:url') || url; + } + + if (!item.publicationTitle) { + item.publicationTitle = 'Prime 9ja Online'; + } + + if (!item.ISSN) { + item.ISSN = '3092-8907'; + } + + // If no creators yet, try common DOM byline selectors (skip org-like) + if (item.creators.length === 0) { + let cand = meta(doc, 'article:author') + || text(doc, '.meta-author-author') + || text(doc, '.meta-author') + || text(doc, '.author-name') + || text(doc, '.byline a') + || text(doc, '.meta-el.meta-author a'); + + if (cand && !/news agency|agency|news desk|publish desk|prime 9ja|prime9ja|online media|media|staff|bureau/i.test(cand.toLowerCase())) { + item.creators.push(ZU.cleanAuthor(cand, 'author')); } } @@ -142,6 +290,8 @@ async function scrape(doc, url = doc.location.href) { title: 'Snapshot' }); + item.place = 'Nigeria'; + item.complete(); } @@ -161,10 +311,9 @@ var testCases = [ "creatorType": "author" } ], - "date": "2025-05-24T18:10:00+01:00", + "date": "2025-05-24", "ISSN": "3092-8907", - "abstractNote": "AKURE —  The Ondo State Governorship Election Petitions Tribunal will deliver its verdict on June 4 in the series of suits challenging the election of Governor Lucky Aiyedatiwa, who emerged victorious in the last gubernatorial poll. Justice Benson Ogbu, wh…", - "language": "en", + "abstractNote": "AKURE —  The Ondo State Governorship Election Petitions Tribunal will deliver its verdict on June 4 in the series of suits challenging the e...", "libraryCatalog": "Prime 9ja Online", "place": "Nigeria", "publicationTitle": "Prime 9ja Online", @@ -195,10 +344,9 @@ var testCases = [ "creatorType": "author" } ], - "date": "2025-05-27T01:11:00+01:00", + "date": "2025-05-27", "ISSN": "3092-8907", - "abstractNote": "On “CFMF” — the fourth track from Davido’s 2025 album 5ive —\n the artist trades club-ready bravado for inward reflection. Featuring\n songwriting contributions from DIENDE and Victony, the track is a slow,\n measured entry in the Afro-R&B lane, b…", - "language": "en", + "abstractNote": "On “CFMF” — the fourth track from Davido’s 2025 album 5ive — the artist trades club-ready bravado for inward reflection. Featuri...", "libraryCatalog": "Prime 9ja Online", "place": "Nigeria", "publicationTitle": "Prime 9ja Online", @@ -230,10 +378,9 @@ var testCases = [ "creatorType": "author" } ], - "date": "2025-05-23T22:38:00+01:00", + "date": "2025-05-23", "ISSN": "3092-8907", - "abstractNote": "ABUJA — A major network of cybercriminals allegedly responsible for infiltrating the Computer-Based Testing (CBT) infrastructure of Nigeria’s national examinations has been dismantled, with over 20 suspects currently in custody, security officials have c…", - "language": "en", + "abstractNote": "ABUJA — A major network of cybercriminals allegedly responsible for infiltrating the Computer-Based Testing (CBT) infrastructure of Nigeria...", "libraryCatalog": "Prime 9ja Online", "place": "Nigeria", "publicationTitle": "Prime 9ja Online", @@ -250,40 +397,6 @@ var testCases = [ "seeAlso": [] } ] - }, - { - "type": "web", - "url": "https://www.prime9ja.com.ng/2025/03/china-begins-trial-of-mrna-tb-vaccine.html", - "items": [ - { - "itemType": "newspaperArticle", - "title": "China Begins Trial of mRNA TB Vaccine", - "creators": [ - { - "firstName": "News Agency of", - "lastName": "Nigeria", - "creatorType": "author" - } - ], - "date": "2025-03-24T16:58:00+01:00", - "ISSN": "3092-8907", - "abstractNote": "A newly developed mRNA vaccine for tuberculosis, created in China, has entered clinical trials at Beijing Chest Hospital. The trial, which commenced on Monday, marks a significant step in the country’s efforts to combat tuberculosis, according to the Bei…", - "language": "en", - "libraryCatalog": "Prime 9ja Online", - "place": "Nigeria", - "publicationTitle": "Prime 9ja Online", - "url": "https://www.prime9ja.com.ng/2025/03/china-begins-trial-of-mrna-tb-vaccine.html", - "attachments": [ - { - "title": "Snapshot", - "mimeType": "text/html" - } - ], - "tags": [], - "notes": [], - "seeAlso": [] - } - ] } ] /** END TEST CASES **/ diff --git a/translators/ePrint IACR.js b/translators/ePrint IACR.js index a536af2..0442ddb 100644 --- a/translators/ePrint IACR.js +++ b/translators/ePrint IACR.js @@ -9,13 +9,13 @@ "priority": 100, "inRepository": true, "browserSupport": "gcsibv", - "lastUpdated": "2024-07-22 19:10:00" + "lastUpdated": "2025-10-20 16:20:00" } /* ***** BEGIN LICENSE BLOCK ***** - Copyright © 2010-2023 Jonas Schrieb and contributors + Copyright © 2010-2025 Jonas Schrieb and contributors This file is part of Zotero. @@ -154,7 +154,7 @@ async function scrape(doc, url = doc.location.href) { case "ps": // There are entries where a format button is present, but the URL points to the ePrint home page if (format.href.slice(-3) != ".ps") continue; - attachment.mimeType = "application/ps"; + attachment.mimeType = "application/postscript"; break; default: // For security reasons, avoid adding unknown formats (allowlist approach) @@ -520,7 +520,7 @@ var testCases = [ "url": "https://eprint.iacr.org/2002/195", "attachments": [ { - "mimeType": "application/ps", + "mimeType": "application/postscript", "title": "Full Text PS" } ], @@ -580,7 +580,7 @@ var testCases = [ "title": "Full Text PDF" }, { - "mimeType": "application/ps", + "mimeType": "application/postscript", "title": "Full Text PS" } ], diff --git a/zotero.sqlite b/zotero.sqlite index 1df6b97..2f4c181 100644 Binary files a/zotero.sqlite and b/zotero.sqlite differ diff --git a/zotero.sqlite.1.bak b/zotero.sqlite.1.bak index 79323b1..6799641 100644 Binary files a/zotero.sqlite.1.bak and b/zotero.sqlite.1.bak differ diff --git a/zotero.sqlite.bak b/zotero.sqlite.bak index 1df6b97..229c367 100644 Binary files a/zotero.sqlite.bak and b/zotero.sqlite.bak differ